Summary
Мы предоставляем подробный протокол проведения фотограмметрии подводных структур по движению для создания 3D-моделей и ортофотопланов.
Abstract
Фотограмметрия структуры из движения (SfM) — это метод, используемый для создания трехмерных (3D) реконструкций из последовательности двумерных (2D) изображений. Методы SfM становятся все более популярными в качестве неинвазивного способа мониторинга многих систем, включая антропогенные и природные ландшафты, геологические структуры, а также наземные и водные экосистемы. Здесь представлен подробный протокол сбора изображений SfM для создания 3D-моделей бентических местообитаний. Кроме того, были сопоставлены стоимость, эффективность использования цифровой зеркальной камеры с одним объективом (DSLR) по сравнению с менее дорогой экшн-камерой. Наблюдался компромисс между вычислительным временем и разрешением: цифровая зеркальная камера производила модели с более чем вдвое большим разрешением, но занимала примерно в 1,4 раза больше времени, чем экшн-камера. Цель настоящего учебного пособия состоит в том, чтобы дать подробное описание шагов, необходимых для сбора данных о SfM в бентических местообитаниях, для тех, кто не знаком с этим методом, а также для тех, кто уже использует аналогичные методы.
Introduction
Экосистемные процессы по своей природе динамичны и могут быть трудно поддаются количественной оценке. В последнее десятилетие наблюдается всплеск новых технологий захвата экосистем и их динамики в различных масштабах от лазерного 3D-сканирования отдельных объектов экосистем до спутникового дистанционного зондирования больших территорий 1,2,3. В бентических местообитаниях структура тесно связана с функциейэкосистемы 8, что делает инструменты, которые одновременно позволяют отслеживать геометрию и структуру сообщества, особенно ценными для понимания экологической динамики. Однако многие современные подходы не могут быть использованы в водных системах из-за физических свойств воды (например, преломление, искажение, мутность). Такие методы, как LiDAR (обнаружение света и определение дальности) и некоторые методы аэрофотосъемки, могут быть пригодны для работы в больших пространственных масштабах, но не могут получить разрешение, необходимое для оценки мелкомасштабных изменений в бентических местообитаниях. Методы фотограмметрии «структура из движения» (SfM) недавно были адаптированы для создания крупномасштабных ортофотопланов с высоким разрешением и 3D-моделей поверхности подводных средобитания 4,5,6,7.
Фотограмметрия SfM является относительно недорогим, простым, неинвазивным и воспроизводимым методом, который позволяет получать крупномасштабные записи бентической среды в водных экосистемах с высоким разрешением9. SfM использует последовательность 2D-изображений для создания реконструкций 3D-моделей. Модели, полученные на основе SfM, могут быть использованы для сбора данных о структурной сложности (например, грубость, размерность)4,5,10,11,12 и структуре сообществ (например, видовом составе, демографии населения)13,14,15 бентосных экосистем. Кроме того, поскольку этот метод является относительно недорогим, быстрым и воспроизводимым, он может использоваться как учеными, так и неучеными для сбора ценной, объективной информации об этих экосистемах. Таким образом, этот метод является жизнеспособным методом для использования в проектах гражданской науки, где стандартизация усилий по выборке, минимизация предвзятости, вовлечение участников и простота обучения имеют жизненно важное значение для качества данных и общего успеха16,17.
В данной статье приведен подробный протокол проведения подводных съемок СФМ. В то же время использование цифровой зеркальной камеры сравнивается с использованием более экономичной «экшн-камеры», и описываются относительные преимущества и недостатки каждой из них. Общая цель состоит в том, чтобы как можно скорее ознакомить ученых и неученых с методами бентосной съемки SfM путем предоставления простого, широко используемого протокола, что, в свою очередь, будет способствовать более широкому использованию этого метода. Примеры исследований, в которых применялись вариации этого метода для изучения подводных экологических сообществ, см. в Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 и 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 и Torres-Pulliza et al. (2020)10.
Метод, описанный здесь, требует команды подводного плавания или подводного плавания из двух человек. После того, как место съемки выбрано, в центре площадки размещается катушка с линией (рис. 1А), а калибровочные плитки (рис. 1Б) распределяются на расстоянии ~2 м от центра. Один человек (пловец) плавает с камерой и делает снимки участка, в то время как второй человек (помощник) ухаживает за катушкой в центре участка (рис. 1C). Сначала пловец подключает камеру к катушке через леску, а затем начинает делать непрерывные снимки бентоса, плавая лицом вниз и вперед, чтобы размотать леску с катушки. Пловец должен постоянно поддерживать вертикальное расстояние ~ 1 м над субстратом, регулируя свое положение в соответствии с топографией во время плавания. Важно отметить, что леска, соединяющая катушку и камеру, должна всегда оставаться натянутой, чтобы создать равномерное расстояние в спирали, когда пловец осматривает участок. Помощник поддерживает катушку в устойчивом вертикальном положении и следит за тем, чтобы катушка не вращалась и чтобы леска не запутывалась.
Как только леска полностью размотана, пловец останавливается, поворачивается и плывет в противоположном направлении, чтобы откатить леску вокруг катушки. Когда пловец меняет направление, помощник поворачивает катушку, чтобы намотать леску, ровно на 180°, чтобы предотвратить точное перекрытие исходящей траектории. Как только пловец оказывается как можно ближе к центру, камера отсоединяется от лески, а ассистент берет катушку и леску и уплывает от центральной части площадки. Затем пловец заканчивает съемку центра сюжета, перемещая камеру по небольшой спирали над центром. Несмотря на то, что существует несколько способов эффективного изображения местности, описанный здесь метод «катушка и леска» надежен даже в неидеальных условиях окружающей среды, где неспокойные поверхностные воды, зыбь или плохая видимость могут в противном случае препятствовать сбору данных. В этих сценариях этот метод удерживает подводников / дайверов и обеспечивает сильное перекрытие изображений, удерживая пловца на контролируемой траектории.
Protocol
1. Материалы
- Фотоаппарат
- Обеспечьте минимальные требования к долговечности и водонепроницаемости (или водонепроницаемый корпус) и минимальную частоту кадров 2 кадра в секунду (fps).
ПРИМЕЧАНИЕ: В этом примере использовалась минимальная частота кадров ~4 кадра в секунду. - Цифровая зеркальная цифровая зеркальная камера (DSLR)
- Настройте камеру на непрерывную съемку со скоростью фотосъемки от 2 до 5 кадров в секунду.
- Для воспроизведения протокола, описанного в данном примере, используйте камеру в подводном корпусе (см. Таблицу материалов) со следующими настройками: ручной режим (M); f10, 18 мм; выдержка = 1/320; компенсация экспозиции = -1/3; качество изображения = высочайшее, без RAW; режим движения = непрерывный; автофокус = AI SERVO; ISO = Авто, макс.3200; нумерация файлов = Автосброс; автоповорот изображения = Выкл.; время/дата = UTC.
- Экшн-камера
- Установите режим видео или режим непрерывной съемки с максимально возможным разрешением и частотой кадров.
ПРИМЕЧАНИЕ: Экшн-камеру также можно использовать в непрерывном режиме, если частота кадров составляет 2 изображения в секунду или выше. - Чтобы воспроизвести протокол в этом примере (см. Таблицу материалов), используйте водонепроницаемую экшн-камеру со следующими настройками: Разрешение видео = 4K (соотношение сторон 4:3); Частота кадров = 30 кадров в секунду.
ПРИМЕЧАНИЕ: Для экшн-камер может быть проще прикрепить леску от катушки к пловцу, а не к камере. В этом примере леска была прикреплена к запястью пловца с помощью небольшого ремешка.
- Установите режим видео или режим непрерывной съемки с максимально возможным разрешением и частотой кадров.
- Обеспечьте минимальные требования к долговечности и водонепроницаемости (или водонепроницаемый корпус) и минимальную частоту кадров 2 кадра в секунду (fps).
- Золотниковая оснастка (рис. 1А)
- Убедитесь, что катушка имеет соответствующий размер, чтобы удерживать длину лески, необходимую для радиуса участка съемки.
ПРИМЕЧАНИЕ: Окружность катушки регулирует расстояние между спиральными плавательными линиями, а длина лески определяет площадь образца. В этом примере катушка диаметром ~ 8 дюймов (~ 20 см) использовалась для расстояния между плавательными лесками ~ 50 дюймов (~ 1,3 м). Подробнее см. в разделе 9 . - Выберите оснастку для катушек с фланцевой кромкой (для плавного направления лески на катушку и с нее) и точками крепления ручки и шеста (для контроля высоты от подложки). Убедитесь, что шпулевая оснастка по своей природе имеет отрицательную плавучесть или сделана с добавлением весов.
ПРИМЕЧАНИЕ: В этом примере использовались поливинилхлоридные (ПВХ) трубы для ручки и столба, а катушка была напечатана на 3D-принтере из полимолочнокислого пластика. Однако катушка может быть такой же простой, как большая труба из ПВХ или любой другой круглый предмет нужного диаметра.- Для частого использования и/или сложных полевых условий выбирайте катушку, изготовленную из более прочного материала, такого как алюминий.
- Убедитесь, что катушка не вращается на шесте и не вращается во время использования.
- Прикрепите леску к катушке на одном конце и к съемному зажиму на другом для подключения к камере.
ПРИМЕЧАНИЕ: Длина линии определяет радиус участка. Здесь 6 м линии использовались для участков диаметром 12 м.
- Убедитесь, что катушка имеет соответствующий размер, чтобы удерживать длину лески, необходимую для радиуса участка съемки.
- Калибровочные плитки
- Хотя специализированные калибровочные плитки не нужны, убедитесь, что в модель для масштаба включены отрицательно плавучие, узнаваемые объекты известного размера. Учитывайте перенапряжения и текущие условия, чтобы убедиться, что используются подходящие материалы, чтобы плитки оставались неподвижными во время фотосбора.
ПРИМЕЧАНИЕ: Здесь шаблоны маркеров масштаба, доступные в составе некоторых программ, были напечатаны на водонепроницаемой бумаге, которая была прикреплена к плиткам из ПВХ толщиной 1 дюйм. - Дайверам понадобятся средства для измерения глубины плитки. В нашем примере мы используем электронный глубиномер (см. Таблицу материалов).
- Хотя специализированные калибровочные плитки не нужны, убедитесь, что в модель для масштаба включены отрицательно плавучие, узнаваемые объекты известного размера. Учитывайте перенапряжения и текущие условия, чтобы убедиться, что используются подходящие материалы, чтобы плитки оставались неподвижными во время фотосбора.
- Цветокоррекция
- Установите баланс белого на камере на пользовательский. Сфотографируйте 18% серую карту или белый дайв-сланец под водой перед началом каждой съемки SfM. Делайте это каждый раз, когда запускается новый сайт.
ПРИМЕЧАНИЕ: Фотография позволит провести цветокоррекцию, а также поможет отделить загруженные изображения с разных сайтов при проведении нескольких опросов в один и тот же день.
- Установите баланс белого на камере на пользовательский. Сфотографируйте 18% серую карту или белый дайв-сланец под водой перед началом каждой съемки SfM. Делайте это каждый раз, когда запускается новый сайт.
2. Подробные методы
- Выбор участка
- Выберите место, в котором достаточно места, чтобы проплыть весь спиральный узор (~ 113 м2 в этом примере). В дополнение к обследуемому району включите небольшую буферную зону, чтобы гарантировать, что вся территория съемки достаточно сфотографирована для получения высококачественных данных.
- Учитывайте возможности и экипировку команды из двух человек. Мелководные участки (< ~ 2 м) могут быть обследованы с маской и трубкой, тогда как более глубокие участки могут потребовать подводного плавания.
- Если вы планируете регулярно обследовать участок, отметьте центральную точку, где будет размещена буровая установка, биркой или постоянной конструкцией (например, арматурой или шлакоблоком). По крайней мере, возьмите координаты глобальной системы позиционирования, чтобы сайт можно было переместить с помощью распечатки ортофотоплана.
ПРИМЕЧАНИЕ: Для постоянных подводных сооружений обычно требуется разрешение. - Подготовьте участок.
- Установите катушку в середину участка.
- Разложите калибровочные плитки и запишите их глубину. Расположите калибровочные плитки лицевой стороной вверх, на расстоянии ~2 м от центра.
ПРИМЕЧАНИЕ: В этом примере 3 калибровочные плитки были помещены в треугольник вокруг центра сайта. Калибровочные плитки должны быть соответствующим образом взвешены и расположены так, чтобы обеспечить минимальное движение во время сбора фотографий.
- Попросите пловца плавать с камерой, пока помощник ухаживает за катушкой.
- Помощник устанавливает шест и прикрепленную катушку вертикально в центре выбранного участка и удерживает катушку в вертикальном положении и неподвижно.
- Убедитесь, что пловец прикрепляет к леске ближайшую к катушке сторону камеры и держит камеру прямо вниз на расстоянии ~ 1 м от бентоса.
ПРИМЕЧАНИЕ: Если пловцу необходимо наклонить камеру, постарайтесь убедиться, что она слегка наклонена вперед, а не назад, чтобы избежать сбора изображений в тени пловца. Небольшой наклон камеры вперед как для внешней, так и для обратной спирали также может захватить лучшие углы бентоса и создать более качественные модели, особенно при наличии выступов и отверстий. - После того, как камера правильно расположена, пловец начинает делать непрерывные снимки бентоса, плывя вперед и поддерживая натяжение на леске.
- Следите за тем, чтобы пловец продолжал плыть по спирали с постоянной скоростью, делая фотографии, пока леска полностью не размотается с катушки.
ПРИМЕЧАНИЕ: Пловец должен стараться держаться на постоянном расстоянии ~ 1 м над бентосом и плыть по спирали в умеренном темпе, чтобы обеспечить достаточное перекрытие между изображениями. Если сомневаетесь, чем медленнее, тем лучше. - В условиях сильного запутывания (например, коралловых рифов) включите третьего работника (второго помощника), который может предотвратить запутывание лески, зависнув над центром лески и осторожно подняв ее над препятствиями.
- Когда леска полностью разматывается, пловец меняет направление, при необходимости снова прикрепляя камеру, и плывет в противоположном направлении, чтобы начать перематывать леску обратно на катушку во время съемки. ПРИМЕЧАНИЕ: Плавание по обратной спирали не является абсолютно необходимым, но, как правило, дает лучшие модели.
- Если для экономии времени желателен одиночный спиральный метод, то пловец отсоединяет леску от камеры и переходит к шагу 2.4.12, в то время как помощник наматывает леску и убирает катушку с площадки.
- Как только пловец начинает плыть в противоположном направлении, помощник поворачивает катушку, чтобы намотать леску на 1/2 оборота (180°) против нового направления плавания. Этот 1/2 оборота гарантирует, что обратный путь пловца смещен от исходного пути, чтобы обеспечить больший фотоохват участка.
- Следите за тем, чтобы пловец продолжал фотографировать и плыть по обратной спирали до тех пор, пока леска не будет почти полностью перемотана вокруг катушки.
- Когда расстояние между пловцом и помощником препятствует дальнейшему прогрессу, пловец прекращает съемку, чтобы отсоединить камеру от лески и позволить помощнику снять катушку с центра площадки.
- После того, как катушка снята с площадки, пловец снимает центр площадки, держа камеру лицом прямо вниз и перемещая камеру по небольшой спирали над центром площадки.
3. Наведите порядок на сайте.
- Перед отъездом с площадки заберите калибровочные плитки и любое другое оборудование.
ПРИМЕЧАНИЕ: Никогда не оставляйте мусор или оборудование на месте. Всегда оставляйте сайт чище, чем вы его нашли.
Representative Results
В этом примере был сфотографирован участок рифа 2_7, расположенный на рифе Патч 13 в заливе Канеохе, Оаху, Гавайи, и 3 125 фотографий в формате JPEG с цифровой зеркальной камеры и 3 125 кадров в формате JPEG из видео с экшн-камеры (таблица 1) были использованы в качестве входных данных для создания ортофотопланов и 3D-моделей. Общий рабочий процесс состоял из 5 этапов: 1) выравнивание фотографий для генерации разреженного облака точек, 2) масштабирование разреженного облака точек и оптимизация камер, 3) построение плотного облака точек (на этом этапе также были сформированы карты глубины), 4) построение цифровой модели рельефа (ЦМР) и ортофотоплана и 5) создание 3D-модели и текстуры. Обратите внимание, что этапы 4 и 5 не обязательно должны выполняться в таком порядке, но они должны быть выполнены после обработки плотного облака точек и карт глубины. Географическая привязка моделей должна происходить до создания ортофотоплана и ЦМР. Настройки, используемые для этих этапов, и детали обработки изложены в таблице 2 и таблице материалов соответственно.
Для получения более подробной информации о методах создания 3D-моделей и ортофотопланов см. Дополнительный материал и Suka et al.23. Время обработки было короче для модели, полученной из экшн-камеры, для каждого шага, включая генерацию разреженного облака точек, генерацию плотного облака точек, рендеринг модели сетки и рендеринг текстурированной модели. Это привело к значительному сокращению общего времени обработки модели экшн-камеры (6 ч 39 мин), чем модели DSLR (9 ч 14 мин). Точное время обработки модели зависит от вычислительной мощности и конкретных конфигураций оборудования.
Модель, сгенерированная с использованием изображений с цифровой зеркальной камеры, содержала 2 848 358 точек разреженной облачности и 787 450 347 точек плотной облачности, в то время как модель, созданная на основе изображений с камеры действия, содержала только 2 630 543 точки разреженных облаков и 225 835 648 точек плотной облачности. Это привело к тому, что модели DSLR имели более чем в 2 раза большее разрешение, чем модели экшн-камер с разрешением ортофотопланов 0,442 и 0,208 мм/пиксель для моделей, производных от DSLR и экшн-камер, соответственно (таблица 1). Несмотря на лучшее разрешение модели DSLR по сравнению с моделью экшн-камеры, оба метода смогли создать высококачественные модели с небольшой разницей в визуальном представлении, когда площадь рифа ~ 113 м 2 была представлена в виде цифровой модели рельефа 20 см 2 (рис. 2 верхние панели) или 2D-ортофотопланная проекция (рис. 2 средние панели).
Рисунок 1: Фотограмметрия структуры из движения. (А) Пример катушки для контроля расстояния пловца с прикрепленной рукояткой и шестом для точного позиционирования и обработки. (B) Калибровочные плитки. (C) Схема плавательной траектории с взаимным расположением пловца (зеленый) и помощника (оранжевый). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Визуальное сравнение цифровых моделей рельефа и ортофотопланов. Цифровые модели рельефа (вверху) и ортофотопланы (посередине), построенные из изображений зеркальных фотокамер (слева) и экшн-камер (справа). Нижняя панель представляет собой масштабирование областей в белых прямоугольниках на ортофотопланах. Шкалы тепловой карты на верхней панели представляют расстояние от поверхности воды в метрах (м). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| Стоить | ||
| Фотоаппарат | ~$600.00 | ~$220.00 |
| Подводное жилье | ~$1,700.00 | Н.А. |
| Общая стоимость | ~$2,300.00 | ~$220.00 |
| Фотографии | ||
| Формат файла фотографии | .jpeg | .jpeg |
| Разрешение фото | 24 мегапикселя | 12 мегапикселей (из видео 4K) |
| Выровненные фотографии / всего фотографий | 3125 / 3125 | 3125 / 3125 |
| Метрики фотограмметрии | ||
| Разреженные облачные точки | 2,848,358 | 2,630,543 |
| Плотные облачные точки | 787,450,347 | 225,835,648 |
| Лица (3D-модель) | 11,919,451 | 3,834,651 |
| Разрешение цифровой модели рельефа (ЦМР) | 0,831 мм/пиксель | 1,77 мм/пиксель |
| Разрешение ортофотоплана | 0.208 мм/пиксель | 0.442 мм/пиксель |
| Время обработки | ||
| Генерация разреженных облаков | 1 ч 23 мин | 1 ч 27 мин |
| Генерация плотных облаков | 4 ч. | 3 ч 11 мин |
| Рендеринг модели сетки | 3 ч 32 мин | 1 ч 49 мин |
| Рендеринг текстур | 19 мин | 12 мин |
| Общее время компьютерной обработки | 9 ч 14 мин | 6 ч 39 мин |
Таблица 1: Подробная информация о стоимости установки, фотографиях, использованных для построения моделей, метриках фотограмметрии и времени обработки. Обработка производилась с использованием одинаковых настроек для обеих моделей. Обратите внимание, что время обработки не включает время на различные этапы, такие как редактирование фотографий, извлечение изображений из видео, повторное выравнивание фотографий, а также редактирование и масштабирование моделей.
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| Изображения | ||
| Средний размер файла | ~ 8.3 МБ | ~ 4.7 МБ |
| Фотосъемка | Непрерывный режим | Извлечено из видео 4K |
| Цветокоррекция | Вручную | Вручную |
| Коррекция объектива | Нет | Да |
| Настройки процесса фотограмметрии | ||
| Генерация разреженных облаков | Точность: высокая | Точность: высокая |
| Ключевая точка: 40,000 | Ключевая точка: 40,000 | |
| Ничья: 4,000 | Ничья: 4,000 | |
| Общий предварительный отбор: Да | Общий предварительный отбор: Да | |
| Генерация плотных облаков | Среднее качество | Среднее качество |
| Генерация 3D-модели сетки | ||
| Исходные данные: | Карты глубины | Карты глубины |
| Качество: | Терпимая | Терпимая |
| Количество лиц: | Низкий | Низкий |
| Интерполяция: | Включен | Включен |
| Вычислите цвета вершин: | Да | Да |
| Генерация 3D-текстур | ||
| Тип текстуры: | Диффузная карта | Диффузная карта |
| Исходные данные: | Изображения | Изображения |
| Режим картографирования: | Родовой | Родовой |
| Режим наложения: | Мозаика | Мозаика |
| Размер/количество текстур: | 4096 / 1 | 4096 / 1 |
| Цифровая модель рельефа (ЦМР) | Из плотного облака | Из плотного облака |
| Ортофотоплан | Из DEM | Из DEM |
Таблица 2: Подробная информация о собранных изображениях и фотограмметрической обработке. Обработка производилась с использованием одинаковых настроек для обеих моделей.
Дополнительный материал. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.
Discussion
Это исследование показывает, что как цифровая зеркальная камера, так и экшн-камера позволяют создавать модели с разрешением более 0,5 мм/пиксель менее чем за 10 часов обработки на стандартном настольном компьютере. Основным компромиссом между цифровой зеркальной камерой и экшн-камерой, помимо стоимости, является более высокое разрешение по сравнению с более быстрым временем обработки, соответственно. Однако заявленное время обработки включает только вычислительную обработку. Таким образом, несмотря на то, что вычислительное время для экшн-камеры меньше, на извлечение изображения из видео тратится значительное количество времени (10-20 минут), которое не требуется с DSLR. Альтернативой является использование экшн-камеры в режиме непрерывной съемки, чтобы избежать извлечения изображения. Режим непрерывной съемки в этом примере не использовался, так как экшн-камера может снимать только со скоростью 2 кадра в секунду, что требует значительно меньшей скорости плавания для сбора достаточного количества изображений для создания полной модели. В связи с этим существует компромисс между более длительным временем в полевых условиях в режиме непрерывной съемки и более длительным временем на компьютере, извлечением изображений при использовании режима видео.
К преимуществам экшн-камеры можно отнести доступность и простоту транспортировки и эксплуатации под водой. Основное преимущество зеркальной камеры заключается в том, что она производит изображения с более высоким разрешением; следовательно, зеркальные камеры рекомендуются по сравнению с экшн-камерами, когда первые не являются непомерно дорогими. Вопросы, на которые направлено исследование, также будут важны при определении используемого метода. Например, экшн-камера может быть предпочтительнее в относительно однородных средах (например, заросли морских водорослей, мертвые места обитания кораллов / щебня) или там, где только широкие показатели сообщества (такие как численность, разнообразие) оцениваются в больших пространственных масштабах. Тем не менее, цифровая зеркальная камера может быть развернута в тех случаях, когда представляет интерес отслеживание мелкомасштабных изменений в отдельных организмах или субстратах.
Поскольку это полевой метод, результаты моделирования будут зависеть от различных факторов окружающей среды, таких как освещение, прозрачность воды, состояние поверхности, величина нагона и движение рыбы или нестационарных бентических структур (например, морской травы). Несмотря на то, что не существует абсолютных порогов того, когда целесообразно использовать этот метод, слегка пасмурные дни с высокой прозрачностью воды, спокойными поверхностными условиями и небольшим нагоном обычно дают лучшие модели. Более того, существует ограничение на минимальную глубину, необходимую для этих методов. Эти методы плохо работают в условиях, когда на расстоянии менее 0,5 м воды из-за небольшого перекрытия между фотографиями и меньшего количества отличительных признаков на фотографии. Тем не менее, это подчеркивает еще одно преимущество экшн-камеры, а именно то, что они меньше и, следовательно, их легче использовать на меньших глубинах. Кроме того, катушка меньшего диаметра и более высокая частота кадров (или более широкоугольный объектив) могут улучшить перекрытие изображения в очень мелких условиях9.
С помощью этого подхода можно интегрировать многие другие типы данных. Например, ортофотопланы были использованы для отображения пространственной плотности молекулярных данных (например, генов и метаболитов) на кораллах 24 и людях 25 с использованием программного обеспечения с открытым исходным кодом «ili'26». Эта же платформа может быть использована для картирования пространственной плотности животных, микроорганизмов, вирусов и/или химических веществ в окружающей среде. В других примерах SfM использовался для пространственного аннотирования бентических видов на ортофотопланах с использованием программного обеспечения10 географической информационной системы. Кроме того, 3D-модели, созданные SfM, могут быть использованы для оценки характеристик среды обитания, таких как рубцовость и фрактальная размерность. Действительно, методы, изложенные здесь, были недавно использованы для получения новой геометрической теории для поверхностей среды обитания10. Наконец, ортофотопланы используются в качестве входных поверхностей для пространственно явных вычислительных моделей, что позволяет накладывать динамическое моделирование на 3D-поверхность модели. Возможность легко создавать большие изображения и 3D-представления бентических местообитаний позволила ученым-океанологам решить доселе невообразимые вопросы3.
В целом, вот подробный протокол проведения подводной фотограмметрии SfM с помощью цифровых зеркальных камер или более экономичных экшн-камер. Эти методы могут быть использованы учеными для широкого круга целей, от извлечения данных о бентических экосистемах до разработки 3D-входных поверхностей для моделирования in silico . Тем не менее, эти протоколы также могут использоваться неучеными в рамках усилий гражданской науки по сбору ценной информации о закономерностях биоразнообразия, сложности среды обитания, структуре сообщества и других экологических показателях.
Disclosures
У авторов нет конкурирующих финансовых интересов или других конфликтов интересов.
Acknowledgments
Мы благодарим Фонд семьи Пола Г. Аллена за финансирование этого исследования и благодарны Рут Гейтс за вдохновение использовать технологии для сохранения рифов. Мы также благодарим NOAA и других сотрудников за вдумчивое обсуждение этих методов. Наконец, мы благодарим Кэти Фоли и Патрика Николса за предоставление беспилотного и подводного видео этих методов.
Мы признаем Национальный фонд рыбы и дикой природы в качестве партнера по финансированию этой работы.
Materials
| Name | Company | Catalog Number | Comments |
| Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
| Adobe Lightroom | Adobe | Color correction | |
| Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
| DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
| Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
| Micro SDXC memory card (for GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
| SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
| Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
| Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
| Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |
References
- Levy, J., Hunter, C., Lukacazyk, T., Franklin, E. C. Assessing the spatial distribution of coral bleaching using small unmanned aerial systems. Coral Reefs. 37 (2), 373-387 (2018).
- Muller-Karger, F. E., et al. Satellite sensor requirements for monitoring essential biodiversity variables of coastal ecosystems. Ecological Applications. 28 (3), 749-760 (2018).
- Dornelas, M., et al. Towards a macroscope: Leveraging technology to transform the breadth, scale and resolution of macroecological data. Global Ecology and Biogeography. 28, 1937-1948 (2019).
- Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 2015 (3), 1077 (2015).
- House, J. E., et al. Moving to 3D: Relationships between coral planar area, surface area and volume. PeerJ. 2018 (6), 4280 (2018).
- Carlot, J., et al. Community composition predicts photogrammetry-based structural complexity on coral reefs. Coral Reefs. , 1-9 (2020).
- Young, G. C., Dey, S., Rogers, A. D., Exton, D. Cost and time-effective method for multi-scale measures of rugosity, fractal dimension, and vector dispersion from coral reef 3D models. PloS ONE. 12 (4), 0175341 (2017).
- Wilson, S. K., Robinson, J. P. W., Chong-Seng, K., Robinson, J., Graham, N. A. J. Boom and bust of keystone structure on coral reefs. Coral Reefs. 38 (4), 625-635 (2019).
- Pizarro, O., Friedman, A., Bryson, M., Williams, S. B., Madin, J. A simple, fast, and repeatable survey method for underwater visual 3D benthic mapping and monitoring. Ecology and Evolution. 7 (6), 1770-1782 (2017).
- Torres-Pulliza, D., et al. A geometric basis for surface habitat complexity and biodiversity. Nature Ecology & Evolution. 4, 1495-1501 (2020).
- Bayley, D., Mogg, A., Koldewey, H., Purvis, A. Capturing complexity: field-testing the use of 'structure from motion'derived virtual models to replicate standard measures of reef physical structure. PeerJ. 2019 (7), 6540 (2019).
- Leon, J. X., Roelfsema, C. M., Saunders, M. I., Phinn, S. R. Measuring coral reef terrain roughness using 'Structure-from-Motion' close-range photogrammetry. Geomorphology. 242, 21-28 (2015).
- Burns, J. H. R., et al. Assessing the impact of acute disturbances on the structure and composition of a coral community using innovative 3D reconstruction techniques. Methods in Oceanography. 15-16, 49-59 (2016).
- Edwards, C. B., et al. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36, 1291-1305 (2017).
- Piazza, P., et al. Underwater photogrammetry in Antarctica: long-term observations in benthic ecosystems and legacy data rescue. Polar Biology. 42 (6), 1061-1079 (2019).
- Bonney, R., et al. Citizen science: A developing tool for expanding science knowledge and scientific literacy. BioScience. 59 (11), 977-984 (2009).
- Dickinson, J. L., Zuckerberg, B., Bonter, D. N. Citizen science as an ecological research tool: Challenges and benefits. Annual Review of Ecology, Evolution, and Systematics. 41 (1), 149-172 (2010).
- Storlazzi, C. D., Dartnell, P., Hatcher, G., Gibbs, A. E. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).
- Ventura, D., Lasinio, G. J., Belluscio, A., Ardizzone, G. A low-cost drone based application for identifying and mapping of coastal fish nursery grounds Feeding ecology View project Habitat use of juvenile Diplodus species View project. Estuarine Coastal and Shelf Science. 171, 85-98 (2016).
- Ventura, D., Bonifazi, A., Gravina, M. F., Belluscio, A., Ardizzone, G. Mapping and classification of ecologically sensitive marine habitats using unmanned aerial vehicle (UAV) imagery and object-based image analysis (OBIA). Remote Sensing. 10 (9), 1331 (2018).
- George, E. E., et al. Relevance of coral geometry in the outcomes of the coral-algal benthic war. bioRxiv. , (2018).
- Anelli, M., et al. Towards new applications of underwater photogrammetry for investigating coral reef morphology and habitat complexity in the Myeik Archipelago, Myanmar. Geocarto International. 34 (5), 459-472 (2017).
- Suka, R., et al. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. U.S. Dept. of Commerce, NOAA Technical Memorandum NOAA-TM-NMFS-PIFSC-93. , (2019).
- Galtier d'Auriac, I., et al. Before platelets: the production of platelet-activating factor during growth and stress in a basal marine organism. Proceedings of the Royal Society B: Biological Sciences. 285 (1884), 20181307 (2018).
- Bouslimani, A., et al. Molecular cartography of the human skin surface in 3D. Proceedings of the National Academy of Sciences of the United States of America. 112 (17), 2120-2129 (2015).
- Protsyuk, I., et al. 3D molecular cartography using LC-MS facilitated by Optimus and 'ili software. Nature Protocols. 13 (1), 134-154 (2018).
