Мы предоставляем подробный протокол проведения фотограмметрии подводных структур по движению для создания 3D-моделей и ортофотопланов.
Фотограмметрия структуры из движения (SfM) — это метод, используемый для создания трехмерных (3D) реконструкций из последовательности двумерных (2D) изображений. Методы SfM становятся все более популярными в качестве неинвазивного способа мониторинга многих систем, включая антропогенные и природные ландшафты, геологические структуры, а также наземные и водные экосистемы. Здесь представлен подробный протокол сбора изображений SfM для создания 3D-моделей бентических местообитаний. Кроме того, были сопоставлены стоимость, эффективность использования цифровой зеркальной камеры с одним объективом (DSLR) по сравнению с менее дорогой экшн-камерой. Наблюдался компромисс между вычислительным временем и разрешением: цифровая зеркальная камера производила модели с более чем вдвое большим разрешением, но занимала примерно в 1,4 раза больше времени, чем экшн-камера. Цель настоящего учебного пособия состоит в том, чтобы дать подробное описание шагов, необходимых для сбора данных о SfM в бентических местообитаниях, для тех, кто не знаком с этим методом, а также для тех, кто уже использует аналогичные методы.
Экосистемные процессы по своей природе динамичны и могут быть трудно поддаются количественной оценке. В последнее десятилетие наблюдается всплеск новых технологий захвата экосистем и их динамики в различных масштабах от лазерного 3D-сканирования отдельных объектов экосистем до спутникового дистанционного зондирования больших территорий 1,2,3. В бентических местообитаниях структура тесно связана с функциейэкосистемы 8, что делает инструменты, которые одновременно позволяют отслеживать геометрию и структуру сообщества, особенно ценными для понимания экологической динамики. Однако многие современные подходы не могут быть использованы в водных системах из-за физических свойств воды (например, преломление, искажение, мутность). Такие методы, как LiDAR (обнаружение света и определение дальности) и некоторые методы аэрофотосъемки, могут быть пригодны для работы в больших пространственных масштабах, но не могут получить разрешение, необходимое для оценки мелкомасштабных изменений в бентических местообитаниях. Методы фотограмметрии «структура из движения» (SfM) недавно были адаптированы для создания крупномасштабных ортофотопланов с высоким разрешением и 3D-моделей поверхности подводных средобитания 4,5,6,7.
Фотограмметрия SfM является относительно недорогим, простым, неинвазивным и воспроизводимым методом, который позволяет получать крупномасштабные записи бентической среды в водных экосистемах с высоким разрешением9. SfM использует последовательность 2D-изображений для создания реконструкций 3D-моделей. Модели, полученные на основе SfM, могут быть использованы для сбора данных о структурной сложности (например, грубость, размерность)4,5,10,11,12 и структуре сообществ (например, видовом составе, демографии населения)13,14,15 бентосных экосистем. Кроме того, поскольку этот метод является относительно недорогим, быстрым и воспроизводимым, он может использоваться как учеными, так и неучеными для сбора ценной, объективной информации об этих экосистемах. Таким образом, этот метод является жизнеспособным методом для использования в проектах гражданской науки, где стандартизация усилий по выборке, минимизация предвзятости, вовлечение участников и простота обучения имеют жизненно важное значение для качества данных и общего успеха16,17.
В данной статье приведен подробный протокол проведения подводных съемок СФМ. В то же время использование цифровой зеркальной камеры сравнивается с использованием более экономичной «экшн-камеры», и описываются относительные преимущества и недостатки каждой из них. Общая цель состоит в том, чтобы как можно скорее ознакомить ученых и неученых с методами бентосной съемки SfM путем предоставления простого, широко используемого протокола, что, в свою очередь, будет способствовать более широкому использованию этого метода. Примеры исследований, в которых применялись вариации этого метода для изучения подводных экологических сообществ, см. в Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 и 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 и Torres-Pulliza et al. (2020)10.
Метод, описанный здесь, требует команды подводного плавания или подводного плавания из двух человек. После того, как место съемки выбрано, в центре площадки размещается катушка с линией (рис. 1А), а калибровочные плитки (рис. 1Б) распределяются на расстоянии ~2 м от центра. Один человек (пловец) плавает с камерой и делает снимки участка, в то время как второй человек (помощник) ухаживает за катушкой в центре участка (рис. 1C). Сначала пловец подключает камеру к катушке через леску, а затем начинает делать непрерывные снимки бентоса, плавая лицом вниз и вперед, чтобы размотать леску с катушки. Пловец должен постоянно поддерживать вертикальное расстояние ~ 1 м над субстратом, регулируя свое положение в соответствии с топографией во время плавания. Важно отметить, что леска, соединяющая катушку и камеру, должна всегда оставаться натянутой, чтобы создать равномерное расстояние в спирали, когда пловец осматривает участок. Помощник поддерживает катушку в устойчивом вертикальном положении и следит за тем, чтобы катушка не вращалась и чтобы леска не запутывалась.
Как только леска полностью размотана, пловец останавливается, поворачивается и плывет в противоположном направлении, чтобы откатить леску вокруг катушки. Когда пловец меняет направление, помощник поворачивает катушку, чтобы намотать леску, ровно на 180°, чтобы предотвратить точное перекрытие исходящей траектории. Как только пловец оказывается как можно ближе к центру, камера отсоединяется от лески, а ассистент берет катушку и леску и уплывает от центральной части площадки. Затем пловец заканчивает съемку центра сюжета, перемещая камеру по небольшой спирали над центром. Несмотря на то, что существует несколько способов эффективного изображения местности, описанный здесь метод «катушка и леска» надежен даже в неидеальных условиях окружающей среды, где неспокойные поверхностные воды, зыбь или плохая видимость могут в противном случае препятствовать сбору данных. В этих сценариях этот метод удерживает подводников / дайверов и обеспечивает сильное перекрытие изображений, удерживая пловца на контролируемой траектории.
Это исследование показывает, что как цифровая зеркальная камера, так и экшн-камера позволяют создавать модели с разрешением более 0,5 мм/пиксель менее чем за 10 часов обработки на стандартном настольном компьютере. Основным компромиссом между цифровой зеркальной камерой и экшн-камерой, помимо стоимости, является более высокое разрешение по сравнению с более быстрым временем обработки, соответственно. Однако заявленное время обработки включает только вычислительную обработку. Таким образом, несмотря на то, что вычислительное время для экшн-камеры меньше, на извлечение изображения из видео тратится значительное количество времени (10-20 минут), которое не требуется с DSLR. Альтернативой является использование экшн-камеры в режиме непрерывной съемки, чтобы избежать извлечения изображения. Режим непрерывной съемки в этом примере не использовался, так как экшн-камера может снимать только со скоростью 2 кадра в секунду, что требует значительно меньшей скорости плавания для сбора достаточного количества изображений для создания полной модели. В связи с этим существует компромисс между более длительным временем в полевых условиях в режиме непрерывной съемки и более длительным временем на компьютере, извлечением изображений при использовании режима видео.
К преимуществам экшн-камеры можно отнести доступность и простоту транспортировки и эксплуатации под водой. Основное преимущество зеркальной камеры заключается в том, что она производит изображения с более высоким разрешением; следовательно, зеркальные камеры рекомендуются по сравнению с экшн-камерами, когда первые не являются непомерно дорогими. Вопросы, на которые направлено исследование, также будут важны при определении используемого метода. Например, экшн-камера может быть предпочтительнее в относительно однородных средах (например, заросли морских водорослей, мертвые места обитания кораллов / щебня) или там, где только широкие показатели сообщества (такие как численность, разнообразие) оцениваются в больших пространственных масштабах. Тем не менее, цифровая зеркальная камера может быть развернута в тех случаях, когда представляет интерес отслеживание мелкомасштабных изменений в отдельных организмах или субстратах.
Поскольку это полевой метод, результаты моделирования будут зависеть от различных факторов окружающей среды, таких как освещение, прозрачность воды, состояние поверхности, величина нагона и движение рыбы или нестационарных бентических структур (например, морской травы). Несмотря на то, что не существует абсолютных порогов того, когда целесообразно использовать этот метод, слегка пасмурные дни с высокой прозрачностью воды, спокойными поверхностными условиями и небольшим нагоном обычно дают лучшие модели. Более того, существует ограничение на минимальную глубину, необходимую для этих методов. Эти методы плохо работают в условиях, когда на расстоянии менее 0,5 м воды из-за небольшого перекрытия между фотографиями и меньшего количества отличительных признаков на фотографии. Тем не менее, это подчеркивает еще одно преимущество экшн-камеры, а именно то, что они меньше и, следовательно, их легче использовать на меньших глубинах. Кроме того, катушка меньшего диаметра и более высокая частота кадров (или более широкоугольный объектив) могут улучшить перекрытие изображения в очень мелких условиях9.
С помощью этого подхода можно интегрировать многие другие типы данных. Например, ортофотопланы были использованы для отображения пространственной плотности молекулярных данных (например, генов и метаболитов) на кораллах 24 и людях 25 с использованием программного обеспечения с открытым исходным кодом «ili’26». Эта же платформа может быть использована для картирования пространственной плотности животных, микроорганизмов, вирусов и/или химических веществ в окружающей среде. В других примерах SfM использовался для пространственного аннотирования бентических видов на ортофотопланах с использованием программного обеспечения10 географической информационной системы. Кроме того, 3D-модели, созданные SfM, могут быть использованы для оценки характеристик среды обитания, таких как рубцовость и фрактальная размерность. Действительно, методы, изложенные здесь, были недавно использованы для получения новой геометрической теории для поверхностей среды обитания10. Наконец, ортофотопланы используются в качестве входных поверхностей для пространственно явных вычислительных моделей, что позволяет накладывать динамическое моделирование на 3D-поверхность модели. Возможность легко создавать большие изображения и 3D-представления бентических местообитаний позволила ученым-океанологам решить доселе невообразимые вопросы3.
В целом, вот подробный протокол проведения подводной фотограмметрии SfM с помощью цифровых зеркальных камер или более экономичных экшн-камер. Эти методы могут быть использованы учеными для широкого круга целей, от извлечения данных о бентических экосистемах до разработки 3D-входных поверхностей для моделирования in silico . Тем не менее, эти протоколы также могут использоваться неучеными в рамках усилий гражданской науки по сбору ценной информации о закономерностях биоразнообразия, сложности среды обитания, структуре сообщества и других экологических показателях.
The authors have nothing to disclose.
Мы благодарим Фонд семьи Пола Г. Аллена за финансирование этого исследования и благодарны Рут Гейтс за вдохновение использовать технологии для сохранения рифов. Мы также благодарим NOAA и других сотрудников за вдумчивое обсуждение этих методов. Наконец, мы благодарим Кэти Фоли и Патрика Николса за предоставление беспилотного и подводного видео этих методов.
Мы признаем Национальный фонд рыбы и дикой природы в качестве партнера по финансированию этой работы.
Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
Adobe Lightroom | Adobe | Color correction | |
Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
Micro SDXC memory card (for GoPro) | |||
Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |