우리는 3D 모델과 정사모자이크를 생성하기 위해 수중 움직임 사진 측량 조사를 수행하기 위한 자세한 프로토콜을 제공합니다.
SfM(Structure-from-motion) 사진 측량은 일련의 2차원(2D) 이미지에서 3차원(3D) 재구성을 생성하는 데 사용되는 기술입니다. SfM 방법은 인위적 및 자연 경관, 지질 구조, 육상 및 수생 생태계를 포함한 많은 시스템을 모니터링하는 비침습적 방법으로 점점 더 대중화되고 있습니다. 여기서는 저서 서식지의 3D 모델을 생성하기 위해 SfM 이미지를 수집하기 위한 자세한 프로토콜이 제공됩니다. 또한 DSLR(Digital Single Lens Reflex) 카메라를 사용하는 비용과 저렴한 액션 카메라를 사용하는 비용, 시간 효율성 및 출력 품질을 비교했습니다. 계산 시간과 해상도 사이의 균형이 관찰되었으며, DSLR 카메라는 해상도가 두 배 이상 높지만 액션 카메라보다 제작하는 데 약 1.4배 더 오래 걸리는 모델을 제작했습니다. 이 입문서는 기술에 익숙하지 않은 사람들과 이미 유사한 방법을 사용하는 사람들을 위해 저서 서식지에서 SfM 데이터를 수집하는 데 필요한 단계에 대한 철저한 설명을 제공하는 것을 목표로 합니다.
생태계 프로세스는 자연적으로 역동적이며 정량화하기 어려울 수 있습니다. 지난 10년 동안 개별 생태계 특징의 3D 레이저 스캐닝에서 넓은 지역의 위성 원격 감지에 이르기까지 다양한 규모로 생태계와 그 역학을 포착하기 위한 새로운 기술이 급증했습니다 1,2,3. 저서 서식지에서 구조는 생태계 기능8과 밀접하게 연결되어 있어 기하학과 군집 구조를 동시에 모니터링할 수 있는 도구가 되어 생태학적 역학을 이해하는 데 특히 유용하다. 그러나 많은 현대적인 접근법은 물의 물리적 특성 (예 : 굴절, 왜곡, 탁도)으로 인해 수생 시스템에서 사용할 수 없습니다. LiDAR (Light Detection and Ranging) 및 일부 항공 측량 방법과 같은 기술은 대규모 공간 규모에 적합 할 수 있지만 저서 서식지의 미세한 규모 변화를 평가하는 데 필요한 해상도를 얻을 수 없습니다. SfM(Structure-from-Motion) 사진 측량 방법은 최근 수중 서식지 4,5,6,7의 대규모, 고해상도 정사모자이크 및 3D 표면 모델을 생성하기 위해 채택되었습니다.
SfM 사진 측량은 상대적으로 저렴하고 간단하며 비침습적이며 반복 가능한 방법으로, 수생 생태계의 저서 환경에 대한 대규모 고해상도 기록을 생성할 수 있다9. SfM은 일련의 2D 이미지를 사용하여 3D 모델 재구성을 생성합니다. SfM에서 생성된 모델은 저서 생태계의 구조적 복잡성(예: 견고성, 차원)4,5,10,11,12 및 군 집 구조(예: 종 구성, 인구 통계)13,14,15에 대한 데이터를 수집하는 데 사용할 수 있습니다. 또한 이 방법은 비교적 저렴하고 빠르며 반복 가능하기 때문에 과학자와 비과학자 모두가 이러한 생태계에 대한 가치 있고 객관적인 정보를 수집하는 데 사용할 수 있습니다. 따라서 이 방법은 샘플링 노력의 표준화, 편향 최소화, 참가자 참여 및 교육 용이성이 데이터 품질과 전반적인 성공에 필수적인 시민 과학 프로젝트에서 사용할 수 있는 실행 가능한 기술입니다16,17.
이 기사는 수중 SfM 조사를 수행하기 위한 자세한 프로토콜을 제공합니다. 동시에 DSLR 카메라의 사용은보다 비용 효율적인 ‘액션 카메라’의 사용과 비교되었으며 각각의 상대적인 장점과 단점이 설명되었습니다. 전반적인 목표는 간단하고 일반적으로 사용되는 프로토콜을 제공하여 과학자와 비과학자가 저서 SfM 측량 방법을 가능한 한 빨리 익히고 이 방법의 사용을 보다 널리 촉진하는 것입니다. 수중 생태 공동체를 연구하기 위해 이 방법의 변형을 적용한 연구의 예는 Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al. (2016 및 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 및 Torres-Pulliza et al. (2020)10.
여기에 설명된 방법에는 2인으로 구성된 스노클링 또는 스쿠버 팀이 필요합니다. 측량 사이트를 선택한 후 선의 스풀(그림 1A)이 사이트 중앙에 배치되고 보정 타일(그림 1B)이 중심에서 ~2m 떨어진 곳에 분포됩니다. 한 사람(수영 선수)은 카메라와 함께 수영하고 현장의 이미지를 캡처하는 반면, 두 번째 사람(조수)은 플롯 중앙에서 스풀을 돌봅니다(그림 1C). 먼저 수영 선수는 라인을 통해 카메라를 스풀에 연결한 다음 스풀에서 라인을 풀기 위해 앞면이 아래로 향하고 앞으로 수영하면서 벤토의 연속 사진을 찍기 시작합니다. 수영자는 항상 기판에서 ~1m의 수직 거리를 유지해야 하며, 수영할 때 지형의 위치와 일치하도록 위치를 조정해야 합니다. 중요한 것은 스풀과 카메라를 연결하는 선이 항상 팽팽하게 유지되어 수영 선수가 플롯을 조사할 때 나선형에 균일한 간격을 만들어야 한다는 것입니다. 어시스턴트는 스풀을 안정적이고 똑바로 세우는 위치에 유지하고 스풀이 회전하지 않고 라인이 엉키지 않도록 합니다.
줄이 완전히 풀리면 수영 선수는 멈추고 회전하고 반대 방향으로 수영하여 스풀 주위의 줄을 반동합니다. 수영 선수가 방향을 바꾸면 어시스턴트가 스풀을 돌려 라인을 정확히 180° 감아 나가는 경로가 정확히 겹치는 것을 방지합니다. 수영 선수가 가능한 한 중앙에 가까워지면 카메라가 라인에서 분리되고 어시스턴트가 스풀과 라인을 잡고 사이트의 중앙 부분에서 수영합니다. 그런 다음 수영 선수는 카메라를 중앙 위로 작은 나선형으로 움직여 플롯의 중심 이미징을 마칩니다. 영역을 효과적으로 이미지화하는 방법에는 여러 가지가 있지만 여기에 설명된 스풀 앤 라인 방법은 고르지 못한 지표수, 팽창 또는 낮은 가시성이 데이터 수집을 방해할 수 있는 이상적이지 않은 환경 조건에서도 강력합니다. 이러한 시나리오에서 이 방법은 스노클러/다이버를 부착된 상태로 유지하고 수영 선수를 통제된 경로에 유지하여 이미지의 높은 겹침을 보장합니다.
이 연구는 DSLR 카메라와 액션 카메라 모두 표준 데스크톱 컴퓨터에서 10시간 미만의 처리 시간으로 0.5mm/픽셀 이상의 해상도를 가진 모델을 생성한다는 것을 보여줍니다. 비용을 제외하고 DSLR과 액션 카메라의 주요 절충안은 각각 더 미세한 해상도와 더 빠른 처리 시간입니다. 그러나 보고된 처리 시간에는 계산 처리만 포함됩니다. 따라서 액션 카메라의 계산 시간은 더 짧지만 DSLR에서는 필요하지 않은 비디오에서 이미지를 추출하는 데 상당한 시간(10-20분)이 투자됩니다. 대안은 이미지 추출을 피하기 위해 연속 촬영 모드에서 액션 카메라를 사용하는 것입니다. 이 예에서는 액션 카메라가 2fps로만 촬영할 수 있기 때문에 연속 촬영 모드가 사용되지 않았으며, 이는 완전한 모델을 구축하기에 충분한 이미지를 수집하기 위해 상당히 느린 수영 속도가 필요합니다. 이와 관련하여 비디오 모드를 사용할 때 연속 촬영 모드를 사용하는 현장에서 더 긴 시간과 컴퓨터에서 더 긴 시간, 이미지를 추출하는 것 사이에는 절충점이 있습니다.
액션 카메라의 장점은 경제성과 수중 운송 및 작동 용이성입니다. DSLR의 가장 큰 장점은 고해상도 이미지를 생성한다는 것입니다. 따라서 DSLR 카메라는 비용이 많이 들지 않는 액션 카메라보다 권장됩니다. 연구가 다루고자 하는 질문의 종류도 사용된 방법을 결정하는 데 중요합니다. 예를 들어, 액션 카메라는 상대적으로 균질한 환경(예: 해초 침대, 죽은 산호/잔해 서식지) 또는 광범위한 커뮤니티 메트릭(예: 풍부함, 다양성)만 큰 공간 규모에서 평가되는 환경에서 선호될 수 있습니다. 그러나 DSLR 카메라는 개별 유기체 또는 기질의 미세한 변화를 추적하는 데 관심이 있는 경우에 배치될 수 있습니다.
이것은 현장 방법이기 때문에 모델 출력은 조명, 물의 투명도, 표면 상태, 서지 양, 물고기 또는 고정되지 않은 저서 구조물(예: 해초)의 움직임과 같은 다양한 환경 요인에 따라 달라집니다. 이 방법을 사용하는 것이 적절한시기에 대한 절대적인 임계 값은 없지만 물의 선명도가 높고 표면 상태가 차분하며 파도가 거의없는 약간 흐린 날은 일반적으로 최상의 모델을 생성합니다. 또한 이러한 방법에 필요한 최소 깊이에는 제한이 있습니다. 이러한 방법은 사진 간의 겹침이 적고 사진당 구별되는 특징이 적기 때문에 수심이 0.5m 미만인 조건에서는 잘 작동하지 않습니다. 그러나 이것은 액션 카메라의 또 다른 장점, 즉 더 작아서 더 얕은 깊이에서 사용하기가 더 쉽다는 점을 강조합니다. 또한, 더 작은 직경의 스풀과 더 높은 프레임 속도(또는 더 넓은 각도의 렌즈)는 매우 얕은 조건에서 이미지 오버랩을 향상시킬 수 있다9.
다른 많은 데이터 유형을 이 접근 방식과 통합할 수 있습니다. 예를 들어, 정사모자이크는 오픈 소스 소프트웨어 ‘ili’26을 사용하여 산호(24)와 인간(25)에 대한 분자 데이터(예: 유전자 및 대사 산물)의 공간 밀도를 표시하는 데 사용되었습니다. 동일한 플랫폼을 사용하여 환경에서 동물, 미생물, 바이러스 및/또는 화학 물질의 공간 밀도를 매핑할 수도 있습니다. 다른 예들은 지리 정보 시스템 소프트웨어(10)를 사용하여 정사모자이크(orthomosaics)에 저서 종(benthic species)을 공간적으로 주석을 달기 위해 SfM을 사용하였다. 또한 SfM에서 생성된 3D 모델을 사용하여 견고성 및 프랙탈 치수와 같은 서식지 특성을 추정할 수 있습니다. 실제로, 여기에 요약된 방법들은 서식지 표면에 대한 새로운 기하학적 이론을 도출하기 위해 최근에 사용되었다10. 마지막으로, 정사모자이크는 공간적으로 명시적인 계산 모델의 입력 표면으로 사용되어 동적 시뮬레이션을 모델의 3D 표면에 오버레이할 수 있습니다. 저서 서식지의 큰 이미지와 3D 표현을 쉽게 생성할 수 있게 됨으로써 해양 과학자들은 지금까지 상상도 할 수 없었던 질문에 답할 수 있게 되었습니다3.
전반적으로, 다음은 DSLR 카메라 또는 보다 비용 효율적인 액션 카메라로 수중 SfM 사진 측량을 수행하기 위한 자세한 프로토콜입니다. 이러한 방법은 저서 생태계에 대한 데이터 추출에서 인실리코 시뮬레이션을 위한 3D 입력 표면 개발에 이르기까지 광범위한 목적으로 과학자들이 사용할 수 있습니다. 그러나 이러한 프로토콜은 생물 다양성, 서식지 복잡성, 지역 사회 구조 및 기타 생태 지표의 패턴에 대한 귀중한 정보를 수집하기 위한 시민 과학 노력의 일환으로 비과학자도 사용할 수 있습니다.
The authors have nothing to disclose.
이 연구에 자금을 지원해 주신 Paul G. Allen Family Foundation에 감사드리며, 산호초를 보존하는 데 도움이 되는 기술을 사용할 수 있도록 영감을 준 Ruth Gates에게도 감사드립니다. 또한 이러한 방법에 대해 사려 깊은 토론을 해주신 NOAA 및 기타 협력자들에게 감사드립니다. 마지막으로, 이러한 방법에 대한 드론과 수중 비디오를 제공한 Catie Foley와 Patrick Nichols에게 감사드립니다.
우리는 국립 어류 및 야생 동물 재단 (National Fish and Wildlife Foundation)이이 작업의 자금 지원 파트너임을 인정합니다.
Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
Adobe Lightroom | Adobe | Color correction | |
Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
Micro SDXC memory card (for GoPro) | |||
Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |