Cohoused 수 중 동물의 장기 비디오 추적: 노르웨이 가재 (Nephrops norvegicus)의 매일 운동 활동의 사례 연구
Summary
여기 우리는 개별적으로 시간의 긴 기간 동안 동물을 추적 하는 프로토콜을 제시. 컴퓨터 비전 사례 연구, 집, 하는 방법에 정보를 제공 하는 동시에로 랍 스타의 그룹을 사용 하 여 수동으로 생성 된 태그의 집합을 식별 하는 방법을 조작 및 표시는 랍 스타를 사용 합니다.
Abstract
선물이 배경 빼기와 cohoused 동물을 개별적으로 추적할 수 있게 해 주는 이미지 임계 처리 기반 비디오 추적 기술에 관련 된 프로토콜. 5 일 동안 암흑 빛 조건에서 4 개의 cohoused 노르웨이 가재 (Nephrops norvegicus)와 추적 루틴 테스트. 랍 스타는 개별적으로 태그 했다. 실험 설정 및 사용 하는 추적 기술을 완전히 오픈 소스 소프트웨어에 근거한 다. 수동 감지 추적 출력의 비교는 랍 스타 잘못 했다 나타냅니다 시간의 69%를 발견. 올바르게 감지 바닷가재 가운데 그들의 개별 태그 제대로 했다 시간의 89.5%를 발견. 프로토콜에 사용 되는 프레임 속도 랍 스타의 운동 속도, 고려 비디오 추적의 성능 좋은 품질 있으며 대표적인 결과 지원 프로토콜의 타당성 연구 필요 (개인에 대 한 귀중 한 데이터를 생성 공간 점령 또는 운동 활동 패턴)입니다. 여기에 제시 된 프로토콜 쉽게 사용자 정의할 수 있습니다 그리고, 따라서, 표본 그룹에서의 개별 추적 연구 질문에 대 한 중요 한 될 수 있는 다른 종에 게 양도할 수 있다.
Introduction
지난 몇 년 동안, 자동된 이미지 기반 추적 생태학과 행동 분야1기본적인 질문을 탐구 하는 데 사용할 수 있는 매우 정확한 데이터를 제공 하고있다. 동물의 행동2,3의 정량 분석을 위해 이러한 데이터 집합을 사용할 수 있습니다. 그러나, 동물 및 행동 평가 추적 하는 데 사용 되는 각 이미지 방법론의 장점과 한계는 있습니다. 동물4,,56을 추적 하는 영화에서 이전 프레임에서 공간 정보를 사용 하는 이미지 기반 추적 프로토콜 오류 수 소개 때 두 동물의 경로. 이러한 오류는 일반적으로 가역 하지 않으며 시간을 통해 전파 합니다. 감소 또는 거의이 문제5,7을 제거 하는 진보에 대 한 계산에 불구 하 고 이러한 기술을 여전히 균질 실험 환경 정확한 동물 식별 및 추적에 대 한 필요 합니다.
동물에 고유 하 게 식별 될 수 있는 마크의 고용 이러한 오류를 방지 하 고 확인 된 개인의 장기 추적을 허용 한다. 널리 사용 되는 마커 (예를 들어, 바코드 및 QR 코드) 산업과 상업에 존재 하 고 확인할 수 있습니다 잘 알려진 컴퓨터 비전 기술을 사용 하 여와 같은 증강 현실 (예를 들어, ARTag8) 및 (예를 들어, CALTag9 카메라 보정 ). 대 한 예를 들어, 개미3 또는 꿀벌10, 하지만 이러한 이전 시스템의 일부 고립 된 태그3인식에 대 한 최적화 되어 있지 않으며 태그 동물 이전 다른 동물 종에서 높은 처리량 행동 연구에 대 한 사용 되어 왔습니다.
이 문서에 소개 된 추적 프로토콜은 단일 채널 이미지, 적외선 (IR) 빛 등 단색 빛에에서 동물을 추적 하는 데 특히 적합 (특히, 우리 블루 빛을 사용). 따라서, 개발 하는 방법 색상 신호, 또한 다른 설정에 적용 되 고 사용 하지 않는 조명에 제약 조건이 있다. 또한, 우리는 그렇게 하지 않도록는 바닷가재를 방해 하 고, 동시에 저가 카메라와 녹음을 허용 하도록 설계 된 사용자 지정된 태그를 사용 합니다. 또한, 여기에 사용 되는 방법 프레임 독립적인 태그 검색 기반은 (즉., 이전 궤도에 이미지에 각 태그의 존재를 인식 하는 알고리즘). 이 기능은 동물 일시적으로 차단 될 수 있습니다, 또는 동물 들의 궤적을 교차 수 있습니다 응용 프로그램에서 관련입니다.
태그 디자인 동물의 서로 다른 그룹에 그것의 사용을 허용 한다. 메서드의 매개 변수가 설정 되 면 다른 갑각류 (복족류) 특정 분류자를 훈련을 위한 필요 없이 다른 동물 추적 문제를 해결 하기 위해 옮겨질 수 있습니다. 프로토콜을 수출의 주요 제한 태그 및 첨부 파일 (파리, 꿀벌, 등 작은 곤충에 적합 하지 않은 게) 동물을 위한 필요 및 동물 운동에 대 한 2D 가정의 크기 이다. 이 제약은 중요 한, 주어진 제안된 방법 가정 태그 크기 일정 하 게 유지 합니다. 동물 3D 환경 (예를 들어, 물고기)에 자유롭게 이동 카메라의 거리에 따라 다른 태그 크기를 보여줄 것입니다.
이 프로토콜의 목적은 시간 2D 컨텍스트 (즉, 일 또는 주)의 오랜 기간 동안 여러 태그 동물을 추적 하기 위한 사용자 친화적인 방법을 제공 하는 것입니다. 방법 론 적 접근은 오픈 소스 소프트웨어와 하드웨어의 사용을 기반으로 합니다. 무료 및 오픈 소스 소프트웨어 허용 각 색, 수정, 및 무료 재배포; 따라서, 생성 된 소프트웨어11,12각 단계에서 향상 됩니다.
프로토콜 제시 여기 실험실을 추적 하 고 5 일 동안 탱크에서 4 수생 동물의 운동 활동 평가 설정에 초점을 맞추고. 비디오 파일은 1 s 시간 경과 이미지에서 기록 하 고 (1 기록된 일 차지 비디오의 약 1 시간) 초당 20 프레임에서 비디오에서 컴파일된. 모든 비디오 녹화는 컴퓨터 비전 방법 및 알고리즘 적용 동물 위치를 자동으로 postprocessed. 프로토콜 추적 데이터, 시간 및 이전 실험 논문13힘 드는 될 표시 되었습니다 그들의 수동 주석 피하의 다량을 얻기 수 있습니다.
우리가 노르웨이 가재 (Nephrops norvegicus)를 사용 하 여 사례 연구; 따라서, 우리는 그들을 유지 하기 위해 종의 실험실 조건을 제공 합니다. 바닷가재 수행 잘 공부 뚫 출현 리듬 circadian 시계14,15의 컨트롤 아래에 있는 그리고 cohoused 때 그들은 지배 계층16,17. 따라서, 여기에 제시 된 모델 circadian 리듬에 특정 초점 행동의 사회 변조에 관심이 있는 연구자에 대 한 좋은 예입니다.
여기에 제시 된 방법론은 쉽게 복제 하 고 개별 태그 동물 사이 구별 하는 가능성 있으면 다른 종에 적용 될 수 있습니다. 이러한 접근은 실험실에서 재현에 대 한 최소 요구는 (i) 등온 실험 설정; (2) 지속적인 물 공급; (iii) 물 온도 제어 메커니즘; (4) 조명 제어 시스템; (v)는 USB 카메라와 표준 컴퓨터.
이 프로토콜을 사용 하 여 파이썬18 과 OpenCV19 (오픈 소스 컴퓨터 비전 라이브러리). 우리는 신속 하 고 일반적인 적용 등의 작업 (구현 및 실행 둘 다), 배경 빼기20 및 이미지 임계 처리21,22에 의존 한다.
Protocol
Representative Results
Discussion
비디오 추적 프로토콜 성능 및 대표 결과 사회 변조 및 cohoused 동물의 circadian 리듬에 특정 초점으로 동물 행동 분야에서 응용된 연구에 대 한 유효성을 확인 했다. 동물 검색 (69%)의 효율성 그리고 태그 차별 (89.5%)의 정확도 사용 대상 동물의 행동 특성 (즉, 이동 속도)과 함께 여기는 것이 좋습니다이 프로토콜 장기 실험 시험 (예를 들어, 일 및 주)에 대 한 완벽 한 솔루션. 또한, 프로토콜의 개발에 ?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
저자는이 작품의 출판 자금 박사 조 안 나 회사에 감사. 또한, 저자는 실험적인 작품 하는 동안 그들의 도움에 대 한 실험 수족관 영역에서의 해양 과학 연구소 (ICM-CSIC) 바르셀로나에서의 기술자에 게 감사.
이 작품은 RITFIM 프로젝트에 의해 지원 되었다 (CTM2010-16274; 연구 책임자: J. Aguzzi) 과학 스페인 교육부 및 혁신 (MICINN), 및 경제와 경쟁력의 스페인 정부에서 TIN2015-66951-c 2-2-R 그랜트에 의해 설립.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
