Langsigtet Video sporing af Cohoused vanddyr: et casestudie af den daglige bevægeapparatet aktivitet af jomfruhummer (Nephrops norvegicus)
Summary
Her præsenterer vi en protokol for at individuelt spore dyr over en lang periode. Det bruger computer vision metoder til at identificere en række manuelt bygget tags ved hjælp af en gruppe af hummere som casestudie, samtidig giver oplysninger om, hvordan Parlamentet, manipulere, og markere hummere.
Abstract
Vi præsenterer en protokol, der er relateret til en video-tracking teknik baseret på den baggrund subtraktion og billede tærskel, der gør det muligt at individuelt spore cohoused dyr. Vi testede tracking rutinen med fire cohoused jomfruhummer (Nephrops norvegicus) på lys-mørke betingelser for 5 dage. Hummere havde blevet markeret individuelt. Opsætningen af eksperimenterende og tracking teknikker er udelukkende baseret på open source-software. Sammenligning af tracking output med en manuel registrering viser, at hummere var korrekt registreret 69% af gange. Blandt de korrekt registrerede hummere, deres individuelle tags blev korrekt identificeret 89,5% af gange. Overvejer framerate bruges i protokollen og den bevægelse af hummere, udførelsen af den video tracking har en god kvalitet, og de repræsentative resultater støtter gyldigheden af protokollen i producerer værdifulde data for forskningsbehov (individuel belægning eller bevægeapparatet aktivitet mønstre). Protokollen præsenteres her kan tilpasses nemt og er dermed kan overføres til andre arter, hvor den enkelte sporing af enheder i en gruppe kan være værdifulde for besvarelse af forskningsspørgsmål.
Introduction
I de sidste par år, har automatiseret image-baseret sporing givet meget præcise datasæt, der kan bruges til at udforske grundlæggende spørgsmål i økologi og adfærd discipliner1. Disse datasæt kan bruges til kvantitativ analyse af dyrs adfærd2,3. Hvert billede metode bruges til sporing af dyr og adfærd evaluering har imidlertid sine styrker og begrænsninger. I image-baseret sporing protokoller, der bruger rumlig information fra tidligere rammer i en film til at spore dyr4,5,6, kan fejl indføres, når to dyr veje krydses. Disse fejl er normalt irreversible og udbrede gennem tiden. Trods beregningsmæssige forskud, der reducerer eller næsten eliminere dette problem5,7, skal disse teknikker stadig homogene eksperimenterende miljøer for nøjagtig identifikation og sporing.
Ansættelse af mærker, der kan identificeres entydigt i dyr undgår disse fejl og tillader langsigtet sporing af identificerede individer. Udbredte markører (fx, stregkoder og QR-koder) findes i industri og handel og kan identificeres ved hjælp af velkendte computer vision teknikker, såsom augmented reality (f.eks. ARTag8) og kamerakalibrering (f.eks.CALTag9 ). Tagged dyr har tidligere været brugt til høj overførselshastighed adfærdsmæssige undersøgelser i forskellige dyrearter, for eksempel, myrer3 eller bier10, men nogle af disse tidligere systemer ikke er optimeret til anerkende isolerede tags3.
Sporing protokollen præsenteret i dette papir er særligt velegnet til sporing af dyr i én-kanal billeder, såsom infrarød (IR) lys eller monokromatiske lys (især, vi bruger blåt lys). Derfor, metoden udviklet bruger ikke farve stikord, der også gælder for andre indstillinger, hvor der er begrænsninger i belysningen. Derudover bruger vi tilpassede tags designet for ikke at forstyrre hummere og samtidig, tillade optagelse med billige kameraer. Desuden den metode, der anvendes her er baseret på ramme-uafhængig tag påvisning (dvs.., algoritmen, der anerkender tilstedeværelsen af hvert mærke i billedet uanset de foregående baner). Denne funktion er relevante i applikationer hvor dyr kan være midlertidigt tilstoppet, eller dyrenes baner kan skærer hinanden.
Tag design tillader dets anvendelse i forskellige grupper af dyr. Når parametrene for metoden er indstillet, kan det overføres for at tackle andre dyret-tracking problemer uden behov for uddannelse en bestemt klassificering (andre krebsdyr eller havsnegle). De vigtigste begrænsninger eksporterende protokollen er størrelsen af tag og behovet for tilknytning til dyret, (hvilket gør det ikke egnet til små insekter, fluer, bier, etc.) og den 2D antagelse for dyrs bevægelse. Denne begrænsning er væsentlig, eftersom den foreslåede metode forudsætter tag størrelse forbliver konstant. Dyrets bevæger sig frit i et 3D miljø (f.eks. fisk) ville vise forskellige tag størrelser afhængig af dens afstand til kameraet.
Formålet med denne protokol er at give en brugervenlig metode til sporing af flere tagged dyr over en lang periode (dvs., dage eller uger) i forbindelse med 2D. Den metodiske tilgang er baseret på brugen af open source-software og hardware. Gratis og open source software tillader tilpasninger, ændringer og gratis omfordeling; Derfor forbedrer de genererede software på hvert trin11,12.
Protokollen præsenteres her fokuserer på et laboratorium, der er sat op til at registrere og evaluere bevægeapparatet aktiviteten af fire vanddyr i en tank i 5 dage. Video filer er optaget fra en 1 s time-lapse image og samlet i en video ved 20 frames per sekund (1 optaget dag fylder ca. 1 h video). Alle optagelser er automatisk postprocessed at få dyr positioner, anvendelse af computer vision metoder og algoritmer. Protokollen giver mulighed for at opnå store mængder for at spore data, undgå deres manuel anmærkning, som har vist sig at være tidskrævende og besværlige i tidligere eksperimentelle papirer13.
Vi bruger jomfruhummer (Nephrops norvegicus) til casestudie; Vi giver således, artsspecifikke laboratorieforhold at opretholde dem. Hummere udføre velundersøgte burrow fremkomsten rytmer, der er under kontrol af døgnrytmen ur14,15, og når cohoused, de danner dominans hierarki16,17. Modellen præsenteres her er derfor et godt eksempel for forskere interesseret i sociale modulation af adfærd med særlig fokus på døgnrytmen.
Den metode, der præsenteres her gengives let og kan anvendes til andre arter, hvis der er en mulighed for at skelne mellem dyr med individuelle tags. Mindstekrav til reproducering en sådan fremgangsmåde i laboratoriet er (i) isotermisk værelser for opsætningen af eksperimenterende; (ii) en løbende vandforsyning; (iii) vand temperatur kontrolmekanismer; (iv) en lys kontrolsystem; (v) et USB-kamera og en almindelig computer.
I denne protokol, kan vi bruge Python18 og OpenCV19 (Open Source Computer Vision bibliotek). Vi er afhængige af hurtigt og almindeligt anvendt operationer (både med hensyn til gennemførelse og udførelse), såsom baggrunden subtraktion20 og billede tærskel21,22.
Protocol
Representative Results
Discussion
Ydeevne og repræsentant resultaterne med video-tracking protokol bekræftet sin gyldighed for anvendt forskning inden for dyreadfærd, med særlig fokus på sociale graduering og døgnrytmen cohoused dyr. Effektiviteten af animalsk påvisning (69%) og nøjagtigheden af tag forskelsbehandling (89,5%) kombineret med de adfærdsmæssige egenskaber (dvs. bevægelse sats) af de målarter, der anvendes her tyder på, at denne protokol er en perfekt løsning til langsigtet eksperimentelle forsøg (fx, dage og uger). Derudover …
Divulgations
The authors have nothing to disclose.
Acknowledgements
Forfatterne er taknemmelig for, at Dr. Joan B. virksomheden, der finansierede udgivelsen af dette værk. Forfatterne er også taknemmelig for, at teknikere på zonen eksperimentelle akvarium til Institute of Marine Sciences i Barcelona (ICM-CSIC) for deres hjælp under det eksperimentelle arbejde.
Dette arbejde blev støttet af RITFIM projektet (CTM2010-16274, principal investigator: J. Aguzzi) blev grundlagt af den spanske ministerium for videnskab og Innovation (MICINN) og TIN2015-66951-C2-2-R grant fra det spanske ministerium for økonomi og konkurrenceevne.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
