Op lange termijn Video-Tracking van Cohoused waterdieren: een Case studie van de dagelijkse motorische activiteit van de langoustines (Nephrops norvegicus)
Summary
Hier presenteren we een protocol om de dieren individueel te volgen gedurende een lange periode van tijd. Het maakt gebruik van computervisie methoden voor het identificeren van een reeks tags die handmatig gebouwd met behulp van een groep van kreeften als case-studie, tegelijkertijd het verstrekken van informatie over het huis, manipuleren en markeer de kreeften.
Abstract
We presenteren een protocol aan een video-tracking techniek gebaseerd op de achtergrond aftrekken en afbeelding drempelmethode die het mogelijk maakt om afzonderlijk bijhouden cohoused dieren gerelateerde. We testten de tracking routine met vier cohoused langoustines (Nephrops norvegicus) onder licht-duisternis voorwaarden voor 5 dagen. De kreeften had individueel zijn gelabeld. De experimentele opstelling en het bijhouden van technieken die worden gebruikt zijn volledig gebaseerd op de open sourcesoftware. De vergelijking van de tracking-uitvoer met een handmatige detectie geeft aan dat de kreeften correct waren gedetecteerd 69% van de tijd. Onder de correct gedetecteerd kreeften, hun afzonderlijke markeringen waren correct geïdentificeerd 89,5% van de tijd. Gezien de framesnelheid in het protocol gebruikt en de snelheid van de beweging van kreeften, de prestaties van de video-tracking heeft een goede kwaliteit, en de representatieve resultaten ondersteunen de geldigheid van het protocol in het produceren van waardevolle gegevens voor onderzoeksbehoeften (individueel ruimte bezetting of motorische activiteit patronen). Het hier gepresenteerde protocol kan gemakkelijk worden aangepast en is, vandaar, overdraagbaar naar andere soorten waar de afzonderlijke tracking van specimens in een groep kunnen waardevol zijn voor het beantwoorden van de onderzoeksvragen.
Introduction
In de afgelopen jaren heeft automatische beeld-gebaseerde tracking zeer nauwkeurige datasets die kunnen worden gebruikt om te verkennen basisvragen in ecologie en gedrag disciplines1verstrekt. Deze datasets kan worden gebruikt voor de kwantitatieve analyse van dierlijk gedrag2,3. Elke afbeelding methodologie die wordt gebruikt voor het bijhouden van de dieren en de evaluatie van het gedrag heeft echter haar sterke punten en beperkingen. In beeld-gebaseerde tracking protocollen waarmee ruimtelijke informatie van vorige frames in een film bijhouden dieren4,5,6, kunnen fouten worden ingevoerd bij de paden van twee dieren overschrijden. Deze fouten zijn meestal onomkeerbaar en verspreiden door de tijd. Ondanks de computationele vooruitgang die verminderen of bijna elimineren dit probleem5,7, behoefte deze technieken nog steeds aan homogene experimentele omgevingen nauwkeurige identificatie van de dieren en het bijhouden.
De werkgelegenheid van merken die uniek kan worden geïdentificeerd in dieren vermijdt deze fouten en laat het op lange termijn volgen van geïdentificeerde personen. Gebruikte merkers (bijv, barcodes en QR-codes) bestaan in de industrie en handel en kunnen worden geïdentificeerd met behulp van bekende computer vision technieken, zoals augmented reality (b.v., ARTag8) en camera kalibratie (bijvoorbeeld, CALTag9 ). Tagged dieren hebben eerder gebruikt voor high-throughput behavioral studies in verschillende diersoorten, voor bijvoorbeeld, mieren3 of bijen10, maar sommige van deze eerdere systemen zijn niet geoptimaliseerd voor het herkennen van geïsoleerde tags3.
Het protocol van de tracking gepresenteerd in dit papier is speciaal geschikt voor het bijhouden van dieren in één-kanaals beelden, zoals infrarood (IR) licht of monochromatisch licht (in het bijzonder gebruiken we blauw licht). De methode ontwikkeld gebruikt daarom geen kleur cues, ook op de andere instellingen van toepassing zijnde waar er beperkingen in de verlichting. Daarnaast gebruiken we aangepaste codes ontworpen zodat er geen te verstoren de kreeften en, tegelijkertijd, opname met goedkope camera’s. Bovendien, de methode die hier wordt gebruikt is gebaseerd op de frame-onafhankelijke label detectie (dwz., het algoritme erkent de aanwezigheid van elke code in de afbeelding, ongeacht de eerdere trajecten). Deze functie is relevant in toepassingen waar dieren tijdelijk kunnen worden geroteerd, of dieren trajecten kunnen snijden.
Het label ontwerp maakt het gebruik ervan in de verschillende groepen van dieren. Zodra de parameters van de methode zijn ingesteld, kan het bedrag overgemaakt ter bestrijding van andere dier-tracking problemen zonder de noodzaak voor de opleiding van een specifieke classificatie (andere schaaldieren of buikpotigen). De belangrijkste beperkingen van het exporteren van het protocol zijn de grootte van het label en de noodzaak voor bevestiging aan het dier (waardoor het niet geschikt voor kleine insecten, zoals bijen, vliegen, enz.) en de 2D aanname voor de dierlijke beweging. Deze beperking is belangrijk, gezien het feit dat de voorgestelde methode wordt ervan uitgegaan dat de tag-grootte constant blijft. Een dier vrij te verplaatsen in een 3D omgeving (b.v. vis) zou ander label maten tonen afhankelijk van de afstand tot de camera.
Het doel van dit protocol is te voorzien in een gebruiksvriendelijke methodiek voor het bijhouden van meerdere tagged dieren gedurende een lange periode van tijd (bijvoorbeeld dagen of weken) in een 2D context. De methodologische benadering is gebaseerd op het gebruik van open sourcesoftware en hardware. Gratis en open sourcesoftware vergunning aanpassingen, wijzigingen, en gratis herverdeling; Daarom is de gegenereerde software verbetert bij elke stap11,12.
Hier het protocol gepresenteerd richt zich op een laboratorium ingesteld op bijhouden en evalueren van de motorische activiteit van vier waterdieren in een tank voor 5 dagen. De videobestanden worden geregistreerd van een 1 s time-lapse beeld en gecompileerd in een video op 20 frames per seconde (1dag opgenomen neemt ongeveer 1 uur van video). Alle video-opnamen worden automatisch postprocessed verkrijgen van dieren positie, toepassing van de computer visie methoden en algoritmen. Het protocol kunt verkrijgen van grote hoeveelheden van het bijhouden van gegevens, het vermijden van hun handmatige aantekening, waarvan is aangetoond te worden tijdrovende en moeizame in eerdere experimentele papieren13.
We gebruiken de langoestine (Nephrops norvegicus) voor de case-study; Dus, wij bieden soortspecifieke laboratoriumomstandigheden te handhaven. Kreeften voeren goed bestudeerde hol opkomst ritmes die onder de controle van de circadiane klok14,15 zijn, en als cohoused, zij vormen dominantie hiërarchie16,17. Vandaar, is het hier gepresenteerde model is een goed voorbeeld voor onderzoekers kochten de sociale modulatie van gedrag met een specifieke focus op circadiane ritmen.
De hier voorgestelde methodologie is gemakkelijk opgenomen en kan worden toegepast op andere soorten als er een mogelijkheid is om het onderscheid maken tussen dieren met afzonderlijke tags. De minimale vereisten voor het weergeven van een dergelijke aanpak in het laboratorium zijn: (i) isothermische kamers voor de experimentele opzet; (ii) een continue aanvoer van water; (iii) water temperatuur controlemechanismen; (iv) een lichte controlesysteem; (v) een USB-camera en een standaard computer.
In dit protocol gebruiken we Python18 en OpenCV19 (Open Source Computer Vision Library). We rekenen op snelle en vaak toegepaste bewerkingen (zowel op het gebied van implementatie en uitvoering), zoals achtergrond aftrekken20 en afbeelding drempelmethode21,22.
Protocol
Representative Results
Discussion
De prestaties en vertegenwoordiger resultaten verkregen met de video-tracking protocol bevestigd dat de geldigheid ervan voor toegepast onderzoek op het gebied van dierlijk gedrag, met een specifieke focus op sociale modulatie en circadiane ritmen van cohoused dieren. De efficiëntie van dierlijke detectie (69%) en de nauwkeurigheid van label discriminatie (89,5%) in combinatie met de gedragsmatige kenmerken (dat wil zeggen, het tarief van beweging) van de doelsoort gebruikt hier suggereren dat dit protocol een perfecte …
Disclosures
The authors have nothing to disclose.
Acknowledgements
De auteurs zijn dankbaar aan de Dr. Joan B. bedrijf dat de publicatie van dit werk gefinancierd. De auteurs zijn ook dankbaar voor de technici van de experimentele aquarium zone op het Instituut van mariene wetenschappen in Barcelona (ICM-CSIC) voor hun hulp tijdens de experimenteel werk.
Dit werk werd ondersteund door het RITFIM-project (CTM2010-16274, hoofdonderzoeker: J. Aguzzi) opgericht door het Spaanse ministerie van wetenschap en innovatie (MICINN) en de TIN2015-66951-C2-2-R-subsidie van het Spaanse ministerie van economie en het concurrentievermogen.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
