Langsiktig Video sporing av Cohoused akvatiske dyr: en Case studie av den daglige Locomotor aktiviteten til Sjøkreps (Nephrops norvegicus)
Summary
Her presenterer vi en protokoll for å spore individuelt dyr over lang tid. Den bruker datamaskinen visjon metoder for å identifisere et sett med manuelt konstruert koder ved hjelp av en gruppe hummer som case study, samtidig gir informasjon om hvordan huset, manipulere, og merker hummer.
Abstract
Vi presenterer en protokoll som er knyttet til en video-sporing teknikk basert på bakgrunnen subtraksjon og bilde terskelverdi som gjør det mulig å spore individuelt cohoused dyr. Vi testet sporing rutine med fire cohoused Sjøkreps (Nephrops norvegicus) under lys-mørke forhold i 5 dager. Hummer hadde blitt individuelt merket. Eksperimentell oppsettet og sporing teknikker brukes er helt basert på åpen kildekode-programvare. Sammenligning av sporing produksjon med en manuell oppdagelsen angir at hummerne var riktig oppdaget 69% av tiden. Blant det riktig oppdaget hummer, sine personlige koder var riktig identifisert 89.5% av tiden. Vurderer Rammehastigheten i protokollen og bevegelse frekvensen av hummer, ytelsen til video sporing har en god kvalitet og representant resultatene støtter gyldigheten av protokollen produsere verdifulle data for behov (enkelte plass personer eller locomotor aktivitet mønstre). Protokollen presenteres her kan enkelt tilpasses, og derfor, kan overføres til andre arter der individuelle sporing av eksemplarer i en gruppe kan være verdifulle for forskning spørsmål.
Introduction
I de siste årene, har automatisert image-basert sporing gitt svært nøyaktig datasett som kan brukes til å utforske grunnleggende spørsmål i økologi og atferd disipliner1. Disse datasett kan brukes for kvantitativ analyse dyr oppførsel2,3. Men har hvert bilde-metodene som er brukt for sporing av dyr og atferd evaluering sine styrker og svakheter. I bilde-baserte sporing protokoller som bruker romlig informasjon fra tidligere rammer i en film for å spore dyr4,5,6kan feil innføres når banene av to dyr krysser. Disse feilene er generelt irreversibel og overføres via tid. Til tross for beregningsorientert fremskritt som reduserer eller eliminerer nesten denne problem5,7, må disse teknikkene fortsatt homogen eksperimentelle miljøer for nøyaktig dyr identifikasjon og sporing.
Ansettelse av merker som kan identifiseres i dyr unngår disse feilene og gjør langsiktig sporing av identifiserte individer. Brukte markører (f.eks, strekkoder og QR-koder) finnes i næringslivet og kan identifiseres ved hjelp av velkjente datamaskinen visjon teknikker, som augmented reality (f.eks ARTag8) og kameraet kalibrering (f.eksCALTag9 ). Merket dyrene har tidligere blitt brukt for høy gjennomstrømming behavioral studies i forskjellige dyrearter, for eksempel, maur3 eller bier10, men noen av disse tidligere systemer ikke er optimalisert for å gjenkjenne isolert tags3.
Sporing protokollen presentert i dette papiret er spesielt egnet for sporing dyr i en kanal bilder, for eksempel infrarød (IR) lys eller monokromatisk lys (spesielt vi bruker blått lys). Derfor metoden utviklet ikke bruker fargesignaler, som også gjelder andre innstillinger der det er begrensninger i belysning. I tillegg bruker vi egendefinert koder utformet for ikke å forstyrre hummer, og samtidig, tillate registrering med rimelige kameraer. Videre metoden som brukes her er basert på ramme-uavhengig kode deteksjon (i.e., algoritmen gjenkjenner tilstedeværelsen av hver kode på bildet uavhengig av tidligere baner). Denne funksjonen er relevant i programmer der dyr kan være midlertidig okkludert, eller dyrenes baner kan krysser hverandre.
Den tag designen gjør bruken i forskjellige grupper av dyr. Når parameterne for metoden er angitt, kan den overføres for å takle andre dyr-sporing problemer uten behov for å trene en bestemt klassifiserer (andre krepsdyr eller snegler). Viktigste begrensningene for eksport protokollen er størrelsen på brikken og behovet for tilknytning til dyret (som gjør det uegnet for små insekter, som fluer, bier, etc.) og 2D forutsetning for dyr bevegelse. Denne betingelsen er betydelig, gitt at den foreslåtte metoden forutsetter den koden forblir konstant. Et dyr bevege seg fritt i et 3D-miljø (f.eks fisk) viser annen kode størrelser avhengig av dets avstand til kameraet.
Formålet med denne protokollen er å gi en brukervennlig metode for å spore flere merket dyr over lang tid (dvs., dager eller uker) i et 2D sammenheng. Metodisk tilnærming er basert på bruk av open source programvare og maskinvare. Gratis og åpen kildekode tillater tilpasninger, modifikasjoner og fri Redistribusjon; Derfor forbedrer utviklet programvaren på hvert trinn11,12.
Protokollen presenteres her fokuserer på et laboratorium satt opp til å spore og evaluere locomotor aktiviteten til fire akvatiske dyr i en tank i 5 dager. Videofiler er spilt inn fra en 1 s time-lapse bilde og samlet i en video ved 20 bilder per sekund (1 innspilte dag tar ca 1 h video). Alle video-opptak er automatisk postprocessed å få dyr posisjoner, søker datamaskinen visjon metoder og algoritmer. Protokollen lar å skaffe store mengder spore data, unngå deres manuell merknaden, som har vist seg å være tidkrevende og arbeidskrevende i tidligere eksperimentelle papirer13.
Vi bruker Sjøkreps (Nephrops norvegicus) for casestudie; dermed gir vi artsspesifikke laboratorieforhold beholde dem. Hummer utføre godt studert hule fremveksten rytmer som er under kontroll av circadian klokken14,15, og når cohoused, de danner dominans hierarki16,17. Derfor er modellen presentert her et godt eksempel for forskere interessert i sosiale modulering av opptreden med spesielt fokus på biologiske rytmer.
Metodikken presenteres her gjengis lett og kan brukes på andre arter hvis det er en mulighet til å skille mellom dyr med enkelte koder. Minimumskravene for å gjengi en slik tilnærming i laboratoriet er (i) isotermiske rom for eksperimentelle oppsett; (ii) en kontinuerlig vannforsyning; (iii) vann temperatur kontrollmekanismer; (iv) en lys kontrollsystem; (v) et USB-kamera og en standard datamaskin.
I denne protokollen bruker vi Python18 og OpenCV19 (åpen kilde Computer visjon Library). Vi er avhengig av rask og ofte brukte operasjoner (både når det gjelder implementering og gjennomføring), som bakgrunn subtraksjon20 og bilde terskelverdi21,22.
Protocol
Representative Results
Discussion
Ytelse og representant resultatene med video-sporing protokollen bekreftet sin gyldighet for anvendt forskning i feltet av animalsk oppførsel, med spesielt fokus på sosiale modulering og døgnrytme cohoused dyr. Effektiviteten av animalsk deteksjon (69%) og nøyaktigheten av tag diskriminering (89.5%) kombinert med atferdstrekkene (dvs. bevegelse rate) målet artene brukes her tyder på at denne protokollen er en perfekt løsning for langsiktige eksperimentelle studier (f.eks dager og uker). Videre protokollen tilbyr g…
Declarações
The authors have nothing to disclose.
Acknowledgements
Forfatterne er takknemlig til Dr. Joan B. selskapet som finansierte utgivelsen av dette arbeidet. Forfatterne er også takknemlig for teknikere av eksperimentelle akvariet sonen på Institutt for Marine Sciences i Barcelona (ICM-CSIC) for deres hjelp under eksperimentelle arbeidet.
Dette arbeidet ble støttet av RITFIM prosjektet (CTM2010-16274, rektor investigator: J. Aguzzi) grunnlagt av det spanske departementet for vitenskap og innovasjon (MICINN) og TIN2015-66951-C2-2-R stipend fra det spanske departementet for økonomi og konkurranseevne.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
Referências
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
