A lungo termine dei Video rilevamento di Cohoused animali acquatici: un caso di studio dell'attività locomotrice quotidiana di scampi (Nephrops norvegicus)
Summary
Qui presentiamo un protocollo per monitorare individualmente gli animali per un lungo periodo di tempo. Usa visione artificiale metodi per identificare un set di tag manualmente costruito utilizzando un gruppo di aragoste come caso di studio, fornendo al contempo informazioni su come a casa, manipolare e contrassegno le aragoste.
Abstract
Vi presentiamo un protocollo relazionato a una tecnica di video-monitoraggio basata sulla sottrazione di sfondo e soglia di immagine che rende possibile seguire individualmente gli animali cohoused. Abbiamo testato la routine di rilevamento con quattro cohoused scampi (Nephrops norvegicus) in condizioni di luce-buio per 5 giorni. Le aragoste erano stata contrassegnate individualmente. La messa a punto sperimentale e le tecniche di rilevamento utilizzate sono interamente basate su software open source. Indica il confronto tra l’uscita di rilevamento con un rilevamento manuale che le aragoste erano correttamente rilevato il 69% delle volte. Tra le aragoste correttamente rilevate, loro singoli tag sono stati correttamente identificati 89,5% delle volte. Considerando la frequenza di fotogrammi utilizzate nel protocollo e il tasso di movimento di aragoste, le prestazioni di rilevamento video hanno una buona qualità, e i risultati rappresentativi sostengono la validità del protocollo nella produzione di preziosi dati per esigenze di ricerca (individuo occupazione di spazio o modelli di attività locomotoria). Il protocollo qui presentato possa essere facilmente personalizzato ed è, quindi, trasferibile ad altre specie dove il tracciamento individuale degli esemplari in un gruppo possa essere utile per rispondere alle domande di ricerca.
Introduction
Negli ultimi anni, rilevamento automatizzato basato su immagine ha fornito altamente accurato set di dati che possono essere utilizzati per esplorare le domande di base in ecologia e comportamento discipline1. Questi set di dati può essere utilizzato per l’analisi quantitativa di comportamento animale2,3. Tuttavia, ogni metodologia di immagine utilizzato per tracciare gli animali e la valutazione di comportamento ha i pregi e limiti. Nei protocolli di rilevamento basato su immagine che utilizzano informazioni spaziali da fotogrammi precedenti in un film per animali4,5,6, errori possono essere introdotte quando attraversano i percorsi di due animali. Questi errori sono in genere irreversibili e propagano attraverso il tempo. Malgrado gli avanzamenti computazionali che ridurre o eliminare quasi questo problema5,7, queste tecniche ancora bisogno di ambienti omogenei sperimentali per il monitoraggio e la precisa identificazione dell’animale.
L’impiego di marchi che possono essere identificati in modo univoco in animali evita questi errori e consente il monitoraggio a lungo termine degli individui identificati. Ampiamente usati indicatori (ad es., codici a barre e codici QR) esistono in commercio e industria e può essere identificati utilizzando tecniche di visione del computer ben noti, come aumentata realtà (ad es., ARTag8) e Calibrazione fotocamera (ad es., CALTag9 ). Taggato come animali precedentemente sono stati usati per studi comportamentali di alto-rendimento in diverse specie animali, per esempio, le formiche3 o API10, ma alcuni di questi sistemi precedenti non sono ottimizzati per riconoscere i tag isolato3.
Il protocollo di rilevamento presentato in questa carta è particolarmente adatto per il monitoraggio di animali nell’immaginario di un canale, come ad esempio la porta a infrarossi (IR) luce o luce monocromatica (in particolare, usiamo la luce blu). Di conseguenza, il metodo sviluppato non utilizzano segnali di colore, anche essere applicabile ad altre impostazioni dove ci sono vincoli nell’illuminazione. Inoltre, utilizziamo i tag personalizzato progettato per non disturbare le aragoste e, allo stesso tempo, consentire di registrare con fotocamere di basso costo. Inoltre, il metodo qui utilizzato si basa sul rilevamento di etichetta indipendente dal telaio (vale a dire., l’algoritmo riconosce la presenza di ciascun tag dell’immagine indipendentemente le traiettorie precedente). Questa funzione è rilevante nelle applicazioni dove gli animali possono essere temporaneamente occluso, o le traiettorie degli animali possono intersecare.
L’etichetta design consente l’utilizzo in diversi gruppi di animali. Una volta impostati i parametri del metodo, potrebbe essere trasferito per affrontare altri problemi relativi al rilevamento degli animali senza l’esigenza di formazione un classificatore specifico (altri crostacei o gasteropodi). Le principali limitazioni di esportazione del protocollo sono le dimensioni del tag e la necessità di attaccamento all’animale (che lo rende non adatto per piccoli insetti, come mosche, API, ecc.) ed il presupposto 2D per la movimentazione degli animali. Questo vincolo è significativo, dato che il metodo proposto presuppone che i tag dimensione rimangano costanti. Un animale di muoversi liberamente in un ambiente 3D (ad es. pesce) mostrerebbe dimensioni tag diverso a seconda della sua distanza alla fotocamera.
Lo scopo del presente protocollo è quello di fornire una metodologia facile da usare per tenere traccia di più animali contrassegnati per un lungo periodo di tempo (giorni o settimane) in un contesto 2D. L’approccio metodologico si basa sull’uso di hardware e software open source. Software libero e open source permette adattamenti, modifiche e ridistribuzione gratuita; di conseguenza, il software generato migliora a ogni passaggio11,12.
Il protocollo qui presentato si concentra su un laboratorio allestito per monitorare e valutare l’attività locomotrice di quattro animali acquatici in un serbatoio per 5 giorni. I file video sono registrati da una 1 immagine di time-lapse s e compilati in un video a 20 fotogrammi al secondo (1 giorno registrati occupa circa 1 ora di video). Tutte le registrazioni video sono automaticamente postprocessed per ottenere le posizioni degli animali, l’applicazione di algoritmi e metodi di visione al computer. Il protocollo permette di ottenere grandi quantità di dati, evitando loro annotazione manuale, che è stato indicato per essere tempo-intenso e laborioso in precedenti documenti sperimentale13di rilevamento.
Usiamo lo scampo (Nephrops norvegicus) per il caso di studio; quindi, mettiamo a disposizione condizioni di laboratorio specifici della specie di mantenerli. Aragoste eseguire ritmi di emersione tana ben studiata che sono sotto il controllo dell’orologio circadiano14,15, e quando cohoused, formano la dominanza gerarchia16,17. Quindi, il modello presentato qui è un buon esempio per i ricercatori interessati nella modulazione sociale di comportamento con un focus specifico sui ritmi circadiani.
La metodologia presentata qui è riprodotto con facilità e può essere applicata ad altre specie se c’è la possibilità di distinguere tra animali con singoli tag. I requisiti minimi per la riproduzione di un tale approccio in laboratorio (i) sono camere isotermiche per la messa a punto sperimentale; (ii) un approvvigionamento continuo di acqua; (iii) meccanismi di controllo di temperatura l’acqua; (iv) un sistema di controllo della luce; (v) una fotocamera USB e un computer standard.
In questo protocollo, usiamo Python18 e OpenCV19 (Open Source Computer Vision Library). Ci basiamo su operazioni veloci e comunemente applicate (sia in termini di attuazione e di esecuzione), come sfondo sottrazione20 e immagine Sogliatura21,22.
Protocol
Representative Results
Discussion
Prestazioni e rappresentante risultati ottenuti con il protocollo di video-monitoraggio ha confermato la validità per la ricerca applicata nel campo del comportamento animale, con un focus specifico su modulazione sociale e ritmi circadiani di animali cohoused. L’efficienza di rilevamento animale (69%) e la precisione di discriminazione tag (89,5%) accoppiato con le caratteristiche comportamentali (cioè, tasso di movimento) delle specie bersaglio utilizzato qui suggeriscono che questo protocollo è una soluzione perfet…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Gli autori sono grati alla Dr. Joan B. società che ha finanziato la pubblicazione di questo lavoro. Inoltre, gli autori sono grati per i tecnici della zona acquario sperimentale presso l’Istituto di Scienze Marine di Barcellona (ICM-CSIC) per il loro aiuto durante il lavoro sperimentale.
Questo lavoro è stato supportato dal progetto RITFIM (CTM2010-16274; sperimentatore principale: J. Aguzzi) fondato dal Ministero spagnolo della scienza e innovazione (Formacion) e la concessione di TIN2015-66951-C2-2-R dal Ministero spagnolo dell’economia e della competitività.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
