Suivi à long terme de vidéo d’animaux aquatiques Cohoused : une étude de cas de l’activité locomotrice quotidienne de la langoustine (Nephrops norvegicus)
Summary
Nous présentons ici un protocole afin de suivre individuellement les animaux sur une longue période de temps. Il utilise la vision par ordinateur pour identifier un ensemble de balises construits manuellement en utilisant un groupe de homards comme étude de cas, en fournissant des informations sur la façon de la maison, manipuler et marque les homards.
Abstract
Nous présentons un protocole associé à une technique de repérage vidéo basée sur la soustraction de l’arrière-plan et le seuillage d’image qui permet de suivre individuellement les animaux cohoused. Nous avons testé la suivi de routine avec quatre cohoused aux langoustines (Nephrops norvegicus) dans des conditions de lumière-obscurité pendant 5 jours. Les homards ont été étiquetés individuellement. Le montage expérimental et les techniques de suivi utilisées sont entièrement basés sur le logiciel open source. La comparaison de la sortie de suivi à une détection manuelle indique que les homards ont été correctement détecté 69 % du temps. Parmi les homards correctement détectés, leurs balises individuelles ont été correctement identifiés 89,5 % du temps. Compte tenu de la fréquence d’images utilisées dans le protocole et le taux de mouvement de homards, la performance de la vidéo suivi a une bonne qualité et les résultats représentatifs confirment la validité du protocole en produisant des données précieuses pour les besoins de la recherche (individuel occupation de l’espace ou les patterns d’activité locomotrice). Le protocole présenté ici peut être facilement personnalisé et est, par conséquent, transférable à d’autres espèces où le suivi individuel des spécimens dans un groupe peut être utile pour répondre aux questions de recherche.
Introduction
Dans ces dernières années, suivi automatisé en fonction image a fourni des ensembles de données très précis qui peut être utilisé pour explorer les questions de base en écologie et comportement des disciplines1. Ces ensembles de données peuvent être utilisés pour l’analyse quantitative du comportement animal2,3. Cependant, chaque méthode d’image utilisé pour le suivi des animaux et l’évaluation du comportement a ses forces et ses limites. Dans les protocoles de suivi basé sur l’image qui utilisent l’information spatiale des images précédentes dans un film pour suivre les animaux4,5,6, les erreurs peuvent être introduits quand les chemins des deux animaux se croisent. Ces erreurs sont généralement irréversibles et se propagent à travers le temps. Malgré les progrès informatiques qui réduisent ou éliminent presque ce problème5,7, ces techniques encore besoin des environnements expérimentaux homogènes pour le repérage et l’identification précise des animaux.
L’emploi de marques qui peuvent être identifiés de façon unique chez les animaux permet d’éviter ces erreurs et permet le suivi à long terme des individus identifiés. Les marqueurs largement utilisés (par exemple, des codes à barres et codes QR) existent dans l’industrie et du commerce et peuvent être identifiés à l’aide de techniques de vision d’ordinateur bien connus, tels qu’augmentée réalité (p. ex., Artocès8) et la calibration de la caméra (par exemple, CALTag9 ). Tagged animaux avaient déjà été utilisés pour le haut débit des études comportementales chez différentes espèces animales, pour exemple, les fourmis3 ou abeilles10, mais certains de ces systèmes précédents ne sont pas optimisés pour reconnaître les balises isolé3.
Le protocole de suivi présenté dans cet article est particulièrement adapté pour le suivi des animaux dans l’imagerie d’un canal, tels que l’infrarouge (IR) lumière ou lumière monochromatique (en particulier, nous utilisons la lumière bleue). Par conséquent, la méthode mise au point n’utilise pas de repères de couleur, étant également applicable à d’autres environnements où il y a des contraintes à l’illumination. En outre, nous utilisons des balises personnalisées conçues pour ne pas à déranger les homards et, en même temps, permettent l’enregistrement avec les appareils de faible coût. En outre, la méthode utilisée ici est issue de détection étiquette indépendante du châssis (i.e., l’algorithme reconnaît la présence de chaque balise de l’image quel que soit les trajectoires précédentes). Cette fonctionnalité est pertinente dans les applications où animaux peut être temporairement bloqué, ou les trajectoires des animaux peuvent se croisent.
Dessin de l’étiquette permet son utilisation dans différents groupes d’animaux. Une fois définis les paramètres de la méthode, il pourrait être transféré pour s’attaquer aux autres problèmes de suivi des animaux sans la nécessité pour la formation d’un classifieur spécifique (autres crustacés et gastéropodes). Les principales limites de l’exportation du protocole sont de la taille de l’étiquette et le besoin d’attachement à l’animal (qui en fait ne convient pas aux petits insectes, mouches, abeilles, etc.) et l’hypothèse 2D pour le transport d’animaux. Cette contrainte est importante, étant donné que la méthode proposée suppose que la taille de l’étiquette reste constante. Un animal se déplaçant librement dans un environnement 3D (p. ex., poissons) montrerait tailles autre balise en fonction de sa distance à la caméra.
Le but du présent protocole est de fournir une méthodologie facile à utiliser pour le suivi de plusieurs animaux marqués sur une longue période de temps (jours ou semaines) dans un contexte 2D. L’approche méthodologique repose sur l’utilisation du matériel et des logiciels open source. Logiciel gratuit et open source permet des adaptations, modifications et libre redistribution ; par conséquent, le logiciel généré s’améliore à chaque étape11,12.
Le protocole présenté ici se concentre sur un laboratoire mis en place pour suivre et évaluer l’activité locomotrice des quatre animaux aquatiques dans un réservoir pendant 5 jours. Les fichiers vidéo sont enregistrées à partir d’une image de time-lapse s 1 et compilés en une vidéo à 20 images par seconde (1 jour enregistré occupe environ 1 h de vidéo). Tous les enregistrements vidéo sont automatiquement retouche pour obtenir les positions animales, appliquant des algorithmes et des m├⌐thodes de vision informatique. Le protocole permet d’obtenir de grandes quantités de données, évitant leur annotation manuelle, qui s’est avérée être beaucoup de temps et laborieuse dans la précédente experimental papers13de suivi.
Nous utilisons la langoustine (Nephrops norvegicus) pour l’étude de cas ; ainsi, nous offrons des conditions de laboratoire spécifiques à leur maintien. Homards effectuent des rythmes d’émergence de terrier bien étudiés qui sont sous le contrôle de l’horloge circadienne14,15, et quand cohoused, ils forment la hiérarchie de dominance16,17. Par conséquent, le modèle présenté ici est un bon exemple pour les chercheurs intéressés par la modulation sociale du comportement avec un accent particulier sur les rythmes circadiens.
La méthodologie présentée ici est reproduite facilement et peut être appliquée à d’autres espèces, si il est possible de distinguer les animaux avec des balises individuelles. Les exigences minimales pour la reproduction d’une telle approche en laboratoire sont : (i) les chambres isothermes pour le montage expérimental ; (ii) un apport continu de l’eau ; (iii) mécanismes de contrôle de température de l’eau ; (iv) un système de contrôle de la lumière ; (v) une caméra USB et un ordinateur standard.
Dans ce protocole, nous utilisons Python18 et OpenCV19 (Open Source Computer Vision Library). Nous nous appuyons sur les opérations rapides et communément appliquées (à la fois en termes de mise en œuvre et exécution), tels que le fond soustraction20 et image seuillage21,22.
Protocol
Representative Results
Discussion
Les résultats de performance et représentant obtenus avec le protocole de suivi vidéo a confirmé sa validité pour la recherche appliquée dans le domaine du comportement animal, avec un accent particulier sur la modulation sociale et rythmes circadiens des animaux cohoused. L’efficacité du dépistage des animaux (69 %) et l’exactitude de la discrimination (89,5 %) de la balise couplé avec les caractéristiques comportementales (c’est-à-dire, les taux de mouvement) des espèces cibles utilisées ici suggèrent…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Les auteurs sont reconnaissants envers le Dr Joan B. Company qui a financé la publication de cet ouvrage. En outre, les auteurs sont reconnaissants aux techniciens de la zone d’aquarium expérimentale à l’Institut des Sciences marines à Barcelone (ICM-CSIC) pour leur aide pendant les travaux expérimentaux.
Ce travail a été soutenu par le projet RITFIM (CTM2010-16274, chercheur principal : J. Aguzzi) fondé par le ministère espagnol de la Science et l’Innovation (MICINN) et la subvention de TIN2015-66951-C2-2-R du ministère espagnol de l’économie et la compétitivité.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
