Seguimiento a largo plazo del vídeo de animales acuáticos Cohoused: un estudio de caso de la actividad locomotriz de la langosta Noruega (Nephrops norvegicus)
Summary
Aquí presentamos un protocolo para el seguimiento individual de animales durante un largo período de tiempo. Utiliza visión por computadora métodos para identificar un conjunto de etiquetas manualmente construidas mediante un grupo de langostas como caso de estudio, al mismo tiempo proporcionando información sobre cómo casa, manipulan y marcan las langostas.
Abstract
Presentamos un protocolo relacionado con una técnica de seguimiento de vídeo basada en el fondo y umbral de imagen que hace posible un seguimiento individual de animales cohoused. Probamos la rutina de rastreo con cuatro cohoused cigalas (Nephrops norvegicus) bajo condiciones de luz-oscuridad durante 5 días. Las langostas habían sido marcadas individualmente. El montaje experimental y las técnicas de seguimiento utilizadas se basan totalmente en el software de código abierto. La comparación de la salida de rastreo con un detector manual indica que las langostas fueron correctamente detectados 69% de las veces. Entre las langostas correctamente detectadas, sus etiquetas individuales fueron correctamente identificados 89.5% de las veces. Teniendo en cuenta el tipo de marco utilizado en el protocolo y la tasa de movimiento de las langostas, el rendimiento de seguimiento video tiene una buena calidad, y el representante resultados apoyan la validez del protocolo en la producción de valiosos datos para necesidades de investigación (individual ocupación de espacio o patrones de actividad locomotor). El protocolo presentado aquí puede ser fácilmente modificado para requisitos particulares y por lo tanto, es transferible a otras especies donde el seguimiento individual de los especímenes en un grupo puede ser valioso para responder a preguntas de investigación.
Introduction
En los últimos años, seguimiento automatizado basado en imágenes ha proporcionado conjuntos de datos muy precisa que pueden utilizarse para explorar las preguntas básicas en ecología y comportamiento de las disciplinas1. Estos conjuntos de datos pueden utilizarse para el análisis cuantitativo del comportamiento animal2,3. Sin embargo, cada metodología de imagen utilizado para el seguimiento de los animales y la evaluación de comportamiento tiene sus fortalezas y limitaciones. En protocolos de seguimiento basado en imágenes que utilizan información espacial de fotogramas anteriores en una película para rastrear animales4,5,6, se pueden introducir errores cuando se cruzan dos animales. Estos errores son generalmente irreversibles y propagan a través del tiempo. A pesar de los avances computacionales que reducen o casi eliminan este problema5,7, estas técnicas aún necesitan entornos experimentales homogéneos para el seguimiento y la identificación precisa de los animales.
El empleo de las marcas que se pueden identificar únicamente en animales evita estos errores y permite el seguimiento a largo plazo de los individuos identificados. Marcadores utilizados (p. ej., códigos de barras y códigos QR) existen en la industria y el comercio y pueden ser identificados mediante técnicas de visión de computadora conocido, como aumentada realidad (p. ej.,8de ARTag) y calibración de la cámara (p. ej., CALTag9 ). Animales marcados previamente se han utilizado para estudios de comportamiento de alto rendimiento en diferentes especies animales, por ejemplo,3 de hormigas o abejas10, pero algunos de estos sistemas anteriores no están optimizados para el reconocimiento de etiquetas aisladas3.
El protocolo de seguimiento presentado en este papel es especialmente adecuado para el seguimiento de animales en imágenes de un canal, como el infrarrojo (IR) luz o luz monocromática (en particular, usamos la luz azul). Por lo tanto, el método desarrollado no utiliza señales de color, siendo también aplicable a otros ámbitos donde hay restricciones en la iluminación. Además, utilizamos etiquetas personalizadas diseñadas para no para molestar a las langostas y, al mismo tiempo, permite la grabación con cámaras de bajo costo. Por otra parte, el método utilizado aquí es basado en detección de etiqueta independiente de la estructura (es decir., el algoritmo reconoce la presencia de cada etiqueta de la imagen independientemente de la trayectoria anterior). Esta característica es importante en aplicaciones donde los animales pueden ser temporalmente ocluidos, o trayectorias animales pueden intersectar.
El diseño de la etiqueta permite su uso en los diferentes grupos de animales. Una vez que se establecen los parámetros del método, podría ser transferido para enfrentar otros problemas de seguimiento de animales sin la necesidad de entrenamiento de un clasificador específico (otros crustáceos y gasterópodos). Las principales limitaciones de la exportación el protocolo son el tamaño de la etiqueta y la necesidad de apego a los animales (que lo hace no apto para pequeños insectos, como moscas, abejas, etc.) y el 2D para el movimiento animal. Esta restricción es importante, dado que el método propuesto asume que el tamaño de la etiqueta se mantiene constante. Un animal que se mueve libremente en un ambiente 3D (por ejemplo, peces) mostraría tamaños de etiqueta distinta dependiendo de su distancia a la cámara.
El propósito de este protocolo es proporcionar una metodología fácil de usar para el seguimiento de animales marcados múltiples durante un largo período de tiempo (días o semanas) en un contexto 2D. El enfoque metodológico se basa en el uso de hardware y software de código abierto. Software libre y de código abierto permite adaptaciones, modificaciones y redistribución libre; por lo tanto, el software generado mejora a cada paso11,12.
El protocolo aquí presentado se centra en un laboratorio para realizar el seguimiento y evaluar la actividad locomotriz de cuatro animales acuáticos en un tanque durante 5 días. Los archivos de vídeo grabados desde una imagen Time-lapse de 1 s y compilados en un video de 20 fotogramas por segundo (1 día grabado ocupa aproximadamente 1 hora de video). Videos todas las grabaciones son automáticamente posprocesamiento para obtener posiciones de animales, aplicación de algoritmos y métodos de visión de computadora. El protocolo permite obtener grandes cantidades de datos, evitar su anotación manual, que ha demostrado ser mucho tiempo y laborioso en anteriores trabajos experimentales13de seguimiento.
Utilizamos la cigala (Nephrops norvegicus) para el estudio de caso; así, ofrecemos condiciones de laboratorio específicos para mantenerlos. Langostas realizan ritmos de aparición de madriguera bien estudiados que están bajo el control del reloj circadiano14,15, y cuando cohoused, forman la jerarquía de dominación16,17. Por lo tanto, el modelo presentado aquí es un buen ejemplo para los investigadores interesados en la modulación social de comportamiento con un enfoque específico en los ritmos circadianos.
La metodología presentada aquí se reproduce fácilmente y se puede aplicar a otras especies si existe la posibilidad de distinguir entre los animales con las etiquetas individuales. Los requisitos mínimos para este enfoque en el laboratorio de reproducción () son habitaciones isotérmicas para la configuración experimental; (ii) un suministro continuo de agua; (iii) mecanismos de control de temperatura de agua; (iv) un sistema de control de la luz; (v) una cámara USB y un ordenador estándar.
En este protocolo, utilizamos Python18 y OpenCV19 (Open fuente Computer Vision Library). Confiamos en la rápida y comúnmente aplicadas operaciones (tanto en términos de implementación y ejecución), como fondo resta20 y la imagen umbral21,22.
Protocol
Representative Results
Discussion
Los resultados de rendimiento y representante obtenidos con el protocolo de seguimiento de video confirman su validez para la investigación aplicada en el campo del comportamiento animal, con un enfoque específico en modulación social y los ritmos circadianos de los animales cohoused. La eficiencia de la detección de animales (69%) y la exactitud de la discriminación de la etiqueta (89,5%) junto con las características de comportamiento (es decir, velocidad de movimiento) de las especies objetivo utilizadas aquí s…
Declarações
The authors have nothing to disclose.
Acknowledgements
Los autores agradecemos a la Dr. Joan B. empresa que financió la publicación de este trabajo. También, los autores están agradecidos a los técnicos de la zona de acuario experimental en el Instituto de Ciencias del mar de Barcelona (ICM-CSIC) por su ayuda durante el trabajo experimental.
Este trabajo fue financiado por el proyecto RITFIM (CTM2010-16274; investigador principal: J. Aguzzi) fundada por el Ministerio de ciencia e innovación (MICINN) y la concesión de TIN2015-66951-C2-2-R por el Ministerio de economía y competitividad.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
Referências
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
