Acompanhamento a longo prazo de vídeo de animais aquáticos, Cohoused: um estudo de caso da atividade locomotora diária do lagostim (Nephrops norvegicus)
Summary
Aqui nós apresentamos um protocolo para controlar individualmente os animais durante um longo período de tempo. Ele usa a visão computacional, métodos para identificar um conjunto de marcas construídos manualmente usando um grupo de lagostas como estudo de caso, simultaneamente, fornecendo informações sobre como a casa, manipulam e marcam as lagostas.
Abstract
Apresentamos um protocolo relacionado a uma técnica de controle de vídeo baseada na limiarização de imagem que torna possível controlar individualmente os animais cohoused e subtração de fundo. Nós testamos a rotina de rastreamento com quatro cohoused lagostim (Nephrops norvegicus) sob condições de luz-escuridão durante 5 dias. As lagostas tinham sido marcadas individualmente. A instalação experimental e as técnicas de rastreamento utilizadas baseiam-se inteiramente sobre o software de código aberto. A comparação entre a saída de rastreamento com uma detecção manual indica que as lagostas eram corretamente detectado 69% das vezes. Entre as lagostas detectadas corretamente, suas marcas individuais foram corretamente identificados 89,5% das vezes. Considerando a taxa de quadros usados no protocolo e a taxa de circulação de lagostas, o desempenho de rastreamento o vídeo tem uma boa qualidade, e os resultados representativos suportam a validade do protocolo em produzir dados valiosos para as necessidades de pesquisa (individual ocupação de espaço ou padrões de atividade locomotora). O protocolo apresentado aqui pode ser facilmente personalizado e é, portanto, transferível para outras espécies, onde o acompanhamento individual de espécimes em um grupo pode ser valioso para responder às perguntas de pesquisa.
Introduction
Nos últimos anos, rastreamento automatizado baseado em imagem forneceu conjuntos de dados altamente precisos que podem ser usados para explorar questões básicas em ecologia e comportamento de disciplinas1. Esses conjuntos de dados podem ser usados para a análise quantitativa do comportamento animal2,3. No entanto, cada metodologia de imagem usada para controlar os animais e avaliação de comportamento tem seus pontos fortes e limitações. Nos protocolos de rastreamento com base em imagem que usa a informação espacial de quadros anteriores em um filme para controlar animais4,5,6, erros podem ser introduzidos quando cruzam os caminhos dos dois animais. Esses erros são geralmente irreversíveis e propagam-se através do tempo. Apesar dos avanços computacionais que reduzem ou quase eliminam este problema5,7, estas técnicas ainda precisam de ambientes homogêneos experimentais para rastreamento e identificação animal precisa.
O emprego de marcas que podem ser identificados exclusivamente em animais evita esses erros e permite o acompanhamento a longo prazo dos indivíduos identificados. Marcadores amplamente utilizados (por exemplo, códigos de barra e códigos QR) existem na indústria e comércio e podem ser identificados utilizando técnicas de visão de computador bem conhecidos, tais como aumentada realidade (por exemplo, ARTag8) e calibração da câmera (por exemplo, CALTag9 ). Animais marcados anteriormente têm sido utilizados para estudos comportamentais de alta produtividade em diferentes espécies animais, por exemplo, formigas3 ou abelhas10, mas alguns desses sistemas anteriores não são otimizadas para reconhecer tags isolado3.
O protocolo de rastreamento apresentado neste trabalho é especialmente adequado para rastreamento de animais, imagens de um canal, tais como infravermelho (IR) luz ou luz monocromática (particularmente, nós usamos luz azul). Portanto, o método desenvolvido não usa pistas de cor, sendo também aplicáveis a outras configurações onde há restrições em iluminação. Além disso, usamos etiquetas personalizadas concebidas de modo a para não perturbar as lagostas e, ao mesmo tempo, permitir a gravação com câmeras de baixo custo. Além disso, o método utilizado aqui é baseado na deteção de marca independente de quadro (i.., o algoritmo reconhece a presença de cada marca na imagem independentemente das trajectórias anteriores). Esse recurso é relevante em aplicações onde os animais podem ser ocluídos temporariamente ou trajetórias dos animais podem se cruzam.
O design da marca permite seu uso em diferentes grupos de animais. Uma vez que os parâmetros do método são definidos, pode ser transferida para resolver outros problemas de controle de animais sem a necessidade de formação de um classificador específico (outros crustáceos ou gastrópodes). As principais limitações de exportar o protocolo são do tamanho da marca e a necessidade de ligação com o animal (o que faz não é adequado para pequenos insetos, como moscas, abelhas, etc.) e o pressuposto 2D para a circulação de animais. Essa restrição é significativa, dado que o método proposto assume que o tamanho de etiqueta permanece constante. Um animal mover-se livremente em um ambiente 3D (por exemplo, peixe) iria mostrar tamanhos de marca diferente dependendo de sua distância para a câmera.
O propósito do presente protocolo é fornecer uma metodologia user-friendly para acompanhamento de vários animais marcados por um longo período de tempo (dias ou semanas), em um contexto 2D. A abordagem metodológica baseia-se na utilização de hardware e software de fonte aberta. O software livre e open source permite adaptações, modificações e redistribuição livre; Portanto, o software gerado melhora em cada etapa11,12.
O protocolo apresentado aqui se concentra em um laboratório criado para acompanhar e avaliar a atividade locomotora de quatro animais aquáticos em um tanque por 5 dias. Os arquivos de vídeo gravados a partir de uma imagem de lapso de tempo de 1 s e compilados em um vídeo em 20 frames por segundo (1 dia gravado ocupa cerca de 1 h de vídeo). Todas as gravações de vídeo são automaticamente pós-processada para obter posições animais, aplicação de algoritmos e métodos de visão de computador. O protocolo permite a obtenção de grandes quantidades de dados, evitando sua anotação manual, que foi mostrada para ser demorada e trabalhosa em anteriores trabalhos experimentais13de controle.
Nós usamos o lagostim (Nephrops norvegicus) para o estudo de caso; assim, nós fornecemos condições de laboratório específicas para mantê-los. Lagostas executam ritmos de surgimento de toca bem estudados que estão sob o controle do relógio circadiano14,15, e quando cohoused, formam a hierarquia de dominância16,17. Portanto, o modelo apresentado aqui é um bom exemplo para pesquisadores interessados na modulação do comportamento, com um foco específico sobre ritmos circadianos social.
A metodologia apresentada aqui é facilmente reproduzida e pode ser aplicada a outras espécies, se existe a possibilidade de distinguir entre animais com marcas individuais. Os requisitos mínimos para a reprodução de tal abordagem em laboratório são (i) isotérmicos quartos para a instalação experimental; (ii) um fornecimento contínuo de água; (iii) mecanismos de controle de temperatura de água; (iv) um sistema de controle de luz; (v) uma câmera USB e um computador padrão.
Neste protocolo, usamos Python18 e OpenCV19 (Open Source computador Vision Library). Contamos com rápido e comumente aplicadas as operações (tanto em termos de implementação e execução), tais como plano de fundo subtração20 e imagem limiarização21,22.
Protocol
Representative Results
Discussion
Os resultados de desempenho e representante obtidos com o protocolo de controle de vídeo confirmaram sua validade para a investigação aplicada no domínio do comportamento animal, com um foco específico sobre modulação social e ritmos circadianos dos animais cohoused. A eficácia da detecção de animais (69%) e a precisão da discriminação marca (89,5%) juntamente com as características comportamentais (ou seja, taxa de circulação) das espécies-alvo usadas aqui sugerem que este protocolo é uma solução per…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Os autores agradecem à Dr. Joan B. empresa que financiou a publicação deste trabalho. Também, os autores agradecem aos técnicos da zona de aquário experimental no Instituto de Ciências marinhas em Barcelona (ICM-CSIC) por sua ajuda durante o trabalho experimental.
Este trabalho foi financiado pelo projeto RITFIM (CTM2010-16274; investigador principal: J. Aguzzi) fundada pelo Ministério espanhol de ciência e inovação (MICINN) e a concessão de TIN2015-66951-C2-2-R do Ministério espanhol de economia e competitividade.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
