Långsiktiga Video spårning av Cohoused vattenlevande djur: en fallstudie av den daglig rörelseaktivitet på havskräfta (Nephrops norvegicus)
Summary
Här presenterar vi ett protokoll för att individuellt spåra djur över en lång tidsperiod. Den använder datorseende metoder för att identifiera en uppsättning manuellt byggyta Taggar med hjälp av en grupp av hummer som fallstudie, samtidigt ger information om hur man hus, manipulera och markera hummer.
Abstract
Vi presenterar ett protokoll som relaterade till en video-tracking-teknik utifrån bakgrunden subtraktion och bild tröskelvärde som gör det möjligt att individuellt spåra cohoused djur. Vi testade rutinen spårning med fyra cohoused havskräftor (Nephrops norvegicus) ljus-mörker villkor under 5 dagar. Hummer hade märkts individuellt. Den experimentella setup och de spårning tekniker som används är helt baserad på öppen källkod. Jämförelse av spårning utdata med en manuell identifiering antyder att hummer var korrekt upptäckt 69% av gånger. Bland korrekt identifierade hummer, deras enskilda Taggar var korrekt identifierade 89,5% av gånger. Med tanke på den bildhastighet som används i protokollet och andelen rörelse av hummer, prestanda för video spårning har en god kvalitet, och de representativa resultat stöder giltigheten av protokollet i producerar värdefulla data för forskningsbehov (individuell utrymme beläggning eller rörelseaktivitet mönster). Det protokoll som presenteras här kan enkelt anpassas och är därför överlåtbara till andra arter där enskilda spårning av prover i en grupp kan vara värdefulla för att besvara forskningsfrågor.
Introduction
Under de senaste åren, har automatiserade image-baserad spårning lämnat mycket noggranna datamängder som kan användas för att utforska grundläggande frågor i ekologi och beteende discipliner1. Dessa datamängder kan användas för kvantitativ analys av djurens beteende2,3. Varje bild-metod som används för att spåra djur och beteende utvärdering har dock sina styrkor och begränsningar. I image-baserad spårning protokoll som använder spatial information från föregående bildrutor i en film för att spåra djur4,5,6, kan fel införas när sökvägarna för två djur korsa. Dessa fel är vanligen oåterkalleliga och spridits genom tid. Trots computational framsteg som minskar eller nästan eliminera detta problem5,7, behöver dessa tekniker fortfarande homogen experimentella miljöer för korrekt identifiering och spårning.
Anställning av märken som kan identifieras unikt djur undviker dessa fel och tillåter långsiktiga spårning av identifierade individer. Allmänt använda markörer (t.ex., streckkoder och QR-koder) finns i industri- och handelskammare och kan identifieras med hjälp av välkända dator vision tekniker, såsom augmented reality (t.ex. ARTag8) och kamerakalibrering (t.ex., CALTag9 ). Taggad djur har tidigare använts för hög genomströmning beteendevetenskapliga studier i olika djurarter, för exempel, myror3 eller bin10, men några av dessa tidigare system inte är optimerad för att erkänna isolerade Taggar3.
Spårning protokollet presenteras i denna uppsats är speciellt lämplig för att spåra djur i en kanal bildspråk, såsom infraröd (IR) ljus eller monokromatiskt ljus (särskilt, vi använder blått ljus). Därför använder inte metoden utvecklats färg cues, som också gäller för andra inställningar där det finns begränsningar i belysningen. Dessutom använder vi anpassade taggar utformade så att störa hummer och samtidigt tillåta inspelning med billiga kameror. Dessutom den metod som används här är baserad på ram-oberoende tag upptäckt (i.e., algoritmen erkänner förekomsten av varje tagg i bilden oavsett tidigare trajectoriesen). Denna funktion är relevanta i applikationer där djur kan vara tillfälligt ockluderas eller djurens banor kan överlappa.
Tag designen tillåter dess användning i olika grupper av djur. När parametrarna för metoden är inställda, kan det överföras för att ta itu med andra djur-tracking problem utan att behöva utbildning en specifik klassificerare (andra kräftdjur eller snäckor). De viktigaste begränsningarna exporterande protokollet är storleken på etiketten och behovet för fastsättning på djuret (vilket gör den inte lämplig för små insekter, såsom flugor, bin, etc.) och 2D antagandet för djurens förflyttning. Denna begränsning är betydande, eftersom den föreslagna metoden förutsätter tagg storlek förblir konstant. Ett djur som rör sig fritt i en 3D-miljö (t.ex. fisk) skulle visa olika tag storlekar beroende på avstånd till kameran.
Syftet med detta protokoll är att tillhandahålla en användarvänlig metod för att spåra flera märkta djur under en lång tid (dagar eller veckor) i ett 2D sammanhang. Metoden som är baserad på användning av öppen programvara och maskinvara. Fri och öppen källa mjukvaran tillåter anpassningar, ändringar och gratis omfördelning; Därför förbättrar genererade programvaran varje steg11,12.
Protokollet presenteras här fokuserar på ett laboratorium att spåra och utvärdera rörelseaktivitet fyra vattenlevande djur i en tank för 5 dagar. Videofiler inspelade från en 1 s time-lapse image och sammanställas i en video på 20 bildrutor per sekund (1 inspelade dag upptar cirka 1 h video). Alla videoinspelningar är automatiskt postprocessed att erhålla djurens positioner, tillämpa dator vision metoder och algoritmer. Protokollet tillåter att få stora mängder spåra data, undvika deras manuell anteckning, som har visat sig vara tidskrävande och mödosam i tidigare experimentella papper13.
Vi använder havskräfta (Nephrops norvegicus) för fallstudien; Således, vi tillhandahåller artspecifika laboratorieförhållanden att upprätthålla dem. Humrar utföra väl studerat håla uppkomsten rytmer som är under kontroll av dygnsrytm klockan14,15, och när cohoused, de bildar dominans hierarki16,17. Därför, den modell som presenteras här är ett bra exempel för forskares sociala moduleringen av beteende med särskilt fokus på dygnsrytmen.
Metoden presenteras här återges enkelt och kan tillämpas på andra arter om det finns en möjlighet att skilja mellan djur med enskilda Taggar. Minimikraven för att återge en sådan strategi i laboratoriet är (i) isotermiska rum för experimentell inställningar; (ii) en kontinuerlig vattenförsörjning; (iii) vatten temperatur kontrollmekanismer; (iv) ett system för ljusstyrning. (v) en USB-kamera och en vanlig dator.
I detta protokoll använder vi Python18 och OpenCV19 (öppen källkod dator Vision Library). Vi förlitar oss på snabb och allmänt tillämpade åtgärder (både när det gäller genomförande), såsom bakgrund subtraktion20 och bild tröskelvärde21,22.
Protocol
Representative Results
Discussion
Prestanda och representativa resultat av protokollet video-tracking bekräftade dess giltighet för tillämpad forskning inom djurens beteende, med särskilt fokus på sociala modulering och dygnsrytmen av cohoused djur. Effektiviteten i animal detection (69%) och riktigheten av taggen diskriminering (89,5%) tillsammans med de beteendemässiga egenskaperna (dvs. rörelse ränta) det målarter som används här tyder på att detta protokoll är en perfekt lösning för långsiktig experimentella studier (t.ex., dagar och …
Declarações
The authors have nothing to disclose.
Acknowledgements
Författarna vill tacka Dr Joan B. företaget som finansierade publiceringen av detta arbete. Även är författarna tacksam till tekniker av den experimentella akvarium zonen vid Institutet för marina vetenskaper i Barcelona (ICM-CSIC) för deras hjälp under det experimentella arbetet.
Detta arbete stöds av projektet RITFIM (CTM2010-16274; Projektledare: J. Aguzzi) grundades av det spanska ministeriet för vetenskap och Innovation (MICINN) och TIN2015-66951-C2-2-R bidraget från det spanska ministeriet för ekonomi och konkurrenskraft.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
Referências
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
