Langfristige Video Tracking Cohoused Wassertiere: A Case Study of der Bewegungsorgane Tagesaktivität der Kaisergranat (Nephrops Norvegicus)
Summary
Hier präsentieren wir ein Protokoll, um die Tiere einzeln über einen langen Zeitraum hinweg zu verfolgen. Es nutzt Computervision Methoden um eine Reihe von manuell konstruierten Tags mit Hilfe einer Gruppe von Hummer als Fallstudie, gleichzeitig eine Information zum Umgang mit Haus, manipulieren, und markieren Sie den Hummer.
Abstract
Wir präsentieren Ihnen ein Protokoll im Zusammenhang mit einer Video-Tracking-Technik anhand der Hintergrundabzug und Bild Schwellwerte, die es ermöglicht, individuell cohoused Tiere verfolgen. Wir testeten die Tracking-Routine mit vier cohoused Kaisergranat (Nephrops Norvegicus) unter hell-dunkel-Bedingungen für 5 Tage. Der Hummer war individuell markiert. Der Versuchsaufbau und die Tracking-Techniken basieren vollständig auf die open-Source-Software. Der Vergleich der Tracking-Ausgabe mit einer manuelle Erkennung zeigt, dass die Hummer richtig waren 69 % der Zeit erkannt. Unter die richtig erkannten Hummer waren ihre individuelle Tags korrekt identifizierte 89,5 % der Zeit. Betrachtet man die Frame-Rate in das Protokoll verwendet und Gängigkeit der Hummer die Leistung des video-Tracking hat eine gute Qualität und die repräsentativen Ergebnisse unterstützen die Gültigkeit des Protokolls in der Herstellung von wertvollen Daten für Forschungsbedarf (individuelle Raum-Belegung oder Bewegungsorgane Aktivitätsmuster). Die hier vorgestellten Protokoll kann leicht angepasst werden und ist daher übertragbar auf andere Arten, wo die individuelle Verfolgung von Proben in einer Gruppe für die Beantwortung der Forschungsfragen wertvoll sein kann.
Introduction
In den letzten Jahren hat automatische Bild-basierten Tracking hochgenaue Datasets versehen, die verwendet werden können, um grundlegende Fragen in Ökologie und Verhalten Disziplinen1zu erkunden. Diese Datensätze können für die Quantitative Analyse von Tierverhalten2,3verwendet werden. Allerdings hat jedes Bild-Methodik für die Verfolgung von Tieren und Verhalten Bewertung ihrer Stärken und Grenzen. Im Bild-basierten Tracking-Protokolle, die räumliche Informationen aus vorhergehenden Frames in einem Film zu verwenden, um Tiere4,5,6verfolgen, können Fehler eingeführt werden, wenn kreuzen sich die Wege der beiden Tiere. Diese Fehler sind in der Regel irreversibel und durch die Zeit zu verbreiten. Trotz der rechnerischen Fortschritte, die verringern oder fast beseitigt dieses Problem5,7, benötigen diese Techniken noch homogene Versuchsaufbauten für genaue Kennzeichnung von Tieren und Tracking.
Die Beschäftigung von Marken, die bei Tieren eindeutig identifiziert werden können diese Fehler vermieden und ermöglicht die langfristige Verfolgung von identifizierten Personen. Weit verbreitete Marker (z.B., Barcodes und QR-Codes) gibt es in Industrie und Gewerbe und identifiziert werden kann mit bekannten Computer-Vision-Techniken, wie augmented Reality (z. B. ARTag8) und Kamera-Kalibrierung (z. B.CALTag9 ). Tagged Tiere haben zuvor für Hochdurchsatz-Verhaltensstudien in verschiedenen Tierarten verwendet worden, für Beispiel, Ameisen3 oder Bienen10, aber einige dieser früheren Systeme zur Erkennung von isolierten Tags3nicht optimiert sind.
Das Tracking-Protokoll präsentiert in diesem Papier eignet sich besonders für die Verfolgung von Tieren in einkanalige Bilder, z. B. Infrarot (IR) Licht oder monochromatisches Licht (vor allem, wir benutzen blaues Licht). Daher entwickelte Methode verwendet keine Farbe Hinweise, als auch für andere Einstellungen wo gibt es Einschränkungen bei der Beleuchtung. Darüber hinaus verwenden wir benutzerdefinierte Tags entworfen, um nicht zu stören den Hummer und zum gleichen Zeitpunkt ermöglichen Aufnahmen mit preiswerten Kameras. Darüber hinaus ist die hier angewandte Methode basiert auf Frame-unabhängige Tag-Erkennung (dh., der Algorithmus erkennt das Vorhandensein der jeden Tag in das Bild unabhängig von der vorherigen Trajektorien). Diese Funktion ist in Anwendungen, wo Tiere vorübergehend verschlossen werden können, oder Tiere Trajektorien können schneiden, relevant.
Das Tag-Design ermöglicht seine Verwendung in verschiedenen Gruppen von Tieren. Nachdem die Parameter der Methode festgelegt werden, könnte es auf andere Tier-Tracking Probleme ohne die Notwendigkeit der Ausbildung einer bestimmten Klassifizierung (andere Krebse oder Schnecken) übertragen werden. Die wichtigsten Einschränkungen des Exports des Protokolls sind die Größe der Tag und das Bedürfnis nach Bindung an das Tier (das macht es nicht geeignet für kleine Insekten wie fliegen, Bienen, etc.) und die 2D Annahme der Tierbewegung. Diese Einschränkung ist wichtig, angesichts der Tatsache, dass die vorgeschlagene Methode wird davon ausgegangen, dass die Tag-Größe konstant bleibt. Ein Tier in einer 3D Umgebung (z. B. Fisch) frei bewegen würde anderen Tag Größen je nach Entfernung zur Kamera zeigen.
Dieses Protokoll soll eine benutzerfreundliche Methode für die Verfolgung von mehreren tagged Tiere über einen langen Zeitraum hinweg (dh, Tage oder Wochen) in einem 2D Kontext zur Verfügung zu stellen. Der methodische Ansatz basiert auf der Verwendung von open Source Software und Hardware. Freie und open Source Software erlaubt Anpassungen, Änderungen und kostenlose Umverteilung; Daher verbessert die generierten Software bei jedem Schritt11,12.
Das Protokoll hier vorgestellten konzentriert sich auf ein Labor eingerichtet, verfolgen und Auswerten der Bewegungsorgane Aktivität von vier Wassertieren in einem Tank für 5 Tage. Die video-Dateien von einem 1 s-Zeitraffer-Bild aufgezeichnet und in einem Video mit 20 Bildern pro Sekunde (1 aufgezeichneten Tag belegt ca. 1 h Video) zusammengestellt. Alle video-Aufnahmen werden automatisch postprocessed, tierische Positionen, Anwendung von Computer-Vision-Methoden und Algorithmen zu erhalten. Das Protokoll erlaubt die Erlangung großer Mengen von tracking-Daten, deren manuelle Annotation, das gezeigt worden ist, zu zeitaufwendig und mühsam in früheren experimentellen Papiere13zu vermeiden.
Wir verwenden für die Fallstudie der Kaisergranat (Nephrops Norvegicus); So bieten wir artspezifische Laborbedingungen zu gewährleisten. Hummer führen gut untersuchte Fuchsbau entstehen Rhythmen, die unter der Kontrolle der circadianen Uhr14,15, und wenn cohoused, bilden sie Dominanz Hierarchie16,17. Das hier vorgestellte Modell ist daher ein gutes Beispiel für die Forscher die soziale Modulation des Verhaltens mit dem besonderen Schwerpunkt der zirkadianen Rhythmen interessiert.
Die hier vorgestellte Methodik ist leicht reproduziert und kann auf andere Arten angewendet werden, wenn es besteht die Möglichkeit, zwischen Tieren mit einzelnen Variablen zu unterscheiden. Die Mindestanforderungen für die Wiedergabe solcher Ansatzes im Labor sind (i) isothermen Räume für den Versuchsaufbau; (Ii) eine kontinuierliche Wasserversorgung; (Iii) Wasser Temperatur Kontrollmechanismen; (iv) eine Lichtsteuerung; (V) eine USB-Kamera und einem standard-Computer.
In diesem Protokoll verwenden wir Python18 und OpenCV19 (Open Source Computer Vision Library). Wir setzen auf schnelle und häufig angewandte Vorgänge (sowohl in Bezug auf die Umsetzung und Durchführung), z. B. Hintergrund Subtraktion20 und Bild Schnittstellenüberwachung21,22.
Protocol
Representative Results
Discussion
Die Leistung und Vertreter Ergebnisse mit dem Video-Tracking-Protokoll bestätigt seine Gültigkeit für die angewandte Forschung auf dem Gebiet der tierischen Verhaltens, mit einem besonderen Schwerpunkt auf soziale Modulation und zirkadiane Rhythmen von cohoused Tieren. Die Effizienz der Tier-Erkennung (69 %) und die Genauigkeit der Tag Diskriminierung (89,5 %) gepaart mit der Verhaltensmerkmale (d. h. Gängigkeit) der Zielarten verwendet hier legen nahe, dass dieses Protokoll eine perfekte Lösung für langfristige ex…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Die Autoren sind dankbar für die Firma Dr. Joan B., die die Veröffentlichung dieser Arbeit finanziert. Darüber hinaus sind die Autoren während der experimentellen Arbeit an die Techniker der experimentellen Aquarium Zone am Institute of Marine Sciences in Barcelona (ICM-CSIC) für ihre Hilfe dankbar.
Diese Arbeit wurde unterstützt durch das RITFIM-Projekt (CTM2010-16274; Prüfärztin: J. Aguzzi) gegründet durch das spanische Ministerium für Wissenschaft und Innovation (MICINN) und der TIN2015-66951-C2-2-R-Zuschuss vom spanischen Ministerium für Wirtschaft und die Wettbewerbsfähigkeit.
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
