Cohoused 水生動物の長期のビデオ追跡: ノルウェー オマール海老 (アカザエビ norvegicus) の毎日の歩行活動の事例
Summary
ここで時間の長い期間にわたって動物を個別に追跡するためのプロトコルを提案する.コンピュータ ビジョン同時に家、に関する情報を提供する事例としてロブスターのグループを使用して手動で構築されたタグのセットを識別するためのメソッドの操作、およびロブスターをマークを使用します。
Abstract
背景差分と cohoused 動物を個別に追跡することが可能になります画像の閾値に基づいてビデオ追跡手法に関連するプロトコルを提案します。5 日間の暗闇に光条件下で 4 cohoused ノルウェーのロブスター (アカザエビ norvegicus) と追跡ルーチンをテストしました。ロブスターは個別にタグ付けされていた。実験のセットアップと使用されるトラッキング技術は、オープン ソースのソフトウェアに基づいています完全。手動検出と追跡出力の比較は、ロブスターが正しくされたことを示します、倍の 69% を検出します。正しく検出されたロブスターの間で彼らの個々 のタグが正しく時代の 89.5% を識別します。プロトコルで使用されるフレーム レートとロブスターの移動率を考えるビデオのトラッキングの性能は良い品質と代表の結果研究ニーズ (個人の貴重なデータを生産のプロトコルの有効性をサポート空間の収容人数や自発運動パターン)。ここで提示されたプロトコルは、簡単にカスタマイズすることができ、、それ故に、グループの標本の個々 の追跡が貴重な研究の質問に答えるためにすることができます他の種に譲渡。
Introduction
ここ数年でイメージ ベースの自動追跡は生態および行動の訓練1の基本的な質問を探検する使用ことができる高精度なデータセットを提供しています。これらのデータセットは、動物の行動2,3の定量分析に使用できます。ただし、動物と行動評価を追跡するために使用される各画像の方法論は、その長所と短所。映画の前のフレームから空間情報を使用して、トラックの動物4,5,6イメージ ベースの追跡プロトコル、2 つの動物のパスが渡るときエラーを導入できます。これらのエラーは一般的に不可逆と反映されるまでの時間。この問題5,7をほぼ排除に削減したりコンピューターの進歩にもかかわらず正確な動物の個体識別と追跡のためこれらのテクニックは同種の実験環境をまだ必要があります。
動物を一意に識別することができますマークの雇用これらのエラーを回避し、識別された個人の長期的な追跡が可能します。広く使用されているマーカー (例えばバーコード、QR コード) 商工業の存在し、識別できるよく知られているコンピューター ビジョン技術を使用して拡張現実感など現実 (例えば、ARTag8) とカメラのキャリブレーション (例えば、CALTag9).タグ動物は隔離タグ3を認識するための例、アリ3または蜂10がこれらの以前のシステムのいくつかが最適化されていないため以前異なる動物種の高スループット行動研究のため使用されています。
本稿で示される追跡プロトコルが適しており、1 チャンネル画像、赤外線 (IR) や単色光などで動物を追跡するため (特に、青色光を使用)。したがって、開発メソッドはされても、その他の設定に適用されるカラー キューを使用しませんが照明で制約があります。さらに、我々 はロブスターを邪魔し、同時に低価格のカメラで記録を可能にしないように設計されているカスタマイズされたタグを使用します。さらに、ここで使用されるメソッドはフレームに依存しないタグ検出に基づいて (すなわち.、アルゴリズムに関係なく、以前の軌道イメージの各タグの存在を認識し)。この機能は、動物は一時的に遮蔽することができます、または動物の軌道が交差する可能性がありますに関連します。
タグのデザインは、動物の異なるグループにその使用をことができます。メソッドのパラメーターを設定した後は、特定の分類子 (他の甲殻類や巻貝) の訓練を必要とせず他の動物追跡の問題に取り組むために転送でした。プロトコルをエクスポートの主な制限は、タグとなる小さな昆虫、ハエ、蜂などには適していません) 動物への愛着の必要性と動物の動きの 2次元仮定のサイズです。この制約は重要な手法は、タグのサイズは一定前提としています。(例えば、魚) の 3 D 環境で自由に動く動物は、カメラへの距離に応じて別のタグのサイズを示すでしょう。
このプロトコルの目的は、時間 (数日または数週間など) の 2D コンテキストの長い期間にわたって複数のタグ動物を追跡するためのユーザーフレンドリーな方法を提供することです。方法論的アプローチは、オープン ソースのソフトウェアとハードウェアの使用に基づいています。フリーでオープン ソース ソフトウェアにより、適応、変更、および自由な再配布;したがって、生成されるソフトウェアが各ステップ11,12で向上します。
プロトコルは実験室を追跡し、5 日間のタンクの 4 つの水生動物の自発運動を評価するように設定に焦点を当てて紹介。動画ファイルは 1 秒のタイムラプス映像から記録あり (1 記録された日は、ビデオの約 1 時間を占めている) 1 秒あたり 20 フレームでビデオでコンパイルされます。すべてのビデオ録画が自動的にポストプロセッシング済みコンピューター ビジョン メソッドは、アルゴリズムを適用する動物の位置を取得します。プロトコルは、大量の追跡データ、時間かかると以前の実験論文13で示されている彼らの手動アノテーションを回避を取得できます。
ノルウェーのロブスター (アカザエビ norvegicus) を使用して、ケース ・ スタディのしたがって、我々 はそれらを維持するために種特異的な実験条件を提供します。ロブスターは概日時計の14,15の制御下にあるよく研究穴の出現リズムを行い、cohoused、支配階層16,17が形成します。したがって、ここに示すモデルは行動の概日リズムの特定の焦点との社会の変調に興味がある研究者の良い例です。
ここで紹介する方法は、再現が容易と個々 のタグを持つ動物を区別する可能性がある場合に他の種に適用できます。研究室では、このようなアプローチを再現するための最小要件が (i) 等温室実験のセットアップ;(ii) の連続的な水の供給;(iii) 水の温度制御機構;(iv) の調光システム。(v)、USB カメラと標準的なコンピューター。
このプロトコルでは、Python18と OpenCV19 (オープン ソース コンピューター ビジョン ライブラリ) を使用します。我々 高速で広く用いられているなどの操作 (実装および実行の点では両方) バック グラウンド減算20と画像閾値21,22に頼る。
Protocol
Representative Results
Discussion
ビデオ追跡プロトコルにより得られたパフォーマンスと代表の結果は、社会的変調と cohoused 動物の概日リズムの特定の焦点と、動物行動の分野での応用研究の有効性を確認しました。動物検出 (69%) の効率化タグ差別 (89.5%) の精度使用対象種の行動特性 (すなわち、運動率) と相まってここでこのプロトコルである長期的な実験 (例えば、数日から数週間) に最適なソリューションを提案します…
Disclosures
The authors have nothing to disclose.
Acknowledgements
著者は、この作品の出版を資金博士ジョアン * 会社に感謝しています。また、著者らは、実験的な作品の中に彼らの助けのための実験的水族館ゾーン バルセロナ (ICM CSIC) 海洋科学研究所の技術者に感謝しています。
この作品は、RITFIM プロジェクトによって支えられた (CTM2010 16274; 主任: J. 阻害される) スペイン語省、科学とイノベーション (MICINN) とスペイン語省経済と競争力から TIN2015 66951 C2 2 R の助成金によって設立されました。
Materials
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500x700x300 mm | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C., Koch, R., Kolb, A., Rezk-salama, C. . CALTag: High Precision Fiducial Markers for Camera Calibration. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- . Welcome to Python.org Available from: https://www.python.org/ (2018)
- Bradski, G. . OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. . Geometry [Electronic Resource. , (2003).
- . . OpenCV Team Structural Analysis and Shape Descriptors – OpenCV 2.4.13.7 documentation. , (2018).
- Slabaugh, G. G. . Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . www.FOURCC.org – Video Codecs and Pixel Formats Available from: https://www.fourcc.org/ (2018)
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. . A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- . Structural Analysis and Shape Descriptors – OpenCV 2.4.13.6 documentation Available from: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018)
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. . Modern Applied Statistics with S. , (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- . Video tracking software | EthoVision XT Available from: https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018)
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- . . MATLAB – MathWorks. , (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. . Methyl cyanoacrylate and ethyl cyanoacrylate. , (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , 1097-1105 (2012).
