स्वचालित व्यवहार विश्लेषण के लिए दीपव्यवहार, डीप लर्निंग टूलबॉक्स का एक चरण-दर-चरण कार्यान्वयन
Summary
इस प्रोटोकॉल का उद्देश्य व्यवहार ट्रैकिंग को स्वचालित करने और विस्तृत व्यवहार विश्लेषण करने के लिए पूर्व-निर्मित कन्वोन्यूशनल तंत्रिका जाल का उपयोग करना है। व्यवहार ट्रैकिंग किसी भी वीडियो डेटा या छवियों के दृश्यों पर लागू किया जा सकता है और किसी भी उपयोगकर्ता-परिभाषित वस्तु को ट्रैक करने के लिए सामान्य है।
Abstract
व्यवहार को समझना वास्तव में मस्तिष्क में तंत्रिका तंत्र को समझने का पहला कदम है जो इसे चलाता है। पारंपरिक व्यवहार विश्लेषण विधियां अक्सर प्राकृतिक व्यवहार के लिए अंतर्निहित समृद्धि को कैप्चर नहीं करती हैं। यहां, हम अपनी हालिया कार्यप्रणाली, दीपव्यवहार के दृश्यों के साथ विस्तृत कदम-दर-कदम निर्देश प्रदान करते हैं। दीपव्यवहार टूलबॉक्स तेजी से प्रक्रिया और व्यवहार वीडियो का विश्लेषण करने के लिए convolutional तंत्रिका नेटवर्क के साथ निर्मित गहरे सीखने के ढांचे का उपयोग करता है। यह प्रोटोकॉल एकल ऑब्जेक्ट डिटेक्शन, मल्टीपल ऑब्जेक्ट डिटेक्शन और थ्री-डिसिबल (3डी) ह्यूमन ज्वाइंट पोज ट्रैकिंग के लिए तीन अलग-अलग फ्रेमवर्क को दर्शाता है। ये चौखटे व्यवहार वीडियो के प्रत्येक फ्रेम के लिए ब्याज की वस्तु के कार्टेसियन निर्देशांक वापस करते हैं। दीपव्यवहार टूलबॉक्स से एकत्र किए गए डेटा में पारंपरिक व्यवहार विश्लेषण विधियों की तुलना में बहुत अधिक विस्तार होता है और व्यवहार गतिशीलता को विस्तृत अंतर्दृष्टि प्रदान करता है। दीपव्यवहार एक मजबूत, स्वचालित और सटीक तरीके से व्यवहार कार्यों की मात्रा निर्धारित करता है। व्यवहार की पहचान के बाद, व्यवहार वीडियो से जानकारी और दृश्य निकालने के लिए पोस्ट-प्रोसेसिंग कोड प्रदान किया जाता है।
Introduction
व्यवहार का एक विस्तृत विश्लेषण मस्तिष्क और व्यवहार संबंधों को समझने के लिए महत्वपूर्ण है। उच्च लौकिक संकल्प के साथ न्यूरोनल आबादी को रिकॉर्ड करने और हेरफेर करने के तरीकों में कई रोमांचक प्रगति हुई है, हालांकि, व्यवहार विश्लेषण विधियां एक ही दर पर विकसित नहीं हुई हैं और अप्रत्यक्ष माप और एक न्यूनीकरण दृष्टिकोण1तक सीमित हैं। हाल ही में, स्वचालित और विस्तृत व्यवहार विश्लेषण2,3,4,5 करने के लिए गहरे सीखने आधारित तरीके विकसित किए गएहैं। यह प्रोटोकॉल दीपव्यवहार टूलबॉक्स के लिए एक कदम-दर-कदम कार्यान्वयन गाइड प्रदान करता है।
पारंपरिक व्यवहार विश्लेषण विधियों में अक्सर कई मूल्यांकनकर्ताओं द्वारा मैन्युअल रूप से लेबलिंग डेटा शामिल होता है, जिससे प्रयोगकर्ता व्यवहार6को कैसे परिभाषित करते हैं। डेटा की मैन्युअल लेबलिंग के लिए समय और संसाधनों की आवश्यकता होती है जो एकत्र किए गए डेटा की मात्रा में असंगत रूप से वृद्धि करते हैं। इसके अलावा, मैन्युअल रूप से लेबल किए गए डेटा व्यवहार परिणामों को स्पष्ट मापन में कम करते हैं जो व्यवहार की समृद्धि को कैप्चर नहीं करते हैं, और अधिक व्यक्तिपरक होंगे। इस प्रकार, वर्तमान पारंपरिक तरीके प्राकृतिक व्यवहार में विवरण पर कब्जा करने में सीमित हो सकते हैं।
दीपव्यवहार टूलबॉक्स व्यवहार विश्लेषण के लिए गहरी सीखने का उपयोग करके एक सटीक, विस्तृत, अत्यधिक अस्थायी और स्वचालित समाधान प्रस्तुत करता है। डीप लर्निंग जल्दी से ओपन-सोर्स टूल्स और पैकेजके साथ सभी के लिए सुलभ हो गई है। कन्वोलुशनल न्यूरल नेटवर्क (सीएनएस) ऑब्जेक्ट रिकग्निशन और ट्रैकिंगकार्यों7,8में अत्यधिक प्रभावी साबित होते हैं। आधुनिक दिन सीएनएस और उच्च प्रदर्शन ग्राफिक्स-प्रोसेसिंग-इकाइयों (जीपीयू) का उपयोग करके, बड़ी छवि और वीडियो डेटासेट को उच्च सटीक7,9,10,11के साथ जल्दी से संसाधित किया जा सकता है। दीपव्यवहार में, तीन अलग-अलग कन्वोन्तितंत्रिका शुद्ध आर्किटेक्चर, टेंसोरबॉक्स, योलओवी 3 और ओपनपोस2हैं।
पहला फ्रेमवर्क, टेन्सरबॉक्स, एक बहुमुखी ढांचा है जिसमें ऑब्जेक्ट डिटेक्शन12के लिए कई अलग-अलग सीएनएन आर्किटेक्चर शामिल हैं। टेन्सरबॉक्स प्रति छवि केवल एक ऑब्जेक्ट वर्ग का पता लगाने के लिए सबसे उपयुक्त है। परिणामस्वरूप आउटपुट ब्याज की वस्तु(चित्रा 1)और बाउंडिंग बॉक्स के कार्टेशियन निर्देशांक के बक्से को बाध्य कर रहे हैं।
दूसरा सीएनएन फ्रेमवर्क YOLOv3 है, जो “आप केवल एक बार देखो”13के लिए खड़ा है । YOLOv3 लाभप्रद है जब ब्याज की कई वस्तुएं हैं जिन्हें अलग से ट्रैक किया जाना चाहिए। इस नेटवर्क के आउटपुट में संबंधित ऑब्जेक्ट लेबल क्लास के साथ-साथ वीडियो फ्रेम(चित्रा 2)में ऑब्जेक्ट के बाउंडिंग बॉक्स कार्टेसियन निर्देशांक के साथ बाउंडिंग बॉक्स शामिल है।
पिछले दो चौखटे पशु विषयों में मानक प्रयोगशाला प्रयोगों से एकत्र सामान्यीकृत व्यवहार डेटा के लिए लाभप्रद हैं। सीएनएन का अंतिम ढांचा ओपनपोस14,15,16 है जिसका उपयोग मानव संयुक्त मुद्रा अनुमान के लिए किया जाता है । ओपनपोज छवियों पर मानव शरीर, हाथ, चेहरे और पैर के प्रमुख बिंदुओं का पता लगाता है। ढांचे के आउटपुट मानव विषय की छवियों के साथ-साथ शरीर में सभी 25 प्रमुख बिंदुओं और प्रत्येक हाथ के 21 प्रमुख बिंदुओं(चित्र 3)के निर्देशांक लेबल किए गए हैं।
हमारे हाल ही में विकसित ओपन-सोर्स डीपबिहेव टूलबॉक्स के कार्यान्वयन के लिए यह विस्तृत कदम-दर-कदम गाइड पशु व्यवहार (जैसे पंजा का आंदोलन) या मानव व्यवहार (जैसे पहुंच कार्यों) को ट्रैक करने के लिए अत्याधुनिक कन्वोन्यूशनल न्यूरल जाल को नियोजित करता है। व्यवहार पर नज़र रखने से, उपयोगी काइनेमेटिक्स व्यवहार जैसे स्थिति, वेग और त्वरण से प्राप्त किया जा सकता है। प्रोटोकॉल प्रत्येक सीएनएन वास्तुकला की स्थापना बताते हैं, दर्शाता है कि प्रशिक्षण डेटासेट कैसे बनाएं, नेटवर्क को कैसे प्रशिक्षित करें, प्रशिक्षित नेटवर्क पर नए वीडियो कैसे संसाधित करें, नए वीडियो पर नेटवर्क से डेटा कैसे निकालें, और कैसे करें आउटपुट डेटा को आगे के विश्लेषण के लिए उपयोगी बनाने के लिए प्रक्रिया के बाद।
Protocol
Representative Results
Discussion
यहां, हम दीपव्यवहार के कार्यान्वयन के लिए एक कदम-दर-कदम गाइड प्रदान करते हैं, पशु और मानव व्यवहार इमेजिंग डेटा विश्लेषण2के लिए हमारे हाल ही में विकसित डीप लर्निंग आधारित टूलबॉक्स। हम प्रत्येक …
Disclosures
The authors have nothing to disclose.
Acknowledgements
हम पिंग झाओ और पेमन गोलशानी को मूल पेपर2में इस्तेमाल होने वाले दो-माउस सोशल इंटरैक्शन टेस्ट के लिए रॉ डेटा उपलब्ध कराने के लिए शुक्रिया अदा करना चाहेंगे । इस अध्ययन को एनआईएच एनएस109315 और एनवीडिया जीपीयू ग्रांट (एए) ने समर्थन दिया।
Materials
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , (2016).
