İnsansı Robotlar ile Beyin Robot Etkileşimi Deneysel Prosedür SSVEP tabanlı
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Beyin-Robot Etkileşimi insan ve beyin sinyalleri yoluyla robotik cihaz arasında bir yenilikçi iletişim yolu sağlar (BRI), günlük yaşamlarında 1,2 engelli yardımcı prospektif olduğunu. Çeşitli yöntemler oluşturmak için vb elektrokortikografi (ECOG), elektroansefalografi (EEG), fonksiyonel manyetik rezonans görüntüleme (fMRI) gibi, ya invaziv veya non-invaziv en sık kullanılan non-invaziv bir yöntem beyin sinyallerini elde edebiliyoruz BRI sistem kafa derisi üzerine yerleştirilen elektrotlar EEG sinyallerini elde etmektir. Bu yöntem, pahalı olmayan bir kullanımı kolaydır, ve kabul edilebilir bir zamansal çözünürlüğü 3 içerir. Onlar insanların günlük geçmesi aynı fiziksel ve zihinsel görevlerin bazıları taklit oluşturulan olarak robotik cihazlar çeşitli arasında, insansı robotlar ileri seviyededir. Insansı robot ile BRI hasta ve yaşlı yardımcı, hem de sağlıksız ve tehlikeli görevlerini yerine getirirken önemli bir rol oynayacaktır. Ama kontroltam vücut hareketi ile insansı robot gibi kişisel yardım 4, 5 gibi karmaşık görevleri yerine getirmek için geliştirilmiştir olarak BRI sistemi aracılığıyla bir insansı robot, son derece zordur.
Kararlı Hal Görsel Uyarılmış Potansiyel (SSVEP) Belli bir frekansta 6 görsel uyaranın modülasyonu ile uyarılmış beyin sinyalinin bir türüdür. Bu titreşen uyaran temel ve harmonik frekanslarda sinüzoidlerde içerir ve belirgin kafa derisi 7 oksipital bölgede görsel korteks boyunca görünür. SSVEP sinyallerini seçilmesinin sebebi SSVEP merkezli BRI sistem nispeten yüksek bilgi aktarım hızı verir ve daha az eğitim 8 gerektirir. Bu tür olaya ilişkin potansiyeller (OİP) 9 veya motor görüntüleri (MI) 10 potansiyelleri olarak beyin dalgalarını diğer türleri, aynı zamanda bu deneysel prosedür içine gömülü olabilir.
İnsansı beyin-robot etkileşimini Bizim prosedürrobotlar Cerebot dayanmaktadır – bir zihin kontrollü insansı robot platformu – EEG veri toplama sistemi ve bir insansı robot 11 oluşmaktadır. EEG sistemi, ön işlem ve elektrotların çeşitli edindiği ekran biyo-potansiyel sinyallerini kayıt yapabiliyor. Birden fazla analog I / O ve dijital I / Os sağlar ve 16-bit çözünürlük ile 30 kHz örnekleme hızında anda 128 sinyal kanala kadar kayıt yeteneğine sahiptir. C ++ ve MATLAB Onun yazılım geliştirme kitleri kullanıcıların deneysel prosedürler tasarlamak için kolaydır. Insansı robot serbestlik 25 derece vardır ve 2 kameralar, mikrofonlar 4, 2 sonar rangefinders, 2 IR vericiler ve alıcılar, 1 eylemsizlik kurulu, 9 dokunsal sensörleri ve 8 basınç sensörleri de dahil olmak üzere çoklu sensör ile donatılmıştır. Bu oluşturma ve düzenleme hareketleri ve interaktif robot davranışları Choregraphe ve C ++ SDK sağlar.
Bu yöntemin genel amacı bir SSVEP tabanlı deneysel proce kurmakdure insansı robotlar 11 ile beyin robot etkileşim çalışması sağlamak için, örneğin OpenViBE, Choregraph, Merkezi yazılımı gibi birden fazla yazılım programlarının yanı sıra C ++ ve MATLAB yazılı kullanıcı geliştirdiği programlar entegre ederek. 1 sistem yapısını göstermektedir. Özel uyaran sunum bilgisayar (SPC) görsel uyaranlara, talimatlar ve çevre yorumlarından konuyu sunmak için Kullanıcı Arayüzü görüntüler. Özel bilgi işlem bilgisayar (DPC) çevrimdışı eğitim sürecinde Veri Kaydedici ve Offline Veri Analyzer çalışır ve Online Sinyal İşlemci ve insansı robot online kontrolü için Robot Kontrol çalışır. Diğer SSVEP tabanlı kontrol sistemleri ile karşılaştırıldığında, bizim sistem yeniden ve böyle OpenViBE, Choregraph, Merkezi yazılımı gibi standartlaştırılmış yazılım paketleri, bir dizi entegre tarafından geliştirilen olarak yükseltilmiş ve olması daha esnek, daha güvenilir ve özellikle daha uygundur Modüller C ++ ile yazılmışve MATLAB.
Aşağıdaki prosedür gözden ve Tianjin tıbbi üniversite genel hastane etik kurulu tarafından onaylandı ve tüm denekler yazılı onayını vermiş oldu.
Protocol
Representative Results
Discussion
Bu yazıda birden fazla yazılım programlarını entegre ederek insansı robotlar beyin-robot etkileşimi sistemi kurmak için bir SSVEP tabanlı deneysel prosedür sunar. İnsan niyet gerçek zamanlı EEG sinyallerini yorumlayarak algılanan olduğundan, deney yapmadan önce elektrot bağlantıları ve EEG sinyal kalitesini doğrulamak için kritik öneme sahiptir. Tüm elektrotlar elde edilen sinyaller kötü nitelikleri ise, ilk zemin ve referans elektrotlar bağlantısını kontrol etmek gereklidir. Elektrotların …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Yazarlar bu yazıda bildirilen deneyler yaptığı yardım için Bay Hong Hu şükranlarını ifade etmek istiyorum. Bu çalışma Çin Ulusal Doğa Bilim Vakfı (No 61473207) tarafından kısmen desteklenmiştir.
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
