SSVEP מבוסס נוהל ניסיון לאינטראקצית המוח-רובוט עם רובוטים דמויים אדם
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
אינטראקציה המוח-רובוט (BRI), המספק מסלול תקשורת חדשני בין אדם ומכשיר רובוטי באמצעות אותות מוח, הוא פוטנציאלי בסיוע לנכים בחיי היומיום שלהם 1,2. מגוון שיטות יכול לרכוש אותות מוח או פולשני או הלא פולשני, כגון electrocorticography (ECOG), גלי מוח (EEG), הדמיה בתהודה מגנטית תפקודית (fMRI), וכו 'השיטה לא פולשנית הנפוצה ביותר לבנייה מערכת BRI היא לרכוש אותות EEG מאלקטרודות המונחות על הקרקפת. שיטה זו היא זולה, קלה לשימוש, ומספקת פתרון זמני מקובל 3. בין מגוון רחב של התקנים רובוטיים, רובוטים דמויי אדם הם מתקדמים כפי שהם נוצרו כדי לחקות כמה מאותן המשימות פיזיות ונפשיות שעוברים בני האדם מדי יום. BRI עם רובוט דמוי אדם ישחק תפקיד חשוב בסיוע לחולים וזקנים, כמו גם ביצוע עבודות היגייני או מסוכנות. אבל שליטהשל רובוט דמוי אדם באמצעות מערכת BRI הוא מאתגר מאוד, כמו הרובוט דמוי אדם עם תנועת גוף מלאה מפותח כדי לבצע משימות מורכבות כגון סיוע אישי 4, 5.
מצב יציב חזותי פוטנציאלי (SSVEP) עורר הוא סוג של אות המוח שמעורר האפנון של גירוי חזותי בתדר נתון 6. הוא מכיל sinusoids בתדרים הבסיסיים והרמוניים של הגירוי המרצד, ובאופן בולט מופיע ברחבי קליפת הראייה באזור העורפי של הקרקפת 7. הסיבה לבחירת אותות SSVEP היא שמערכת BRI מבוססת SSVEP מניבה קצב העברת מידע גבוה יחסית ודורשת פחות אימונים 8. סוגים אחרים של גלי המוח, כגון פוטנציאל הקשור לאירוע (ERPs) 9 או מנוע-תמונות (MI) פוטנציאלי 10, יכולים גם להיות מוטבעים לתוך הליך ניסוי זה.
ההליך שלנו לאינטראקציה המוח-רובוט דמוי אדם עםרובוטים מבוסס על Cerebot – פלטפורמת רובוט דמוי אדם שבשליטת מוח – בהיקף של מערכת רכישת נתונים EEG ורובוט דמוי אדם 11. מערכת ה- EEG היא מסוגלת להקליט, לפני תהליך ואותות ביו-פוטנציאל תצוגה נרכשו על ידי סוגים שונים של אלקטרודות. הוא מספק אנלוגי מרובה קלט / פלט ואני דיגיטלי / Os ומסוגל להקליט עד 128 ערוצים בו זמנית אות בקצב דגימה של 30 קילוהרץ עם רזולוציה של 16 סיביות. ערכות פיתוח תוכנה שלה בשפת C ++ וMATLAB הן קלים למשתמשים לעצב את הפרוצדורות. יש רובוט דמוי האדם 25 דרגות חופש, והוא מצויד בחיישנים מרובים, כולל 2 מצלמות, 4 מיקרופונים, 2 rangefinders סונאר, 2 IR קרינה ומקלטים, 1 לוח אינרציה, 9 חיישני מישוש, ו8 חיישני לחץ. הוא מספק Choregraphe ו- C ++ SDK ליצירה ועריכת תנועות והתנהגויות רובוט אינטראקטיביות.
המטרה הכוללת של שיטה זו היא להקים proce הניסיוני מבוסס SSVEPדורה על ידי שילוב תוכנות מרובות, כגון OpenViBE, Choregraph, תוכנה מרכזית כמו גם תוכניות משתמש פיתח נכתבו ב- C ++ וMATLAB, כדי לאפשר המחקר של אינטראקציה המוח-רובוט דמוי אדם עם רובוטים 11. איור 1 מציג את מבנה המערכת. מחשב הגירוי הייעודי המצגת (SPC) מציג את ממשק המשתמש כדי לספק את הנושא עם גירויים חזותיים, הוראות ומשובים סביבתיים. המחשב הייעודי לעיבוד נתונים (DPC) מנהל את מקליט נתונים ומנתח נתונים מנותק בתהליך ההכשרה לא מקוון, ומפעיל את מעבד האותות באינטרנט ובקר הרובוט לשליטה באינטרנט של הרובוט דמוי האדם. בהשוואה למערכות בקרה מבוססת SSVEP אחרות, המערכת שלנו היא יותר אמינה, גמישה יותר, ובמיוחד יותר נוחה לשימוש חוזר ומשודרג כפי שפותח על ידי שילוב מספר חבילות תוכנה סטנדרטיות, כגון OpenViBE, Choregraph, תוכנה מרכזית, ו מודולים שנכתבו ב- C ++וMATLAB.
ההליך הבא היה נבדק ואושר על ידי ועדת אתיקה בבית חולים כלליים באוניברסיטה רפואית טיאנג'ין, וכל הנושאים נתנו סכמה בכתב.
Protocol
Representative Results
Discussion
מאמר זה מציג הליך ניסיוני מבוסס SSVEP להקים מערכת האינטראקציה המוח-רובוט דמוי אדם עם רובוטים על ידי שילוב תוכנות מרובות. בגלל כוונה אנושית נתפסה על ידי פירוש אותות EEG בזמן אמת, זה קריטי כדי לאמת את קשרי אלקטרודה ואיכויות אות EEG לפני ביצוע הניסוי. אם אותות שנרכשו מכל האלקט…
Disclosures
The authors have nothing to disclose.
Acknowledgements
המחברים מבקשים להביע את תודתם למר הונג הו לעזרתו בביצוע הניסויים דיווחו במאמר זה. עבודה זו נתמכה בחלקו על ידי טבע הקרן הלאומית למדע של סין (מס '61,473,207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
