Eine einkanalige und nicht-invasive tragbare Gehirn-Computer-Schnittstelle für Industrie und Gesundheitswesen
Summary
In diesem Artikel wird erörtert, wie eine Gehirn-Computer-Schnittstelle aufgebaut werden kann, indem man sich auf Geräte in Verbraucherqualität und stationäre, visuell evozierte Potenziale stützt. Zu diesem Zweck wurde ein Einkanal-Elektroenzephalograph, der trockene Elektroden nutzt, mit einer Augmented-Reality-Brille zur Reizdarstellung und Visualisierung der Ausgangsdaten integriert. Das endgültige System war nicht-invasiv, tragbar und tragbar.
Abstract
Die vorliegende Arbeit konzentriert sich auf den Aufbau eines tragbaren Brain-Computer-Interfaces (BCI). BCIs sind ein neuartiges Mittel der Mensch-Computer-Interaktion, das auf direkten Messungen von Gehirnsignalen beruht, um sowohl Menschen mit Behinderungen als auch Menschen mit Behinderungen zu unterstützen. Anwendungsbeispiele sind Robotersteuerung, industrielle Inspektion und Neurorehabilitation. Insbesondere haben neuere Studien gezeigt, dass sich stationäre visuell evozierte Potentiale (SSVEPs) besonders für Kommunikations- und Steuerungsanwendungen eignen, und es werden derzeit Anstrengungen unternommen, die BCI-Technologie in den Alltag zu bringen. Um dieses Ziel zu erreichen, muss sich das endgültige System auf tragbare, tragbare und kostengünstige Instrumente stützen. Bei der Ausnutzung von SSVEPs ist ein flackernder visueller Reiz mit festen Frequenzen erforderlich. Unter Berücksichtigung alltäglicher Einschränkungen wurde daher in dieser Studie die Möglichkeit untersucht, visuelle Reize mittels Datenbrillen zu setzen. Um die induzierten Potentiale zu detektieren, wurde zudem ein kommerzielles Gerät für die Elektroenzephalografie (EEG) in Betracht gezogen. Dieser besteht aus einem einzigen Differentialkanal mit trockenen Elektroden (kein leitfähiges Gel), wodurch ein Höchstmaß an Tragbarkeit und Tragbarkeit erreicht wird. In einem solchen BCI kann der Benutzer mit der Datenbrille interagieren, indem er lediglich auf Symbole starrt, die auf dem Display erscheinen. Nach diesem einfachen Prinzip wurde durch die Integration einer Extended-Reality-Brille (XR) in ein kommerziell erhältliches EEG-Gerät ein benutzerfreundliches, kostengünstiges BCI aufgebaut. Die Funktionalität dieses tragbaren XR-BCI wurde mit einer experimentellen Kampagne mit 20 Probanden untersucht. Die Klassifizierungsgenauigkeit lag je nach Stimulationszeit im Durchschnitt zwischen 80%-95%. Angesichts dieser Ergebnisse kann das System als Mensch-Maschine-Schnittstelle für die industrielle Inspektion, aber auch für die Rehabilitation bei ADHS und Autismus eingesetzt werden.
Introduction
Eine Gehirn-Computer-Schnittstelle (BCI) ist ein System, das die Kommunikation mit und/oder die Steuerung von Geräten ohne natürliche neuronale Bahnen ermöglicht1. Die BCI-Technologie ist das, was der Menschheit am nächsten kommt, um Objekte mit der Kraft des Geistes zu kontrollieren. Aus technischer Sicht funktioniert die Systembedienung durch die Messung der induzierten oder evozierten Gehirnaktivität, die entweder unwillkürlich oder willentlich vom Subjekterzeugt werden kann 2. In der Vergangenheit konzentrierte sich die Forschung auf die Unterstützung von Menschen mit motorischen Behinderungen durch BCI3, aber eine wachsende Zahl von Unternehmen bietet heute BCI-basierte Instrumente für Spiele4, Robotik5, Industrie6 und andere Anwendungen mit Mensch-Maschine-Interaktion an. Insbesondere in der vierten industriellen Revolution, der Industrie 4.07, in der cyber-physische Produktionssysteme die Interaktion zwischen Mensch und Umwelt verändern8, könnten BCIs eine Rolle spielen. Im Großen und Ganzen identifizierte das europäische Projekt BNCI Horizon 2020 Anwendungsszenarien wie den Ersatz, die Wiederherstellung, die Verbesserung, die Verbesserung oder die Ergänzung verlorener natürlicher Funktionen des zentralen Nervensystems sowie den Einsatz von BCI bei der Untersuchung des Gehirns9.
In diesem Rahmen bedeuten die jüngsten technologischen Fortschritte, dass Gehirn-Computer-Schnittstellen für den Einsatz im täglichen Leben anwendbar sein können10,11. Um dieses Ziel zu erreichen, ist die erste Voraussetzung die Nicht-Invasivität, die wichtig ist, um die Risiken eines chirurgischen Eingriffs zu vermeiden und die Nutzerakzeptanz zu erhöhen. Es ist jedoch erwähnenswert, dass die Wahl der nicht-invasiven Neurobildgebung die Qualität der gemessenen Hirnsignale beeinflusst, und das BCI-Design muss sich dann mit den damit verbundenen Fallstricken auseinandersetzen12. Darüber hinaus sind Tragbarkeit und Tragbarkeit erforderlich. Diese Anforderungen stehen im Einklang mit dem Bedürfnis nach einem benutzerfreundlichen System, bringen aber auch einige Einschränkungen mit sich. Insgesamt werden die genannten Hardware-Einschränkungen durch die Verwendung eines elektroenzephalographischen (EEG) Systems mit gelfreien Elektroden6 adressiert. Ein solches EEG-basiertes BCI wäre auch kostengünstig. Währenddessen wäre in Bezug auf die Software eine minimale Benutzerschulung (oder idealerweise keine Schulung) wünschenswert; Es wäre nämlich am besten, lange Zeiträume für die Abstimmung des Verarbeitungsalgorithmus zu vermeiden, bevor der Benutzer das System verwenden kann. Dieser Aspekt ist in BCIs aufgrund der Nichtstationarität zwischen und innerhalb der Subjekte von entscheidender Bedeutung13,14.
Bisherige Literatur hat gezeigt, dass die Detektion evozierter Hirnpotentiale robust in Bezug auf Nichtstationarität und Rauschen bei der Signalerfassung ist. Mit anderen Worten, BCIs, die auf der Erkennung des evozierten Potenzials beruhen, werden als reaktiv bezeichnet und sind die leistungsstärksten BCIs in Bezug auf die Erkennung von Gehirnmustern15. Nichtsdestotrotz benötigen sie sensorische Stimulation, was wahrscheinlich der Hauptnachteil solcher Schnittstellen ist. Das Ziel der vorgeschlagenen Methode ist es daher, ein hochgradig tragbares und tragbares BCI zu bauen, das sich auf tragbare, handelsübliche Instrumente stützt. Die Sinnesreize bestehen hier aus flackernden Lichtern, die von Datenbrillen erzeugt werden und in der Lage sind, stationäre visuell evozierte Potentiale (SSVEPs) hervorzurufen. In früheren Arbeiten wurde bereits die Integration von BCI mit Virtual Reality entweder allein oder in Verbindung mit Augmented Reality in Betracht gezogen16. So wurde beispielsweise ein BCI-AR-System zur Steuerung eines Quadrocopters mit SSVEP17 vorgeschlagen. Virtual Reality, Augmented Reality und andere Paradigmen werden mit dem Begriff Extended Reality bezeichnet. In einem solchen Szenario entspricht die Wahl der Datenbrille den Anforderungen an Tragbarkeit und Tragbarkeit, und Datenbrillen können mit einem minimalen EEG-Erfassungssetup integriert werden. Dieses Dokument zeigt, dass SSVEP-basiertes BCI auch nur minimales Training erfordert und gleichzeitig eine akzeptable Klassifizierungsleistung für Kommunikations- und Steuerungsanwendungen mit niedriger bis mittlerer Geschwindigkeit erreicht. Daher wird die Technik auf BCI für Anwendungen im täglichen Leben angewendet und scheint besonders für die Industrie und das Gesundheitswesen geeignet zu sein.
Protocol
Representative Results
Discussion
Das ordnungsgemäße Funktionieren des Systems umfasst zwei entscheidende Aspekte: die SSVEP-Hervorhebung und die Signalerfassung. Abgesehen von den spezifischen Geräten, die für die aktuelle Studie ausgewählt wurden, könnte SSVEP mit verschiedenen Geräten ausgelöst werden, die ein flackerndes Licht liefern, obwohl intelligente Brillen bevorzugt werden, um Tragbarkeit und Tragbarkeit zu gewährleisten. Analog könnten weitere kommerzielle Elektroenzephalographen in Betracht gezogen werden, aber sie müssten tragbar…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Diese Arbeiten wurden im Rahmen des Projekts ICT for Health durchgeführt, das vom italienischen Ministerium für Bildung, Universität und Forschung (MIUR) im Rahmen der Initiative Exzellenzabteilungen (italienisches Haushaltsgesetz Nr. 232/2016) durch einen Exzellenzzuschuss an die Fakultät für Informationstechnologie und Elektrotechnik der Universität Neapel Federico II finanziell unterstützt wurde. Neapel, Italien. Ermöglicht wurde das Projekt durch die Unterstützung der Res4Net-Initiative und des TC-06 (Emerging Technologies in Measurements) der IEEE Instrumentation and Measurement Society. Die Autoren danken auch L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone und M. Ortolano für ihre wertvollen Beiträge bei der Entwicklung, Erprobung und Validierung des Systems.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
