Summary
In diesem Artikel wird erörtert, wie eine Gehirn-Computer-Schnittstelle aufgebaut werden kann, indem man sich auf Geräte in Verbraucherqualität und stationäre, visuell evozierte Potenziale stützt. Zu diesem Zweck wurde ein Einkanal-Elektroenzephalograph, der trockene Elektroden nutzt, mit einer Augmented-Reality-Brille zur Reizdarstellung und Visualisierung der Ausgangsdaten integriert. Das endgültige System war nicht-invasiv, tragbar und tragbar.
Abstract
Die vorliegende Arbeit konzentriert sich auf den Aufbau eines tragbaren Brain-Computer-Interfaces (BCI). BCIs sind ein neuartiges Mittel der Mensch-Computer-Interaktion, das auf direkten Messungen von Gehirnsignalen beruht, um sowohl Menschen mit Behinderungen als auch Menschen mit Behinderungen zu unterstützen. Anwendungsbeispiele sind Robotersteuerung, industrielle Inspektion und Neurorehabilitation. Insbesondere haben neuere Studien gezeigt, dass sich stationäre visuell evozierte Potentiale (SSVEPs) besonders für Kommunikations- und Steuerungsanwendungen eignen, und es werden derzeit Anstrengungen unternommen, die BCI-Technologie in den Alltag zu bringen. Um dieses Ziel zu erreichen, muss sich das endgültige System auf tragbare, tragbare und kostengünstige Instrumente stützen. Bei der Ausnutzung von SSVEPs ist ein flackernder visueller Reiz mit festen Frequenzen erforderlich. Unter Berücksichtigung alltäglicher Einschränkungen wurde daher in dieser Studie die Möglichkeit untersucht, visuelle Reize mittels Datenbrillen zu setzen. Um die induzierten Potentiale zu detektieren, wurde zudem ein kommerzielles Gerät für die Elektroenzephalografie (EEG) in Betracht gezogen. Dieser besteht aus einem einzigen Differentialkanal mit trockenen Elektroden (kein leitfähiges Gel), wodurch ein Höchstmaß an Tragbarkeit und Tragbarkeit erreicht wird. In einem solchen BCI kann der Benutzer mit der Datenbrille interagieren, indem er lediglich auf Symbole starrt, die auf dem Display erscheinen. Nach diesem einfachen Prinzip wurde durch die Integration einer Extended-Reality-Brille (XR) in ein kommerziell erhältliches EEG-Gerät ein benutzerfreundliches, kostengünstiges BCI aufgebaut. Die Funktionalität dieses tragbaren XR-BCI wurde mit einer experimentellen Kampagne mit 20 Probanden untersucht. Die Klassifizierungsgenauigkeit lag je nach Stimulationszeit im Durchschnitt zwischen 80%-95%. Angesichts dieser Ergebnisse kann das System als Mensch-Maschine-Schnittstelle für die industrielle Inspektion, aber auch für die Rehabilitation bei ADHS und Autismus eingesetzt werden.
Introduction
Eine Gehirn-Computer-Schnittstelle (BCI) ist ein System, das die Kommunikation mit und/oder die Steuerung von Geräten ohne natürliche neuronale Bahnen ermöglicht1. Die BCI-Technologie ist das, was der Menschheit am nächsten kommt, um Objekte mit der Kraft des Geistes zu kontrollieren. Aus technischer Sicht funktioniert die Systembedienung durch die Messung der induzierten oder evozierten Gehirnaktivität, die entweder unwillkürlich oder willentlich vom Subjekterzeugt werden kann 2. In der Vergangenheit konzentrierte sich die Forschung auf die Unterstützung von Menschen mit motorischen Behinderungen durch BCI3, aber eine wachsende Zahl von Unternehmen bietet heute BCI-basierte Instrumente für Spiele4, Robotik5, Industrie6 und andere Anwendungen mit Mensch-Maschine-Interaktion an. Insbesondere in der vierten industriellen Revolution, der Industrie 4.07, in der cyber-physische Produktionssysteme die Interaktion zwischen Mensch und Umwelt verändern8, könnten BCIs eine Rolle spielen. Im Großen und Ganzen identifizierte das europäische Projekt BNCI Horizon 2020 Anwendungsszenarien wie den Ersatz, die Wiederherstellung, die Verbesserung, die Verbesserung oder die Ergänzung verlorener natürlicher Funktionen des zentralen Nervensystems sowie den Einsatz von BCI bei der Untersuchung des Gehirns9.
In diesem Rahmen bedeuten die jüngsten technologischen Fortschritte, dass Gehirn-Computer-Schnittstellen für den Einsatz im täglichen Leben anwendbar sein können10,11. Um dieses Ziel zu erreichen, ist die erste Voraussetzung die Nicht-Invasivität, die wichtig ist, um die Risiken eines chirurgischen Eingriffs zu vermeiden und die Nutzerakzeptanz zu erhöhen. Es ist jedoch erwähnenswert, dass die Wahl der nicht-invasiven Neurobildgebung die Qualität der gemessenen Hirnsignale beeinflusst, und das BCI-Design muss sich dann mit den damit verbundenen Fallstricken auseinandersetzen12. Darüber hinaus sind Tragbarkeit und Tragbarkeit erforderlich. Diese Anforderungen stehen im Einklang mit dem Bedürfnis nach einem benutzerfreundlichen System, bringen aber auch einige Einschränkungen mit sich. Insgesamt werden die genannten Hardware-Einschränkungen durch die Verwendung eines elektroenzephalographischen (EEG) Systems mit gelfreien Elektroden6 adressiert. Ein solches EEG-basiertes BCI wäre auch kostengünstig. Währenddessen wäre in Bezug auf die Software eine minimale Benutzerschulung (oder idealerweise keine Schulung) wünschenswert; Es wäre nämlich am besten, lange Zeiträume für die Abstimmung des Verarbeitungsalgorithmus zu vermeiden, bevor der Benutzer das System verwenden kann. Dieser Aspekt ist in BCIs aufgrund der Nichtstationarität zwischen und innerhalb der Subjekte von entscheidender Bedeutung13,14.
Bisherige Literatur hat gezeigt, dass die Detektion evozierter Hirnpotentiale robust in Bezug auf Nichtstationarität und Rauschen bei der Signalerfassung ist. Mit anderen Worten, BCIs, die auf der Erkennung des evozierten Potenzials beruhen, werden als reaktiv bezeichnet und sind die leistungsstärksten BCIs in Bezug auf die Erkennung von Gehirnmustern15. Nichtsdestotrotz benötigen sie sensorische Stimulation, was wahrscheinlich der Hauptnachteil solcher Schnittstellen ist. Das Ziel der vorgeschlagenen Methode ist es daher, ein hochgradig tragbares und tragbares BCI zu bauen, das sich auf tragbare, handelsübliche Instrumente stützt. Die Sinnesreize bestehen hier aus flackernden Lichtern, die von Datenbrillen erzeugt werden und in der Lage sind, stationäre visuell evozierte Potentiale (SSVEPs) hervorzurufen. In früheren Arbeiten wurde bereits die Integration von BCI mit Virtual Reality entweder allein oder in Verbindung mit Augmented Reality in Betracht gezogen16. So wurde beispielsweise ein BCI-AR-System zur Steuerung eines Quadrocopters mit SSVEP17 vorgeschlagen. Virtual Reality, Augmented Reality und andere Paradigmen werden mit dem Begriff Extended Reality bezeichnet. In einem solchen Szenario entspricht die Wahl der Datenbrille den Anforderungen an Tragbarkeit und Tragbarkeit, und Datenbrillen können mit einem minimalen EEG-Erfassungssetup integriert werden. Dieses Dokument zeigt, dass SSVEP-basiertes BCI auch nur minimales Training erfordert und gleichzeitig eine akzeptable Klassifizierungsleistung für Kommunikations- und Steuerungsanwendungen mit niedriger bis mittlerer Geschwindigkeit erreicht. Daher wird die Technik auf BCI für Anwendungen im täglichen Leben angewendet und scheint besonders für die Industrie und das Gesundheitswesen geeignet zu sein.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Die Studie wurde von der Ethikkommission für psychologische Forschung der Fakultät für Geisteswissenschaften der Universität Neapel Federico II genehmigt. Die Probanden unterschrieben eine Einverständniserklärung, bevor sie an den Experimenten teilnahmen.
1. Vorbereitung der nicht-invasiven tragbaren Gehirn-Computer-Schnittstelle
- Besorgen Sie sich einen kostengünstigen Elektroenzephalographen mit trockenen Elektroden in Verbraucherqualität und konfigurieren Sie ihn für die Verwendung mit einem Kanal.
- Schließen Sie alle ungenutzten Eingangskanäle des kostengünstigen Elektroenzephalographen kurz, oder schließen Sie sie an eine interne Referenzspannung an, wie im inhärenten Datenblatt angegeben. Dabei werden die ungenutzten Kanäle deaktiviert und erzeugen kein Übersprechrauschen.
- Stellen Sie die Verstärkung des Elektroenzephalographen (in der Regel durch eine Komponente mit variablem Widerstand) so ein, dass sie einen Eingangsbereich in der Größenordnung von 100 μV hat.
HINWEIS: Die zu messenden EEG-Signale liegen in der Größenordnung von zehn Mikrovolt. Die trockenen Elektroden sind jedoch stark von Bewegungsartefakten betroffen, die aufgrund der Variabilität der Elektroden-Haut-Impedanz zu Schwingungen in der Größenordnung von 100 μV führen. Die Erhöhung des Eingangsspannungsbereichs hilft, die Sättigung des EEG-Verstärkers zu begrenzen, beseitigt sie jedoch nicht vollständig. Andererseits wäre es umständlich, den Eingangsspannungsbereich noch weiter zu erhöhen, da dies die Spannungsauflösung bei der Messung der gewünschten EEG-Anteile beeinträchtigen würde. Letztendlich müssen die beiden Aspekte ausbalanciert werden, indem auch die Bitauflösung des Analog-Digital-Wandlers in der Elektroenzephalographenplatine berücksichtigt wird. - Bereiten Sie drei trockene Elektroden für den Anschluss an die Elektroenzephalographenplatine vor. Verwenden Sie eine passive Elektrode (keine Vorverstärkung) als Referenzelektrode. Die verbleibenden zwei Messelektroden sollten aktiv sein (d. h. eine Vorverstärkung und eventuell eine analoge Filterung beinhalten).
Anmerkungen: Elektroden, die auf einer behaarten Kopfhaut platziert werden, benötigen Stifte, um die Kontaktimpedanz zwischen Elektrode und Haut zu überwinden. Wenn möglich, löten Sie Silberstifte mit flachen Köpfen (um zu viel Schmerz für den Benutzer zu vermeiden) oder verwenden Sie idealerweise leitfähiges (weiches) Gummi mit einer Ag/AgCl-Beschichtung.
- Holen Sie sich handelsübliche Datenbrillen mit einem Android-Betriebssystem und einer Bildwiederholfrequenz von 60 Hz. Alternativ können Sie eine niedrigere Bildwiederholfrequenz verwenden. Eine höhere Bildwiederholfrequenz wäre für Stimuli wünschenswert, da es zu einer geringeren Ermüdung der Augen kommen würde, aber es gibt derzeit keine verfügbaren Lösungen auf dem Markt.
- Laden Sie den Quellcode einer Android-Anwendung für die Kommunikation oder Steuerung herunter oder entwickeln Sie eine.
- Ersetzen Sie die virtuellen Schaltflächen in der Anwendung durch flackernde Symbole, indem Sie das inhärente Objekt ändern (normalerweise in Java oder Kotlin). Empfohlen werden weiße Quadrate mit mindestens 5 % Rastermaß. In der Regel gilt: Je größer das stimulierende Quadrat, desto höher ist die zu detektierende SSVEP-Komponente, aber je nach Einzelfall kann ein Optimum gefunden werden. Empfohlene Frequenzen sind 10 Hz und 12 Hz Flackern. Implementieren Sie das Flimmern auf der Grafikverarbeitungseinheit (GPU), um eine Überlastung der Recheneinheit (CPU) der Datenbrille zu vermeiden. Verwenden Sie dazu Objekte aus der OpenGL-Bibliothek.
- Implementieren Sie ein Modul der Android-Anwendung für die Echtzeitverarbeitung des Eingangs-EEG-Streams. Der Android-USB-Dienst kann hinzugefügt werden, damit der Stream über USB empfangen werden kann. Die Echtzeitverarbeitung kann einfach ein gleitendes Fenster auf den EEG-Stream anwenden, indem die eingehenden Pakete berücksichtigt werden. Berechnen Sie die spektralen Leistungsdichten, die mit den Frequenzen 10 Hz und 12 Hz verbunden sind, durch eine schnelle Fourier-Transformationsfunktion. Ein trainierter Klassifikator kann daher unterscheiden, ob der Benutzer auf das 10-Hz-Flimmersymbol oder das 12-Hz-Flackersymbol blickt, indem er die Merkmale der spektralen Leistungsdichte klassifiziert.
2. Kalibrierung der SSVEP-basierten Gehirn-Computer-Schnittstelle
HINWEIS: Für diese Studie wurden gesunde Freiwillige ausgewählt. Schließen Sie Probanden mit einer Vorgeschichte von Gehirnerkrankungen aus. Die beteiligten Probanden mussten ein normales oder auf normales Sehvermögen korrigiertes Sehvermögen haben. Sie wurden angewiesen, sich während der Experimente entspannt zu verhalten und unnötige Bewegungen, insbesondere des Kopfes, zu vermeiden.
- Lassen Sie den Benutzer die Datenbrille mit der Android-Anwendung tragen.
- Lassen Sie den Benutzer ein enges Stirnband tragen, um die Elektroden zu halten.
- Schließen Sie den kostengünstigen Elektroenzephalographen über ein USB-Kabel an einen PC an, während der PC von der Hauptstromversorgung getrennt ist.
- Trennen Sie zunächst alle Elektroden von der Erfassungsplatine des Elektroenzephalographen, um von einem bekannten Zustand auszugehen.
- In dieser Phase wird der EEG-Stream offline auf dem PC mit einem Skript verarbeitet, das mit der in der Android-Anwendung implementierten Verarbeitung kompatibel ist. Starten Sie das Skript, um die EEG-Signale zu empfangen und zu visualisieren.
- Überprüfen Sie das angezeigte Signal, das offline verarbeitet wird. Dies muss nur dem Quantisierungsrauschen des EEG-Verstärkers entsprechen.
- Schließen Sie die Elektroden an.
- Bringen Sie die passive Elektrode mit einem speziellen Clip am linken Ohr an oder verwenden Sie eine Ohrclip-Elektrode. Das Ausgangssignal muss in diesem Schritt unverändert bleiben, da der Messdifferenzkanal noch ein offener Stromkreis ist.
- Schließen Sie eine aktive Elektrode an den Minuspol des differentiellen Eingangs des messenden EEG-Kanals an und bringen Sie sie mit einem Stirnband auf den vorderen Bereich (Fpz-Standardposition) auf. Nach einigen Sekunden sollte das Signal wieder auf Null sinken (Quantisierungsrauschen).
- Verbinden Sie die andere aktive Elektrode mit dem Pluspol des differentiellen Eingangs des messenden EEG-Kanals und tragen Sie sie mit dem Kopfband auf die Okzipitalregion (Oz-Standardposition) auf. Es wird nun ein Gehirnsignal angezeigt, das der gemessenen visuellen Aktivität in Bezug auf das frontale Hirnareal entspricht (dort ist keine visuelle Aktivität vorgesehen).
- Erfassen Sie Signale für die Systemkalibrierung.
- Stimulieren Sie den Benutzer wiederholt mit flackernden Symbolen mit 10 Hz und 12 Hz (und möglicherweise anderen), indem Sie das flackernde Symbol in der Android-Anwendung starten, und erfassen und speichern Sie die inhärenten EEG-Signale für die Offline-Verarbeitung. Stellen Sie sicher, dass jede Stimulation in dieser Phase aus einem einzigen Symbol besteht, das 10 Sekunden lang flackert, und starten Sie das flackernde Symbol, indem Sie auf das Touchpad der Datenbrille drücken, während Sie gleichzeitig das EEG-Erfassungs- und Visualisierungsskript starten.
- Extrahieren Sie aus den 10-s-Signalen, die jeder Stimulation zugeordnet sind, zwei Merkmale mithilfe der schnellen Fourier-Transformation: die spektrale Leistungsdichte bei 10 Hz und bei 12 Hz. Alternativ können Sie zweite Harmonische (20 Hz und 24 Hz) in Betracht ziehen.
- Verwenden Sie eine Darstellung der erfassten Signale in der Merkmalsdomäne, um einen Support-Vektor-Maschinenklassifikator zu trainieren. Verwenden Sie ein Werkzeug (in Matlab oder Python), um die Parameter einer Hyperebene mit einem eventuellen Kernel basierend auf den Eingabemerkmalen zu identifizieren. Das trainierte Modell wird in der Lage sein, zukünftige Beobachtungen von EEG-Signalen zu klassifizieren.
3. Stellen Sie die endgültige tragbare und tragbare SSVEP-basierte Schnittstelle zusammen
- Trennen Sie das USB-Kabel vom PC und schließen Sie es direkt an die Datenbrille an.
- Fügen Sie die Parameter des trainierten Klassifikators in die Android-Anwendung ein. Das System ist nun bereit.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Eine mögliche Implementierung des oben beschriebenen Systems ist in Abbildung 1 dargestellt; Diese Implementierung ermöglicht es dem Benutzer, in Augmented Reality durch Gehirnaktivität zu navigieren. Die flackernden Symbole auf dem Display der Datenbrille entsprechen Aktionen für die Anwendung (Abbildung 1A), und somit stellt diese Brille einen Ersatz für eine herkömmliche Benutzeroberfläche dar, die auf Tastendrücken oder einem Touchpad basiert. Die Wirksamkeit einer solchen Wechselwirkung hängt eng mit der erfolgreichen Klassifizierung der durch das Flackern hervorgerufenen Potentiale zusammen. Um dieses Ziel zu erreichen, wurde zunächst eine messtechnische Charakterisierung für das System18 durchgeführt, und anschließend wurden menschliche Benutzer in eine experimentelle Validierung einbezogen.
Abbildung 1: Mögliche Implementierung der vorgeschlagenen Gehirn-Computer-Schnittstelle. (A) Darstellung dessen, was der Benutzer durch die Datenbrille sieht, nämlich das reale Szenario und die visuellen Reize; (B) ein Benutzer, der die Freisprecheinrichtung trägt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.
Der Elektroenzephalograph wurde hinsichtlich Linearität und Magnitudenfehler charakterisiert. Die Linearität wurde bei 20 Hz durch Messungen mit einem sinusförmigen Eingangssignal an das getestete Gerät bei sieben verschiedenen Amplituden (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV und 100 μV) bewertet. Durch die Darstellung der Spannung des Elektroenzephalographen als Funktion der Eingangsspannung verdeutlicht Abbildung 2A das klare lineare Verhalten des Elektroenzephalographen. Die Linearität wurde auch durch einen Fisher-Test für die Güte der linearen Anpassung bestätigt. Die Abbildung weist jedoch auch auf einen gewissen Verstärkungs- und Offsetfehler hin. Diese Fehler wurden getestet, indem die Amplitude auf 100 μV festgelegt und die Frequenz variiert wurde. Die Ergebnisse sind in Abbildung 2B dargestellt und bestätigen den Größenfehler in Bezug auf die nominale Verstärkung.
Abbildung 2: Ergebnisse der kostengünstigen Elektroenzephalographen-Charakterisierung. (A) Lineare Fehler; (B) Größenfehler. Die Anzahl der Proben pro Messstelle betrug 4.096. Eine ausführlichere Diskussion findet sich in Arpaia et al.18. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.
Schließlich wurde das Flimmern der Datenbrille gemessen, um eventuelle Abweichungen vom nominalen Rechteckwellenweg aufzuzeigen. Solche Abweichungen waren vor allem im Amplitudenspektrum des 12-Hz-Flimmerns sichtbar (Abbildung 3B). All diese Fehler können jedoch berücksichtigt oder schließlich kompensiert werden, was die Machbarkeit der Verwendung von Material in Verbraucherqualität für das SSVEP-BCI-System demonstriert.
Abbildung 3: Ergebnisse der Charakterisierung der handelsüblichen Datenbrillen in Bezug auf das Amplitudenspektrum der flackernden Tasten. (A) Flackern bei 10 Hz; (B) flackert bei 12 Hz. Eine ausführlichere Diskussion findet sich in Arpaia et al.18. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.
Hinsichtlich der experimentellen Validierung nahmen 20 Probanden (7 weiblich) an der Kampagne teil. Jeder Proband durchlief 24 Versuche mit zwei gleichzeitig flackernden Symbolen auf dem Display der Datenbrille. Die Versuchsperson musste auf eines der beiden zufällig angeordneten Symbole starren, die jeweils eine andere Frequenz hatten (10 Hz Flimmern oder 12 Hz Flackern). Die Zufälligkeit, auf welche Frequenz die Probanden zuerst starrten, wurde dadurch garantiert, dass sie ohne vordefinierte Kriterien über das Symbol entscheiden konnten, auf das sie starren wollten. Sobald 12 Versuche mit einer bestimmten Frequenz abgeschlossen waren, wurde der Proband gebeten, sich für die verbleibenden Versuche auf das Symbol mit der anderen Frequenz zu konzentrieren. In der ausgenutzten Anwendung erschien das flackernde 12-Hz-Symbol in der oberen linken Ecke, während das flackernde 10-Hz-Symbol in der unteren rechten Ecke erschien. Ein einzelner Versuch dauerte 10,0 s, und zwischen den aufeinanderfolgenden Versuchen vergingen einige Sekunden (von zufälliger Dauer). Kleinere Zeitfenster könnten dann offline analysiert werden, indem die aufgezeichneten Signale geschnitten werden.
Abbildung 4: Darstellung der Signale, die während der visuellen Stimulation im Merkmalsbereich gemessen werden. Die Signale, die mit den 12-Hz-Flackerreizen (Klasse 12 Hz) verbunden sind, werden in Blau dargestellt, während die Signale, die mit den 10-Hz-Flimmerreizen (Klasse 10 Hz) verbunden sind, in Rot dargestellt werden. Hier werden Merkmale aus allen Fächern berücksichtigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.
Abbildung 4 zeigt die 10-s-Signale, die durch die beiden spektralen Leistungsdichtemerkmale dargestellt werden, nämlich bei 12 Hz und 10 Hz. Ein einzelner Punkt in zwei Dimensionen entsprach einem einzigen Versuch. Die Punkte, die den beiden unterschiedlichen Flimmerfrequenzen entsprachen, unterschieden sich durch ihre Farbe. Daher wurden die beiden Klassen getrennt, obwohl eine Überschneidung zwischen den beiden Klassen bestand, die zu einer Fehlklassifizierung geführt haben könnte. Die Klassifikationsergebnisse wurden mit einer vierfachen Kreuzvalidierung erzielt, so dass die Daten viermal in 18 Studien für das Training und 6 Studien für die Validierung aufgeteilt wurden. Die Daten bestätigten, dass im Fall der 10-Sekunden-Stimulation (Tabelle 1) 8 von 20 Probanden eine Genauigkeit von 100 % erreichten, aber bei anderen Probanden lag die Klassifizierungsgenauigkeit bei nur 65 % bis 70 %. Währenddessen erreichte ein Proband 100 % mit einer 2-Sekunden-Stimulation (die durch Schneiden der Signale in der Nachbearbeitung erzielt wurde), und eine relevante Anzahl von Probanden erreichte eine zufällige (50 %) Klassifizierungsgenauigkeit. Die Daten aller Probanden wurden als Ganzes betrachtet und die Klassifikationsgenauigkeit wurde erreicht. Die Leistung wurde auch in Bezug auf die Informationsübertragungsrate (ITR) bewertet, die im Durchschnitt bei über 30 Bit/min lag. Diese Ergebnisse wurden durch die Berücksichtigung der spektralen Leistungsdichten bei 20 Hz und 24 Hz verbessert. Tabelle 2 zeigt, dass sie zunahmen oder konstant blieben, und zumindest im Fall der 10-s-Stimulation nahm die Standardabweichung ab, was auf eine geringere Streuung in der Klassifikationsleistung für verschiedene Probanden hinweist. Schließlich wurde die Klassifikationsgenauigkeit für alle Probanden in diesem Fall mit vier Merkmalen neu berechnet, und es wurde erneut festgestellt, dass sie nahe an den mittleren Genauigkeiten lagen.
| Betreff | 10 s Stimulationsgenauigkeit % | 2 s Stimulationsgenauigkeit % |
| Alle | 94.2 | 77.5 |
| S1 | 100 | 100 |
| S2 | 100 | 98.8 |
| S3 | 100 | 92 |
| S4 | 100 | 92 |
| S5 | 100 | 88 |
| S6 | 100 | 87 |
| S7 | 100 | 87 |
| S8 | 100 | 64 |
| S9 | 97.9 | 57 |
| S10 | 96.7 | 88.8 |
| S11 | 96 | 64 |
| S12 | 95.8 | 78 |
| S13 | 95.4 | 83 |
| S14 | 95.4 | 53 |
| S15 | 94 | 80 |
| S16 | 92.9 | 61 |
| S17 | 91 | 78 |
| S18 | 89.6 | 61 |
| S19 | 81 | 52 |
| S20 | 71 | 49 |
| BEDEUTEN | 94.9 | 76 |
| GESCHLECHTSKRANKHEIT | 7.4 | 16 |
Tabelle 1: Kreuzvalidierungsgenauigkeit bei der Klassifizierung der SSVEP-bezogenen EEG-Signale. Für jeden Probanden werden die Ergebnisse, die mit einer 10-s-Stimulation verbunden sind, mit den Ergebnissen verglichen, die mit einer 2-s-Stimulation verbunden sind. Die mittlere Genauigkeit aller Probanden wird angegeben, ebenso wie die Genauigkeit, die durch die gemeinsame Betrachtung aller Probanden (Zeile alle) erzielt wird.
| 10 s Stimulation (mittlere Genauigkeit ± std) % | 10 s Stimulation (mittlere Genauigkeit ± std) % | |
| 2D-Gehäuse | 94,9 ± 7,4 | 76 ± 16 |
| 4D-Gehäuse | 97,2 ± 4,3 | 76 ± 15 |
Tabelle 2: Vergleich der Klassifizierungsleistung bei Betrachtung von zwei PSD-Merkmalen (2D-Fall) und vier PSD-Merkmalen (4D-Fall) für die SSVEP-bezogenen EEG-Daten. Eine 10-Sekunden-Stimulation wird mit einer 2-Sekunden-Stimulation verglichen, indem die mittleren Kreuzvalidierungsgenauigkeiten und die damit verbundenen Standardabweichungen angegeben werden.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Das ordnungsgemäße Funktionieren des Systems umfasst zwei entscheidende Aspekte: die SSVEP-Hervorhebung und die Signalerfassung. Abgesehen von den spezifischen Geräten, die für die aktuelle Studie ausgewählt wurden, könnte SSVEP mit verschiedenen Geräten ausgelöst werden, die ein flackerndes Licht liefern, obwohl intelligente Brillen bevorzugt werden, um Tragbarkeit und Tragbarkeit zu gewährleisten. Analog könnten weitere kommerzielle Elektroenzephalographen in Betracht gezogen werden, aber sie müssten tragbar und tragbar sein und eine Mindestanzahl von Trockenelektroden beinhalten, um benutzerfreundlich zu sein. Darüber hinaus könnte das System so angepasst werden, dass es Geräte verwendet, die einfach zu programmieren sind. Darüber hinaus bestimmt die Verarbeitungsstrategie die endgültige Leistung. Obwohl die Verarbeitungsstrategie bei dem beschriebenen Systementwurf nicht entscheidend erschien, würde ihre Verbesserung sicherlich zu einem schnelleren und genaueren System für Kommunikations- und Steuerungsanwendungenbeitragen 10, 11, 19.
Einige Unzulänglichkeiten des Systems können hervorgehoben werden. Für die SSVEP-Auslösung sollten die flackernden Stimuli große Dimensionen und eine stabile Flimmerfrequenz aufweisen. Ersteres impliziert, dass die Schaltflächen der Android-Anwendung sperrig sein können und Einschränkungen für das Extended-Reality-Szenario darstellen. Letzteres erfordert Datenbrillen mit messtechnischen Eigenschaften, die in kommerziellen Geräten normalerweise nicht vorhanden sind. Darüber hinaus hängt das Vorhandensein eines SSVEP auch nach Erfüllung solcher Bedingungen vom Subjekt ab. Bemerkenswert ist, dass es eine intrasubjektliche und intersubjektive Variabilität der SSVEP-Amplituden gibt, die von mehreren unkontrollierbaren Faktoren abhängt, wie z. B. der Ermüdung des Benutzers oder der Aufmerksamkeit/des Engagements13. Dieses Problem trägt dazu bei, dass optimale Stimuli für eine ordnungsgemäße SSVEP-Erhebung gefunden werdenmüssen 20.
Andererseits ist die Signalerfassung entscheidend für die endgültige Leistung, da bei der Messung der Gehirnaktivität ein geeignetes Signal-Rausch-Verhältnis erreicht werden muss. Um ein Höchstmaß an Tragbarkeit, Tragbarkeit, Benutzerkomfort und niedrigen Kosten zu erreichen, wurde die Gehirnaktivität mit einem nicht-invasiven Einkanal-EEG und trockenen Elektroden gemessen. Natürlich entsprechen trockene Elektroden meist den Anforderungen des täglichen Lebens, aber der Verzicht auf die Verwendung von leitfähigen Gelen schränkt den Kontakt zwischen Elektrode und Haut ein. Daher muss die mechanische Stabilität der Elektroden durch eine korrekte Platzierung und Stabilisierung im Dauereinsatz gewährleistet werden. Tatsächlich besteht der Nachteil des vorgeschlagenen Erfassungssystems jedoch darin, dass die Signalqualität im Vergleich zu invasiveren bildgebenden Verfahren verschlechtert ist.
Trotz des zu erwartenden schlechten Signal-Rausch-Verhältnisses zeigte die Validierung des vorgeschlagenen Systems, dass eine hohe Leistung für Kommunikations- und Steuerungsanwendungen möglich ist. Insbesondere die messtechnische Charakterisierung der Consumer-Grade-Geräte zeigte, dass die verwendeten Geräte für BCI-Anwendungen von Interesse geeignet waren, und es wurde auch vorgeschlagen, dass ähnliche Geräte auch für diese geeignet sein sollten. Durch die experimentelle Validierung konnten subjektabhängige Klassifikationsgenauigkeiten beobachtet werden, aber insgesamt positive Schlussfolgerungen gezogen werden.
Die Klassifizierungsgenauigkeit kann durch eine Erhöhung der Stimulationszeit erhöht werden. In einem solchen Fall ist die Reaktionsfähigkeit des Systems langsamer, aber alternative Kommunikations- und Steuerungsfunktionen können weiterhin bereitgestellt werden. Zweitens könnte ein System ohne Training (oder höchstens ein System mit minimalem Training) durch die Verwendung vorläufiger Daten von anderen Probanden erhalten werden. Um den Beitrag der vorgeschlagenen Methode zum Feld zu verstehen, können die Ergebnisse mit der Literatur zu nicht-invasivem SSVEP-BCI verglichen werden. Bei herkömmlicheren BCIs erreicht die Genauigkeit selbst bei 2-s-Stimulation etwa 94 %21, aber solche Systeme erfordern ein umfangreiches Training und sind möglicherweise nicht tragbar und tragbar. Die Leistung sinkt jedoch, wenn versucht wird, die Benutzerfreundlichkeit zu erhöhen (z. B. bei Verwendung von Trockenelektroden22 und noch mehr, wenn versucht wird, eine einzelne Elektrode23 zu verwenden). In diesen Fällen verringert sich die Klassifizierungsgenauigkeit auf etwa 83 %.
Daher bringt das in dieser Arbeit beschriebene System die BCI-Technologie näher an alltägliche Anwendungen heran, indem es die Benutzerfreundlichkeit erhöht und gleichzeitig die Leistung hoch hält, obwohl der Einsatz dieses Systems im klinischen Umfeld möglicherweise unangemessen ist. Einige Teilnehmer merkten an, dass die trockenen Elektroden im Hinterhauptsbereich störender seien als ihre traditionellen Gegenstücke, aber insgesamt schätzten sie die Tragbarkeit und Tragbarkeit des Systems. Viele Upgrades sind möglich, einige davon befinden sich bereits in der Entwicklung. So kann beispielsweise die Anzahl der Reize (und damit die Anzahl der Befehle) auf vier erhöht werden. Dann können die Reize selbst so gestaltet werden, dass die Augen weniger belastet werden. Schließlich kann die Klassifizierungsleistung durch eine fortschrittlichere Verarbeitungsstrategie verbessert werden, um ein genaueres und/oder schnelleres System zu erreichen.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Die Autoren haben nichts zu verraten.
Acknowledgments
Diese Arbeiten wurden im Rahmen des Projekts ICT for Health durchgeführt, das vom italienischen Ministerium für Bildung, Universität und Forschung (MIUR) im Rahmen der Initiative Exzellenzabteilungen (italienisches Haushaltsgesetz Nr. 232/2016) durch einen Exzellenzzuschuss an die Fakultät für Informationstechnologie und Elektrotechnik der Universität Neapel Federico II finanziell unterstützt wurde. Neapel, Italien. Ermöglicht wurde das Projekt durch die Unterstützung der Res4Net-Initiative und des TC-06 (Emerging Technologies in Measurements) der IEEE Instrumentation and Measurement Society. Die Autoren danken auch L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone und M. Ortolano für ihre wertvollen Beiträge bei der Entwicklung, Erprobung und Validierung des Systems.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
