P300-basierte Brain-Computer-Schnittstelle Rechtschreiber-Leistungsschätzung mit klassifikatorbasierter Latenzschätzung

Summary

In diesem Artikel wird eine Methode zur Schätzung der Genauigkeit der P300-Rechtschreibprüfung Brain-Computer Interface (BCI) am selben Tag anhand eines kleinen Testdatensatzes vorgestellt.

Abstract

Die Leistungsschätzung ist ein notwendiger Schritt bei der Entwicklung und Validierung von Brain-Computer-Interface (BCI)-Systemen. Leider sind selbst moderne BCI-Systeme langsam, was das Sammeln ausreichender Daten für die Validierung für Endbenutzer und Experimentatoren gleichermaßen zu einer zeitaufwändigen Aufgabe macht. Ohne ausreichende Daten kann die zufällige Variation der Leistung jedoch zu falschen Rückschlüssen darüber führen, wie gut ein BCI für einen bestimmten Benutzer funktioniert. Zum Beispiel arbeiten P300-Rechtschreibmaschinen in der Regel mit etwa 1-5 Zeichen pro Minute. Um die Genauigkeit mit einer Auflösung von 5 % zu schätzen, sind 20 Zeichen (4-20 Minuten) erforderlich. Trotz dieses Zeitaufwands können die Konfidenzgrenzen für die Genauigkeit von 20 Zeichen je nach beobachteter Genauigkeit bis zu ±23 % betragen. Eine zuvor veröffentlichte Methode, Classifier-Based Latency Estimation (CBLE), hat sich als stark korreliert mit der BCI-Genauigkeit erwiesen. Diese Arbeit stellt ein Protokoll für die Verwendung von CBLE vor, um die P300-Rechtschreibgenauigkeit eines Benutzers aus relativ wenigen Zeichen (~3-8) von Typisierungsdaten vorherzusagen. Die resultierenden Konfidenzgrenzen sind enger als bei herkömmlichen Methoden. Die Methode kann somit verwendet werden, um die BCI-Leistung schneller und/oder genauer abzuschätzen.

Introduction

Gehirn-Computer-Schnittstellen (BCIs) sind eine nicht-invasive Technologie, die es Individuen ermöglicht, direkt über Maschinen zu kommunizieren, ohne Rücksicht auf körperliche Einschränkungen durch den Körper. BCI kann als Hilfsmittel verwendet werden, das direkt vom Gehirn bedient wird. BCI verwendet die Gehirnaktivität eines Benutzers, um festzustellen, ob der Benutzer beabsichtigt, eine bestimmte Taste (Buchstabe, Zahl oder Symbol) zu wählen, die auf dem Bildschirm^{angezeigt wird 1}. In einem typischen Computersystem drückt ein Benutzer physisch die vorgesehene Taste auf einer Tastatur. In einem BCI-System mit visueller Anzeige muss sich der Benutzer jedoch auf die gewünschte Taste konzentrieren. Dann wählt BCI den beabsichtigten Schlüssel aus, indem es die gemessenen Gehirnsignale^{analysiert 1}. Die Aktivität des Gehirns kann mit verschiedenen Techniken gemessen werden. Obwohl es konkurrierende BCI-Technologien gibt, gilt das Elektroenzephalogramm (EEG) aufgrund seiner nichtinvasiven Natur, seiner hohen zeitlichen Auflösung, Zuverlässigkeit und relativ geringen Kosten als führende Technik².

Zu den Anwendungen von BCI gehören Kommunikation, Gerätesteuerung und auch Unterhaltung 3,4,5,6. Einer der aktivsten BCI-Anwendungsbereiche ist der P300-Rechtschreiber, der von Farwell und Donchin⁷ eingeführt wurde. Das P300 ist ein ereigniskorreliertes Potenzial (ERP), das als Reaktion auf die Erkennung eines seltenen, aber relevanten Stimulus erzeugt^{wird 8}. Wenn eine Person ihren Zielreiz erkennt, produziert sie automatisch einen P300. Der P300 ist ein effektives Signal für einen BCI, da er die Erkennung des Zielereignisses durch den Teilnehmer vermittelt, ohne dass eine Reaktion nach außen^{erforderlich ist 9}.

Das P300 BCI hat Forscher aus der Informatik, Elektrotechnik, Psychologie, Human Factors und verschiedenen anderen Disziplinen angezogen. Fortschritte wurden in der Signalverarbeitung, bei Klassifizierungsalgorithmen, Benutzerschnittstellen, Stimulationsschemata und vielen anderen Bereichen erzielt 10,11,12,13,14,15. Unabhängig vom Forschungsbereich ist der rote Faden in all diesen Forschungen jedoch die Notwendigkeit, die Leistung des BCI-Systems zu messen. Diese Aufgabe erfordert in der Regel die Generierung eines Testdatasets. Diese Notwendigkeit ist nicht auf die Forschung beschränkt; Für die spätere klinische Anwendung als unterstützende Technologie werden wahrscheinlich individuelle Validierungssätze für jeden Endbenutzer erforderlich sein, um sicherzustellen, dass das System eine zuverlässige Kommunikation erzeugen kann.

Trotz der umfangreichen Forschung, die auf das P300 BCI angewendet wurde, sind die Systeme immer noch recht langsam. Während die Mehrheit der Leute in der Lage ist, einen P300 BCI¹⁶ zu verwenden, produzieren die meisten P300-Rechtschreiber Text in der Größenordnung von 1-5 Zeichen pro Minute. Leider bedeutet diese langsame Geschwindigkeit, dass die Generierung von Testdatensätzen für Teilnehmer, Experimentatoren und eventuelle Endbenutzer viel Zeit und Mühe erfordert. Die Messung der BCI-Systemgenauigkeit ist ein Problem der binomialen Parameterschätzung, und viele Datenmerkmale sind für eine gute Schätzung erforderlich.

Um das Vorhandensein oder Fehlen des P300 ERP abzuschätzen, verwenden die meisten Klassifikatoren ein binäres Klassifizierungsmodell, bei dem jedem Versuch oder jeder Epoche von EEG-Daten ein binäres Label (z. B. “Vorhandensein” oder “Fehlen”) zugewiesen wird. Die allgemeine Gleichung, die von den meisten Klassifikatoren verwendet wird, kann wie folgt ausgedrückt werden:

wobei der Score des Klassifikators genannt wird, der die Wahrscheinlichkeit darstellt, dass die P300-Antwort vorhanden ist, x der aus dem EEG-Signal extrahierte Merkmalsvektor ist und b ein Bias-Term¹⁷ ist. Die Funktion f ist eine Entscheidungsfunktion, die die Eingabedaten auf die Ausgabebezeichnung abbildet und aus einem Satz beschrifteter Trainingsdaten unter Verwendung eines überwachten Lernalgorithmus¹⁷ gelernt wird. Während des Trainings wird der Klassifikator mit einem beschrifteten Datensatz von EEG-Signalen trainiert, wobei jedes Signal entweder als P300-Antwort gekennzeichnet ist oder nicht. Der Gewichtungsvektor und der Bias-Term sind optimiert, um den Fehler zwischen der vorhergesagten Ausgabe des Klassifikators und der wahren Markierung des EEG-Signals zu minimieren. Sobald der Klassifikator trainiert ist, kann er verwendet werden, um das Vorhandensein der P300-Antwort in neuen EEG-Signalen vorherzusagen.

Verschiedene Klassifikatoren können unterschiedliche Entscheidungsfunktionen verwenden, z. B. lineare Diskriminanzanalyse (LDA), schrittweise lineare Diskriminanzanalyse (SWLDA), kleinste Quadrate (LS), logistische Regression, Support Vector Machines (SVM) oder neuronale Netze (NNs). Der Klassifikator der kleinsten Quadrate ist ein linearer Klassifikator, der die Summe der quadrierten Fehler zwischen den vorhergesagten Klassenbezeichnungen und den echten Klassenbezeichnungen minimiert. Dieser Klassifikator sagt die Klassenbezeichnung eines neuen Testbeispiels mithilfe der folgenden Gleichung voraus:

(1)

wobei die Vorzeichenfunktion +1 zurückgibt, wenn das Produkt positiv ist, und -1, wenn es negativ ist, und der Gewichtungsvektor aus dem Feature-Set der Trainingsdaten (x) und Klassenbezeichnungen (y) mit der folgenden Gleichung abgerufen wird:

    (2)

In früheren Untersuchungen haben wir argumentiert, dass die klassifikatorbasierte Latenzschätzung (CBLE) zur Schätzung der BCI-Genauigkeit verwendet werden kann 17,18,19. CBLE ist eine Strategie zur Bewertung der Latenzvariation unter Ausnutzung der zeitlichen Empfindlichkeit des Klassifikators¹⁸. Während der herkömmliche Ansatz zur P300-Klassifizierung die Verwendung eines einzigen Zeitfensters beinhaltet, das mit jeder Stimuluspräsentation synchronisiert wird, beinhaltet die CBLE-Methode die Erstellung mehrerer zeitversetzter Kopien der Post-Stimulus-Epochen. Dann erkennt es die Zeitverschiebung, die zur maximalen Punktzahl führt, um die Latenz der P300-Antwort^17,18 abzuschätzen. Hier stellt diese Arbeit ein Protokoll vor, das die BCI-Leistung aus einem kleinen Datensatz mit CBLE schätzt. Als repräsentative Analyse wird die Anzahl der Zeichen variiert, um Vorhersagen über die Gesamtleistung einer Person zu treffen. Für beide Beispieldatensätze wurden der mittlere quadratische Fehler (RMSE) für vCBLE und die tatsächliche BCI-Genauigkeit berechnet. Die Ergebnisse zeigen, dass der RMSE aus vCBLE-Vorhersagen unter Verwendung der angepassten Daten durchweg niedriger war als die Genauigkeit, die aus 1 bis 7 getesteten Zeichen abgeleitet wurde.

Wir haben eine grafische Benutzeroberfläche (GUI) namens “CBLE Performance Estimation” für die Implementierung der vorgeschlagenen Methodik entwickelt. Der Beispielcode wird ebenfalls bereitgestellt (Supplementary Coding File 1), der auf der MATLAB-Plattform ausgeführt wird. Der Beispielcode führt alle in der GUI angewendeten Schritte aus, aber die Schritte werden bereitgestellt, um den Leser bei der Anpassung an ein neues Dataset zu unterstützen. Dieser Code verwendet einen öffentlich zugänglichen Datensatz “Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)”, um die vorgeschlagene Methode²⁰ zu bewerten. Die Teilnehmer spielten bis zu drei Spielsitzungen von Brain Invaders, wobei jede Sitzung 9 Levels des Spiels hatte. Die Datenerfassung wurde fortgesetzt, bis alle Stufen abgeschlossen waren oder der Teilnehmer die Kontrolle über das BCI-System verlor. Die Benutzeroberfläche von Brain Invaders enthielt 36 Symbole, die in 12 Gruppen von sechs Außerirdischen blinkten. Nach dem Brain Invaders P300-Paradigma wurde eine Wiederholung durch 12 Blitze erzeugt, einen für jede Gruppe. Von diesen 12 Blitzen enthielten zwei Blitze das Zielsymbol (bekannt als Zielblitze), während die restlichen 10 Blitze das Zielsymbol nicht enthielten (bekannt als Nicht-Zielblitze). Weitere Informationen zu diesem Paradigma finden Sie in der Originalreferenz²⁰.

Der CBLE-Ansatz wurde auch auf einem Datensatz aus Michigan implementiert, der Daten von 40 Teilnehmern enthielt ^18,19. Hier mussten die Daten von acht Teilnehmern verworfen werden, weil ihre Aufgaben unvollständig waren. Die gesamte Studie erforderte drei Besuche von jedem Teilnehmer. Am ersten Tag tippte jeder Teilnehmer einen Trainingssatz mit 19 Zeichen, gefolgt von drei Testsätzen mit 23 Zeichen an den Tagen 1, 2 und 3. In diesem Beispiel enthielt die Tastatur 36 Zeichen, die in sechs Zeilen und sechs Spalten gruppiert waren. Jede Zeile oder Spalte wurde 31,25 Millisekunden lang mit einem Intervall von 125 Millisekunden zwischen den Blitzen geblitzt. Zwischen den Zeichen wurde eine Pause von 3,5 Sekunden vorgesehen.

Abbildung 1 zeigt das Blockdiagramm der vorgeschlagenen Methode. Die detaillierte Vorgehensweise ist im Abschnitt Protokoll beschrieben.

Protocol

Die GUI “CBLE Performance Estimation” wurde auf zwei Datensätze angewendet: den Datensatz “BrainInvaders” und den Datensatz Michigan. Für den Datensatz “BrainInvaders” wurde die Datenerhebung von der Ethikkommission der Universität Grenoble Alpesgenehmigt 20. Michigan-Daten wurden mit Genehmigung des University of Michigan Institutional Review Board gesammelt19. Die Daten wurden gemäß dem Ausnahmeprotokoll 7516 der Kansas State University analysiert. Wenn Sie neue Date…

Representative Results

Das vorgeschlagene Protokoll wurde an zwei verschiedenen Datensätzen getestet: “BrainInvaders” und dem Michigan-Datensatz. Diese Datensätze werden bereits im Abschnitt Einführung kurz vorgestellt. Die für diese beiden Datensätze verwendeten Parameter sind in Tabelle 1 aufgeführt. Die Abbildungen 2-4 zeigen die Ergebnisse, die mit dem “BrainInvaders”-Datensatz erzielt wurden, während die Abbildungen <stron…

Discussion

In diesem Artikel wurde eine Methode zur Schätzung der BCI-Genauigkeit anhand eines kleinen P300-Datensatzes beschrieben. Hier wurde das aktuelle Protokoll auf der Grundlage des Datensatzes “bi2014a” entwickelt, obwohl die Wirksamkeit des Protokolls auf zwei verschiedenen Datensätzen bestätigt wurde. Um diese Technik erfolgreich zu implementieren, ist es entscheidend, bestimmte Variablen festzulegen, wie z. B. das Epochenfenster für die Originaldaten, das Zeitfenster für die Zeitverschiebung, das Downsampling-Verhä…

Materials

MATLAB 2021

Matlab

N/A

Any recent MATLAB version can be used.