P300-gebaseerde Brain-Computer Interface Speller Performance Estimation met Classifier-Based Latency Estimation

Summary

Dit artikel presenteert een methode voor het schatten van de nauwkeurigheid van de P300-speller Brain-Computer Interface (BCI) op dezelfde dag met behulp van een kleine testdataset.

Abstract

Prestatieschatting is een noodzakelijke stap in de ontwikkeling en validatie van Brain-Computer Interface (BCI)-systemen. Helaas zijn zelfs moderne BCI-systemen traag, waardoor het verzamelen van voldoende gegevens voor validatie een tijdrovende taak is voor zowel eindgebruikers als experimentatoren. Maar zonder voldoende gegevens kan de willekeurige variatie in prestaties leiden tot valse gevolgtrekkingen over hoe goed een BCI werkt voor een bepaalde gebruiker. P300-spellers werken bijvoorbeeld gewoonlijk rond de 1-5 tekens per minuut. Om de nauwkeurigheid met een resolutie van 5% te schatten, zijn 20 tekens (4-20 min) nodig. Ondanks deze tijdsinvestering kan de betrouwbaarheidsgrens voor nauwkeurigheid vanaf 20 tekens oplopen tot ±23%, afhankelijk van de waargenomen nauwkeurigheid. Een eerder gepubliceerde methode, Classifier-Based Latency Estimation (CBLE), bleek sterk gecorreleerd te zijn met BCI-nauwkeurigheid. Dit werk presenteert een protocol voor het gebruik van CBLE om de P300-spellingnauwkeurigheid van een gebruiker te voorspellen op basis van relatief weinig tekens (~3-8) typegegevens. De resulterende betrouwbaarheidsgrenzen zijn strakker dan die van traditionele methoden. De methode kan dus worden gebruikt om de BCI-prestaties sneller en/of nauwkeuriger in te schatten.

Introduction

Brain-computer interfaces (BCI’s) zijn een niet-invasieve technologie waarmee individuen rechtstreeks via machines kunnen communiceren zonder rekening te houden met fysieke beperkingen die door het lichaam worden opgelegd. BCI kan worden gebruikt als een hulpmiddel dat rechtstreeks door de hersenen wordt bediend. BCI gebruikt de hersenactiviteit van een gebruiker om te bepalen of de gebruiker van plan is een bepaalde toets (letter, cijfer of symbool) te kiezen die op het scherm wordt weergegeven¹. In een typisch computersysteem drukt een gebruiker fysiek op de beoogde toets op een toetsenbord. In een BCI-systeem met een visuele weergave moet de gebruiker zich echter concentreren op de gewenste toets. Vervolgens selecteert BCI de beoogde sleutel door de gemeten hersensignalen^{te analyseren 1}. De activiteit van de hersenen kan worden gemeten met behulp van verschillende technieken. Hoewel er concurrerende BCI-technologieën zijn, wordt elektro-encefalogram (EEG) beschouwd als een toonaangevende techniek vanwege het niet-invasieve karakter, de hoge temporele resolutie, de betrouwbaarheid en de relatief lage kosten^.

Toepassingen van BCI zijn onder meer communicatie, apparaatbesturing en ook entertainment 3,4,5,6. Een van de meest actieve BCI-toepassingsgebieden is de P300-speller, die werd geïntroduceerd door Farwell en Donchin⁷. De P300 is een event-related potential (ERP) dat wordt geproduceerd als reactie op de herkenning van een zeldzame maar relevante stimulus⁸. Wanneer een persoon zijn doelstimulus herkent, produceert hij automatisch een P300. De P300 is een effectief signaal voor een BCI omdat het de herkenning van de doelgebeurtenis door de deelnemer overbrengt zonder dat een externe reactie nodig is⁹.

De P300 BCI heeft onderzoekers aangetrokken uit de informatica, elektrotechniek, psychologie, menselijke factoren en verschillende andere disciplines. Er is vooruitgang geboekt op het gebied van signaalverwerking, classificatie-algoritmen, gebruikersinterfaces, stimulatieschema’s en vele andere gebieden 10,11,12,13,14,15. Ongeacht het onderzoeksgebied is de rode draad in al dit onderzoek echter de noodzaak om de prestaties van het BCI-systeem te meten. Voor deze taak moet doorgaans een testgegevensset worden gegenereerd. Deze noodzaak beperkt zich niet tot onderzoek; Eventuele klinische toepassing als ondersteunende technologie zal waarschijnlijk individuele validatiesets voor elke eindgebruiker vereisen om ervoor te zorgen dat het systeem betrouwbare communicatie kan genereren.

Ondanks het aanzienlijke onderzoek dat is gedaan naar de P300 BCI, zijn de systemen nog steeds vrij traag. Hoewel de meerderheid van de mensen een P300 BCI¹⁶ kan gebruiken, produceren de meeste P300-spellers tekst in de orde van grootte van 1-5 tekens per minuut. Helaas betekent deze lage snelheid dat het genereren van testdatasets veel tijd en moeite kost voor deelnemers, experimentatoren en uiteindelijke eindgebruikers. Het meten van de nauwkeurigheid van het BCI-systeem is een binomiaal parameterschattingsprobleem en er zijn veel tekens met gegevens nodig voor een goede schatting.

Om de aan- of afwezigheid van de P300 ERP te schatten, gebruiken de meeste classificeerders een binair classificatiemodel, waarbij een binair label (bijv. “aanwezigheid” of “afwezigheid”) wordt toegekend aan elke proef of elk tijdperk van EEG-gegevens. De algemene vergelijking die door de meeste classificaties wordt gebruikt, kan als volgt worden uitgedrukt:

waar de score van de classifier wordt genoemd, die de waarschijnlijkheid weergeeft dat de P300-respons aanwezig is, x de kenmerkvector is die uit het EEG-signaal wordt geëxtraheerd en b een bias-term¹⁷ is. De functie f is een beslissingsfunctie die de invoergegevens toewijst aan het uitvoerlabel en wordt geleerd van een set gelabelde trainingsgegevens met behulp van een algoritme voor begeleid leren¹⁷. Tijdens de training wordt de classifier getraind op een gelabelde dataset van EEG-signalen, waarbij elk signaal wordt gelabeld als een P300-respons of niet. De gewichtsvector en biasterm zijn geoptimaliseerd om de fout tussen de voorspelde output van de classifier en het echte label van het EEG-signaal te minimaliseren. Zodra de classifier is getraind, kan deze worden gebruikt om de aanwezigheid van de P300-respons in nieuwe EEG-signalen te voorspellen.

Verschillende classificaties kunnen verschillende beslissingsfuncties gebruiken, zoals lineaire discriminantanalyse (LDA), stapsgewijze lineaire discriminantanalyse (SWLDA), kleinste kwadraten (LS), logistische regressie, ondersteuningsvectormachines (SVM) of neurale netwerken (NN’s). De classificatie met de kleinste kwadraten is een lineaire classificatie die de som van de kwadraatfouten tussen de voorspelde klasselabels en de echte klasselabels minimaliseert. Deze classificatie voorspelt het klasselabel van een nieuw testmonster met behulp van de volgende vergelijking:

(1)

waarbij de tekenfunctie +1 retourneert als het product positief is en -1 als het negatief is, en de gewichtsvector wordt verkregen uit de functieset van de trainingsgegevens, (x) en klasselabels (y) met behulp van de onderstaande vergelijking:

    (2)

In eerder onderzoek hebben we betoogd dat Classifier-Based Latency Estimation (CBLE) kan worden gebruikt om de BCI-nauwkeurigheid 17,18,19 te schatten. CBLE is een strategie voor het evalueren van latentievariatie door gebruik te maken van de temporele gevoeligheid van de classifier¹⁸. Terwijl de conventionele benadering van P300-classificatie het gebruik van een enkel tijdvenster omvat dat wordt gesynchroniseerd met elke stimuluspresentatie, omvat de CBLE-methode het maken van meerdere tijdverschoven kopieën van de post-stimulus-tijdperken. Vervolgens detecteert het de tijdverschuiving die resulteert in de maximale score om de latentie van de P300-respons^17,18 te schatten. Hier presenteert dit werk een protocol dat de BCI-prestaties schat op basis van een kleine dataset met behulp van CBLE. Als representatieve analyse wordt het aantal tekens gevarieerd om voorspellingen te doen over de algehele prestaties van een individu. Voor beide voorbeelddatasets werden de root mean square error (RMSE) voor vCBLE en de werkelijke BCI-nauwkeurigheid berekend. De resultaten geven aan dat de RMSE van vCBLE-voorspellingen, met behulp van de aangepaste gegevens, consequent lager was dan de nauwkeurigheid die werd afgeleid van 1 tot 7 geteste tekens.

We ontwikkelden een Graphical User Interface (GUI) genaamd “CBLE Performance Estimation” voor de implementatie van de voorgestelde methodologie. De voorbeeldcode wordt ook verstrekt (Supplementary Coding File 1) die werkt op het MATLAB-platform. De voorbeeldcode voert alle stappen uit die in de GUI worden toegepast, maar de stappen zijn bedoeld om de lezer te helpen zich aan te passen aan een nieuwe gegevensset. Deze code maakt gebruik van een openbaar beschikbare dataset “Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)” om de voorgestelde methode^{te evalueren 20}. Deelnemers speelden maximaal drie spelsessies van Brain Invaders, waarbij elke sessie 9 niveaus van het spel had. De gegevensverzameling ging door totdat alle niveaus waren voltooid of de deelnemer alle controle over het BCI-systeem verloor. De Brain Invaders-interface bevatte 36 symbolen die flitsten in 12 groepen van zes buitenaardse wezens. Volgens het Brain Invaders P300-paradigma werd een herhaling gecreëerd door 12 flitsen, één voor elke groep. Van deze 12 flitsen bevatten er twee het doelsymbool (bekend als doelflitsen), terwijl de overige 10 flitsen niet het doelsymbool bevatten (bekend als niet-doelflitsen). Meer informatie over dit paradigma is te vinden in de oorspronkelijke referentie²⁰.

De CBLE-aanpak werd ook geïmplementeerd op een dataset uit Michigan, die gegevens bevatte van 40 deelnemers^18,19. Hier moesten de gegevens van acht deelnemers worden weggegooid omdat hun taken onvolledig waren. Het hele onderzoek vereiste drie bezoeken van elke deelnemer. Op de eerste dag typte elke deelnemer een trainingszin van 19 tekens, gevolgd door drie testzinnen van 23 tekens op dag 1, 2 en 3. In dit voorbeeld bevatte het toetsenbord 36 tekens die waren gegroepeerd in zes rijen en zes kolommen. Elke rij of kolom werd gedurende 31,25 milliseconden geflitst met een interval van 125 milliseconden tussen de flitsen. Tussen de tekens was een pauze van 3,5 s voorzien.

Figuur 1 toont het blokschema van de voorgestelde methode. De gedetailleerde procedure wordt beschreven in het protocolgedeelte.

Protocol

De GUI “CBLE Performance Estimation” werd toegepast op twee datasets: de “BrainInvaders”-dataset en de Michigan-dataset. Voor de dataset “BrainInvaders” werd de gegevensverzameling goedgekeurd door de ethische commissie van de Universiteit van Grenoble Alpes20. Michigan-gegevens werden verzameld onder goedkeuring van de University of Michigan Institutional Review Board19. Gegevens werden geanalyseerd onder vrijgesteld protocol 7516 van de Kansas State University. Als u nieu…

Representative Results

Het voorgestelde protocol is getest op twee verschillende datasets: “BrainInvaders” en de Michigan-dataset. Deze datasets zijn al kort geïntroduceerd in de sectie Inleiding. De parameters die voor deze twee datasets zijn gebruikt, zijn vermeld in tabel 1. Figuren 2-4 tonen de bevindingen die zijn verkregen met behulp van de “BrainInvaders”-dataset, terwijl figuren 5-7 de resultaten laten zien die zijn behaald m…

Discussion

Dit artikel schetste een methode voor het schatten van de BCI-nauwkeurigheid met behulp van een kleine P300-dataset. Hier is het huidige protocol ontwikkeld op basis van de “bi2014a”-dataset, hoewel de werkzaamheid van het protocol werd bevestigd op twee verschillende datasets. Om deze techniek met succes te implementeren, is het cruciaal om bepaalde variabelen vast te stellen, zoals het epoch-venster voor de oorspronkelijke gegevens, het venster voor tijdverschuiving, de down-sampling-ratio en de grootte van zowel de tr…

Materials

MATLAB 2021

Matlab

N/A

Any recent MATLAB version can be used.