Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

Stima delle prestazioni dell'ortografo dell'interfaccia cervello-computer basata su P300 con stima della latenza basata sul classificatore

Published: September 8, 2023 doi: 10.3791/64959
Automatic Translation
1, 1, 1, 2, 3,4, 1
1Brain and Body Sensing Lab, Mike Wiegers Department of Electrical & Computer Engineering, Kansas State University, 2Adaptive Cognitive Assessment Laboratory, Department of Physical Medicine and Rehabilitation, University of Michigan, Ann Arbor, 3Direct Brain Interface Laboratory, Department of Physical Medicine and Rehabilitation, University of Michigan, Ann Arbor, 4Direct Brain Interface Laboratory, Department of Biomedical Engineering, University of Michigan, Ann Arbor

Summary

Questo articolo presenta un metodo per stimare l'accuratezza dell'interfaccia cervello-computer (BCI) dell'ortografia P300 in giornata utilizzando un piccolo set di dati di test.

Abstract

La stima delle prestazioni è un passo necessario nello sviluppo e nella convalida dei sistemi di interfaccia cervello-computer (BCI). Sfortunatamente, anche i moderni sistemi BCI sono lenti, il che rende la raccolta di dati sufficienti per la convalida un'attività che richiede molto tempo sia per gli utenti finali che per gli sperimentatori. Tuttavia, senza dati sufficienti, la variazione casuale delle prestazioni può portare a false inferenze sul funzionamento di una BCI per un particolare utente. Ad esempio, gli speller P300 operano comunemente da 1 a 5 caratteri al minuto. Per stimare l'accuratezza con una risoluzione del 5% sono necessari 20 caratteri (4-20 min). Nonostante questo investimento di tempo, i limiti di confidenza per l'accuratezza di 20 caratteri possono arrivare fino al ±23% a seconda dell'accuratezza osservata. Un metodo pubblicato in precedenza, Classifier-Based Latency Estimation (CBLE), ha dimostrato di essere altamente correlato con l'accuratezza BCI. Questo lavoro presenta un protocollo per l'utilizzo di CBLE per prevedere l'accuratezza del correttore ortografico P300 di un utente da relativamente pochi caratteri (~3-8) di dati di digitazione. I limiti di confidenza risultanti sono più stretti di quelli prodotti dai metodi tradizionali. Il metodo può quindi essere utilizzato per stimare le prestazioni BCI in modo più rapido e/o più accurato.

Introduction

Le interfacce cervello-computer (BCI) sono una tecnologia non invasiva che consente agli individui di comunicare direttamente attraverso le macchine senza riguardo per le limitazioni fisiche imposte dal corpo. Il BCI può essere utilizzato come dispositivo di assistenza azionato direttamente dal cervello. BCI utilizza l'attività cerebrale di un utente per determinare se l'utente intende scegliere un determinato tasto (lettera, numero o simbolo) visualizzato sullo schermo1. In un tipico sistema informatico, un utente preme fisicamente il tasto desiderato su una tastiera. Tuttavia, in un sistema BCI con un display visivo, l'utente deve concentrarsi sulla chiave desiderata. Quindi, BCI selezionerà la chiave desiderata analizzando i segnali cerebrali misurati1. L'attività del cervello può essere misurata utilizzando varie tecniche. Sebbene esistano tecnologie BCI concorrenti, l'elettroencefalogramma (EEG) è considerato una tecnica leader grazie alla sua natura non invasiva, all'elevata risoluzione temporale, all'affidabilità e al costo relativamente basso2.

Le applicazioni di BCI includono la comunicazione, il controllo dei dispositivi e anche l'intrattenimento 3,4,5,6. Una delle aree di applicazione BCI più attive è lo speller P300, che è stato introdotto da Farwell e Donchin7. Il P300 è un potenziale correlato all'evento (ERP) prodotto in risposta al riconoscimento di uno stimolo raro ma rilevante8. Quando una persona riconosce il suo stimolo target, produce automaticamente un P300. Il P300 è un segnale efficace per una BCI perché trasmette il riconoscimento dell'evento target da parte del partecipante senza richiedere una risposta esterna9.

Il P300 BCI ha attratto ricercatori provenienti da informatica, ingegneria elettrica, psicologia, fattori umani e varie altre discipline. Sono stati fatti progressi nell'elaborazione del segnale, negli algoritmi di classificazione, nelle interfacce utente, negli schemi di stimolazione e in molte altre aree 10,11,12,13,14,15. Tuttavia, indipendentemente dall'area di ricerca, il filo conduttore di tutte queste ricerche è la necessità di misurare le prestazioni del sistema BCI. Questa attività richiede in genere la generazione di un set di dati di test. Questa necessità non si limita alla ricerca; L'eventuale applicazione clinica come tecnologia assistiva richiederà probabilmente set di convalida individuali per ciascun utente finale per garantire che il sistema possa generare una comunicazione affidabile.

Nonostante la considerevole ricerca applicata al P300 BCI, i sistemi sono ancora piuttosto lenti. Mentre la maggior parte delle persone è in grado di utilizzare un P300 BCI16, la maggior parte degli ortografi P300 produce testo dell'ordine di 1-5 caratteri al minuto. Sfortunatamente, questa bassa velocità significa che la generazione di set di dati di test richiede tempo e sforzi sostanziali per i partecipanti, gli sperimentatori e gli eventuali utenti finali. La misurazione dell'accuratezza del sistema BCI è un problema di stima dei parametri binomiali e molti caratteri di dati sono necessari per una buona stima.

Per stimare la presenza o l'assenza dell'ERP P300, la maggior parte dei classificatori utilizza un modello di classificazione binaria, che prevede l'assegnazione di un'etichetta binaria (ad esempio, "presenza" o "assenza") a ogni prova o epoca di dati EEG. L'equazione generale utilizzata dalla maggior parte dei classificatori può essere espressa come:

Equation 1

dove Equation 2 è chiamato il punteggio del classificatore, che rappresenta la probabilità che la risposta P300 sia presente, x è il vettore caratteristica estratto dal segnale EEG e b è un termine di bias17. La funzione f è una funzione decisionale che mappa i dati di input all'etichetta di output e viene appresa da un set di dati di addestramento etichettati utilizzando un algoritmo di apprendimento supervisionato17. Durante l'addestramento, il classificatore viene addestrato su un set di dati etichettato di segnali EEG, in cui ogni segnale è etichettato come avente o meno una risposta P300. Il vettore di peso e il termine di polarizzazione sono ottimizzati per ridurre al minimo l'errore tra l'output previsto del classificatore e l'etichetta reale del segnale EEG. Una volta addestrato, il classificatore può essere utilizzato per prevedere la presenza della risposta P300 nei nuovi segnali EEG.

Classificatori diversi possono utilizzare funzioni decisionali diverse, ad esempio l'analisi discriminante lineare (LDA), l'analisi discriminante lineare graduale (SWLDA), i minimi quadrati (LS), la regressione logistica, le macchine a vettori di supporto (SVM) o le reti neurali (NN). Il classificatore dei minimi quadrati è un classificatore lineare che riduce al minimo la somma degli errori quadratici tra le etichette di classe stimate e le etichette di classe reali. Questo classificatore consente di stimare l'etichetta di classe di un nuovo campione di test utilizzando l'equazione seguente:

Equation 3(1)

dove la funzione segno restituisce +1 se il prodotto è positivo e -1 se è negativo e il vettore Equation 4 peso è ottenuto dal set di funzionalità dei dati di addestramento, (x) e le etichette di classe (y) usando l'equazione seguente:

Equation 5    (2)

In una ricerca precedente, abbiamo sostenuto che la stima della latenza basata sul classificatore (CBLE) può essere utilizzata per stimare l'accuratezza BCI 17,18,19. CBLE è una strategia per valutare la variazione di latenza sfruttando la sensibilità temporale del classificatore18. Mentre l'approccio convenzionale alla classificazione P300 prevede l'utilizzo di una singola finestra temporale sincronizzata con ogni presentazione dello stimolo, il metodo CBLE prevede la creazione di più copie spostate nel tempo delle epoche post-stimolo. Quindi rileva lo spostamento temporale che si traduce nel punteggio massimo per stimare la latenza della risposta P30017,18. Qui, questo lavoro presenta un protocollo che stima le prestazioni BCI da un piccolo set di dati utilizzando CBLE. Come analisi rappresentativa, il numero di caratteri viene variato per fare previsioni sulle prestazioni complessive di un individuo. Per entrambi i set di dati di esempio, sono stati calcolati l'errore quadratico medio (RMSE) per vCBLE e l'accuratezza BCI effettiva. I risultati indicano che l'RMSE delle previsioni di vCBLE, utilizzando i dati adattati, era costantemente inferiore all'accuratezza derivata da 1 a 7 caratteri testati.

Abbiamo sviluppato un'interfaccia grafica utente (GUI) chiamata "CBLE Performance Estimation" per l'implementazione della metodologia proposta. Viene fornito anche il codice di esempio (Supplementary Coding File 1) che opera sulla piattaforma MATLAB. Il codice di esempio esegue tutti i passaggi applicati nella GUI, ma i passaggi vengono forniti per aiutare il lettore ad adattarsi a un nuovo set di dati. Questo codice utilizza un set di dati pubblicamente disponibile "Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)" per valutare il metodo proposto20. I partecipanti hanno giocato fino a tre sessioni di gioco di Brain Invaders, ogni sessione aveva 9 livelli di gioco. La raccolta dei dati è continuata fino a quando tutti i livelli non sono stati completati o il partecipante ha perso tutto il controllo sul sistema BCI. L'interfaccia di Brain Invaders includeva 36 simboli che lampeggiavano in 12 gruppi di sei alieni. Secondo il paradigma di Brain Invaders P300, una ripetizione è stata creata da 12 flash, uno per ogni gruppo. Di questi 12 lampeggi, due contenevano il simbolo Target (noti come lampeggi Target), mentre i restanti 10 lampeggi non contenevano il simbolo Target (noti come lampeggi non Target). Maggiori informazioni su questo paradigma sono disponibili nel riferimento originale20.

L'approccio CBLE è stato implementato anche su un set di dati del Michigan, che conteneva i dati di 40 partecipanti18,19. In questo caso, i dati di otto partecipanti hanno dovuto essere scartati perché i loro compiti erano incompleti. L'intero studio ha richiesto tre visite da parte di ciascun partecipante. Il primo giorno, ogni partecipante ha digitato una frase di addestramento di 19 caratteri, seguita da tre frasi di prova di 23 caratteri nei giorni 1, 2 e 3. In questo esempio, la tastiera includeva 36 caratteri raggruppati in sei righe e sei colonne. Ogni riga o colonna è stata lampeggiata per 31,25 millisecondi con un intervallo di 125 millisecondi tra un lampeggio e l'altro. Tra un carattere e l'altro, è stata prevista una pausa di 3,5 secondi.

La Figura 1 mostra il diagramma a blocchi del metodo proposto. La procedura dettagliata è descritta nella sezione relativa al protocollo.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

La GUI "CBLE Performance Estimation" è stata applicata a due set di dati: il set di dati "BrainInvaders" e il set di dati del Michigan. Per il dataset "BrainInvaders", la raccolta dei dati è stata approvata dal Comitato Etico dell'Università di Grenoble Alpes20. I dati del Michigan sono stati raccolti nell'ambito dell'approvazione dell'Institutional Review Board dell'Università del Michigan19. I dati sono stati analizzati secondo il protocollo di esenzione 7516 della Kansas State University. Se raccogli nuovi dati, segui la procedura approvata dall'IRB dell'utente per la raccolta del consenso informato. In questo caso, il protocollo proposto viene valutato utilizzando l'analisi offline di dati precedentemente registrati e anonimizzati e quindi non richiede un ulteriore consenso informato.

L'interfaccia utente grafica (GUI) inclusa in questo articolo è in grado di gestire due formati di set di dati distinti. Il primo formato è associato al software BCI2000, mentre il secondo formato è indicato come set di dati "BrainInvaders". Per utilizzare il formato "Brain Invaders", i dati devono essere pre-elaborati come descritto nel passaggio 1 della sezione del protocollo. Tuttavia, quando si ha a che fare con il formato del set di dati "BCI2000", il passaggio 1 può essere omesso.

1. Preparazione dei dati

  1. Solo BrainInvaders: genera il file di dati di input in formato di file ".mat" che può essere utilizzato con l'interfaccia utente grafica (GUI) "CBLE performance Estimation". Per uno script di esempio, fare riferimento a File di codifica supplementare 2.
    NOTA: Ogni file di dati è costituito da una matrice bidimensionale composta da righe che rappresentano le osservazioni registrate in campioni temporali distinti. Le colonne della matrice numerate da 2 a 17 sono registrazioni derivate da 16 elettrodi EEG. La prima colonna della matrice indica il timestamp di ogni osservazione, mentre la colonna 18 comprende le informazioni relative agli eventi sperimentali. Nella colonna 19 sono presenti per lo più zeri, ma quando si avvia un flash non Target (o Target), i numeri cambiano in uno (o due) in quel momento specifico. Una descrizione dettagliata è riportata nel riferimento20.

2. Download e installazione del pacchetto GUI

  1. Scaricare e installare la GUI "CBLE Performance Estimation".

3. Memorizzazione del set di dati in una sottocartella della posizione della GUI

  1. Assicurarsi che la cartella del set di dati rimanga all'interno della stessa directory della GUI.
  2. Ad esempio, creare una nuova cartella e inserire la GUI "CBLE Performance Estimation" al suo interno. Conservare tutti i set di dati in una sottocartella all'interno di "CBLE GUI" denominata "Set di dati".

4. Aprire la GUI installata

  1. Aprire MATLAB (vedere la tabella dei materiali), cambiare la directory corrente nella cartella in cui si trova la GUI, fare clic sulla scheda APPS e selezionare MY APPS.
  2. Nella scheda "LE MIE APP", seleziona Stima delle prestazioni CBLE.

5. Scelta del formato del set di dati

  1. Selezionare un formato di set di dati dall'elenco a discesa Selezionare il formato del set di dati.

6. Caricamento del file di dati EEG

  1. Fare clic sul pulsante Seleziona cartella di input per scegliere la directory in cui si trova il set di dati.
  2. Osservare il numero di file di dati presenti nella cartella selezionata.
    NOTA: Nel formato "Brain Invaders", ogni partecipante è rappresentato da un singolo file di dati. Pertanto, il numero totale di file di dati indica il numero di partecipanti allo studio. Tuttavia, questo non è il caso del formato "BCI2000", poiché ogni partecipante può avere più file di training e test.

7. Impostazione dei parametri

  1. Digitare il numero di partecipanti che l'utente intende utilizzare per il processo di stima nel campo "No. dei partecipanti".
  2. Solo BrainInvaders: specificare la frequenza di campionamento del set di dati.
    NOTA: BCI2000 file includono la frequenza di campionamento.
  3. Scegliere un valore di decimazione per eseguire il downsampling del set di dati a circa 20 Hz per migliorare le prestazioni di classificazione21. Ad esempio, se la frequenza di campionamento è di 256 Hz, selezionare un valore di decimazione pari a 13.
  4. Specificare l'intervallo di tempo per la classificazione in millisecondi.
    NOTA: viene specificata la dimensione iniziale consigliata della finestra, che consente al punto iniziale di variare da 0 a 100 ms e al punto finale da 700 a 800 ms. Tuttavia, è importante evitare di rendere le dimensioni della finestra eccessivamente grandi per evitare la sovrapposizione con un altro evento P300.
  5. Definire la finestra di spostamento per CBLE in millisecondi.
    NOTA: la "finestra di spostamento" si riferisce all'intervallo di tempo espanso che il metodo CBLE cerca per trovare la risposta P3. Il classificatore verrà applicato all'epoca a partire dal primo elemento della finestra di spostamento. Il classificatore viene quindi applicato in sequenza alle epoche a partire da un campione in un secondo momento, fino a quando l'epoca non si estende all'esterno della finestra di spostamento. Pertanto, La finestra di spostamento deve essere più grande della finestra originale; empiricamente, i valori inferiori a 100 ms da ciascun lato hanno buone prestazioni. In ogni caso, il margine dovrebbe essere mantenuto a meno della metà dell'ISI.
  6. Solo BC2000: immettere la lunghezza dell'ID soggetto indicato nei file del set di dati all'interno del campo "Lunghezza ID".
    NOTA: La GUI si aspetta che i primi sub_len caratteri dei nomi dei file codifichino l'ID del soggetto.
  7. Solo BCI2000: nel campo "ID canale" indicare il numero totale di canali o specificare i numeri di canale specifici da utilizzare per l'analisi.
  8. Fare clic sul pulsante Imposta parametri per impostare tutti i parametri necessari per l'analisi.

8. Solo BrainInvaders: suddivisione del set di dati in set di training e test

  1. Selezionare un numero di destinazioni che rappresenti le dimensioni del set di training. La parte rimanente del set di dati verrà considerata come set di dati di test.
    NOTA: per garantire un addestramento corretto del modello, è essenziale disporre di un campione di addestramento sufficientemente ampio. La dimensione minima consigliata del campione di training è 20, anche se può variare a seconda delle dimensioni complessive del set di dati. Se si verificano errori di regressione durante le sessioni di training, è consigliabile aumentare le dimensioni del campione di training.
  2. Premere il pulsante "Dividi il set di dati" per dividere il set di dati nei set di training e di test.
    NOTA: Ogni partecipante avrà la stessa quantità di dati di allenamento. Tuttavia, il numero di dati del test potrebbe non essere uguale per tutti i partecipanti a causa della possibilità di più tentativi durante l'attività. Di conseguenza, il numero totale di bersagli o flash presentati può variare da persona a persona.

9. Addestramento di un modello con il set di dati di training

NOTA: Il passaggio 9.1 è applicabile al formato "Brain Invaders" e il passaggio 9.2 è applicabile al formato "BCI2000".

  1. Solo BrainInvaders: fare clic sul pulsante Train a model per applicare la regressione lineare al set di dati di training usando l'equazione 2 per il training di un modello di classificazione.
  2. Solo BCI2000: indicare i nomi dei file di training e test insieme al formato dei dati (.dat) per distinguere i file di training e test da tutti i file. Fare quindi clic sul pulsante Eseguire il training di un modello per applicare la regressione lineare al set di dati di training.

10. Prevedere l'accuratezza del set di test

  1. Fare clic su Stima accuratezza per applicare il modello di classificazione sottoposto a training al set di funzionalità di test e stimare l'accuratezza usando l'equazione 1.

11. Ottenere l'accuratezza del bersaglio X

  1. Selezionare un numero di destinazione massimo, X, da considerare nel set di test.
  2. Solo BCI2000: selezionare un numero di file di test se l'utente dispone di più file di test.
  3. Premere Trova X precisione del bersaglio.

12. Calcolo di vCBLE

  1. Fare clic sul pulsante Trova vCBLE per ottenere il vCBLE per tutte le destinazioni.

13. Calcolo dell'errore quadratico medio (RMSE) dell'accuratezza BCI e vCBLE

  1. Fare clic sul pulsante Calcola RMSE per calcolare l'RMSE tra entrambe le previsioni in base a vCBLE con precisione BCI e precisione X-target con precisione BCI.

14. Visualizzazione dei risultati dell'analisi

  1. Fare clic sul pulsante Accuratezza vs vCBLE per osservare la relazione tra l'accuratezza totale e vCBLE totale per tutti i partecipanti.
  2. Premere il pulsante RMSE di BCI e vCBLE per visualizzare la curva RMSE dell'accuratezza BCI e vCBLE.

15. Prevedere le prestazioni di un singolo partecipante

  1. Per prevedere l'accuratezza di un singolo partecipante, inserire l'ID soggetto in Sub ID.
    NOTA: in questo caso, il set di dati di tutti i partecipanti, escluso il partecipante al test, verrà utilizzato per eseguire il training di un modello di regressione lineare. I punteggi vCBLE di tutti gli altri partecipanti e le corrispondenti precisioni del test saranno utilizzati rispettivamente come predittori ed etichette per il classificatore.
  2. Selezionare un numero di destinazione, n. La previsione verrà effettuata in base all'accuratezza dei caratteri di n-testing.
  3. Fare clic sul pulsante Prevedi per ottenere l'accuratezza prevista del partecipante al test.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Il protocollo proposto è stato testato su due diversi set di dati: "BrainInvaders" e il set di dati del Michigan. Questi set di dati sono già stati introdotti brevemente nella sezione Introduzione. I parametri utilizzati per questi due set di dati sono menzionati nella Tabella 1. Le figure 2-4 illustrano i risultati ottenuti utilizzando il set di dati "BrainInvaders", mentre le figure 5-7 mostrano i risultati ottenuti dal set di dati del Michigan.

Il set di dati "BrainInvaders" ha 64 partecipanti. La Figura 2 presenta la relazione tra l'accuratezza del BCI e la vCBLE di tutti i 64 partecipanti. Mostra che vCBLE è altamente correlato negativamente con l'accuratezza BCI, sebbene si osservino alcuni valori anomali. La Figura 3 illustra l'RMSE di vCBLE e l'accuratezza effettiva quando la stima è stata effettuata in base all'accuratezza dei caratteri di test. Mostra l'evidenza che l'RMSE per questa previsione, basato sull'adattamento ottenuto da vCBLE, era inferiore all'accuratezza basata su qualsiasi numero di caratteri di test da 1 a 10. Per il set di dati "BrainInvaders", vCBLE è in grado di prevedere l'accuratezza BCI utilizzando solo 7 caratteri. Nella Figura 4, la stima è stata effettuata dal vCBLE di set di test con 2, 5, 7 e 10 caratteri, rispettivamente. In questo caso, nell'analisi di regressione è stato utilizzato un approccio "leave-one-participant-out" per prevedere l'accuratezza di ogni singolo partecipante. L'accuratezza BCI e il vCBLE sono stati stimati su 100 ripetizioni. I limiti inferiore e superiore sono ±2 deviazioni standard dalla media. Tutte e quattro le condizioni indicano che si osserva una varianza minima quando il numero di partecipanti al training set supera 10. Si è concluso che sono necessari circa 10 individui per costruire il modello di regressione per la relazione tra vCBLE e accuratezza per un particolare paradigma sperimentale.

Nel secondo esempio, il set di dati del Michigan ha 32 partecipanti, in cui tutti hanno digitato una frase di addestramento il giorno 1 e tre frasi di test nei giorni 1, 2 e 3. Le frasi del test erano lunghe 23 o 24 caratteri e molti partecipanti hanno effettuato ulteriori selezioni per correggere gli errori commessi durante il funzionamento online. Nella Figura 5, si può vedere che il modello vCBLE ha ottenuto prestazioni migliori quando i set di dati di training e test sono stati raccolti lo stesso giorno. In effetti, questa previsione risultante dall'adattamento fornito da vCBLE ha comportato un RMSE inferiore rispetto all'accuratezza basata su un numero qualsiasi di caratteri di test da 1 a 20 quando i dati di training e i dati di test sono stati raccolti lo stesso giorno. La Figura 6 mostra che, nel complesso, l'adattamento vCBLE ha avuto un RMSE inferiore quando il test includeva meno di sei caratteri. Inoltre, si può vedere dalla Figura 7 che l'RMSE della stima dell'accuratezza di vCBLE diminuisce solo di circa 0,025 tra tre caratteri e il numero ottimale di caratteri utilizzati. Ciò implica che non vi è molto vantaggio nel raccogliere più di tre caratteri per il piccolo set di test.

Figure 1
Figura 1: Diagramma a blocchi del protocollo proposto. (a) Pre-elaborazione dei dati ed estrazione delle caratteristiche. b) classificazione P300. (c) Valutazione di vCBLE. (d) Prevedere l'accuratezza di un individuo. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 2
Figura 2: Accuratezza rispetto a vCBLE. Accuratezza BCI tracciata rispetto a vCBLE utilizzando il set di dati "bi2014a". Mostra un'elevata correlazione negativa tra accuratezza e vCBLE. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 3
Figura 3: RMSE dell'accuratezza BCI e vCBLE. L'RMSE di vCBLE e l'accuratezza sono stati tracciati rispetto a diverse dimensioni del set di dati di test (1-10) utilizzando il set di dati "bi2014a". Nel complesso, vCBLE ha prestazioni migliori rispetto all'accuratezza BCI. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 4
Figura 4: Confronto di modelli che utilizzano RMSE. Questi modelli vengono creati mentre le stime vengono eseguite da diverse dimensioni dei caratteri di test. In alto a sinistra: 2 bersagli; in alto a destra: 5 bersagli; in basso a sinistra: 7 bersagli; In basso a destra: 10 bersagli. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 5
Figura 5: Valori RMSE dei modelli vCBLE. È stato creato un modello separato per prevedere l'accuratezza in tre giorni diversi utilizzando il set di dati del Michigan. Vengono visualizzati i valori RMSE per i modelli compilati utilizzando set di dati di test di dimensioni diverse. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 6
Figura 6: Confronto tra modelli. La media dell'RMSE su tre giorni è stata calcolata per il vCBLE e i modelli di accuratezza utilizzando i dati del Michigan. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 7
Figura 7: Differenza RMSE media rispetto al modello migliore. Per ogni giorno, il valore RMSE minimo è stato sottratto dal valore RMSE di ogni carattere. La media è stata calcolata sui tre giorni. Questo grafico rappresenta le prestazioni medie di un modello che utilizza una determinata dimensione del set di dati rispetto al modello migliore. Fare clic qui per visualizzare una versione più grande di questa figura.

Nome del set di dati Numero dell'oggetto Lunghezza ID ID canale Frequenza di campionamento Valore di decimazione Finestra originale Finestra CBLE Esempio di formazione n. Numero di destinazione, X
Invasori cerebrali 64 N/A [1:16] 512 26 [100, 600] [0, 700] 20 10
Michigan 32 4 [1:16] 256 13 [4, 804] [-100, 900] N/A 20

TABELLA 1: Parametri standard per i set di dati "BrainInvaders" e Michigan.

File di codifica supplementare 1. Fare clic qui per scaricare il file.

File di codifica supplementare 2. Fare clic qui per scaricare il file.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Questo articolo ha delineato un metodo per stimare l'accuratezza BCI utilizzando un piccolo set di dati P300. In questo caso, l'attuale protocollo è stato sviluppato sulla base del set di dati "bi2014a", anche se l'efficacia del protocollo è stata confermata su due diversi set di dati. Per implementare correttamente questa tecnica, è fondamentale stabilire alcune variabili, come la finestra dell'epoca per i dati originali, la finestra per lo spostamento temporale, il rapporto di downsampling e le dimensioni dei set di dati di training e test. Queste variabili sono determinate dalle caratteristiche del set di dati utilizzato, tra cui il numero di destinazioni o caratteri, il numero di sequenze e il numero totale di partecipanti.

I risultati del set di dati "bi2014a" indicano che la previsione di vCBLE mostra prestazioni superiori rispetto all'accuratezza BCI a livello di carattere per tutte le condizioni di test (meno di 10 caratteri), che coinvolgono set di dati di test contenenti da uno a dieci caratteri. Tuttavia, quando il set di dati di test comprende più di sette target, le prestazioni di vCBLE mostrano una varianza minima. I risultati dei dati del Michigan suggeriscono che l'utilizzo di vCBLE per prevedere le prestazioni in giornata supererà la stima basata sull'accuratezza se il set di dati del test è inferiore a sei caratteri. È interessante notare che l'aumento della quantità di dati utilizzati per creare questo modello migliora solo marginalmente dopo i primi caratteri di dati. Nel complesso, ciò implicherebbe che non è necessario raccogliere grandi quantità di dati per prevedere l'accuratezza nello stesso giorno.

Secondo i risultati del set di dati "bi2014a", si può suggerire che sia necessario un minimo di 10 partecipanti per costruire un modello classificatore in grado di prevedere l'accuratezza BCI di un individuo. Tuttavia, questo dipende anche dal numero di caratteri o dal numero di sequenze utilizzate sia nella fase di training che in quella di test. Il set di dati " bi2014a " include diversi partecipanti che avevano un numero relativamente piccolo di obiettivi totali. Vale la pena ricordare che il metodo di previsione vCBLE è già stato testato con successo su set di dati di piccole dimensioni composti rispettivamente da 32 e 9 partecipanti e ha dimostrato prestazioni efficaci17,18. Tuttavia, questi set di dati hanno un numero relativamente maggiore di destinazioni totali, ad esempio 19 caratteri nella sessione di training e un minimo di 23 caratteri nella sessione di test.

Ci sono alcune limitazioni di cui essere consapevoli quando si applica questo metodo. Dall'analisi del set di dati del Michigan, il modello vCBLE sembra funzionare peggio quando i dati di addestramento e test vengono raccolti in giorni diversi. Inoltre, questo metodo richiede a più partecipanti di creare un modello personalizzato per un determinato set di dati. Inoltre, il metodo proposto è stato testato su quattro classificatori, tra cui un classificatore dei minimi quadrati, l'analisi discriminante lineare graduale, la macchina a vettori di supporto (SVM) e l'autoencoder spaziale (SAE)17,18. Tuttavia, il protocollo deve essere applicabile a qualsiasi classificatore sensibile al tempo. Nonostante queste limitazioni, il potenziale risparmio di tempo per la ricerca e le comunità cliniche giustifica ulteriori indagini e applicazioni.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Tutti gli autori dichiarano di non avere conflitti di interesse.

Acknowledgments

I dati utilizzati per i risultati rappresentativi sono stati raccolti dal lavoro sostenuto dal National Institute of Child Health and Human Development (NICHD), dal National Institutes of Health (NIH) nell'ambito della Grant R21HD054697 e dal National Institute on Disability and Rehabilitation Research (NIDRR) del Dipartimento dell'Istruzione nell'ambito della Grant H133G090005 e del premio numero H133P090008. Il resto del lavoro è stato finanziato in parte dalla National Science Foundation (NSF) nell'ambito del premio #1910526. I risultati e le opinioni all'interno di questo lavoro non riflettono necessariamente le posizioni di NICHD, NIH, NIDRR o NSF.

Materials

Name Company Catalog Number Comments
MATLAB 2021 Matlab N/A Any recent MATLAB version can be used.

DOWNLOAD MATERIALS LIST

References

  1. Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
  2. Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
  3. Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
  4. Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  5. Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
  6. Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
  7. Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
  8. Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
  9. McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
  10. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
  11. Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
  12. Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
  13. Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
  14. Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. 2013 6th International IEEE/EMBS Conference on Neural Engineering (NER), , (2013).
  15. Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
  16. Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
  17. Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
  18. Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
  19. Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
  20. Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
  21. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).

Tags

Correttore ortografico dell'interfaccia cervello-computer basato su P300 stima delle prestazioni stima della latenza basata sul classificatore sistemi BCI raccolta dati convalida utenti finali sperimentatori variazione casuale false inferenze ortografi P300 stima dell'accuratezza investimento di tempo limiti di confidenza stima della latenza basata sul classificatore (CBLE) protocollo digitazione dei dati
Stima delle prestazioni dell'ortografo dell'interfaccia cervello-computer basata su P300 con stima della latenza basata sul classificatore
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Khan, N. N., Sweet, T., Harvey, C.… More

Khan, N. N., Sweet, T., Harvey, C. A., Warschausky, S., Huggins, J. E., Thompson, D. E. P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation. J. Vis. Exp. (199), e64959, doi:10.3791/64959 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter