Stima delle prestazioni dell'ortografo dell'interfaccia cervello-computer basata su P300 con stima della latenza basata sul classificatore
Summary
Questo articolo presenta un metodo per stimare l’accuratezza dell’interfaccia cervello-computer (BCI) dell’ortografia P300 in giornata utilizzando un piccolo set di dati di test.
Abstract
La stima delle prestazioni è un passo necessario nello sviluppo e nella convalida dei sistemi di interfaccia cervello-computer (BCI). Sfortunatamente, anche i moderni sistemi BCI sono lenti, il che rende la raccolta di dati sufficienti per la convalida un’attività che richiede molto tempo sia per gli utenti finali che per gli sperimentatori. Tuttavia, senza dati sufficienti, la variazione casuale delle prestazioni può portare a false inferenze sul funzionamento di una BCI per un particolare utente. Ad esempio, gli speller P300 operano comunemente da 1 a 5 caratteri al minuto. Per stimare l’accuratezza con una risoluzione del 5% sono necessari 20 caratteri (4-20 min). Nonostante questo investimento di tempo, i limiti di confidenza per l’accuratezza di 20 caratteri possono arrivare fino al ±23% a seconda dell’accuratezza osservata. Un metodo pubblicato in precedenza, Classifier-Based Latency Estimation (CBLE), ha dimostrato di essere altamente correlato con l’accuratezza BCI. Questo lavoro presenta un protocollo per l’utilizzo di CBLE per prevedere l’accuratezza del correttore ortografico P300 di un utente da relativamente pochi caratteri (~3-8) di dati di digitazione. I limiti di confidenza risultanti sono più stretti di quelli prodotti dai metodi tradizionali. Il metodo può quindi essere utilizzato per stimare le prestazioni BCI in modo più rapido e/o più accurato.
Introduction
Le interfacce cervello-computer (BCI) sono una tecnologia non invasiva che consente agli individui di comunicare direttamente attraverso le macchine senza riguardo per le limitazioni fisiche imposte dal corpo. Il BCI può essere utilizzato come dispositivo di assistenza azionato direttamente dal cervello. BCI utilizza l’attività cerebrale di un utente per determinare se l’utente intende scegliere un determinato tasto (lettera, numero o simbolo) visualizzato sullo schermo1. In un tipico sistema informatico, un utente preme fisicamente il tasto desiderato su una tastiera. Tuttavia, in un sistema BCI con un display visivo, l’utente deve concentrarsi sulla chiave desiderata. Quindi, BCI selezionerà la chiave desiderata analizzando i segnali cerebrali misurati1. L’attività del cervello può essere misurata utilizzando varie tecniche. Sebbene esistano tecnologie BCI concorrenti, l’elettroencefalogramma (EEG) è considerato una tecnica leader grazie alla sua natura non invasiva, all’elevata risoluzione temporale, all’affidabilità e al costo relativamente basso2.
Le applicazioni di BCI includono la comunicazione, il controllo dei dispositivi e anche l’intrattenimento 3,4,5,6. Una delle aree di applicazione BCI più attive è lo speller P300, che è stato introdotto da Farwell e Donchin7. Il P300 è un potenziale correlato all’evento (ERP) prodotto in risposta al riconoscimento di uno stimolo raro ma rilevante8. Quando una persona riconosce il suo stimolo target, produce automaticamente un P300. Il P300 è un segnale efficace per una BCI perché trasmette il riconoscimento dell’evento target da parte del partecipante senza richiedere una risposta esterna9.
Il P300 BCI ha attratto ricercatori provenienti da informatica, ingegneria elettrica, psicologia, fattori umani e varie altre discipline. Sono stati fatti progressi nell’elaborazione del segnale, negli algoritmi di classificazione, nelle interfacce utente, negli schemi di stimolazione e in molte altre aree 10,11,12,13,14,15. Tuttavia, indipendentemente dall’area di ricerca, il filo conduttore di tutte queste ricerche è la necessità di misurare le prestazioni del sistema BCI. Questa attività richiede in genere la generazione di un set di dati di test. Questa necessità non si limita alla ricerca; L’eventuale applicazione clinica come tecnologia assistiva richiederà probabilmente set di convalida individuali per ciascun utente finale per garantire che il sistema possa generare una comunicazione affidabile.
Nonostante la considerevole ricerca applicata al P300 BCI, i sistemi sono ancora piuttosto lenti. Mentre la maggior parte delle persone è in grado di utilizzare un P300 BCI16, la maggior parte degli ortografi P300 produce testo dell’ordine di 1-5 caratteri al minuto. Sfortunatamente, questa bassa velocità significa che la generazione di set di dati di test richiede tempo e sforzi sostanziali per i partecipanti, gli sperimentatori e gli eventuali utenti finali. La misurazione dell’accuratezza del sistema BCI è un problema di stima dei parametri binomiali e molti caratteri di dati sono necessari per una buona stima.
Per stimare la presenza o l’assenza dell’ERP P300, la maggior parte dei classificatori utilizza un modello di classificazione binaria, che prevede l’assegnazione di un’etichetta binaria (ad esempio, “presenza” o “assenza”) a ogni prova o epoca di dati EEG. L’equazione generale utilizzata dalla maggior parte dei classificatori può essere espressa come:
dove 
è chiamato il punteggio del classificatore, che rappresenta la probabilità che la risposta P300 sia presente, x è il vettore caratteristica estratto dal segnale EEG e b è un termine di bias17. La funzione f è una funzione decisionale che mappa i dati di input all’etichetta di output e viene appresa da un set di dati di addestramento etichettati utilizzando un algoritmo di apprendimento supervisionato17. Durante l’addestramento, il classificatore viene addestrato su un set di dati etichettato di segnali EEG, in cui ogni segnale è etichettato come avente o meno una risposta P300. Il vettore di peso e il termine di polarizzazione sono ottimizzati per ridurre al minimo l’errore tra l’output previsto del classificatore e l’etichetta reale del segnale EEG. Una volta addestrato, il classificatore può essere utilizzato per prevedere la presenza della risposta P300 nei nuovi segnali EEG.
Classificatori diversi possono utilizzare funzioni decisionali diverse, ad esempio l’analisi discriminante lineare (LDA), l’analisi discriminante lineare graduale (SWLDA), i minimi quadrati (LS), la regressione logistica, le macchine a vettori di supporto (SVM) o le reti neurali (NN). Il classificatore dei minimi quadrati è un classificatore lineare che riduce al minimo la somma degli errori quadratici tra le etichette di classe stimate e le etichette di classe reali. Questo classificatore consente di stimare l’etichetta di classe di un nuovo campione di test utilizzando l’equazione seguente:
(1)
dove la funzione segno restituisce +1 se il prodotto è positivo e -1 se è negativo e il vettore 
peso è ottenuto dal set di funzionalità dei dati di addestramento, (x) e le etichette di classe (y) usando l’equazione seguente:
(2)
In una ricerca precedente, abbiamo sostenuto che la stima della latenza basata sul classificatore (CBLE) può essere utilizzata per stimare l’accuratezza BCI 17,18,19. CBLE è una strategia per valutare la variazione di latenza sfruttando la sensibilità temporale del classificatore18. Mentre l’approccio convenzionale alla classificazione P300 prevede l’utilizzo di una singola finestra temporale sincronizzata con ogni presentazione dello stimolo, il metodo CBLE prevede la creazione di più copie spostate nel tempo delle epoche post-stimolo. Quindi rileva lo spostamento temporale che si traduce nel punteggio massimo per stimare la latenza della risposta P30017,18. Qui, questo lavoro presenta un protocollo che stima le prestazioni BCI da un piccolo set di dati utilizzando CBLE. Come analisi rappresentativa, il numero di caratteri viene variato per fare previsioni sulle prestazioni complessive di un individuo. Per entrambi i set di dati di esempio, sono stati calcolati l’errore quadratico medio (RMSE) per vCBLE e l’accuratezza BCI effettiva. I risultati indicano che l’RMSE delle previsioni di vCBLE, utilizzando i dati adattati, era costantemente inferiore all’accuratezza derivata da 1 a 7 caratteri testati.
Abbiamo sviluppato un’interfaccia grafica utente (GUI) chiamata “CBLE Performance Estimation” per l’implementazione della metodologia proposta. Viene fornito anche il codice di esempio (Supplementary Coding File 1) che opera sulla piattaforma MATLAB. Il codice di esempio esegue tutti i passaggi applicati nella GUI, ma i passaggi vengono forniti per aiutare il lettore ad adattarsi a un nuovo set di dati. Questo codice utilizza un set di dati pubblicamente disponibile “Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)” per valutare il metodo proposto20. I partecipanti hanno giocato fino a tre sessioni di gioco di Brain Invaders, ogni sessione aveva 9 livelli di gioco. La raccolta dei dati è continuata fino a quando tutti i livelli non sono stati completati o il partecipante ha perso tutto il controllo sul sistema BCI. L’interfaccia di Brain Invaders includeva 36 simboli che lampeggiavano in 12 gruppi di sei alieni. Secondo il paradigma di Brain Invaders P300, una ripetizione è stata creata da 12 flash, uno per ogni gruppo. Di questi 12 lampeggi, due contenevano il simbolo Target (noti come lampeggi Target), mentre i restanti 10 lampeggi non contenevano il simbolo Target (noti come lampeggi non Target). Maggiori informazioni su questo paradigma sono disponibili nel riferimento originale20.
L’approccio CBLE è stato implementato anche su un set di dati del Michigan, che conteneva i dati di 40 partecipanti18,19. In questo caso, i dati di otto partecipanti hanno dovuto essere scartati perché i loro compiti erano incompleti. L’intero studio ha richiesto tre visite da parte di ciascun partecipante. Il primo giorno, ogni partecipante ha digitato una frase di addestramento di 19 caratteri, seguita da tre frasi di prova di 23 caratteri nei giorni 1, 2 e 3. In questo esempio, la tastiera includeva 36 caratteri raggruppati in sei righe e sei colonne. Ogni riga o colonna è stata lampeggiata per 31,25 millisecondi con un intervallo di 125 millisecondi tra un lampeggio e l’altro. Tra un carattere e l’altro, è stata prevista una pausa di 3,5 secondi.
La Figura 1 mostra il diagramma a blocchi del metodo proposto. La procedura dettagliata è descritta nella sezione relativa al protocollo.
Protocol
Representative Results
Discussion
Questo articolo ha delineato un metodo per stimare l’accuratezza BCI utilizzando un piccolo set di dati P300. In questo caso, l’attuale protocollo è stato sviluppato sulla base del set di dati “bi2014a”, anche se l’efficacia del protocollo è stata confermata su due diversi set di dati. Per implementare correttamente questa tecnica, è fondamentale stabilire alcune variabili, come la finestra dell’epoca per i dati originali, la finestra per lo spostamento temporale, il rapporto di downsampling e le dimensioni dei set di…
Disclosures
The authors have nothing to disclose.
Acknowledgements
I dati utilizzati per i risultati rappresentativi sono stati raccolti dal lavoro sostenuto dal National Institute of Child Health and Human Development (NICHD), dal National Institutes of Health (NIH) nell’ambito della Grant R21HD054697 e dal National Institute on Disability and Rehabilitation Research (NIDRR) del Dipartimento dell’Istruzione nell’ambito della Grant H133G090005 e del premio numero H133P090008. Il resto del lavoro è stato finanziato in parte dalla National Science Foundation (NSF) nell’ambito del premio #1910526. I risultati e le opinioni all’interno di questo lavoro non riflettono necessariamente le posizioni di NICHD, NIH, NIDRR o NSF.
References
- Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
- Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
- Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
- Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
- Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
- Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
- Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
- McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
- Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
- Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
- Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
- Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
- Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
- Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
- Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
- Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
- Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
- Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
