Summary
Questo documento discute come costruire un'interfaccia cervello-computer facendo affidamento su apparecchiature di livello consumer e potenziali evocati visivamente in stato stazionario. Per questo, un elettroencefalografo a canale singolo che sfrutta elettrodi secchi è stato integrato con occhiali a realtà aumentata per la presentazione degli stimoli e la visualizzazione dei dati di output. Il sistema finale era non invasivo, indossabile e portatile.
Abstract
Il presente lavoro si concentra su come costruire un'interfaccia cervello-computer indossabile (BCI). I BCI sono un nuovo mezzo di interazione uomo-computer che si basa su misurazioni dirette dei segnali cerebrali per assistere sia le persone con disabilità che coloro che sono normodotati. Esempi di applicazioni includono il controllo robotico, l'ispezione industriale e la neuroriabilitazione. In particolare, studi recenti hanno dimostrato che i potenziali evocati visivamente stazionari (SSVEP) sono particolarmente adatti per applicazioni di comunicazione e controllo e sono attualmente in corso sforzi per portare la tecnologia BCI nella vita quotidiana. Per raggiungere questo obiettivo, il sistema finale deve basarsi su strumentazione indossabile, portatile e a basso costo. Nello sfruttamento degli SSVEP è necessario uno stimolo visivo tremolante con frequenze fisse. Pertanto, nel considerare i vincoli della vita quotidiana, in questo studio è stata esplorata la possibilità di fornire stimoli visivi per mezzo di occhiali intelligenti. Inoltre, per rilevare i potenziali indotti, è stato preso in considerazione un dispositivo commerciale per l'elettroencefalografia (EEG). Questo è costituito da un unico canale differenziale con elettrodi secchi (senza gel conduttivo), ottenendo così la massima vestibilità e portabilità. In tale BCI, l'utente può interagire con gli occhiali intelligenti semplicemente fissando le icone che appaiono sul display. Su questo semplice principio, è stato costruito un BCI facile da usare e a basso costo integrando occhiali a realtà estesa (XR) con un dispositivo EEG disponibile in commercio. La funzionalità di questo XR-BCI indossabile è stata esaminata con una campagna sperimentale che ha coinvolto 20 soggetti. L'accuratezza della classificazione era compresa tra l'80% e il 95% in media a seconda del tempo di stimolazione. Dati questi risultati, il sistema può essere utilizzato come interfaccia uomo-macchina per l'ispezione industriale, ma anche per la riabilitazione nell'ADHD e nell'autismo.
Introduction
Un'interfaccia cervello-computer (BCI) è un sistema che consente la comunicazione e/o il controllo di dispositivi senza percorsi neurali naturali1. La tecnologia BCI è la cosa più vicina che l'umanità ha al controllo degli oggetti con il potere della mente. Da un punto di vista tecnico, il funzionamento del sistema funziona misurando l'attività cerebrale indotta o evocata, che potrebbe essere generata involontariamente o volontariamente dal soggetto2. Storicamente, la ricerca si è concentrata sull'aiutare le persone con disabilità motorie attraverso BCI3, ma un numero crescente di aziende oggi offre strumentazione basata su BCI per giochi4, robotica5, industria6 e altre applicazioni che coinvolgono l'interazione uomo-macchina. In particolare, le BCI possono svolgere un ruolo nella quarta rivoluzione industriale, vale a dire l'industria 4.07, in cui i sistemi di produzione ciberfisici stanno cambiando l'interazione tra gli esseri umani e l'ambiente circostante8. In generale, il progetto europeo BNCI Horizon 2020 ha identificato scenari applicativi come la sostituzione, il ripristino, il miglioramento, il potenziamento o l'integrazione delle funzioni naturali perse del sistema nervoso centrale, nonché l'uso del BCI nello studio del cervello9.
In questo contesto, i recenti progressi tecnologici significano che le interfacce cervello-computer possono essere applicabili per l'uso nella vita quotidiana10,11. Per raggiungere questo obiettivo, il primo requisito è la non invasività, importante per evitare i rischi dell'intervento chirurgico e aumentare l'accettazione da parte dell'utente. Tuttavia, vale la pena notare che la scelta del neuroimaging non invasivo influisce sulla qualità dei segnali cerebrali misurati e il progetto BCI deve quindi affrontare le insidie associate12. Inoltre, sono richieste vestibilità e portabilità. Questi requisiti sono in linea con la necessità di un sistema di facile utilizzo, ma pongono anche alcuni vincoli. Nel complesso, i vincoli hardware menzionati sono affrontati dall'uso di un sistema elettroencefalografico (EEG) con elettrodi privi di gel6. Tale BCI basato su EEG sarebbe anche a basso costo. Nel frattempo, in termini di software, sarebbe auspicabile una formazione minima dell'utente (o idealmente nessuna formazione); Vale a dire, sarebbe meglio evitare lunghi periodi per la messa a punto dell'algoritmo di elaborazione prima che l'utente possa utilizzare il sistema. Questo aspetto è critico nelle BCI a causa della non stazionarietà inter-soggetto e intra-soggetto13,14.
La letteratura precedente ha dimostrato che la rilevazione dei potenziali cerebrali evocati è robusta rispetto alla non stazionarietà e al rumore nell'acquisizione del segnale. In altre parole, i BCI che si basano sulla rilevazione del potenziale evocato sono definiti reattivi e sono i BCI più performanti in termini di riconoscimento del pattern cerebrale15. Tuttavia, richiedono una stimolazione sensoriale, che è probabilmente il principale svantaggio di tali interfacce. L'obiettivo del metodo proposto è, quindi, quello di costruire un BCI altamente indossabile e portatile basato su strumentazione indossabile e pronta all'uso. Gli stimoli sensoriali qui consistono in luci tremolanti, generate da occhiali intelligenti, che sono in grado di suscitare potenziali evocati visivamente stazionari (SSVEP). Lavori precedenti hanno già preso in considerazione l'integrazione di BCI con la realtà virtuale da sola o in combinazione con la realtà aumentata16. Ad esempio, è stato proposto un sistema BCI-AR per controllare un quadricottero con SSVEP17. La realtà virtuale, la realtà aumentata e altri paradigmi sono indicati con il termine realtà estesa. In tale scenario, la scelta degli occhiali intelligenti è conforme ai requisiti di vestibilità e portabilità e gli occhiali intelligenti possono essere integrati con una configurazione di acquisizione EEG minima. Questo documento mostra che il BCI basato su SSVEP richiede anche una formazione minima, ottenendo al contempo prestazioni di classificazione accettabili per applicazioni di comunicazione e controllo a bassa-media velocità. Quindi, la tecnica viene applicata al BCI per applicazioni quotidiane e sembra particolarmente adatta per l'industria e la sanità.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Lo studio è stato approvato dal Comitato Etico di Ricerca Psicologica del Dipartimento di Studi Umanistici dell'Università degli Studi di Napoli Federico II. I volontari hanno firmato il consenso informato prima di partecipare agli esperimenti.
1. Preparare l'interfaccia cervello indossabile non invasivo - computer
- Ottenere un elettroencefalografo di livello consumer a basso costo con elettrodi a secco e configurarlo per l'utilizzo a canale singolo.
- Cortocircuitare o collegare eventuali canali di ingresso inutilizzati sull'elettroencefalografo a basso costo a una tensione di riferimento interna come specificato nella scheda tecnica inerente. In tal modo, i canali inutilizzati sono disabilitati e non generano rumore di diafonia.
- Regolare il guadagno dell'elettroencefalografo (tipicamente attraverso un componente a resistenza variabile) per avere un intervallo di ingresso dell'ordine di 100 μV.
NOTA: I segnali EEG da misurare sono nell'ordine di decine di microvolt. Tuttavia, gli elettrodi a secco sono fortemente influenzati dagli artefatti di movimento, che provocano oscillazioni dell'ordine di 100 μV a causa della variabilità dell'impedenza elettrodo-pelle. Aumentare l'intervallo di tensione di ingresso aiuta a limitare la saturazione dell'amplificatore EEG, ma non la elimina completamente. D'altra parte, sarebbe scomodo aumentare ulteriormente l'intervallo di tensione di ingresso, perché ciò influenzerebbe la risoluzione della tensione nella misurazione dei componenti EEG desiderati. In definitiva, i due aspetti devono essere bilanciati tenendo conto anche della risoluzione in bit del convertitore analogico-digitale all'interno della scheda elettroencefalografica. - Preparare tre elettrodi asciutti da collegare alla scheda elettroencefalografica. Utilizzare un elettrodo passivo (senza preamplificazione) come elettrodo di riferimento. I restanti due elettrodi di misura dovrebbero essere attivi (cioè coinvolgere la pre-amplificazione e l'eventuale filtraggio analogico).
NOTA: Gli elettrodi posizionati su un'area pelosa del cuoio capelluto richiedono perni per superare l'impedenza di contatto elettrodo-pelle. Se possibile, saldare perni d'argento con teste piatte (per evitare troppo dolore per l'utente) o idealmente utilizzare gomma conduttiva (morbida) con un rivestimento Ag / AgCl.
- Ottieni occhiali intelligenti commerciali con un sistema operativo Android e una frequenza di aggiornamento di 60 Hz. In alternativa, utilizzare una frequenza di aggiornamento inferiore. Una frequenza di aggiornamento più elevata sarebbe auspicabile per gli stimoli in quanto ci sarebbe meno affaticamento degli occhi, ma non ci sono soluzioni attualmente disponibili sul mercato.
- Scarica il codice sorgente di un'applicazione Android per la comunicazione o il controllo o sviluppane una.
- Sostituire i pulsanti virtuali nell'applicazione con icone tremolanti modificando l'oggetto inerente (di solito in Java o Kotlin). Si consigliano quadrati bianchi con almeno il 5% di dimensione dello schermo. Di solito, più grande è il quadrato stimolante, più alto sarà il componente SSVEP da rilevare, ma un optimum può essere trovato a seconda del caso specifico. Le frequenze consigliate sono lo sfarfallio di 10 Hz e 12 Hz. Implementare lo sfarfallio sull'unità di elaborazione grafica (GPU) per evitare di sovraccaricare l'unità di elaborazione (CPU) degli occhiali intelligenti. A tale scopo, utilizzare oggetti della libreria OpenGL.
- Implementare un modulo dell'applicazione Android per l'elaborazione in tempo reale del flusso EEG in ingresso. Il servizio USB Android può essere aggiunto in modo che il flusso possa essere ricevuto tramite USB. L'elaborazione in tempo reale può semplicemente applicare una finestra scorrevole al flusso EEG considerando i pacchetti in entrata. Calcola le densità spettrali di potenza associate alle frequenze di 10 Hz e 12 Hz attraverso una funzione di trasformata di Fourier veloce. Un classificatore addestrato può, quindi, distinguere che l'utente sta guardando l'icona di sfarfallio a 10 Hz o l'icona di sfarfallio a 12 Hz classificando le caratteristiche di densità spettrale di potenza.
2. Calibrare l'interfaccia cervello - computer basata su SSVEP
NOTA: Per questo studio sono stati scelti volontari sani. Escludere soggetti con una storia di malattie cerebrali. Ai soggetti coinvolti è stato richiesto di avere una visione normale o corretta alla normalità. Sono stati istruiti ad essere rilassati durante gli esperimenti e ad evitare movimenti non necessari, specialmente della testa.
- Lascia che l'utente indossi gli occhiali intelligenti con l'applicazione Android.
- Lasciare che l'utente indossi una fascia stretta per tenere gli elettrodi.
- Collegare l'elettroencefalografo a basso costo a un PC tramite un cavo USB mentre il PC è scollegato dall'alimentazione principale.
- Inizialmente scollegare tutti gli elettrodi dalla scheda di acquisizione dell'elettroencefalografo per iniziare da una condizione nota.
- In questa fase, il flusso EEG viene elaborato offline sul PC con uno script compatibile con l'elaborazione implementata nell'applicazione Android. Avviare lo script per ricevere i segnali EEG e visualizzarli.
- Controllare il segnale visualizzato che viene elaborato offline. Questo deve corrispondere solo al rumore di quantizzazione dell'amplificatore EEG.
- Collegare gli elettrodi.
- Applicare l'elettrodo passivo all'orecchio sinistro con una clip personalizzata o utilizzare un elettrodo con clip per le orecchie. Il segnale di uscita deve rimanere invariato in questa fase perché il canale differenziale di misura è ancora un circuito aperto.
- Collegare un elettrodo attivo al terminale negativo dell'ingresso differenziale del canale EEG di misurazione e applicare alla regione frontale (posizione standard Fpz) con un fascietto. Dopo alcuni secondi, il segnale dovrebbe tornare a zero (rumore di quantizzazione).
- Collegare l'altro elettrodo attivo al terminale positivo dell'ingresso differenziale del canale EEG di misurazione e applicare alla regione occipitale (posizione standard di Oz) con l'archetto. Viene ora visualizzato un segnale cerebrale, che corrisponde all'attività visiva misurata rispetto all'area frontale del cervello (nessuna attività visiva prevista lì).
- Acquisire segnali per la calibrazione del sistema.
- Stimolare ripetutamente l'utente con icone di sfarfallio a 10 Hz e 12 Hz (ed eventualmente altre) avviando l'icona di sfarfallio nell'applicazione Android e acquisire e salvare i segnali EEG inerenti per l'elaborazione offline. Assicurati che ogni stimolazione in questa fase consista in una singola icona che sfarfalla per 10 secondi e avvia l'icona di sfarfallio premendo sul touchpad degli occhiali intelligenti mentre avvii anche lo script di acquisizione e visualizzazione EEG.
- Dai segnali a 10 s associati ad ogni stimolazione, estrarre due caratteristiche usando la trasformata di Fourier veloce: la densità spettrale di potenza a 10 Hz e a 12 Hz. In alternativa, si considerino le seconde armoniche (20 Hz e 24 Hz).
- Utilizzare una rappresentazione dei segnali acquisiti nel dominio delle funzionalità per addestrare un classificatore di macchine vettoriali di supporto. Utilizzare uno strumento (in Matlab o Python) per identificare i parametri di un iperpiano con un eventuale kernel basato sulle funzionalità di input. Il modello addestrato sarà in grado di classificare future osservazioni di segnali EEG.
3. Assemblare l'interfaccia finale indossabile e portatile basata su SSVEP
- Scollegare il cavo USB dal PC e collegarlo direttamente agli occhiali intelligenti.
- Inserire i parametri del classificatore addestrato nell'applicazione Android. Il sistema è ora pronto.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Una possibile implementazione del sistema sopra descritto è mostrata in Figura 1; Questa implementazione consente all'utente di navigare nella realtà aumentata attraverso l'attività cerebrale. Le icone tremolanti sul display degli occhiali intelligenti corrispondono alle azioni per l'applicazione (Figura 1A) e, quindi, questi occhiali rappresentano un sostituto per un'interfaccia tradizionale basata sulla pressione di pulsanti o di un touchpad. L'efficacia di tale interazione è strettamente correlata alla classificazione di successo dei potenziali evocati dallo sfarfallio. Per raggiungere questo obiettivo, è stata prima effettuata una caratterizzazione metrologica per il sistema18, e poi gli utenti umani sono stati coinvolti in una convalida sperimentale.
Figura 1: Possibile implementazione dell'interfaccia cervello-computer proposta. (A) Rappresentazione di ciò che l'utente vede attraverso gli occhiali intelligenti, vale a dire lo scenario reale e gli stimoli visivi; (B) un utente che indossa il sistema vivavoce. Fare clic qui per visualizzare una versione ingrandita di questa figura.
L'elettroencefalografo è stato caratterizzato rispetto all'errore di linearità e magnitudo. La linearità è stata valutata a 20 Hz attraverso misure condotte con un segnale di ingresso sinusoidale al dispositivo testato a sette diverse ampiezze (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV e 100 μV). Tracciando la tensione dell'elettroencefalografo in funzione della tensione di ingresso, la Figura 2A evidenzia il chiaro comportamento lineare dell'elettroencefalografo. La linearità è stata confermata anche da un test di Fisher per la bontà dell'adattamento lineare. Tuttavia, la figura indica anche alcuni errori di guadagno e offset. Questi errori sono stati testati fissando l'ampiezza a 100 μV e variando la frequenza. I risultati sono riportati in Figura 2B e confermano l'errore di magnitudo rispetto al guadagno nominale.
Figura 2: Risultati della caratterizzazione elettroencefalografica a basso costo. (A) errori lineari; (B) errori di magnitudo. Il numero di campioni per ciascun punto di misurazione è stato di 4.096. Una discussione più dettagliata può essere trovata in Arpaia et al.18. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Infine, lo sfarfallio degli occhiali intelligenti è stato misurato per evidenziare eventuali deviazioni dal percorso nominale dell'onda quadra. Tali deviazioni erano particolarmente visibili nello spettro di ampiezza dello sfarfallio a 12 Hz (Figura 3B). Tuttavia, tutti questi errori possono essere considerati o eventualmente compensati, dimostrando così la fattibilità dell'utilizzo di materiale di livello consumer per il sistema SSVEP-BCI.
Figura 3: Risultati della caratterizzazione degli occhiali intelligenti commerciali in termini di spettro di ampiezza dei pulsanti di sfarfallio. (A) Sfarfallio a 10 Hz; (B) sfarfallio a 12 Hz. Una discussione più dettagliata può essere trovata in Arpaia et al.18. Fare clic qui per visualizzare una versione ingrandita di questa figura.
Per quanto riguarda la validazione sperimentale, 20 soggetti (7 donne) hanno preso parte alla campagna. Ogni soggetto è stato sottoposto a 24 prove con due icone di sfarfallio simultanee sul display degli occhiali intelligenti. Il soggetto doveva fissare una delle due icone ordinate casualmente, ognuna con una frequenza diversa (sfarfallio a 10 Hz o sfarfallio a 12 Hz). La casualità della frequenza con cui i soggetti fissavano per primi era garantita lasciando che decidessero l'icona da fissare senza alcun criterio predefinito. Una volta completati 12 studi con una frequenza specifica, al soggetto è stato chiesto di concentrarsi sull'icona con l'altra frequenza per gli studi rimanenti. Nell'applicazione sfruttata, l'icona di sfarfallio a 12 Hz appariva nell'angolo in alto a sinistra mentre l'icona di sfarfallio a 10 Hz appariva nell'angolo in basso a destra. Una singola prova è durata 10,0 s e alcuni secondi (di durata casuale) sono passati tra prove consecutive. Finestre temporali più piccole potrebbero quindi essere analizzate offline tagliando i segnali registrati.
Figura 4: Rappresentazione dei segnali misurati durante la stimolazione visiva nel dominio delle caratteristiche. I segnali associati agli stimoli tremolanti a 12 Hz (classe 12 Hz) sono rappresentati in blu, mentre i segnali associati agli stimoli tremolanti a 10 Hz (classe 10 Hz) sono rappresentati in rosso. Le caratteristiche di tutti i soggetti sono considerate qui. Fare clic qui per visualizzare una versione ingrandita di questa figura.
La figura 4 riporta i segnali 10 s rappresentati dalle due caratteristiche di densità spettrale di potenza, vale a dire a 12 Hz e 10 Hz. Un singolo punto in due dimensioni corrispondeva a una singola prova. I punti corrispondenti alle due diverse frequenze di sfarfallio si distinguevano per il loro colore. Quindi, le due classi erano separate, sebbene esistesse una sovrapposizione tra le due classi, che potrebbe aver causato errori di classificazione. I risultati della classificazione sono stati ottenuti con una convalida incrociata quadrupla, in modo che i dati siano stati suddivisi quattro volte in 18 prove per la formazione e 6 prove per la convalida. I dati hanno confermato che, nel caso di stimolazione 10 s (Tabella 1), 8 soggetti su 20 hanno raggiunto un'accuratezza del 100%, ma per altri soggetti, l'accuratezza della classificazione era inferiore al 65% -70%. Nel frattempo, un soggetto ha raggiunto il 100% con una stimolazione di 2 s (ottenuta tagliando i segnali in post elaborazione) e un numero rilevante di soggetti ha raggiunto l'accuratezza della classificazione casuale (50%). I dati di tutti i soggetti sono stati considerati nel loro insieme e l'accuratezza della classificazione è stata ottenuta. Le prestazioni sono state valutate anche in termini di velocità di trasferimento delle informazioni (ITR), che era in media superiore a 30 bit/min. Questi risultati sono stati migliorati considerando le densità spettrali di potenza a 20 Hz e 24 Hz. La tabella 2 mostra che sono aumentati o sono rimasti costanti e, almeno nel caso di stimolazione di 10 s, la deviazione standard è diminuita, indicando così una minore dispersione nelle prestazioni di classificazione per soggetti diversi. Infine, l'accuratezza della classificazione è stata ricalcolata per tutti i soggetti in questo caso di quattro caratteristiche, e si è scoperto ancora una volta che erano vicini alle precisioni medie.
| Oggetto | 10 s Precisione di stimolazione % | 2 s Precisione di stimolazione % |
| Tutto | 94.2 | 77.5 |
| S1 | 100 | 100 |
| S2 | 100 | 98.8 |
| S3 | 100 | 92 |
| S4 | 100 | 92 |
| S5 | 100 | 88 |
| S6 | 100 | 87 |
| S7 | 100 | 87 |
| S8 | 100 | 64 |
| S9 | 97.9 | 57 |
| S10 | 96.7 | 88.8 |
| S11 | 96 | 64 |
| S12 | 95.8 | 78 |
| S13 | 95.4 | 83 |
| S14 | 95.4 | 53 |
| S15 | 94 | 80 |
| S16 | 92.9 | 61 |
| S17 | 91 | 78 |
| S18 | 89.6 | 61 |
| S19 | 81 | 52 |
| S20 | 71 | 49 |
| SIGNIFICARE | 94.9 | 76 |
| STD | 7.4 | 16 |
Tabella 1: Accuratezza della convalida incrociata nella classificazione dei segnali EEG relativi a SSVEP. Per ogni soggetto, i risultati associati a una stimolazione di 10 s vengono confrontati con i risultati associati a una stimolazione di 2 s. Viene riportata l'accuratezza media tra tutti i soggetti, così come l'accuratezza ottenuta considerando tutti i soggetti insieme (riga tutti).
| 10 s Stimolazione (precisione media ± std) % | 10 s Stimolazione (precisione media ± std) % | |
| Caso 2D | 94,9 ± 7,4 | 76 ± 16 |
| Custodia 4D | 97,2 ± 4,3 | 76 ± 15 |
Tabella 2: Confronto delle prestazioni di classificazione quando si considerano due caratteristiche PSD (caso 2D) rispetto a quattro caratteristiche PSD (caso 4D) per i dati EEG relativi a SSVEP. Una stimolazione di 10 s viene confrontata con una di 2 s riportando le accuratezze medie di convalida incrociata e le deviazioni standard associate.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Il corretto funzionamento del sistema coinvolge due aspetti cruciali: l'elicitazione SSVEP e l'acquisizione del segnale. A parte i dispositivi specifici scelti per lo studio attuale, SSVEP potrebbe essere ottenuto con diversi dispositivi che forniscono una luce tremolante, anche se gli occhiali intelligenti sono preferiti per garantire vestibilità e portabilità. Analogamente, potrebbero essere presi in considerazione ulteriori elettroencefalografi commerciali, ma dovrebbero essere indossabili, portatili e coinvolgere un numero minimo di elettrodi a secco per essere facili da usare. Inoltre, il sistema potrebbe essere personalizzato per utilizzare dispositivi facili da programmare. Inoltre, la strategia di elaborazione determina le prestazioni finali; Sebbene la strategia di elaborazione non sia apparsa cruciale nella progettazione del sistema descritto, il suo miglioramento contribuirebbe certamente ad un sistema più rapido e accurato per le applicazioni di comunicazione e controllo10,11,19.
Alcune carenze del sistema possono essere evidenziate. Infatti, per l'elicitazione SSVEP, gli stimoli di sfarfallio dovrebbero avere grandi dimensioni e una frequenza di sfarfallio stabile. Il primo implica che i pulsanti dell'applicazione Android potrebbero essere ingombranti e porre limitazioni allo scenario di realtà estesa. Quest'ultimo richiede occhiali intelligenti con caratteristiche metrologiche che non sono tipicamente presenti nei dispositivi commerciali. Inoltre, anche dopo aver soddisfatto tali condizioni, la presenza di un SSVEP dipende dal soggetto. In particolare, c'è variabilità intra-soggetto e inter-soggetto nelle ampiezze SSVEP, che dipende da diversi fattori incontrollabili, come l'affaticamento dell'utente o l'attenzione / impegno13. Questo problema si aggiunge alla necessità di trovare stimoli ottimali per una corretta elicitazione SSVEP20.
D'altra parte, l'acquisizione del segnale è fondamentale per le prestazioni finali perché è necessario ottenere un adeguato rapporto segnale-rumore quando si misura l'attività cerebrale. Al fine di ottenere la massima vestibilità, portabilità, comfort per l'utente e basso costo, l'attività cerebrale è stata misurata con un EEG non invasivo a canale singolo ed elettrodi a secco. Naturalmente, gli elettrodi a secco sono per lo più conformi ai requisiti della vita quotidiana, ma evitare l'uso di gel conduttivi limita il contatto elettrodo-pelle. Pertanto, la stabilità meccanica degli elettrodi deve essere garantita posizionandoli correttamente e stabilizzandoli in uso continuo. In realtà, però, lo svantaggio del sistema di acquisizione proposto è che la qualità del segnale è degradata rispetto a tecniche di neuroimaging più invasive.
Nonostante il previsto scarso rapporto segnale/rumore, la convalida del sistema proposto ha dimostrato che sono possibili prestazioni elevate per applicazioni di comunicazione e controllo. In particolare, la caratterizzazione metrologica delle apparecchiature di livello consumer ha mostrato che i dispositivi impiegati erano adatti per applicazioni BCI di interesse, e ha anche suggerito che dispositivi simili dovrebbero essere adatti anche a quelli. Attraverso la convalida sperimentale, sono state osservate accuratezze di classificazione dipendenti dal soggetto, ma è stato possibile trarre conclusioni generali positive.
L'accuratezza della classificazione può essere migliorata aumentando il tempo di stimolazione. In tal caso, la reattività del sistema sarà più lenta, ma è ancora possibile fornire funzionalità di comunicazione e controllo alternative. In secondo luogo, un sistema senza formazione (o al massimo un sistema con una formazione minima) potrebbe essere ottenuto utilizzando dati preliminari provenienti da altre materie. Per comprendere il contributo del metodo proposto al campo, i risultati possono essere confrontati con la letteratura su SSVEP-BCI non invasivo. Nelle BCI più tradizionali, la precisione raggiunge circa il 94% anche con stimolazione 2 s21, ma tali sistemi richiedono una formazione approfondita e potrebbero non essere indossabili e portatili. Tuttavia, le prestazioni diminuiscono quando si cerca di aumentare la facilità d'uso (ad esempio, quando si utilizzano elettrodi a secco22 e ancora di più quando si tenta di utilizzare un singolo elettrodo23). In questi casi, le accuratezze della classificazione sono ridotte a circa l'83%.
Pertanto, il sistema descritto in questo lavoro avvicina la tecnologia BCI alle applicazioni della vita quotidiana aumentando la facilità d'uso mantenendo elevate le prestazioni, sebbene l'uso di questo sistema in contesti clinici possa essere inappropriato. Alcuni partecipanti hanno commentato che gli elettrodi secchi nella regione occipitale erano più inquietanti rispetto alle loro controparti tradizionali, ma nel complesso hanno apprezzato la vestibilità e la portabilità del sistema. Molti aggiornamenti sono possibili e alcuni di essi sono già in fase di sviluppo. Ad esempio, il numero di stimoli (e, quindi, il numero di comandi) può essere aumentato a quattro. Quindi, gli stimoli stessi possono essere progettati per affaticare meno gli occhi. Infine, le prestazioni di classificazione possono essere migliorate attraverso una strategia di elaborazione più avanzata per ottenere un sistema più accurato e / o più veloce.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Gli autori non hanno nulla da rivelare.
Acknowledgments
Questo lavoro è stato realizzato nell'ambito del progetto ICT for Health, che è stato sostenuto finanziariamente dal Ministero dell'Istruzione, dell'Università e della Ricerca (MIUR), nell'ambito dell'iniziativa Dipartimenti di Eccellenza (Legge di Bilancio n. 232/2016), attraverso un contributo di eccellenza assegnato al Dipartimento di Informatica e Ingegneria Elettrica dell'Università degli Studi di Napoli Federico II, Napoli, Italia. Il progetto è stato infatti reso possibile dal supporto dell'iniziativa Res4Net e del TC-06 (Emerging Technologies in Measurements) della IEEE Instrumentation and Measurement Society. Gli autori ringraziano anche L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone e M. Ortolano per i loro preziosi contributi nello sviluppo, nella sperimentazione e nella validazione del sistema.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
