Summary
Detta dokument diskuterar hur man bygger ett hjärna-datorgränssnitt genom att förlita sig på utrustning av konsumentkvalitet och steady-state visuellt framkallade potentialer. För detta integrerades en enkanals elektroencefalograf som utnyttjar torra elektroder med augmented reality-glasögon för stimulipresentation och visualisering av utgångsdata. Det slutliga systemet var icke-invasivt, bärbart och bärbart.
Abstract
Det aktuella arbetet fokuserar på hur man bygger ett bärbart hjärna-datorgränssnitt (BCI). BCI är ett nytt sätt att interagera mellan människa och dator som bygger på direkta mätningar av hjärnsignaler för att hjälpa både personer med funktionshinder och de som är arbetsföra. Exempel på tillämpningar är robotstyrning, industriell inspektion och neurorehabilitering. I synnerhet har nyligen genomförda studier visat att steady-state visuellt framkallade potentialer (SSVEP) är särskilt lämpade för kommunikations- och kontrollapplikationer, och ansträngningar görs för närvarande för att få BCI-teknik i det dagliga livet. För att uppnå detta mål måste det slutliga systemet förlita sig på bärbar, bärbar och billig instrumentering. Vid utnyttjande av SSVEPs krävs en flimrande visuell stimulans med fasta frekvenser. Således, med tanke på dagliga livsbegränsningar, undersöktes möjligheten att ge visuella stimuli med hjälp av smarta glasögon i denna studie. För att detektera de framkallade potentialerna övervägdes dessutom en kommersiell anordning för elektroencefalografi (EEG). Detta består av en enda differentialkanal med torra elektroder (ingen ledande gel), vilket ger största möjliga bärbarhet och bärbarhet. I en sådan BCI kan användaren interagera med de smarta glasögonen genom att bara stirra på ikoner som visas på displayen. På denna enkla princip byggdes en användarvänlig, billig BCI genom att integrera utökade verklighetsglasögon (XR) med en kommersiellt tillgänglig EEG-enhet. Funktionaliteten hos denna bärbara XR-BCI undersöktes med en experimentell kampanj som involverade 20 ämnen. Klassificeringsnoggrannheten var mellan 80% -95% i genomsnitt beroende på stimuleringstiden. Givet dessa resultat kan systemet användas som ett människa-maskingränssnitt för industriell inspektion men också för rehabilitering vid ADHD och autism.
Introduction
Ett hjärna-datorgränssnitt (BCI) är ett system som möjliggör kommunikation med och/eller kontroll av enheter utan naturliga nervbanor1. BCI-teknik är det närmaste som mänskligheten har att styra objekt med sinnets kraft. Ur teknisk synvinkel fungerar systemoperationen genom att mäta inducerad eller framkallad hjärnaktivitet, som antingen ofrivilligt eller frivilligt kan genereras från ämnet2. Historiskt sett har forskningen fokuserat på att hjälpa personer med motoriska funktionshinder genom BCI3, men ett växande antal företag erbjuder idag BCI-baserad instrumentering för spel4, robotik5, industri6 och andra applikationer som involverar interaktion mellan människa och maskin. I synnerhet kan BCI spela en roll i den fjärde industriella revolutionen, nämligen industri 4.07, där cyberfysiska produktionssystem förändrar interaktionen mellan människor och den omgivande miljön8. I stort sett identifierade det europeiska projektet BNCI Horizon 2020 applikationsscenarier som att ersätta, återställa, förbättra, förbättra eller komplettera förlorade naturliga funktioner i centrala nervsystemet, samt användningen av BCI för att undersöka hjärnan9.
I detta sammanhang innebär de senaste tekniska framstegen att hjärna-datorgränssnitt kan vara tillämpliga för användning i det dagliga livet10,11. För att uppnå detta mål är det första kravet icke-invasivitet, vilket är viktigt för att undvika riskerna för kirurgisk ingrepp och öka användarnas acceptans. Det är dock värt att notera att valet av icke-invasiv neuroimaging påverkar kvaliteten på uppmätta hjärnsignaler, och BCI-designen måste då hantera de tillhörande fallgroparna12. Dessutom krävs bärbarhet och bärbarhet. Dessa krav ligger i linje med behovet av ett användarvänligt system, men medför också vissa begränsningar. Sammantaget hanteras de nämnda hårdvarubegränsningarna genom användningen av ett elektroencefalografiskt (EEG) system med gelfria elektroder6. En sådan EEG-baserad BCI skulle också vara billig. Under tiden, när det gäller programvaran, skulle minimal användarutbildning (eller helst ingen utbildning) önskas; Det är nämligen bäst att undvika långa perioder för att ställa in bearbetningsalgoritmen innan användaren kan använda systemet. Denna aspekt är kritisk i BCI på grund av intersubjekt och intrasubjekt icke-stationaritet13,14.
Tidigare litteratur har visat att detektionen av framkallade hjärnpotentialer är robust med avseende på icke-stationaritet och brus vid signalinhämtning. Med andra ord kallas BCI som förlitar sig på detektering av framkallad potential reaktiva och är de bäst presterande BCI när det gäller hjärnmönsterigenkänning15. Ändå kräver de sensorisk stimulering, vilket förmodligen är den största nackdelen med sådana gränssnitt. Målet med den föreslagna metoden är således att bygga en mycket bärbar och bärbar BCI som bygger på bärbar, off-the-shelf instrumentering. De sensoriska stimuli här består av flimrande ljus, genererade av smarta glasögon, som kan framkalla steady-state visuellt framkallade potentialer (SSVEP). Tidigare verk har redan övervägt att integrera BCI med virtuell verklighet antingen ensam eller i kombination med förstärkt verklighet16. Till exempel föreslogs ett BCI-AR-system för att styra en quadcopter med SSVEP17. Virtual reality, augmented reality och andra paradigmer hänvisas till med termen utökad verklighet. I ett sådant scenario uppfyller valet av smarta glasögon kraven på bärbarhet och bärbarhet, och smarta glasögon kan integreras med en minimal EEG-upptagningsinställning. Detta dokument visar att SSVEP-baserad BCI också kräver minimal utbildning samtidigt som man uppnår acceptabel klassificeringsprestanda för kommunikations- och kontrollapplikationer med låg medelhastighet. Därför tillämpas tekniken på BCI för dagliga applikationer, och den verkar särskilt lämplig för industri och sjukvård.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Studien godkändes av den etiska kommittén för psykologisk forskning vid Institutionen för humaniora vid universitetet i Neapel Federico II. Volontärerna undertecknade informerat samtycke innan de deltog i experimenten.
1. Förbereda det icke-invasiva bärbara hjärnan - datorgränssnittet
- Skaffa en billig elektroencefalograf av konsumentkvalitet med torra elektroder och konfigurera den för enkanalsanvändning.
- Kortslut eller anslut oanvända ingångskanaler på den billiga elektroencefalografen till en intern referensspänning som anges i det inneboende databladet. På så sätt inaktiveras de oanvända kanalerna och de genererar inte överhörningsbrus.
- Justera elektroencefalografförstärkningen (vanligtvis genom en komponent med variabelt motstånd) så att den har ett ingångsområde i storleksordningen 100 μV.
OBS: EEG-signalerna som ska mätas är i storleksordning tiotals mikrovolt. De torra elektroderna påverkas emellertid starkt av rörelseartefakter, vilket resulterar i svängningar i storleksordningen 100 μV på grund av variationen i elektrod-hudimpedansen. Att öka ingångsspänningsområdet hjälper till att begränsa EEG-förstärkarens mättnad, men det eliminerar inte det helt. Å andra sidan skulle det vara obekvämt att öka ingångsspänningsområdet ännu mer, eftersom detta skulle påverka spänningsupplösningen vid mätning av önskade EEG-komponenter. I slutändan måste de två aspekterna balanseras genom att också ta hänsyn till bitupplösningen hos den analoga till digitala omvandlaren inuti elektroencefalografkortet. - Förbered tre torra elektroder för att ansluta till elektroencefalografkortet. Använd en passiv elektrod (ingen förförstärkning) som referenselektrod. De återstående två mätelektroderna bör vara aktiva (dvs. involvera förförstärkning och eventuell analog filtrering).
OBS: Elektroder placerade på ett hårigt hårbottenområde kräver stift för att övervinna elektrod-hudkontaktimpedans. Om möjligt, löd silverstift med platta huvuden (för att undvika för mycket smärta för användaren), eller använd helst ledande (mjukt) gummi med en Ag / AgCl-beläggning.
- Skaffa kommersiella smarta glasögon med ett Android-operativsystem och en uppdateringsfrekvens på 60 Hz. Alternativt kan du använda en lägre uppdateringsfrekvens. En högre uppdateringsfrekvens skulle vara önskvärd för stimuli eftersom det skulle bli mindre ögontrötthet, men det finns för närvarande inga tillgängliga lösningar på marknaden.
- Ladda ner källkoden för en Android-applikation för kommunikation eller kontroll, eller utveckla en.
- Ersätt de virtuella knapparna i programmet med flimrande ikoner genom att ändra det inneboende objektet (vanligtvis i Java eller Kotlin). Vita rutor med minst 5% skärmdimension rekommenderas. Vanligtvis, ju större stimulerande kvadrat, desto högre kommer SSVEP-komponenten att detektera att vara, men ett optimalt kan hittas beroende på det specifika fallet. Rekommenderade frekvenser är 10 Hz och 12 Hz flimmer. Implementera flimmer på den grafiska processorenheten (GPU) för att undvika överbelastning av datorenheten (CPU) på de smarta glasögonen. För detta ändamål, använd objekt från OpenGL-biblioteket.
- Implementera en modul i Android-applikationen för realtidsbehandling av den ingående EEG-strömmen. Android USB-tjänsten kan läggas till så att strömmen kan tas emot via USB. Realtidsbehandlingen kan helt enkelt tillämpa ett glidande fönster på EEG-strömmen genom att överväga de inkommande paketen. Beräkna effektspektraldensiteterna associerade med frekvenserna 10 Hz och 12 Hz genom en snabb Fourier-transformfunktion. En utbildad klassificerare kan således skilja att användaren tittar på 10 Hz flimrande ikon eller 12 Hz flimrande ikon genom att klassificera effektspektraldensitetsfunktionerna.
2. Kalibrera det SSVEP-baserade hjärnan - datorgränssnittet
OBS: Friska frivilliga valdes ut för denna studie. Uteslut ämnen med en historia av hjärnsjukdomar. De inblandade försökspersonerna måste ha normal eller korrigerad till normal syn. De instruerades att vara avslappnade under experimenten och att undvika onödiga rörelser, särskilt i huvudet.
- Låt användaren bära de smarta glasögonen med Android-applikationen.
- Låt användaren bära ett tätt huvudband för att hålla elektroderna.
- Anslut den billiga elektroencefalografen till en dator via en USB-kabel medan datorn är frånkopplad från huvudströmförsörjningen.
- Koppla initialt bort alla elektroder från elektroencefalografförvärvskortet för att starta från ett känt tillstånd.
- I denna fas bearbetas EEG-strömmen offline på datorn med ett skript som är kompatibelt med bearbetningen implementerad i Android-applikationen. Starta skriptet för att ta emot EEG-signalerna och visualisera dem.
- Kontrollera signalen som visas som bearbetas offline. Detta måste endast motsvara kvantiseringsbruset från EEG-förstärkaren.
- Anslut elektroderna.
- Applicera den passiva elektroden på vänster öra med en anpassad klämma, eller använd en öronklämelektrod. Utsignalen måste förbli oförändrad vid detta steg eftersom mätdifferenskanalen fortfarande är en öppen krets.
- Anslut en aktiv elektrod till den negativa terminalen för den differentiella ingången för den mätande EEG-kanalen och applicera på frontområdet (Fpz standardplats) med ett huvudband. Efter några sekunder ska signalen återgå till noll (kvantiseringsbrus).
- Anslut den andra aktiva elektroden till den positiva terminalen för den differentiella ingången på den mätande EEG-kanalen och applicera på det occipitala området (Oz standardplats) med huvudbandet. En hjärnsignal visas nu, vilket motsvarar den visuella aktiviteten mätt med avseende på det främre hjärnområdet (ingen visuell aktivitet förutses där).
- Hämta signaler för systemkalibrering.
- Stimulera användaren upprepade gånger med 10 Hz och 12 Hz (och så småningom andra) flimrande ikoner genom att starta flimmerikonen i Android-applikationen och förvärva och spara de inneboende EEG-signalerna för offline-bearbetning. Se till att varje stimulering i denna fas består av en enda ikon som flimrar i 10 sekunder och starta flimmerikonen genom att trycka på pekplattan på de smarta glasögonen samtidigt som du startar EEG-insamlings- och visualiseringsskriptet.
- Från 10 s-signalerna associerade med varje stimulering, extrahera två funktioner genom att använda den snabba Fourier-transformen: effektspektraldensiteten vid 10 Hz och vid 12 Hz. Alternativt kan du överväga andra övertoner (20 Hz och 24 Hz).
- Använd en representation av de förvärvade signalerna i domänen features för att träna en klassificerare för stödvektordatorer. Använd ett verktyg (i Matlab eller Python) för att identifiera parametrarna för ett hyperplan med en eventuell kärna baserat på inmatningsfunktionerna. Den tränade modellen kommer att kunna klassificera framtida observationer av EEG-signaler.
3. Montera det slutliga bärbara och bärbara SSVEP-baserade gränssnittet
- Koppla bort USB-kabeln från datorn och anslut den direkt till smarta glasögon.
- Sätt in parametrarna för den tränade klassificeraren i Android-appen. Systemet är nu klart.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
En möjlig implementering av det system som beskrivs ovan visas i figur 1. Denna implementering gör det möjligt för användaren att navigera i förstärkt verklighet genom hjärnaktivitet. De flimrande ikonerna på smarta glasögondisplayen motsvarar åtgärder för applikationen (figur 1A), och därmed representerar dessa glasögon ett substitut för ett traditionellt gränssnitt baserat på knapptryckningar eller en pekplatta. Effekten av en sådan interaktion är strikt relaterad till den framgångsrika klassificeringen av de potentialer som framkallas av flimmer. För att uppnå detta mål genomfördes först en metrologisk karakterisering för systemet18, och sedan involverades mänskliga användare i en experimentell validering.
Figur 1: Möjligt genomförande av det föreslagna gränssnittet mellan hjärna och dator. (A) Representation av vad användaren ser genom de smarta glasögonen, nämligen det verkliga scenariot och de visuella stimuli; b) en användare som bär handsfree-systemet. Klicka här för att se en större version av denna figur.
Elektroencefalografen karakteriserades med avseende på linjäritet och magnitudfel. Linjäriteten bedömdes vid 20 Hz genom mätningar utförda med en sinusformad insignal till enheten testad vid sju olika amplituder (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV och 100 μV). Genom att plotta elektroencefalografens spänning som en funktion av ingångsspänningen belyser figur 2A elektroencefalografens tydliga linjära beteende. Linjäritet bekräftades också av ett Fisher-test för den linjära passformens godhet. Figuren indikerar dock också ett visst förstärknings- och förskjutningsfel. Dessa fel testades genom att fixera amplituden vid 100 μV och variera frekvensen. Resultaten redovisas i figur 2B och bekräftar magnitudfelet med avseende på den nominella förstärkningen.
Figur 2: Resultat av karakterisering av elektroencefalografer till låg kostnad. a) Linjära fel. (B) Magnitudfel. Antalet prover för varje mätpunkt var 4 096. En mer detaljerad diskussion finns i Arpaia et al.18. Klicka här för att se en större version av denna figur.
Slutligen mättes flimret på de smarta glasögonen för att markera eventuella avvikelser från den nominella fyrkantvågsbanan. Sådana avvikelser var särskilt synliga i amplitudspektrumet för 12 Hz-flimmer (figur 3B). Alla dessa fel kan emellertid övervägas eller så småningom kompenseras, vilket visar möjligheten att använda material av konsumentkvalitet för SSVEP-BCI-systemet.
Figur 3: Resultat av karakteriseringen av de kommersiella smarta glasögonen i termer av amplitudspektrumet för de flimrande knapparna. a) Flimmer vid 10 Hz. b) flimrar vid 12 Hz. En mer detaljerad diskussion finns i Arpaia et al.18. Klicka här för att se en större version av denna figur.
När det gäller den experimentella valideringen deltog 20 försökspersoner (7 kvinnor) i kampanjen. Varje försöksperson genomgick 24 försök med två samtidiga flimrande ikoner på smarta glasögondisplayen. Motivet var tvungen att stirra på en av de två slumpmässigt ordnade ikonerna, som var och en hade en annan frekvens (10 Hz flimmer eller 12 Hz flimmer). Slumpmässigheten i vilken frekvens försökspersonerna stirrade på först garanterades genom att låta dem bestämma ikonen att stirra på utan några fördefinierade kriterier. När 12 försök hade slutförts med en viss frekvens ombads försökspersonen att fokusera på ikonen med den andra frekvensen för de återstående försöken. I den utnyttjade applikationen dök 12 Hz flimrande ikon upp i det övre vänstra hörnet medan 10 Hz flimrande ikon dök upp i det nedre högra hörnet. En enda rättegång varade 10,0 s och några sekunder (av slumpmässig varaktighet) passerade mellan på varandra följande försök. Mindre tidsfönster kunde sedan analyseras offline genom att klippa de inspelade signalerna.
Figur 4: Representation av signalerna som mäts under visuell stimulering i funktionsdomänen. Signalerna associerade med 12 Hz flimrande stimuli (klass 12 Hz) representeras i blått, medan signalerna associerade med 10 Hz flimrande stimuli (klass 10 Hz) representeras i rött. Funktioner från alla ämnen beaktas här. Klicka här för att se en större version av denna figur.
Figur 4 rapporterar 10 s-signalerna representerade av de två effektspektraldensitetsfunktionerna, nämligen vid 12 Hz och 10 Hz. En enda punkt i två dimensioner motsvarade en enda rättegång. Prickarna som motsvarade de två olika flimrande frekvenserna utmärkte sig av sin färg. Därför separerades de två klasserna, även om det fanns en överlappning mellan de två klasserna, vilket kan ha orsakat felklassificering. Klassificeringsresultaten erhölls med en fyrfaldig korsvalidering, så att data delades fyra gånger i 18 försök för träning och 6 försök för validering. Uppgifterna bekräftade att i 10 s-stimuleringsfallet (tabell 1) nådde 8 ämnen av 20 100% noggrannhet, men för andra ämnen var klassificeringsnoggrannheten så låg som 65% -70%. Under tiden nådde ett ämne 100% med en 2 s stimulering (erhållen genom att klippa signalerna i efterbehandling), och ett relevant antal ämnen nådde slumpmässig (50%) klassificeringsnoggrannhet. Uppgifterna från alla ämnen betraktades som en helhet och klassificeringsnoggrannheten erhölls. Prestandan bedömdes också med avseende på informationsöverföringshastigheten (ITR), som i genomsnitt var över 30 bitar/min. Dessa resultat förbättrades genom att beakta effektspektraldensiteterna vid 20 Hz och 24 Hz. Tabell 2 visar att de ökade eller förblev konstanta, och åtminstone i 10 s-stimuleringsfallet minskade standardavvikelsen, vilket indikerar mindre spridning i klassificeringsprestanda för olika ämnen. Slutligen räknades klassificeringsnoggrannheten om för alla ämnen i detta fall med fyra funktioner, och det konstaterades igen att de var nära de genomsnittliga noggrannheterna.
| Subjekt | 10 s stimulering noggrannhet % | 2 s Stimulering noggrannhet % |
| Alla | 94.2 | 77.5 |
| S1 | 100 | 100 |
| S2 | 100 | 98.8 |
| S3 | 100 | 92 |
| S4 | 100 | 92 |
| S5 | 100 | 88 |
| S6 | 100 | 87 |
| S7 | 100 | 87 |
| S8 | 100 | 64 |
| S9 | 97.9 | 57 |
| S10 | 96.7 | 88.8 |
| S11 | 96 | 64 |
| S12 | 95.8 | 78 |
| S13 | 95.4 | 83 |
| S14 | 95.4 | 53 |
| S15 | 94 | 80 |
| S16 | 92.9 | 61 |
| S17 | 91 | 78 |
| S18 | 89.6 | 61 |
| S19 | 81 | 52 |
| S20 | 71 | 49 |
| BETYDA | 94.9 | 76 |
| STD | 7.4 | 16 |
Tabell 1: Korsvalideringsnoggrannhet vid klassificering av SSVEP-relaterade EEG-signaler. För varje ämne jämförs resultaten associerade med en 10 s stimulering med resultaten associerade med en 2 s stimulering. Den genomsnittliga noggrannheten bland alla ämnen rapporteras, liksom den noggrannhet som erhålls genom att betrakta alla ämnen tillsammans (rad alla).
| 10 s Stimulering (genomsnittlig noggrannhet ± std) % | 10 s Stimulering (genomsnittlig noggrannhet ± std) % | |
| 2D-fodral | 94,9 ± 7,4 | 76 ± 16 |
| 4D-fodral | 97,2 ± 4,3 | 76 ± 15 |
Tabell 2: Jämförelse av klassificeringsprestanda när man överväger två PSD-funktioner (2D-fall) jämfört med fyra PSD-funktioner (4D-fall) för SSVEP-relaterade EEG-data. En 10 s stimulering jämförs med en 2 s genom att rapportera den genomsnittliga korsvalideringsnoggrannheten och deras tillhörande standardavvikelser.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Systemets korrekta funktion innebär två viktiga aspekter: SSVEP-elicitering och signalförvärv. Bortsett från de specifika enheter som valts för den aktuella studien kan SSVEP framkallas med olika enheter som ger ett flimrande ljus, även om smarta glasögon föredras för att säkerställa bärbarhet och bärbarhet. På samma sätt kan ytterligare kommersiella elektroencefalografier övervägas, men de måste vara bärbara, bärbara och involvera ett minimalt antal torra elektroder för att vara användarvänliga. Dessutom kan systemet anpassas för att använda enheter som är lätta att programmera. Dessutom bestämmer bearbetningsstrategin den slutliga prestandan; Även om bearbetningsstrategin inte verkade avgörande i den beskrivna systemdesignen, skulle dess förbättring säkert bidra till ett snabbare och mer exakt system för kommunikations- och kontrollapplikationer10,11,19.
Vissa brister i systemet kan belysas. För SSVEP-elicitering bör de flimrande stimuli faktiskt ha stora dimensioner och en stabil flimrande frekvens. Den förstnämnda innebär att knapparna i Android-applikationen kan vara skrymmande och utgöra begränsningar för det utökade verklighetsscenariot. Det senare kräver smarta glasögon med metrologiska egenskaper som vanligtvis inte finns i kommersiella enheter. Dessutom, även efter att ha uppfyllt sådana villkor, beror närvaron av en SSVEP på ämnet. I synnerhet finns det intra-subjekt och inter-individuell variabilitet i SSVEP-amplituder, vilket beror på flera okontrollerbara faktorer, såsom användartrötthet eller uppmärksamhet / engagemang13. Denna fråga ökar behovet av att hitta optimala stimuli för korrekt SSVEP-elicitering20.
Å andra sidan är signalförvärv avgörande för slutlig prestanda eftersom ett lämpligt signal-brusförhållande måste uppnås vid mätning av hjärnaktivitet. För att uppnå största möjliga bärbarhet, bärbarhet, användarkomfort och låga kostnad mättes hjärnaktiviteten med en enkanals icke-invasiv EEG och torra elektroder. Naturligtvis uppfyller torra elektroder mestadels kraven på det dagliga livet, men att undvika användning av ledande geler begränsar elektrod-hudkontakt. Därför måste elektrodernas mekaniska stabilitet säkerställas genom korrekt placering av dem och genom att stabilisera dem vid kontinuerlig användning. Faktum är dock att nackdelen med det föreslagna förvärvssystemet är att signalkvaliteten försämras med avseende på mer invasiva neuroimaging-tekniker.
Trots det förväntade dåliga signal-brusförhållandet visade valideringen av det föreslagna systemet att hög prestanda för kommunikations- och kontrollapplikationer är möjlig. I synnerhet visade den metrologiska karakteriseringen av utrustningen av konsumentkvalitet att de använda enheterna var lämpliga för BCI-applikationer av intresse, och det föreslog också att liknande enheter borde vara lämpliga för dem också. Genom den experimentella valideringen observerades ämnesberoende klassificeringsnoggrannhet, men positiva övergripande slutsatser kunde dras.
Klassificeringsnoggrannheten kan förbättras genom att öka stimuleringstiden. I ett sådant fall kommer systemets lyhördhet att vara långsammare, men alternativa kommunikations- och kontrollfunktioner kan fortfarande tillhandahållas. För det andra kan ett system utan utbildning (eller högst ett system med minimal utbildning) erhållas genom att använda preliminära data från andra ämnen. För att förstå den föreslagna metodens bidrag till fältet kan resultaten jämföras med litteraturen om icke-invasiv SSVEP-BCI. I mer traditionella BCI når noggrannheten cirka 94% även med 2 s stimulering21, men sådana system kräver omfattande träning och kanske inte är bärbara och bärbara. Prestandan sjunker dock när man försöker öka användarvänligheten (t.ex. när man använder torra elektroder22 och ännu mer när man försöker använda en enda elektrod23). I dessa fall minskar klassificeringsnoggrannheten till cirka 83%.
Därför för systemet som beskrivs i detta arbete BCI-tekniken närmare dagliga applikationer genom att öka användarvänligheten samtidigt som prestandan hålls hög, även om användningen av detta system i kliniska miljöer kan vara olämplig. Vissa deltagare kommenterade att de torra elektroderna i occipitalregionen var mer störande än deras traditionella motsvarigheter, men totalt sett uppskattade de systemets bärbarhet och bärbarhet. Många uppgraderingar är möjliga, och några av dem utvecklas redan. Till exempel kan antalet stimuli (och därmed antalet kommandon) ökas till fyra. Då kan stimuli själva utformas för att anstränga ögonen mindre. Slutligen kan klassificeringsprestandan förbättras genom en mer avancerad bearbetningsstrategi för att uppnå ett mer exakt och / eller snabbare system.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Detta arbete utfördes som en del av IKT för hälsa-projektet, som fick ekonomiskt stöd av det italienska ministeriet för utbildning, universitet och forskning (MIUR), inom ramen för initiativet Departments of Excellence (italiensk budgetlag nr 232/2016), genom ett excellensbidrag som tilldelades Institutionen för informationsteknik och elektroteknik vid universitetet i Neapel Federico II, Neapel, Italien. Projektet möjliggjordes faktiskt genom stöd från Res4Net-initiativet och TC-06 (Emerging Technologies in Measurements) från IEEE Instrumentation and Measurement Society. Författarna vill också tacka L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone och M. Ortolano för deras värdefulla bidrag till att utveckla, testa och validera systemet.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
