Summary
Dette papir diskuterer, hvordan man opbygger en hjerne-computer-grænseflade ved at stole på forbrugerudstyr og steady-state visuelt fremkaldte potentialer. Til dette formål blev en enkeltkanals elektroencefalograf, der udnytter tørre elektroder, integreret med augmented reality-briller til stimulipræsentation og outputdatavisualisering. Det endelige system var ikke-invasivt, bærbart og bærbart.
Abstract
Dette arbejde fokuserer på, hvordan man opbygger en bærbar hjerne-computer-grænseflade (BCI). BCI'er er et nyt middel til interaktion mellem mennesker og computere, der er afhængige af direkte målinger af hjernesignaler for at hjælpe både handicappede og dem, der er rørige. Anvendelseseksempler omfatter robotstyring, industriel inspektion og neurorehabilitering. Især har nylige undersøgelser vist, at steady-state visuelt fremkaldte potentialer (SSVEP'er) er særligt velegnede til kommunikations- og kontrolapplikationer, og der gøres i øjeblikket en indsats for at bringe BCI-teknologi ind i dagligdagen. For at nå dette mål skal det endelige system stole på bærbar, bærbar og billig instrumentering. Ved udnyttelse af SSVEP'er kræves en flimrende visuel stimulus med faste frekvenser. Ved at overveje begrænsninger i det daglige liv blev muligheden for at give visuelle stimuli ved hjælp af smarte briller undersøgt i denne undersøgelse. For at detektere de fremkaldte potentialer blev det desuden overvejet en kommerciel enhed til elektroencefalografi (EEG). Dette består af en enkelt differentiel kanal med tørre elektroder (ingen ledende gel), hvilket opnår den største slidstyrke og bærbarhed. I en sådan BCI kan brugeren interagere med de smarte briller ved blot at stirre på ikoner, der vises på displayet. På dette enkle princip blev en brugervenlig, billig BCI bygget ved at integrere extended reality (XR) briller med en kommercielt tilgængelig EEG-enhed. Funktionaliteten af denne bærbare XR-BCI blev undersøgt med en eksperimentel kampagne, der involverede 20 forsøgspersoner. Klassificeringsnøjagtigheden var mellem 80% -95% i gennemsnit afhængigt af stimuleringstiden. På baggrund af disse resultater kan systemet bruges som en menneske-maskine-grænseflade til industriel inspektion, men også til rehabilitering i ADHD og autisme.
Introduction
En hjerne-computer interface (BCI) er et system, der tillader kommunikation med og / eller kontrol af enheder uden naturlige neurale veje1. BCI-teknologi er det tætteste, menneskeheden har på at kontrollere objekter med sindets kraft. Fra et teknisk synspunkt fungerer systemoperationen ved at måle induceret eller fremkaldt hjerneaktivitet, som enten ufrivilligt eller frivilligt kan genereres fra emnet2. Historisk set fokuserede forskningen på at hjælpe mennesker med motoriske handicap gennem BCI3, men et stigende antal virksomheder tilbyder i dag BCI-baseret instrumentering til spil4, robotteknologi5, industri6 og andre applikationer, der involverer interaktion mellem menneske og maskine. Især BCI'er kan spille en rolle i den fjerde industrielle revolution, nemlig industri 4.07, hvor cyber-fysiske produktionssystemer ændrer interaktionen mellem mennesker og det omgivende miljø8. Generelt identificerede det europæiske projekt BNCI Horizon 2020 anvendelsesscenarier såsom udskiftning, genoprettelse, forbedring, forbedring eller supplering af tabte naturlige funktioner i centralnervesystemet samt brugen af BCI til at undersøge hjernen9.
Inden for denne ramme betyder de seneste teknologiske fremskridt, at hjerne-computer-grænseflader kan anvendes til brug i dagligdagen10,11. For at nå dette mål er det første krav ikke-invasivitet, hvilket er vigtigt for at undgå risikoen for kirurgisk indgreb og øge brugernes accept. Det er dog værd at bemærke, at valget af ikke-invasiv neuroimaging påvirker kvaliteten af målte hjernesignaler, og BCI-designet skal derefter håndtere de tilhørende faldgruber12. Derudover kræves bærbarhed og bærbarhed. Disse krav er i overensstemmelse med behovet for et brugervenligt system, men indebærer også visse begrænsninger. Samlet set løses de nævnte hardwarebegrænsninger ved brug af et elektroencefalografisk (EEG) system med gelfrie elektroder6. Et sådant EEG-baseret BCI ville også være billigt. I mellemtiden, hvad angår softwaren, ville minimal brugeruddannelse (eller ideelt set ingen træning) være ønsket; Det ville nemlig være bedst at undgå lange perioder til indstilling af behandlingsalgoritmen, før brugeren kan bruge systemet. Dette aspekt er kritisk i BCI'er på grund af inter-subjekt og intra-subjekt ikke-stationaritet13,14.
Tidligere litteratur har vist, at detektion af fremkaldte hjernepotentialer er robust med hensyn til ikke-stationaritet og støj i signaloptagelse. Med andre ord kaldes BCI'er, der er afhængige af påvisning af fremkaldt potentiale, reaktive og er de bedst ydende BCI'er med hensyn til hjernemønstergenkendelse15. Ikke desto mindre kræver de sensorisk stimulering, hvilket sandsynligvis er den største ulempe ved sådanne grænseflader. Målet med den foreslåede metode er således at opbygge en meget bærbar og bærbar BCI, der er afhængig af bærbar, hyldeinstrumentering. De sensoriske stimuli her består af flimrende lys, genereret af smarte briller, der er i stand til at fremkalde steady-state visuelt fremkaldte potentialer (SSVEP'er). Tidligere værker har allerede overvejet at integrere BCI med virtual reality enten alene eller i forbindelse med augmented reality16. For eksempel blev et BCI-AR-system foreslået til styring af en quadcopter med SSVEP17. Virtual reality, augmented reality og andre paradigmer omtales med udtrykket udvidet virkelighed. I et sådant scenarie overholder valget af smarte briller kravene til bærbarhed og bærbarhed, og smarte briller kan integreres med en minimal EEG-anskaffelsesopsætning. Dette papir viser, at SSVEP-baseret BCI også kræver minimal træning, samtidig med at der opnås acceptabel klassificeringsydelse for kommunikations- og kontrolapplikationer med lav og mellemhastighed. Derfor anvendes teknikken til BCI til dagligdags applikationer, og den ser ud til at være særligt velegnet til industri og sundhedspleje.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Undersøgelsen blev godkendt af det etiske udvalg for psykologisk forskning ved Institut for Humaniora ved universitetet i Napoli Federico II. De frivillige underskrev informeret samtykke, før de deltog i eksperimenterne.
1. Forberedelse af den ikke-invasive bærbare hjerne - computergrænseflade
- Få en billig forbrugerkvalitet elektroencefalograf med tørre elektroder, og konfigurer den til enkeltkanalbrug.
- Kortslut eller tilslut eventuelle ubrugte indgangskanaler på den billige elektroencefalograf til en intern referencespænding som specificeret i det iboende datablad. Dermed deaktiveres de ubrugte kanaler, og de genererer ikke krydstalestøj.
- Elektroencefalografforstærkningen justeres (typisk gennem en komponent med variabel modstand) for at få et indgangsområde i størrelsesordenen 100 μV.
BEMÆRK: De EEG-signaler, der skal måles, er i størrelsesordenen snesevis af mikrovolt. Imidlertid påvirkes de tørre elektroder stærkt af bevægelsesartefakter, hvilket resulterer i svingninger i størrelsesordenen 100 μV på grund af variabiliteten i elektrode-hudimpedansen. Forøgelse af indgangsspændingsområdet hjælper med at begrænse EEG-forstærkermætning, men det eliminerer det ikke helt. På den anden side ville det være ubelejligt at øge indgangsspændingsområdet endnu mere, fordi dette ville påvirke spændingsopløsningen ved måling af de ønskede EEG-komponenter. I sidste ende skal de to aspekter afbalanceres ved også at tage hensyn til bitopløsningen af den analog-til-digital-konverter inde i elektroencefalografkortet. - Forbered tre tørre elektroder til at forbinde til elektroencefalografkortet. Brug en passiv elektrode (ingen forforstærkning) som referenceelektrode. De resterende to måleelektroder skal være aktive (dvs. involvere forforstærkning og eventuel analog filtrering).
BEMÆRK: Elektroder placeret på et behåret hovedbundsområde kræver stifter for at overvinde elektrode-hudkontaktimpedans. Hvis det er muligt, lodde sølvstifter med flade hoveder (for at undgå for meget smerte for brugeren), eller brug ideelt set ledende (blød) gummi med en Ag / AgCl-belægning.
- Få kommercielle smarte briller med et Android-operativsystem og en opdateringshastighed på 60 Hz. Alternativt kan du bruge en lavere opdateringshastighed. En højere opdateringshastighed ville være ønskelig for stimuli, da der ville være mindre øjentræthed, men der er ingen aktuelt tilgængelige løsninger på markedet.
- Download kildekoden til en Android-applikation til kommunikation eller kontrol, eller udvikl en.
- Udskift de virtuelle knapper i applikationen med flimrende ikoner ved at ændre det iboende objekt (normalt i Java eller Kotlin). Hvide firkanter med mindst 5 % skærmdimension anbefales. Normalt, jo større stimulerende firkant, jo højere SSVEP-komponent, der skal detekteres, vil være, men et optimalt kan findes afhængigt af det specifikke tilfælde. Anbefalede frekvenser er 10 Hz og 12 Hz flimrende. Implementer flimmeret på den grafiske behandlingsenhed (GPU) for at undgå overbelastning af computerenheden (CPU) på smartbrillerne. Til dette formål skal du bruge objekter fra OpenGL-biblioteket.
- Implementer et modul i Android-applikationen til realtidsbehandling af input EEG-strømmen. Android USB-tjenesten kan tilføjes, så streamen kan modtages via USB. Realtidsbehandlingen kan simpelthen anvende et glidende vindue på EEG-strømmen ved at overveje de indgående pakker. Beregn effektspektraltæthederne forbundet med 10 Hz og 12 Hz frekvenserne gennem en hurtig Fourier-transformationsfunktion. En trænet klassifikator kan således skelne mellem, at brugeren ser på 10 Hz flimrende ikon eller 12 Hz flimrende ikon ved at klassificere effektspektraltæthedsfunktionerne.
2. Kalibrering af den SSVEP-baserede hjerne-computergrænseflade
BEMÆRK: Raske frivillige blev valgt til denne undersøgelse. Ekskluder emner med en historie med hjernesygdomme. De involverede forsøgspersoner skulle have normalt eller korrigeret til normalt syn. De blev instrueret i at være afslappede under eksperimenterne og undgå unødvendige bevægelser, især af hovedet.
- Lad brugeren bære de smarte briller med Android-applikationen.
- Lad brugeren bære et stramt pandebånd til at holde elektroderne.
- Tilslut den billige elektroencefalograf til en pc via et USB-kabel, mens pc'en er afbrudt fra hovedstrømforsyningen.
- Afbryd først alle elektroderne fra elektroencefalografens erhvervelseskort for at starte fra en kendt tilstand.
- I denne fase behandles EEG-strømmen offline på pc'en med et script, der er kompatibelt med den behandling, der er implementeret i Android-applikationen. Start scriptet for at modtage EEG-signalerne og visualiser dem.
- Kontroller det viste signal, der behandles offline. Dette må kun svare til kvantiseringsstøjen fra EEG-forstærkeren.
- Tilslut elektroderne.
- Påfør den passive elektrode på venstre øre med en brugerdefineret clips, eller brug en øreclipselektrode. Udgangssignalet skal forblive uændret på dette trin, fordi måledifferenskanalen stadig er et åbent kredsløb.
- Tilslut en aktiv elektrode til den negative terminal på differentiel indgang til måle-EEG-kanalen, og anvend på frontområdet (Fpz-standardplacering) med et hovedbånd. Efter et par sekunder skal signalet vende tilbage til nul (kvantiseringsstøj).
- Tilslut den anden aktive elektrode til den positive terminal på differentiel indgang til måle-EEG-kanalen, og anvend på det occipitale område (Oz standardplacering) med hovedbøjlen. Der vises nu et hjernesignal, som svarer til den visuelle aktivitet målt i forhold til det frontale hjerneområde (der forventes ingen visuel aktivitet der).
- Hent signaler til systemkalibrering.
- Stimuler gentagne gange brugeren med 10 Hz og 12 Hz (og til sidst andre) flimrende ikoner ved at starte det flimrende ikon i Android-applikationen, og erhverve og gemme de iboende EEG-signaler til offlinebehandling. Sørg for, at hver stimulering i denne fase består af et enkelt ikon, der flimrer i 10 sekunder, og start det flimrende ikon ved at trykke på touchpad'en på smartbrillerne, mens du også starter EEG-erhvervelses- og visualiseringsscriptet.
- Fra de 10 s-signaler, der er forbundet med hver stimulering, udtrækkes to funktioner ved hjælp af den hurtige Fourier-transformation: effektspektraltætheden ved 10 Hz og ved 12 Hz. Alternativt kan du overveje anden harmoniske (20 Hz og 24 Hz).
- Brug en repræsentation af de erhvervede signaler i funktionsdomænet til at træne en supportvektormaskinklassifikator. Brug et værktøj (i Matlab eller Python) til at identificere parametrene for et hyperplan med en eventuel kerne baseret på inputfunktionerne. Den trænede model vil være i stand til at klassificere fremtidige observationer af EEG-signaler.
3. Saml den endelige bærbare og bærbare SSVEP-baserede grænseflade
- Tag USB-kablet ud af pc'en, og tilslut det direkte til smartbrillerne.
- Indsæt parametrene for den uddannede klassifikator i Android-applikationen. Systemet er nu klar.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
En mulig implementering af det ovenfor beskrevne system er vist i figur 1; Denne implementering giver brugeren mulighed for at navigere i augmented reality gennem hjerneaktivitet. De flimrende ikoner på smartbrilledisplayet svarer til handlinger for applikationen (figur 1A), og disse briller repræsenterer således en erstatning for en traditionel grænseflade baseret på knaptryk eller en touchpad. Effektiviteten af en sådan interaktion er strengt relateret til den vellykkede klassificering af potentialerne fremkaldt af flimring. For at nå dette mål blev der først udført en metrologisk karakterisering for systemet18, og derefter blev menneskelige brugere involveret i en eksperimentel validering.
Figur 1: Mulig implementering af den foreslåede hjerne-computer-grænseflade. (A) Repræsentation af, hvad brugeren ser gennem de smarte briller, nemlig det virkelige scenario og de visuelle stimuli; (B) en bruger, der bærer det håndfri system. Klik her for at se en større version af denne figur.
Elektroencefalografen blev karakteriseret med hensyn til linearitet og størrelsesfejl. Linearitet blev vurderet ved 20 Hz gennem målinger udført med et sinusformet indgangssignal til enheden testet ved syv forskellige amplituder (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV og 100 μV). Ved at plotte elektroencefalografens spænding som en funktion af indgangsspændingen fremhæver figur 2A elektroencefalografens klare lineære opførsel. Linearitet blev også bekræftet af en Fisher's test for godheden af den lineære pasform. Figuren indikerer dog også en vis gevinst- og kompensationsfejl. Disse fejl blev testet ved at fastsætte amplituden til 100 μV og variere frekvensen. Resultaterne er rapporteret i figur 2B og bekræfter størrelsesfejlen med hensyn til den nominelle gevinst.
Figur 2: Resultaterne af karakteriseringen af elektroencefalografen med lave omkostninger. a) lineære fejl (B) størrelsesordensfejl. Antallet af prøver for hvert målepunkt var 4.096. En mere detaljeret diskussion findes i Arpaia et al.18. Klik her for at se en større version af denne figur.
Endelig blev flimmeret af de smarte briller målt for at fremhæve eventuelle afvigelser fra den nominelle kvadratbølgebane. Sådanne afvigelser var især synlige i amplitudespektret af 12 Hz flimrende (figur 3B). Imidlertid kan alle disse fejl overvejes eller i sidste ende kompenseres, hvilket viser muligheden for at bruge forbrugerkvalitetsmateriale til SSVEP-BCI-systemet.
Figur 3: Resultater af karakteriseringen af de kommercielle smarte briller med hensyn til amplitudespektret for de flimrende knapper. a) flimrer ved 10 Hz B) flimrer ved 12 Hz. En mere detaljeret diskussion findes i Arpaia et al.18. Klik her for at se en større version af denne figur.
Med hensyn til den eksperimentelle validering deltog 20 forsøgspersoner (7 kvinder) i kampagnen. Hvert emne gennemgik 24 forsøg med to samtidige flimrende ikoner på smartbrillernes display. Motivet måtte stirre på et af de to tilfældigt ordnede ikoner, som hver havde en anden frekvens (10 Hz flimrende eller 12 Hz flimrende). Tilfældigheden af, hvilken frekvens forsøgspersonerne stirrede på først, blev garanteret ved at lade dem bestemme ikonet at stirre på uden foruddefinerede kriterier. Når 12 forsøg var afsluttet med en bestemt frekvens, blev forsøgspersonen bedt om at fokusere på ikonet med den anden frekvens for de resterende forsøg. I den udnyttede applikation dukkede ikonet 12 Hz flimrende op i øverste venstre hjørne, mens ikonet 10 Hz flimrende dukkede op i nederste højre hjørne. Et enkelt forsøg varede 10,0 sek., og der gik et par sekunder (af tilfældig varighed) mellem på hinanden følgende forsøg. Mindre tidsvinduer kunne derefter analyseres offline ved at skære de optagede signaler.
Figur 4: Repræsentation af de signaler, der måles under visuel stimulering i funktionsdomænet. Signalerne forbundet med 12 Hz flimrende stimuli (klasse 12 Hz) er repræsenteret i blåt, mens signalerne forbundet med 10 Hz flimrende stimuli (klasse 10 Hz) er repræsenteret med rødt. Funktioner fra alle emner overvejes her. Klik her for at se en større version af denne figur.
Figur 4 viser de 10 s-signaler, der repræsenteres af de to effektspektraltæthedsfunktioner, nemlig ved 12 Hz og 10 Hz. En enkelt prik i to dimensioner svarede til et enkelt forsøg. Prikkerne svarende til de to forskellige flimrende frekvenser blev kendetegnet ved deres farve. Derfor blev de to klasser adskilt, selvom der eksisterede en overlapning mellem de to klasser, hvilket kan have forårsaget fejlklassificering. Klassificeringsresultater blev opnået med en firedobbelt krydsvalidering, således at dataene blev opdelt fire gange i 18 forsøg til træning og 6 forsøg til validering. Dataene bekræftede, at i 10 s stimuleringstilfælde (tabel 1) nåede 8 forsøgspersoner ud af 20 100% nøjagtighed, men for andre forsøgspersoner var klassificeringsnøjagtigheden så lav som 65% -70%. I mellemtiden nåede et emne 100% med en 2 s stimulering (opnået ved at skære signalerne i efterbehandling), og et relevant antal forsøgspersoner nåede tilfældig (50%) klassificeringsnøjagtighed. Dataene fra alle fagene blev betragtet som helhed, og klassificeringsnøjagtigheden blev opnået. Ydelsen blev også vurderet med hensyn til informationsoverførselshastigheden (ITR), som i gennemsnit var over 30 bit/min. Disse resultater blev forbedret ved at overveje effektspektraltæthederne ved 20 Hz og 24 Hz. Tabel 2 viser, at de steg eller forblev konstante, og i det mindste i 10 s stimuleringstilfældet faldt standardafvigelsen, hvilket indikerer mindre spredning i klassificeringspræstationen for forskellige forsøgspersoner. Endelig blev klassifikationsnøjagtigheden genberegnet for alle forsøgspersonerne i dette tilfælde med fire funktioner, og det blev igen konstateret, at de var tæt på de gennemsnitlige nøjagtigheder.
| Emne | 10 s Stimulering nøjagtighed % | 2 s Stimulering nøjagtighed% |
| Al | 94.2 | 77.5 |
| S1 | 100 | 100 |
| S2 | 100 | 98.8 |
| S3 | 100 | 92 |
| S4 | 100 | 92 |
| S5 | 100 | 88 |
| S6 | 100 | 87 |
| S7 | 100 | 87 |
| S8 | 100 | 64 |
| S9 | 97.9 | 57 |
| S10 | 96.7 | 88.8 |
| S11 | 96 | 64 |
| S12 | 95.8 | 78 |
| S13 | 95.4 | 83 |
| S14 | 95.4 | 53 |
| S15 | 94 | 80 |
| S16 | 92.9 | 61 |
| S17 | 91 | 78 |
| S18 | 89.6 | 61 |
| S19 | 81 | 52 |
| S20 | 71 | 49 |
| BETYDE | 94.9 | 76 |
| STD | 7.4 | 16 |
Tabel 1: Krydsvalideringsnøjagtighed ved klassificering af SSVEP-relaterede EEG-signaler. For hvert emne sammenlignes resultaterne forbundet med en 10 s stimulering med resultaterne forbundet med en 2 s stimulering. Den gennemsnitlige nøjagtighed blandt alle forsøgspersonerne rapporteres, samt nøjagtigheden opnået ved at betragte alle emnerne sammen (række alle).
| 10 s Stimulering (gennemsnitlig nøjagtighed ± std) % | 10 s Stimulering (gennemsnitlig nøjagtighed ± std) % | |
| 2D-sag | 94,9 ± 7,4 | 76 ± 16 |
| 4D-sag | 97,2 ± 4,3 | 76 ± 15 |
Tabel 2: Sammenligning af klassificeringspræstationen under hensyntagen til to PSD-egenskaber (2D-tilfælde) versus fire PSD-funktioner (4D-tilfælde) for de SSVEP-relaterede EEG-data. En 10 s stimulering sammenlignes med en 2 s stimulering ved at rapportere de gennemsnitlige krydsvalideringsnøjagtigheder og deres tilknyttede standardafvigelser.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Systemets korrekte funktion involverer to afgørende aspekter: SSVEP-udløsning og signaloptagelse. Bortset fra de specifikke enheder, der er valgt til den aktuelle undersøgelse, kan SSVEP fremkaldes med forskellige enheder, der giver et flimrende lys, selvom smarte briller foretrækkes for at sikre bærbarhed og bærbarhed. Tilsvarende kunne yderligere kommercielle elektroencefalografer overvejes, men de skulle være bærbare, bærbare og involvere et minimum antal tørre elektroder for at være brugervenlige. Desuden kunne systemet tilpasses til at bruge enheder, der er lette at programmere. Derudover bestemmer behandlingsstrategien den endelige ydeevne; Selvom behandlingsstrategien ikke syntes afgørende i det beskrevne systemdesign, ville dens forbedring helt sikkert bidrage til et hurtigere og mere præcist system til kommunikations- og kontrolapplikationer10,11,19.
Nogle mangler i systemet kan fremhæves. For SSVEP-udløsning skal de flimrende stimuli faktisk have store dimensioner og en stabil flimrende frekvens. Førstnævnte indebærer, at knapperne i Android-applikationen kan være omfangsrige og udgøre begrænsninger for det udvidede virkelighedsscenarie. Sidstnævnte kræver smarte briller med metrologiske egenskaber, der typisk ikke findes i kommercielle enheder. Desuden afhænger tilstedeværelsen af en SSVEP, selv efter at have opfyldt sådanne betingelser, af emnet. Især er der variation inden for emnet og mellem emner i SSVEP-amplituder, hvilket afhænger af flere ukontrollable faktorer, såsom brugertræthed eller opmærksomhed / engagement13. Dette problem øger behovet for at finde optimale stimuli til korrekt SSVEP-udløsning20.
På den anden side er signaloptagelse afgørende for den endelige ydeevne, fordi der skal opnås et passende signal-støj-forhold ved måling af hjerneaktivitet. For at opnå den største bærbarhed, bærbarhed, brugerkomfort og lave omkostninger blev hjerneaktiviteten målt med en enkeltkanals ikke-invasiv EEG og tørre elektroder. Selvfølgelig er tørre elektroder for det meste i overensstemmelse med kravene til det daglige liv, men at undgå brug af ledende geler begrænser elektrode-hudkontakt. Derfor skal elektrodernes mekaniske stabilitet sikres ved korrekt placering af dem og ved at stabilisere dem i kontinuerlig brug. Faktisk er ulempen ved det foreslåede erhvervelsessystem imidlertid, at signalkvaliteten forringes med hensyn til mere invasive neuroimaging teknikker.
På trods af det forventede dårlige signal-støj-forhold viste valideringen af det foreslåede system, at høj ydeevne til kommunikations- og kontrolapplikationer er mulig. Især viste den metrologiske karakterisering af forbrugerkvalitetsudstyret, at de anvendte enheder var egnede til BCI-applikationer af interesse, og det foreslog også, at lignende enheder også skulle være egnede til dem. Gennem den eksperimentelle validering blev der observeret fagafhængige klassifikationsnøjagtigheder, men der kunne drages positive overordnede konklusioner.
Klassificeringsnøjagtigheden kan forbedres ved at øge stimuleringstiden. I et sådant tilfælde vil systemets lydhørhed være langsommere, men alternative kommunikations- og kontrolfunktioner kan stadig leveres. For det andet kan et system uden uddannelse (eller højst et system med minimal uddannelse) opnås ved hjælp af foreløbige data fra andre. For at forstå den foreslåede metodes bidrag til feltet kan resultaterne sammenlignes med litteraturen om ikke-invasiv SSVEP-BCI. I mere traditionelle BCI'er når nøjagtigheden ca. 94%, selv med 2 s stimulering21, men sådanne systemer kræver omfattende træning og er muligvis ikke bærbare og bærbare. Ydeevnen falder dog, når man forsøger at øge brugervenligheden (f.eks. når man anvender tørre elektroder22 og endnu mere, når man forsøger at bruge en enkelt elektrode23). I disse tilfælde reduceres klassificeringsnøjagtigheden til ca. 83%.
Derfor bringer det system, der beskrives i dette arbejde, BCI-teknologien tættere på dagligdags applikationer ved at øge brugervenligheden, samtidig med at ydeevnen holdes høj, selvom brugen af dette system i kliniske omgivelser kan være upassende. Nogle deltagere kommenterede, at de tørre elektroder i occipitale regionen var mere foruroligende end deres traditionelle kolleger, men generelt værdsatte de systemets bærbarhed og bærbarhed. Mange opgraderinger er mulige, og nogle af dem er allerede under udvikling. For eksempel kan antallet af stimuli (og dermed antallet af kommandoer) øges til fire. Derefter kan stimuli selv designes til at spænde øjnene mindre. Endelig kan klassificeringsydelsen forbedres gennem en mere avanceret behandlingsstrategi for at opnå et mere nøjagtigt og / eller hurtigere system.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har intet at afsløre.
Acknowledgments
Dette arbejde blev udført som en del af IKT for Health-projektet, som blev finansielt støttet af det italienske ministerium for uddannelse, universitet og forskning (MIUR) under initiativet Departments of Excellence (italiensk budgetlov nr. 232/2016) gennem et ekspertisetilskud tildelt Institut for Informationsteknologi og Elektroteknik ved universitetet i Napoli Federico II, Napoli, Italien. Projektet blev faktisk muliggjort af støtten fra Res4Net-initiativet og TC-06 (Emerging Technologies in Measurements) fra IEEE Instrumentation and Measurement Society. Forfatterne vil også gerne takke L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone og M. Ortolano for deres dyrebare bidrag til udvikling, test og validering af systemet.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
