Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Engineering
Click here for the English version

Engineering

Et enkeltkanals og ikke-invasivt bærbart hjerne-datamaskingrensesnitt for industri og helsevesen

Published: July 7, 2023 doi: 10.3791/65007
Automatic Translation
1,2, 1,3, 1,4, 5
1Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II, 2Interdepartmental Center for Research and Innovation in Management and Healthcare (CIRMIS), University of Naples Federico II, 3Advanced Metrological Services Center (CeSMA), University of Naples Federico II, 4Department of Innovation Engineering, University of Salento, 5Department of Electronics and Telecommunication (DET), Polytechnic of Turin

Summary

Denne artikkelen diskuterer hvordan man bygger et hjerne-datamaskingrensesnitt ved å stole på forbrukerutstyr og steady-state visuelt fremkalte potensialer. For dette ble en enkanals elektroencefalograf som utnyttet tørre elektroder integrert med augmented reality-briller for stimulipresentasjon og visualisering av utgangsdata. Det endelige systemet var ikke-invasivt, bærbart og bærbart.

Abstract

Det nåværende arbeidet fokuserer på hvordan man bygger et bærbart hjerne-datamaskingrensesnitt (BCI). BCI er et nytt middel for interaksjon mellom mennesker og datamaskiner som er avhengig av direkte målinger av hjernesignaler for å hjelpe både funksjonshemmede og funksjonshemmede. Applikasjonseksempler inkluderer robotkontroll, industriell inspeksjon og nevrorehabilitering. Spesielt har nyere studier vist at steady-state visuelt fremkalte potensialer (SSVEPs) er spesielt egnet for kommunikasjons- og kontrollapplikasjoner, og det gjøres for tiden en innsats for å bringe BCI-teknologi inn i dagliglivet. For å oppnå dette målet må det endelige systemet stole på bærbar, bærbar og rimelig instrumentering. Ved utnyttelse av SSVEP er det nødvendig med en flimrende visuell stimulus med faste frekvenser. Ved å vurdere begrensninger i det daglige livet ble muligheten for å gi visuelle stimuli ved hjelp av smarte briller utforsket i denne studien. Videre, for å oppdage de fremkalte potensialene, ble en kommersiell enhet for elektroencefalografi (EEG) vurdert. Dette består av en enkelt differensialkanal med tørre elektroder (ingen ledende gel), og oppnår dermed den ytterste slitestyrke og bærbarhet. I en slik BCI kan brukeren samhandle med smartbrillene ved bare å stirre på ikoner som vises på skjermen. På dette enkle prinsippet ble en brukervennlig, rimelig BCI bygget ved å integrere utvidet virkelighet (XR) briller med en kommersielt tilgjengelig EEG-enhet. Funksjonaliteten til denne bærbare XR-BCI ble undersøkt med en eksperimentell kampanje som involverte 20. Klassifiseringsnøyaktigheten var mellom 80% -95% i gjennomsnitt, avhengig av stimuleringstiden. Gitt disse resultatene, kan systemet brukes som et menneske-maskin-grensesnitt for industriell inspeksjon, men også for rehabilitering i ADHD og autisme.

Introduction

Et hjerne-datamaskin-grensesnitt (BCI) er et system som tillater kommunikasjon med og / eller kontroll av enheter uten naturlige nevrale veier1. BCI-teknologi er det nærmeste menneskeheten har å kontrollere objekter med sinnets kraft. Fra et teknisk synspunkt fungerer systemoperasjonen ved å måle indusert eller fremkalt hjerneaktivitet, som enten kan genereres ufrivillig eller frivillig fra forsøkspersonen2. Historisk sett fokuserte forskningen på å hjelpe mennesker med motoriske funksjonshemninger gjennom BCI3, men et økende antall selskaper tilbyr i dag BCI-basert instrumentering for spill4, robotikk5, industri6 og andre applikasjoner som involverer menneske-maskin-interaksjon. Spesielt kan BCI spille en rolle i den fjerde industrielle revolusjonen, nemlig industri 4.07, hvor cyber-fysiske produksjonssystemer endrer samspillet mellom mennesker og omgivelsene8. Grovt sett identifiserte det europeiske prosjektet BNCI Horizon 2020 applikasjonsscenarier som å erstatte, gjenopprette, forbedre, forbedre eller supplere tapte naturlige funksjoner i sentralnervesystemet, samt bruken av BCI i å undersøke hjernen9.

I dette rammeverket betyr nyere teknologiske fremskritt at hjerne-datamaskingrensesnitt kan være anvendelige for bruk i dagliglivet10,11. For å oppnå dette målet er det første kravet ikke-invasivitet, noe som er viktig for å unngå risikoen for kirurgisk inngrep og øke brukerens aksept. Det er imidlertid verdt å merke seg at valget av ikke-invasiv bildediagnostikk påvirker kvaliteten på målte hjernesignaler, og BCI-designet må da håndtere de tilhørende fallgruvene12. I tillegg kreves slitestyrke og bærbarhet. Disse kravene er i tråd med behovet for et brukervennlig system, men utgjør også noen begrensninger. Samlet sett er de nevnte maskinvarebegrensningene adressert ved bruk av et elektroencefalografisk (EEG) system med gelfrie elektroder6. En slik EEG-basert BCI vil også være billig. I mellomtiden, når det gjelder programvaren, ville minimal brukeropplæring (eller ideelt sett ingen opplæring) være ønsket; Det ville nemlig være best å unngå lange perioder for innstilling av behandlingsalgoritmen før brukeren kan bruke systemet. Dette aspektet er kritisk i BCI på grunn av inter-subjekt og intra-ikke-stasjonaritet13,14.

Tidligere litteratur har vist at deteksjon av fremkalte hjernepotensialer er robust med hensyn til ikke-stasjonaritet og støy i signalinnhenting. Med andre ord, BCIer som er avhengige av deteksjon av fremkalt potensial, kalles reaktive, og er de best presterende BCIene når det gjelder hjernemønstergjenkjenning15. Likevel krever de sensorisk stimulering, noe som sannsynligvis er den største ulempen ved slike grensesnitt. Målet med den foreslåtte metoden er dermed å bygge en svært bærbar og bærbar BCI avhengig av bærbar, hyllevare instrumentering. De sensoriske stimuli her består av flimrende lys, generert av smarte briller, som er i stand til å fremkalle steady-state visuelt fremkalte potensialer (SSVEPs). Tidligere arbeider har allerede vurdert å integrere BCI med virtuell virkelighet enten alene eller i forbindelse med utvidet virkelighet16. For eksempel ble det foreslått et BCI-AR-system for å kontrollere et quadcopter med SSVEP17. Virtuell virkelighet, utvidet virkelighet og andre paradigmer refereres til med begrepet utvidet virkelighet. I et slikt scenario oppfyller valget av smarte briller kravene til bærbarhet og bærbarhet, og smarte briller kan integreres med et minimalt EEG-anskaffelsesoppsett. Denne rapporten viser at SSVEP-basert BCI også krever minimal opplæring samtidig som man oppnår akseptabel klassifiseringsytelse for kommunikasjons- og kontrollapplikasjoner med lav til middels hastighet. Derfor brukes teknikken på BCI for daglige applikasjoner, og den ser ut til å være spesielt egnet for industri og helsetjenester.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Studien ble godkjent av den etiske komiteen for psykologisk forskning ved Institutt for humaniora ved Universitetet i Napoli Federico II. De frivillige signerte informert samtykke før de deltok i forsøkene.

1. Forbereder den ikke-invasive bærbare hjernen - datamaskingrensesnitt

  1. Få en billig forbrukerklasse elektroencefalograf med tørre elektroder, og konfigurer den for enkanalsbruk.
    1. Kortslutte eller koble ubrukte inngangskanaler på den rimelige elektroencefalografen til en intern referansespenning som spesifisert av det iboende databladet. Ved å gjøre det deaktiveres de ubrukte kanalene, og de genererer ikke crosstalk-støy.
    2. Juster elektroencefalografforsterkningen (vanligvis gjennom en komponent med variabel motstand) for å ha et inngangsområde i størrelsesorden 100 μV.
      MERK: EEG-signalene som skal måles er i størrelsesorden titalls mikrovolt. Imidlertid påvirkes de tørre elektrodene sterkt av bevegelsesartefakter, noe som resulterer i svingninger i størrelsesorden 100 μV på grunn av variasjonen i elektrode-hudimpedansen. Å øke inngangsspenningsområdet bidrar til å begrense EEG-forsterkermetningen, men den eliminerer den ikke helt. På den annen side ville det være ubeleilig å øke inngangsspenningsområdet enda mer, fordi dette ville påvirke spenningsoppløsningen ved måling av de ønskede EEG-komponentene. Til syvende og sist må de to aspektene balanseres ved også å ta hensyn til bitoppløsningen til analog-til-digital-omformeren inne i elektroencefalografkortet.
    3. Forbered tre tørre elektroder for å koble til elektroensfalografkortet. Bruk en passiv elektrode (ingen forsterkning) som referanseelektrode. De resterende to måleelektrodene skal være aktive (dvs. involvere forforsterkning og eventuell analog filtrering).
      MERK: Elektroder plassert på et hårete hodebunnsområde krever pinner for å overvinne elektrodehudkontaktimpedans. Hvis mulig, lodd sølvpinner med flate hoder (for å unngå for mye smerte for brukeren), eller bruk helst ledende (myk) gummi med et Ag / AgCl-belegg.
  2. Få kommersielle smarte briller med et Android-operativsystem og en oppdateringsfrekvens på 60 Hz. Alternativt kan du bruke en lavere oppdateringsfrekvens. En høyere oppdateringsfrekvens ville være ønskelig for stimuli, da det ville være mindre tretthet i øynene, men det finnes ingen tilgjengelige løsninger på markedet.
    1. Last ned kildekoden til en Android-applikasjon for kommunikasjon eller kontroll, eller utvikle en.
    2. Erstatt de virtuelle knappene i applikasjonen med flimrende ikoner ved å endre det iboende objektet (vanligvis i Java eller Kotlin). Hvite firkanter med minst 5 % skjermdimensjon anbefales. Vanligvis, jo større den stimulerende firkanten er, desto høyere vil SSVEP-komponenten som skal oppdages, være, men en optimal kan bli funnet avhengig av det spesifikke tilfellet. Anbefalte frekvenser er 10 Hz og 12 Hz flimring. Implementer flimmeret på den grafiske prosesseringsenheten (GPU) for å unngå overbelastning av databehandlingsenheten (CPU) til smartbrillene. Til dette formålet, bruk objekter fra OpenGL-biblioteket.
    3. Implementer en modul av Android-applikasjonen for sanntidsbehandling av inngangens EEG-strøm. Android USB-tjenesten kan legges til slik at strømmen kan mottas via USB. Sanntidsbehandlingen kan ganske enkelt bruke et skyvevindu på EEG-strømmen ved å vurdere de innkommende pakkene. Beregn effektspektraltettheten knyttet til 10 Hz- og 12 Hz-frekvensene gjennom en rask Fourier-transformfunksjon. En trent klassifiserer kan dermed skille at brukeren ser på 10 Hz flimrende ikon eller 12 Hz flimrende ikon ved å klassifisere effektspektral tetthet funksjoner.

2. Kalibrere den SSVEP-baserte hjernen - datamaskingrensesnitt

MERK: Friske frivillige ble valgt for denne studien. Ekskluder personer med en historie med hjernesykdommer. De involverte forsøkspersonene måtte ha normalt eller korrigert til normalt syn. De ble instruert til å være avslappet under forsøkene og å unngå unødvendige bevegelser, spesielt av hodet.

  1. La brukeren bruke smartbrillene med Android-applikasjonen.
  2. La brukeren ha et stramt hodebånd for å holde elektrodene.
  3. Koble den rimelige elektroencefalografen til en PC via en USB-kabel mens PCen er koblet fra hovedstrømforsyningen.
    1. Koble først alle elektrodene fra elektroencefalografoppkjøpskortet for å starte fra en kjent tilstand.
    2. I denne fasen behandles EEG-strømmen offline på PC-en med et skript som er kompatibelt med behandlingen implementert i Android-applikasjonen. Start skriptet for å motta EEG-signalene og visualisere dem.
  4. Kontroller signalet som vises frakoblet. Dette må bare tilsvare kvantiseringsstøyen til EEG-forsterkeren.
  5. Koble elektrodene.
    1. Påfør den passive elektroden på venstre øre med et tilpasset klips, eller bruk en øreklipselektrode. Utgangssignalet må forbli uendret på dette trinnet fordi måledifferensialkanalen fortsatt er en åpen krets.
    2. Koble en aktiv elektrode til den negative terminalen for differensialinngangen til måle-EEG-kanalen, og påfør frontalområdet (Fpz standardplassering) med et hodebånd. Etter noen sekunder skal signalet gå tilbake til null (kvantiseringsstøy).
    3. Koble den andre aktive elektroden til den positive terminalen for differensialinngangen til måle-EEG-kanalen, og påfør den oksipitale regionen (Oz standardplassering) med hodebåndet. Et hjernesignal vises nå, som tilsvarer den visuelle aktiviteten målt i forhold til det frontale hjerneområdet (ingen visuell aktivitet forutsett der).
  6. Skaff signaler for systemkalibrering.
    1. Stimuler brukeren gjentatte ganger med 10 Hz og 12 Hz (og til slutt andre) flimrende ikoner ved å starte det flimrende ikonet i Android-applikasjonen, og skaffe og lagre de iboende EEG-signalene for offline behandling. Sørg for at hver stimulering i denne fasen består av et enkelt ikon som flimrer i 10 sekunder, og start det flimrende ikonet ved å trykke på berøringsplaten til smartbrillene samtidig som du starter EEG-oppkjøpet og visualiseringsskriptet.
    2. Fra de 10 s-signalene som er knyttet til hver stimulering, trekker du ut to funksjoner ved å bruke den raske Fourier-transformasjonen: effektspektraltettheten ved 10 Hz og ved 12 Hz. Alternativt kan du vurdere andre harmoniske (20 Hz og 24 Hz).
    3. Bruk en representasjon av de innhentede signalene i funksjonsdomenet for å lære opp en støttevektormaskinklassifiserer. Bruk et verktøy (i Matlab eller Python) for å identifisere parametrene til et hyperplan med en eventuell kjerne basert på inngangsfunksjonene. Den trente modellen vil være i stand til å klassifisere fremtidige observasjoner av EEG-signaler.

3. Monter det endelige bærbare og bærbare SSVEP-baserte grensesnittet

  1. Koble USB-kabelen fra PC-en, og koble den direkte til smartbrillene.
  2. Sett inn parametrene til den trente klassifikatoren i Android-applikasjonen. Systemet er nå klart.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

En mulig implementering av systemet beskrevet ovenfor er vist i figur 1; Denne implementeringen lar brukeren navigere i utvidet virkelighet gjennom hjerneaktivitet. De flimrende ikonene på smartbrilledisplayet tilsvarer handlinger for applikasjonen (figur 1A), og dermed representerer disse brillene en erstatning for et tradisjonelt grensesnitt basert på knappetrykk eller en berøringsplate. Effekten av en slik interaksjon er strengt knyttet til den vellykkede klassifiseringen av potensialene som fremkalles av flimringen. For å oppnå dette målet ble det først utført en metrologisk karakterisering for systemet18, og deretter var menneskelige brukere involvert i en eksperimentell validering.

Figure 1
Figur 1: Mulig implementering av det foreslåtte hjerne-datamaskingrensesnittet. (A) Representasjon av hva brukeren ser gjennom smartbrillene, nemlig det virkelige scenariet og de visuelle stimuliene; (B) en bruker som bruker håndfrisystemet. Klikk her for å se en større versjon av denne figuren.

Elektroencefalografen ble karakterisert med hensyn til linearitet og størrelsesfeil. Lineariteten ble vurdert ved 20 Hz gjennom målinger utført med et sinusformet inngangssignal til enheten testet ved syv forskjellige amplituder (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV og 100 μV). Ved å plotte spenningen til elektroencefalografen som en funksjon av inngangsspenningen, fremhever figur 2A den klare lineære oppførselen til elektroensfalografen. Linearitet ble også bekreftet av en Fishers test for godheten til den lineære passformen. Figuren indikerer imidlertid også en viss forsterknings- og offsetfeil. Disse feilene ble testet ved å fikse amplituden ved 100 μV og variere frekvensen. Resultatene er rapportert i figur 2B og bekrefter størrelsesfeilen med hensyn til nominell gevinst.

Figure 2
Figur 2: Resultater av lavkost elektroencefalografkarakterisering. (A) Lineære feil; (B) størrelsesfeil. Antall prøver for hvert målepunkt var 4 096. En mer detaljert diskusjon finnes i Arpaia et al.18. Klikk her for å se en større versjon av denne figuren.

Til slutt ble flimringen av smartbrillene målt for å markere eventuelle avvik fra den nominelle firkantbølgebanen. Slike avvik var spesielt synlige i amplitudespekteret til 12 Hz-flimringen (figur 3B). Imidlertid kan alle disse feilene vurderes eller til slutt kompenseres, og dermed demonstrere muligheten for å bruke forbrukerkvalitetsmateriale for SSVEP-BCI-systemet.

Figure 3
Figur 3: Resultater av karakteriseringen av de kommersielle smartbrillene når det gjelder amplitudespekteret til de flimrende knappene. (A) Flimring ved 10 Hz; (B) flimring ved 12 Hz. En mer detaljert diskusjon finnes i Arpaia et al.18. Klikk her for å se en større versjon av denne figuren.

Når det gjelder den eksperimentelle valideringen, deltok 20 (7 kvinner) i kampanjen. Hvert motiv gjennomgikk 24 forsøk med to samtidige flimrende ikoner på smartbrilledisplayet. Motivet måtte stirre på ett av de to tilfeldig ordnede ikonene, som hver hadde en annen frekvens (10 Hz flimring eller 12 Hz flimring). Tilfeldigheten av hvilken frekvens forsøkspersonene stirret på først, ble garantert ved å la dem bestemme ikonet å stirre på uten noen forhåndsdefinerte kriterier. Når 12 forsøk ble fullført på en bestemt frekvens, ble forsøkspersonen bedt om å fokusere på ikonet med den andre frekvensen for de gjenværende forsøkene. I den utnyttede applikasjonen dukket det flimrende ikonet på 12 Hz opp øverst til venstre mens det flimrende ikonet på 10 Hz dukket opp nederst til høyre. En enkelt prøve varte i 10,0 s, og noen få sekunder (av tilfeldig varighet) gikk mellom påfølgende forsøk. Mindre tidsvinduer kan deretter analyseres offline ved å kutte de innspilte signalene.

Figure 4
Figur 4: Representasjon av signalene målt under visuell stimulering i funksjonsområdet. Signalene knyttet til 12 Hz flimrende stimuli (klasse 12 Hz) er representert i blått, mens signalene knyttet til 10 Hz flimrende stimuli (klasse 10 Hz) er representert i rødt. Funksjoner fra alle fagene vurderes her. Klikk her for å se en større versjon av denne figuren.

Figur 4 rapporterer de 10 s-signalene som representeres av de to effektspektrale tetthetsfunksjonene, nemlig ved 12 Hz og 10 Hz. En enkelt prikk i to dimensjoner tilsvarte et enkelt forsøk. Prikkene som tilsvarer de to forskjellige flimrende frekvensene ble preget av deres farge. Derfor ble de to klassene separert, selv om det eksisterte en overlapping mellom de to klassene, noe som kan ha forårsaket feilklassifisering. Klassifikasjonsresultater ble oppnådd med en firefoldig kryssvalidering, slik at dataene ble delt fire ganger i 18 studier for opplæring og 6 studier for validering. Dataene bekreftet at i 10 s stimuleringstilfelle (tabell 1) oppnådde 8 ut av 20 100% nøyaktighet, men for andre var klassifiseringsnøyaktigheten så lav som 65% -70%. I mellomtiden nådde ett individ 100% med en 2 s stimulering (oppnådd ved å kutte signalene i etterbehandling), og et relevant antall nådde tilfeldig (50%) klassifiseringsnøyaktighet. Dataene fra alle fagene ble vurdert som en helhet, og klassifiseringsnøyaktigheten ble oppnådd. Ytelsen ble også vurdert i forhold til informasjonsoverføringshastigheten (ITR), som var over 30 bits/min i gjennomsnitt. Disse resultatene ble forbedret ved å vurdere effektspektraltetthetene ved 20 Hz og 24 Hz. Tabell 2 viser at de økte eller forble konstante, og i det minste i 10 s stimuleringstilfellet ble standardavviket redusert, noe som indikerer mindre spredning i klassifiseringsytelsen for forskjellige. Til slutt ble klassifiseringsnøyaktigheten beregnet på nytt for alle forsøkspersonene i dette tilfellet med fire funksjoner, og det ble igjen funnet at de var nær de gjennomsnittlige nøyaktighetene.

Tema 10 s Stimuleringsnøyaktighet % 2 s Stimuleringsnøyaktighet %
Alt 94.2 77.5
S1 100 100
S2 100 98.8
S3 100 92
S4 100 92
S5 100 88
S6 100 87
S7 100 87
S8 100 64
S9 97.9 57
S10 96.7 88.8
S11 96 64
S12 95.8 78
S13 95.4 83
S14 95.4 53
S15 94 80
S16 92.9 61
S17 91 78
S18 89.6 61
S19 81 52
S20 71 49
BETY 94.9 76
STD 7.4 16

Tabell 1: Kryssvalideringsnøyaktighet ved klassifisering av SSVEP-relaterte EEG-signaler. For hver forsøksperson sammenlignes resultatene assosiert med en 10 s stimulering med resultatene forbundet med en 2 s stimulering. Den gjennomsnittlige nøyaktigheten blant alle fagene rapporteres, samt nøyaktigheten oppnådd ved å vurdere alle fagene sammen (rad alle).

10 s Stimulering (gjennomsnittlig nøyaktighet ± std) % 10 s Stimulering (gjennomsnittlig nøyaktighet ± std) %
2D-sak 94,9 ± 7,4 76 ± 16
4D-sak 97,2 ± 4,3 76 ± 15

Tabell 2: Sammenligning av klassifiseringsytelsen ved vurdering av to PSD-funksjoner (2D-tilfelle) versus fire PSD-funksjoner (4D-tilfelle) for SSVEP-relaterte EEG-data. En stimulering på 10 s sammenlignes med en stimulering på 2 s ved å rapportere gjennomsnittlig kryssvalideringsnøyaktighet og tilhørende standardavvik.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Systemets korrekte funksjon innebærer to avgjørende aspekter: SSVEP-fremkalling og signalinnsamling. Bortsett fra de spesifikke enhetene som er valgt for den nåværende studien, kan SSVEP fremkalles med forskjellige enheter som gir et flimrende lys, selv om smarte briller foretrekkes for å sikre slitasje og bærbarhet. Tilsvarende kan ytterligere kommersielle elektroencefalografer vurderes, men de må være bærbare, bærbare og involvere et minimum antall tørre elektroder for å være brukervennlige. Videre kan systemet tilpasses for å bruke enheter som er enkle å programmere. I tillegg bestemmer behandlingsstrategien den endelige ytelsen; Selv om behandlingsstrategien ikke virket avgjørende i den beskrevne systemdesignen, ville forbedringen absolutt bidra til et raskere og mer nøyaktig system for kommunikasjons- og kontrollapplikasjoner10,11,19.

Noen mangler ved systemet kan fremheves. Faktisk, for SSVEP-fremkalling, bør de flimrende stimuli ha store dimensjoner og en stabil flimrende frekvens. Førstnevnte innebærer at knappene til Android-applikasjonen kan være klumpete og utgjøre begrensninger for det utvidede virkelighetsscenariet. Sistnevnte krever smarte briller med metrologiske egenskaper som vanligvis ikke er til stede i kommersielle enheter. I tillegg, selv etter å ha oppfylt slike forhold, avhenger tilstedeværelsen av en SSVEP av emnet. Spesielt er det intra-emne og inter-individuell variabilitet i SSVEP-amplituder, som avhenger av flere ukontrollerbare faktorer, for eksempel brukertretthet eller oppmerksomhet / engasjement13. Dette problemet øker behovet for å finne optimale stimuli for riktig SSVEP-fremkalling20.

På den annen side er signalinnsamling kritisk for endelig ytelse fordi et passende signal-støyforhold må oppnås ved måling av hjerneaktivitet. For å oppnå maksimal bærbarhet, bærbarhet, brukerkomfort og lave kostnader, ble hjerneaktivitet målt med en enkeltkanals ikke-invasiv EEG og tørre elektroder. Selvfølgelig er tørre elektroder stort sett i samsvar med dagliglivets krav, men å unngå bruk av ledende geler begrenser elektrodehudkontakt. Derfor må den mekaniske stabiliteten til elektrodene sikres ved å plassere dem riktig og ved å stabilisere dem i kontinuerlig bruk. Faktisk er imidlertid ulempen med det foreslåtte oppkjøpssystemet at signalkvaliteten forringes med hensyn til mer invasive neuroimaging teknikker.

Til tross for det forventede dårlige signal-støy-forholdet, viste valideringen av det foreslåtte systemet at høy ytelse for kommunikasjons- og kontrollapplikasjoner er mulig. Spesielt viste den metrologiske karakteriseringen av forbrukerutstyret at de anvendte enhetene var egnet for BCI-applikasjoner av interesse, og det foreslo også at lignende enheter skulle være egnet for de også. Gjennom den eksperimentelle valideringen ble subjektavhengige klassifikasjonsnøyaktigheter observert, men positive overordnede konklusjoner kunne trekkes.

Klassifiseringsnøyaktigheten kan forbedres ved å øke stimuleringstiden. I et slikt tilfelle vil systemresponsen være tregere, men alternative kommunikasjons- og kontrollmuligheter kan fortsatt gis. For det andre kan et system uten opplæring (eller høyst et system med minimal opplæring) oppnås ved å bruke foreløpige data fra andre. For å forstå bidraget fra den foreslåtte metoden til feltet, kan resultatene sammenlignes med litteraturen om ikke-invasiv SSVEP-BCI. I mer tradisjonelle BCI-er når nøyaktigheten omtrent 94% selv med 2 s stimulering21, men slike systemer krever omfattende opplæring og kan ikke være bærbare og bærbare. Ytelsen faller imidlertid når du prøver å øke brukervennligheten (f.eks. når du bruker tørrelektroder22 og enda mer når du prøver å bruke en enkelt elektrode23). I slike tilfeller reduseres klassifiseringsnøyaktighetene til ca. 83 %.

Derfor bringer systemet beskrevet i dette arbeidet BCI-teknologien nærmere dagliglivsapplikasjoner ved å øke brukervennligheten samtidig som ytelsen holdes høy, selv om bruken av dette systemet i kliniske omgivelser kan være upassende. Noen deltakere kommenterte at de tørre elektrodene i oksipitalt område var mer forstyrrende enn deres tradisjonelle kolleger, men generelt satte de pris på systemets slitestyrke og bærbarhet. Mange oppgraderinger er mulige, og noen av dem er allerede under utvikling. For eksempel kan antall stimuli (og dermed antall kommandoer) økes til fire. Deretter kan stimuliene selv utformes for å anstrenge øynene mindre. Til slutt kan klassifiseringsytelsen forbedres gjennom en mer avansert prosesseringsstrategi for å oppnå et mer nøyaktig og/eller raskere system.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne har ingenting å avsløre.

Acknowledgments

Dette arbeidet ble utført som en del av IKT for helse-prosjektet, som ble støttet økonomisk av det italienske utdanningsdepartementet, universitetet og forskningen (MIUR), under initiativet Institutt for fremragende forskning (italiensk budsjettlov nr. 232/2016), gjennom et fortreffelighetsstipend tildelt Institutt for informasjonsteknologi og elektroteknikk ved Universitetet i Napoli Federico II, Napoli, Italia. Prosjektet ble faktisk gjort mulig med støtte fra Res4Net-initiativet og TC-06 (Emerging Technologies in Measurements) fra IEEE Instrumentation and Measurement Society. Forfatterne vil også takke L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone og M. Ortolano for deres dyrebare bidrag til utvikling, testing og validering av systemet.

Materials

Name Company Catalog Number Comments
Conductive rubber with Ag/AgCl coating  ab medica s.p.a. N/A Alternative electrodes – type 2
Earclip electrode OpenBCI N/A Ear clip
EEG-AE Olimex N/A Active electrodes
EEG-PE Olimex N/A Passive electrode
EEG-SMT Olimex N/A Low-cost electroencephalograph
Moverio BT-200 Epson N/A Smart glasses
Snap electrodes OpenBCI N/A Alternative electrodes – type 1

DOWNLOAD MATERIALS LIST

References

  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).

Tags

Denne måneden i JoVE utgave 197
Et enkeltkanals og ikke-invasivt bærbart hjerne-datamaskingrensesnitt for industri og helsevesen
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Arpaia, P., Esposito, A., Moccaldi,… More

Arpaia, P., Esposito, A., Moccaldi, N., Parvis, M. A Single-Channel and Non-Invasive Wearable Brain-Computer Interface for Industry and Healthcare. J. Vis. Exp. (197), e65007, doi:10.3791/65007 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter