Summary

Ett enkanaligt och icke-invasivt bärbart hjärna-datorgränssnitt för industri och sjukvård

Published: July 07, 2023
doi:

Summary

Detta dokument diskuterar hur man bygger ett hjärna-datorgränssnitt genom att förlita sig på utrustning av konsumentkvalitet och steady-state visuellt framkallade potentialer. För detta integrerades en enkanals elektroencefalograf som utnyttjar torra elektroder med augmented reality-glasögon för stimulipresentation och visualisering av utgångsdata. Det slutliga systemet var icke-invasivt, bärbart och bärbart.

Abstract

Det aktuella arbetet fokuserar på hur man bygger ett bärbart hjärna-datorgränssnitt (BCI). BCI är ett nytt sätt att interagera mellan människa och dator som bygger på direkta mätningar av hjärnsignaler för att hjälpa både personer med funktionshinder och de som är arbetsföra. Exempel på tillämpningar är robotstyrning, industriell inspektion och neurorehabilitering. I synnerhet har nyligen genomförda studier visat att steady-state visuellt framkallade potentialer (SSVEP) är särskilt lämpade för kommunikations- och kontrollapplikationer, och ansträngningar görs för närvarande för att få BCI-teknik i det dagliga livet. För att uppnå detta mål måste det slutliga systemet förlita sig på bärbar, bärbar och billig instrumentering. Vid utnyttjande av SSVEPs krävs en flimrande visuell stimulans med fasta frekvenser. Således, med tanke på dagliga livsbegränsningar, undersöktes möjligheten att ge visuella stimuli med hjälp av smarta glasögon i denna studie. För att detektera de framkallade potentialerna övervägdes dessutom en kommersiell anordning för elektroencefalografi (EEG). Detta består av en enda differentialkanal med torra elektroder (ingen ledande gel), vilket ger största möjliga bärbarhet och bärbarhet. I en sådan BCI kan användaren interagera med de smarta glasögonen genom att bara stirra på ikoner som visas på displayen. På denna enkla princip byggdes en användarvänlig, billig BCI genom att integrera utökade verklighetsglasögon (XR) med en kommersiellt tillgänglig EEG-enhet. Funktionaliteten hos denna bärbara XR-BCI undersöktes med en experimentell kampanj som involverade 20 ämnen. Klassificeringsnoggrannheten var mellan 80% -95% i genomsnitt beroende på stimuleringstiden. Givet dessa resultat kan systemet användas som ett människa-maskingränssnitt för industriell inspektion men också för rehabilitering vid ADHD och autism.

Introduction

Ett hjärna-datorgränssnitt (BCI) är ett system som möjliggör kommunikation med och/eller kontroll av enheter utan naturliga nervbanor1. BCI-teknik är det närmaste som mänskligheten har att styra objekt med sinnets kraft. Ur teknisk synvinkel fungerar systemoperationen genom att mäta inducerad eller framkallad hjärnaktivitet, som antingen ofrivilligt eller frivilligt kan genereras från ämnet2. Historiskt sett har forskningen fokuserat på att hjälpa personer med motoriska funktionshinder genom BCI3, men ett växande antal företag erbjuder idag BCI-baserad instrumentering för spel4, robotik5, industri6 och andra applikationer som involverar interaktion mellan människa och maskin. I synnerhet kan BCI spela en roll i den fjärde industriella revolutionen, nämligen industri 4.07, där cyberfysiska produktionssystem förändrar interaktionen mellan människor och den omgivande miljön8. I stort sett identifierade det europeiska projektet BNCI Horizon 2020 applikationsscenarier som att ersätta, återställa, förbättra, förbättra eller komplettera förlorade naturliga funktioner i centrala nervsystemet, samt användningen av BCI för att undersöka hjärnan9.

I detta sammanhang innebär de senaste tekniska framstegen att hjärna-datorgränssnitt kan vara tillämpliga för användning i det dagliga livet10,11. För att uppnå detta mål är det första kravet icke-invasivitet, vilket är viktigt för att undvika riskerna för kirurgisk ingrepp och öka användarnas acceptans. Det är dock värt att notera att valet av icke-invasiv neuroimaging påverkar kvaliteten på uppmätta hjärnsignaler, och BCI-designen måste då hantera de tillhörande fallgroparna12. Dessutom krävs bärbarhet och bärbarhet. Dessa krav ligger i linje med behovet av ett användarvänligt system, men medför också vissa begränsningar. Sammantaget hanteras de nämnda hårdvarubegränsningarna genom användningen av ett elektroencefalografiskt (EEG) system med gelfria elektroder6. En sådan EEG-baserad BCI skulle också vara billig. Under tiden, när det gäller programvaran, skulle minimal användarutbildning (eller helst ingen utbildning) önskas; Det är nämligen bäst att undvika långa perioder för att ställa in bearbetningsalgoritmen innan användaren kan använda systemet. Denna aspekt är kritisk i BCI på grund av intersubjekt och intrasubjekt icke-stationaritet13,14.

Tidigare litteratur har visat att detektionen av framkallade hjärnpotentialer är robust med avseende på icke-stationaritet och brus vid signalinhämtning. Med andra ord kallas BCI som förlitar sig på detektering av framkallad potential reaktiva och är de bäst presterande BCI när det gäller hjärnmönsterigenkänning15. Ändå kräver de sensorisk stimulering, vilket förmodligen är den största nackdelen med sådana gränssnitt. Målet med den föreslagna metoden är således att bygga en mycket bärbar och bärbar BCI som bygger på bärbar, off-the-shelf instrumentering. De sensoriska stimuli här består av flimrande ljus, genererade av smarta glasögon, som kan framkalla steady-state visuellt framkallade potentialer (SSVEP). Tidigare verk har redan övervägt att integrera BCI med virtuell verklighet antingen ensam eller i kombination med förstärkt verklighet16. Till exempel föreslogs ett BCI-AR-system för att styra en quadcopter med SSVEP17. Virtual reality, augmented reality och andra paradigmer hänvisas till med termen utökad verklighet. I ett sådant scenario uppfyller valet av smarta glasögon kraven på bärbarhet och bärbarhet, och smarta glasögon kan integreras med en minimal EEG-upptagningsinställning. Detta dokument visar att SSVEP-baserad BCI också kräver minimal utbildning samtidigt som man uppnår acceptabel klassificeringsprestanda för kommunikations- och kontrollapplikationer med låg medelhastighet. Därför tillämpas tekniken på BCI för dagliga applikationer, och den verkar särskilt lämplig för industri och sjukvård.

Protocol

Studien godkändes av den etiska kommittén för psykologisk forskning vid Institutionen för humaniora vid universitetet i Neapel Federico II. Volontärerna undertecknade informerat samtycke innan de deltog i experimenten. 1. Förbereda det icke-invasiva bärbara hjärnan – datorgränssnittet Skaffa en billig elektroencefalograf av konsumentkvalitet med torra elektroder och konfigurera den för enkanalsanvändning.Kortslut eller anslut oanvända ingångskana…

Representative Results

En möjlig implementering av det system som beskrivs ovan visas i figur 1. Denna implementering gör det möjligt för användaren att navigera i förstärkt verklighet genom hjärnaktivitet. De flimrande ikonerna på smarta glasögondisplayen motsvarar åtgärder för applikationen (figur 1A), och därmed representerar dessa glasögon ett substitut för ett traditionellt gränssnitt baserat på knapptryckningar eller en pekplat…

Discussion

Systemets korrekta funktion innebär två viktiga aspekter: SSVEP-elicitering och signalförvärv. Bortsett från de specifika enheter som valts för den aktuella studien kan SSVEP framkallas med olika enheter som ger ett flimrande ljus, även om smarta glasögon föredras för att säkerställa bärbarhet och bärbarhet. På samma sätt kan ytterligare kommersiella elektroencefalografier övervägas, men de måste vara bärbara, bärbara och involvera ett minimalt antal torra elektroder för att vara användarvänliga. …

Disclosures

The authors have nothing to disclose.

Acknowledgements

Detta arbete utfördes som en del av IKT för hälsa-projektet, som fick ekonomiskt stöd av det italienska ministeriet för utbildning, universitet och forskning (MIUR), inom ramen för initiativet Departments of Excellence (italiensk budgetlag nr 232/2016), genom ett excellensbidrag som tilldelades Institutionen för informationsteknik och elektroteknik vid universitetet i Neapel Federico II, Neapel, Italien. Projektet möjliggjordes faktiskt genom stöd från Res4Net-initiativet och TC-06 (Emerging Technologies in Measurements) från IEEE Instrumentation and Measurement Society. Författarna vill också tacka L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone och M. Ortolano för deras värdefulla bidrag till att utveckla, testa och validera systemet.

Materials

Conductive rubber with Ag/AgCl coating  ab medica s.p.a. N/A Alternative electrodes – type 2
Earclip electrode OpenBCI N/A Ear clip
EEG-AE Olimex N/A Active electrodes
EEG-PE Olimex N/A Passive electrode
EEG-SMT Olimex N/A Low-cost electroencephalograph
Moverio BT-200 Epson N/A Smart glasses
Snap electrodes OpenBCI N/A Alternative electrodes – type 1

References

  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
check_url/65007?article_type=t

Play Video

Cite This Article
Arpaia, P., Esposito, A., Moccaldi, N., Parvis, M. A Single-Channel and Non-Invasive Wearable Brain-Computer Interface for Industry and Healthcare. J. Vis. Exp. (197), e65007, doi:10.3791/65007 (2023).

View Video