산업 및 의료를 위한 단일 채널 및 비침습적 웨어러블 뇌-컴퓨터 인터페이스
Summary
이 백서에서는 소비자 등급 장비와 정상 상태의 시각적 유발 잠재력에 의존하여 뇌-컴퓨터 인터페이스를 구축하는 방법에 대해 설명합니다. 이를 위해 건식 전극을 활용하는 단일 채널 뇌파계가 자극 표현 및 출력 데이터 시각화를 위해 증강 현실 안경과 통합되었습니다. 최종 시스템은 비침습적, 웨어러블 및 휴대용이었습니다.
Abstract
현재 연구는 웨어러블 뇌-컴퓨터 인터페이스(BCI)를 구축하는 방법에 중점을 둡니다. BCI는 장애인과 장애인 모두를 돕기 위해 뇌 신호의 직접 측정에 의존하는 인간-컴퓨터 상호 작용의 새로운 수단입니다. 적용 사례로는 로봇 제어, 산업 검사 및 신경 재활이 있습니다. 특히, 최근 연구에 따르면 정상 상태 시각 유발 전위(SSVEP)는 통신 및 제어 애플리케이션에 특히 적합하며 현재 BCI 기술을 일상 생활에 도입하기 위한 노력이 이루어지고 있습니다. 이 목표를 달성하기 위해 최종 시스템은 웨어러블, 휴대용 및 저비용 기기에 의존해야 합니다. SSVEP를 활용하려면 고정 주파수로 깜박이는 시각적 자극이 필요합니다. 따라서 일상 생활의 제약을 고려할 때 스마트 안경을 통해 시각적 자극을 제공할 수 있는 가능성을 본 연구에서는 탐구하였다. 또한, 유도된 전위를 감지하기 위해 뇌파검사(EEG)를 위한 상용 장치가 고려되었습니다. 이것은 건식 전극(전도성 젤 없음)이 있는 단일 차동 채널로 구성되어 최고의 착용성과 휴대성을 달성합니다. 이러한 BCI에서, 사용자는 단지 디스플레이에 나타나는 아이콘들을 응시하는 것만으로 스마트 글래스와 상호작용할 수 있다. 이 간단한 원리에 따라 확장 현실(XR) 안경을 상업적으로 이용 가능한 EEG 장치와 통합하여 사용자 친화적인 저비용 BCI를 구축했습니다. 이 웨어러블 XR-BCI의 기능은 20명의 피험자가 참여한 실험 캠페인으로 조사되었습니다. 분류 정확도는 자극 시간에 따라 평균 80%-95% 사이였습니다. 이러한 결과를 감안할 때 이 시스템은 산업 검사를 위한 인간-기계 인터페이스로 사용될 수 있을 뿐만 아니라 ADHD 및 자폐증의 재활에도 사용될 수 있습니다.
Introduction
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 자연 신경 경로없이 장치와의 통신 및/또는 제어를 허용하는 시스템이다1. BCI 기술은 인류가 마음의 힘으로 사물을 조종하는 데 가장 가까운 것입니다. 기술적인 관점에서 볼 때, 시스템 작동은 피험자로부터 비자발적 또는 자발적으로 생성될 수 있는 유도 또는 유발된 뇌 활동을 측정함으로써 작동한다2. 역사적으로 연구는 BCI3를 통해 운동 장애가 있는 사람들을 돕는 데 중점을 두었지만, 오늘날 점점 더 많은 회사들이 게임4, 로봇 공학5, 인더스트리6 및 인간-기계 상호 작용과 관련된 기타 응용 분야를 위한 BCI 기반 계측기를 제공하고 있습니다. 특히, BCI는 4차 산업혁명, 즉 인더스트리 4.0(Industry 4.0)7에서 중요한 역할을 할 수 있는데, 여기서 사이버-물리적 생산 시스템은 인간과 주변 환경 간의 상호작용을 변화시키고 있다8. 대체로 유럽 프로젝트 BNCI Horizon 2020은 중추신경계의 손실된 자연적 기능을 대체, 복원, 개선, 향상 또는 보완하는 것과 같은 응용 시나리오와 뇌 조사에 BCI를 사용하는 것과 같은 응용 시나리오를 식별했습니다9.
이러한 프레임워크에서, 최근의 기술적 진보는 뇌-컴퓨터 인터페이스가 일상 생활에서의 사용에 적용될 수 있음을 의미한다10,11. 이 목표를 달성하기 위한 첫 번째 요구 사항은 비침습성이며, 이는 외과적 개입의 위험을 피하고 사용자 수용도를 높이는 데 중요합니다. 그러나 비침습적 신경영상의 선택이 측정된 뇌 신호의 품질에 영향을 미치며, BCI 설계는 관련된 함정을 다루어야 한다는 점은 주목할 가치가 있다12. 또한 착용감과 휴대성이 요구됩니다. 이러한 요구 사항은 사용자 친화적인 시스템의 필요성과 일치하지만 몇 가지 제약 조건도 있습니다. 전반적으로, 언급된 하드웨어 제약은 젤-프리 전극(gel-free electrodes)을 갖는 뇌파(electroencephalographic, EEG) 시스템의 사용에 의해 해결된다6. 이러한 EEG 기반 BCI는 비용도 저렴합니다. 한편, 소프트웨어 측면에서 최소한의 사용자 교육(또는 이상적으로는 교육이 없음)이 필요합니다. 즉, 사용자가 시스템을 사용하기 전에 처리 알고리즘을 튜닝하는 데 오랜 시간을 피하는 것이 가장 좋습니다. 이 측면은 주제 간 및 주제 내 비정상성13,14 때문에 BCI에서 중요합니다.
이전 문헌은 유발된 뇌 전위의 감지가 신호 획득에서 비정상성 및 잡음과 관련하여 강력하다는 것을 입증했습니다. 즉, 유발 전위의 검출에 의존하는 BCI는 반응성(rereaction)이라고 하며, 뇌 패턴 인식 측면에서 가장 성능이 좋은 BCI이다15. 그럼에도 불구하고, 그들은 감각 자극을 필요로하는데, 이는 아마도 그러한 인터페이스의 주요 단점 일 것입니다. 따라서 제안된 방법의 목표는 웨어러블 기성품 기기에 의존하는 고도로 웨어러블하고 휴대가 간편한 BCI를 구축하는 것입니다. 여기서 감각 자극은 스마트 안경에 의해 생성되는 깜박이는 빛으로 구성되며, 이는 정상 상태 시각적 유발 전위(SSVEP)를 유도할 수 있습니다. 이전 연구에서는 이미 BCI를 단독으로 또는 증강 현실과 함께 가상 현실과 통합하는 것을 고려했습니다16. 예를 들어, SSVEP17로 쿼드콥터를 제어하기 위해 BCI-AR 시스템이 제안되었습니다. 가상 현실, 증강 현실 및 기타 패러다임은 확장 현실이라는 용어로 언급됩니다. 이러한 시나리오에서 스마트 안경의 선택은 착용성 및 휴대성 요구 사항을 준수하며 스마트 안경은 최소한의 EEG 획득 설정으로 통합될 수 있습니다. 이 백서는 SSVEP 기반 BCI가 최소한의 교육만 필요하며 중저속 통신 및 제어 응용 분야에서 허용 가능한 분류 성능을 달성한다는 것을 보여줍니다. 따라서 이 기술은 일상 생활 응용 분야를 위해 BCI에 적용되며 특히 산업 및 의료에 적합한 것으로 보입니다.
Protocol
Representative Results
Discussion
시스템의 적절한 기능에는 SSVEP 유도 및 신호 획득이라는 두 가지 중요한 측면이 포함됩니다. 현재 연구를 위해 선택된 특정 장치 외에도 SSVEP는 깜박이는 빛을 제공하는 다양한 장치로 유도될 수 있지만 착용성과 휴대성을 보장하기 위해 스마트 안경이 선호됩니다. 유사하게, 더 많은 상업용 뇌파계가 고려 될 수 있지만, 착용 가능하고 휴대 가능해야하며 사용자 친화적이기 위해서는 최소한의 건…
Disclosures
The authors have nothing to disclose.
Acknowledgements
이 작업은 이탈리아 교육부, 대학 및 연구부(MIUR)가 재정적으로 지원한 보건을 위한 ICT 프로젝트의 일환으로 우수 부서(이탈리아 예산법 번호 232/2016)에 따라 나폴리 페데리코 II 대학의 정보 기술 및 전기 공학과에 수여된 우수 보조금을 통해 수행되었습니다. 나폴리, 이탈리아. 이 프로젝트는 Res4Net 이니셔티브와 IEEE Instrumentation and Measurement Society의 TC-06(Emerging Technologies in Measurements)의 지원으로 가능했습니다. 또한 시스템 개발, 테스트 및 검증에 귀중한 기여를 해주신 L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone 및 M. Ortolano에게도 감사의 뜻을 전합니다.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
