Одноканальный и неинвазивный носимый интерфейс мозг-компьютер для промышленности и здравоохранения
Summary
В этой статье обсуждается, как построить интерфейс мозг-компьютер, опираясь на оборудование потребительского класса и стационарные визуально вызванные потенциалы. Для этого одноканальный электроэнцефалограф, использующий сухие электроды, был интегрирован с очками дополненной реальности для представления стимулов и визуализации выходных данных. Окончательная система была неинвазивной, носимой и портативной.
Abstract
Настоящая работа сосредоточена на том, как создать носимый интерфейс мозг-компьютер (BCI). BCI — это новое средство взаимодействия человека с компьютером, которое основано на прямых измерениях сигналов мозга, чтобы помочь как людям с ограниченными возможностями, так и трудоспособным. Примеры применения включают роботизированное управление, промышленный контроль и нейрореабилитацию. Примечательно, что недавние исследования показали, что стационарные визуально вызванные потенциалы (SSVEP) особенно подходят для приложений связи и управления, и в настоящее время предпринимаются усилия по внедрению технологии BCI в повседневную жизнь. Для достижения этой цели окончательная система должна опираться на носимые, портативные и недорогие приборы. При использовании SSVEP требуется мерцающий визуальный стимул с фиксированной частотой. Таким образом, при рассмотрении ограничений повседневной жизни в этом исследовании была изучена возможность предоставления визуальных стимулов с помощью умных очков. Кроме того, для обнаружения вызванных потенциалов рассматривалось коммерческое устройство для электроэнцефалографии (ЭЭГ). Он состоит из одного дифференциального канала с сухими электродами (без проводящего геля), что обеспечивает максимальную износостойкость и портативность. В таком BCI пользователь может взаимодействовать с умными очками, просто глядя на значки, появляющиеся на дисплее. На основе этого простого принципа был создан удобный и недорогой BCI путем интеграции очков расширенной реальности (XR) с коммерчески доступным устройством ЭЭГ. Функциональность этого носимого XR-BCI была изучена в ходе экспериментальной кампании с участием 20 испытуемых. Точность классификации составляла в среднем от 80% до 95% в зависимости от времени стимуляции. Учитывая эти результаты, система может быть использована в качестве человеко-машинного интерфейса для промышленного контроля, а также для реабилитации при СДВГ и аутизме.
Introduction
Интерфейс мозг-компьютер (BCI) представляет собой систему, позволяющую взаимодействовать с устройствами и/или управлять ими без естественных нейронных путей1. Технология BCI – это самое близкое, что есть у человечества к управлению объектами силой разума. С технической точки зрения работа системы работает путем измерения индуцированной или вызванной мозговой активности, которая может быть либо непроизвольно, либо произвольно сгенерирована субъектом2. Исторически сложилось так, что исследования были сосредоточены на оказании помощи людям с двигательными нарушениями с помощью BCI3, но сегодня все большее число компаний предлагают инструменты на основе BCI для игр4, робототехники5, индустрии6 и других приложений, связанных с взаимодействием человека и машины. Примечательно, что BCI могут сыграть роль в четвертой промышленной революции, а именно в индустрии 4.07, где киберфизические производственные системы меняют взаимодействие между людьми и окружающей средой8. Вообще говоря, европейский проект BNCI Horizon 2020 определил сценарии применения, такие как замена, восстановление, улучшение, усиление или дополнение утраченных естественных функций центральной нервной системы, а также использование BCI в исследовании мозга9.
В этих рамках последние технологические достижения означают, что интерфейсы мозг-компьютер могут быть применимы для использования в повседневной жизни10,11. Для достижения этой цели первым требованием является неинвазивность, которая важна для предотвращения рисков хирургического вмешательства и повышения приемлемости пользователя. Тем не менее, стоит отметить, что выбор неинвазивной нейровизуализации влияет на качество измеряемых сигналов мозга, и дизайн BCI должен тогда иметь дело с соответствующими подводными камнями12. Кроме того, требуется износостойкость и портативность. Эти требования соответствуют потребности в удобной для пользователя системе, но также создают некоторые ограничения. В целом, упомянутые аппаратные ограничения устраняются за счет использования электроэнцефалографической (ЭЭГ) системы с безгелевыми электродами6. Такой BCI на основе ЭЭГ также будет недорогим. Между тем, с точки зрения программного обеспечения, было бы желательно минимальное обучение пользователей (или, в идеале, отсутствие обучения); А именно, было бы лучше избегать длительных периодов настройки алгоритма обработки, прежде чем пользователь сможет использовать систему. Этот аспект имеет решающее значение в BCI из-за межсубъектной и внутрисубъектной нестационарности13,14.
Предыдущая литература продемонстрировала, что обнаружение вызванных потенциалов мозга является надежным в отношении нестационарности и шума при приеме сигнала. Другими словами, BCI, основанные на обнаружении вызванного потенциала, называются реактивными и являются наиболее эффективными BCI с точки зрения распознавания мозговых паттернов15. Тем не менее, они требуют сенсорной стимуляции, что, вероятно, является главным недостатком таких интерфейсов. Таким образом, цель предлагаемого метода состоит в том, чтобы создать носимый и портативный BCI, основанный на носимых готовых приборах. Сенсорные стимулы здесь состоят из мерцающих огней, генерируемых умными очками, которые способны вызывать стационарные визуально вызванные потенциалы (SSVEP). В предыдущих работах уже рассматривалась интеграция BCI с виртуальной реальностью либо отдельно, либо в сочетании с дополненной реальностью16. Например, была предложена система BCI-AR для управления квадрокоптером с SSVEP17. Виртуальная реальность, дополненная реальность и другие парадигмы обозначаются термином расширенная реальность. В таком сценарии выбор умных очков соответствует требованиям к носимости и портативности, а умные очки могут быть интегрированы с минимальной настройкой сбора данных ЭЭГ. В этой статье показано, что BCI на основе SSVEP также требует минимального обучения при достижении приемлемых классификационных характеристик для приложений связи и управления с низкой и средней скоростью. Следовательно, этот метод применяется к BCI для повседневных применений и, по-видимому, особенно подходит для промышленности и здравоохранения.
Protocol
Representative Results
Discussion
Правильное функционирование системы включает в себя два важнейших аспекта: выявление SSVEP и сбор сигнала. Помимо конкретных устройств, выбранных для текущего исследования, SSVEP может быть вызван различными устройствами, обеспечивающими мерцающий свет, хотя умные очки предпочтительнее д…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Эта работа была выполнена в рамках проекта «ИКТ для здравоохранения», который был финансово поддержан Министерством образования, университетов и исследований Италии (MIUR) в рамках инициативы «Департаменты передового опыта» (Закон о бюджете Италии No 232/2016) за счет гранта за выдающиеся достижения, присужденного Департаменту информационных технологий и электротехники Неаполитанского университета им. Федерико II. Неаполь, Италия. Проект действительно стал возможен благодаря поддержке инициативы Res4Net и TC-06 (Новые технологии в измерениях) Общества контрольно-измерительных приборов и измерений IEEE. Авторы хотели бы также поблагодарить Л. Каллегаро, А. Чоффи, С. Крискуоло, А. Культреру, Г. Де Блази, Э. Де Бенедетто, Л. Дураччо, Э. Леоне и М. Ортолано за их ценный вклад в разработку, тестирование и проверку системы.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
Riferimenti
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
