Summary
В этой статье обсуждается, как построить интерфейс мозг-компьютер, опираясь на оборудование потребительского класса и стационарные визуально вызванные потенциалы. Для этого одноканальный электроэнцефалограф, использующий сухие электроды, был интегрирован с очками дополненной реальности для представления стимулов и визуализации выходных данных. Окончательная система была неинвазивной, носимой и портативной.
Abstract
Настоящая работа сосредоточена на том, как создать носимый интерфейс мозг-компьютер (BCI). BCI — это новое средство взаимодействия человека с компьютером, которое основано на прямых измерениях сигналов мозга, чтобы помочь как людям с ограниченными возможностями, так и трудоспособным. Примеры применения включают роботизированное управление, промышленный контроль и нейрореабилитацию. Примечательно, что недавние исследования показали, что стационарные визуально вызванные потенциалы (SSVEP) особенно подходят для приложений связи и управления, и в настоящее время предпринимаются усилия по внедрению технологии BCI в повседневную жизнь. Для достижения этой цели окончательная система должна опираться на носимые, портативные и недорогие приборы. При использовании SSVEP требуется мерцающий визуальный стимул с фиксированной частотой. Таким образом, при рассмотрении ограничений повседневной жизни в этом исследовании была изучена возможность предоставления визуальных стимулов с помощью умных очков. Кроме того, для обнаружения вызванных потенциалов рассматривалось коммерческое устройство для электроэнцефалографии (ЭЭГ). Он состоит из одного дифференциального канала с сухими электродами (без проводящего геля), что обеспечивает максимальную износостойкость и портативность. В таком BCI пользователь может взаимодействовать с умными очками, просто глядя на значки, появляющиеся на дисплее. На основе этого простого принципа был создан удобный и недорогой BCI путем интеграции очков расширенной реальности (XR) с коммерчески доступным устройством ЭЭГ. Функциональность этого носимого XR-BCI была изучена в ходе экспериментальной кампании с участием 20 испытуемых. Точность классификации составляла в среднем от 80% до 95% в зависимости от времени стимуляции. Учитывая эти результаты, система может быть использована в качестве человеко-машинного интерфейса для промышленного контроля, а также для реабилитации при СДВГ и аутизме.
Introduction
Интерфейс мозг-компьютер (BCI) представляет собой систему, позволяющую взаимодействовать с устройствами и/или управлять ими без естественных нейронных путей1. Технология BCI - это самое близкое, что есть у человечества к управлению объектами силой разума. С технической точки зрения работа системы работает путем измерения индуцированной или вызванной мозговой активности, которая может быть либо непроизвольно, либо произвольно сгенерирована субъектом2. Исторически сложилось так, что исследования были сосредоточены на оказании помощи людям с двигательными нарушениями с помощью BCI3, но сегодня все большее число компаний предлагают инструменты на основе BCI для игр4, робототехники5, индустрии6 и других приложений, связанных с взаимодействием человека и машины. Примечательно, что BCI могут сыграть роль в четвертой промышленной революции, а именно в индустрии 4.07, где киберфизические производственные системы меняют взаимодействие между людьми и окружающей средой8. Вообще говоря, европейский проект BNCI Horizon 2020 определил сценарии применения, такие как замена, восстановление, улучшение, усиление или дополнение утраченных естественных функций центральной нервной системы, а также использование BCI в исследовании мозга9.
В этих рамках последние технологические достижения означают, что интерфейсы мозг-компьютер могут быть применимы для использования в повседневной жизни10,11. Для достижения этой цели первым требованием является неинвазивность, которая важна для предотвращения рисков хирургического вмешательства и повышения приемлемости пользователя. Тем не менее, стоит отметить, что выбор неинвазивной нейровизуализации влияет на качество измеряемых сигналов мозга, и дизайн BCI должен тогда иметь дело с соответствующими подводными камнями12. Кроме того, требуется износостойкость и портативность. Эти требования соответствуют потребности в удобной для пользователя системе, но также создают некоторые ограничения. В целом, упомянутые аппаратные ограничения устраняются за счет использования электроэнцефалографической (ЭЭГ) системы с безгелевыми электродами6. Такой BCI на основе ЭЭГ также будет недорогим. Между тем, с точки зрения программного обеспечения, было бы желательно минимальное обучение пользователей (или, в идеале, отсутствие обучения); А именно, было бы лучше избегать длительных периодов настройки алгоритма обработки, прежде чем пользователь сможет использовать систему. Этот аспект имеет решающее значение в BCI из-за межсубъектной и внутрисубъектной нестационарности13,14.
Предыдущая литература продемонстрировала, что обнаружение вызванных потенциалов мозга является надежным в отношении нестационарности и шума при приеме сигнала. Другими словами, BCI, основанные на обнаружении вызванного потенциала, называются реактивными и являются наиболее эффективными BCI с точки зрения распознавания мозговых паттернов15. Тем не менее, они требуют сенсорной стимуляции, что, вероятно, является главным недостатком таких интерфейсов. Таким образом, цель предлагаемого метода состоит в том, чтобы создать носимый и портативный BCI, основанный на носимых готовых приборах. Сенсорные стимулы здесь состоят из мерцающих огней, генерируемых умными очками, которые способны вызывать стационарные визуально вызванные потенциалы (SSVEP). В предыдущих работах уже рассматривалась интеграция BCI с виртуальной реальностью либо отдельно, либо в сочетании с дополненной реальностью16. Например, была предложена система BCI-AR для управления квадрокоптером с SSVEP17. Виртуальная реальность, дополненная реальность и другие парадигмы обозначаются термином расширенная реальность. В таком сценарии выбор умных очков соответствует требованиям к носимости и портативности, а умные очки могут быть интегрированы с минимальной настройкой сбора данных ЭЭГ. В этой статье показано, что BCI на основе SSVEP также требует минимального обучения при достижении приемлемых классификационных характеристик для приложений связи и управления с низкой и средней скоростью. Следовательно, этот метод применяется к BCI для повседневных применений и, по-видимому, особенно подходит для промышленности и здравоохранения.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Исследование было одобрено Этическим комитетом психологических исследований факультета гуманитарных наук Неаполитанского университета им. Федерико II. Добровольцы подписывали информированное согласие перед участием в экспериментах.
1. Подготовка неинвазивного носимого мозга - компьютерного интерфейса
- Приобретите недорогой электроэнцефалограф потребительского класса с сухими электродами и настройте его для одноканального использования.
- Короткое замыкание или подключение любых неиспользуемых входных каналов на недорогом электроэнцефалографе к внутреннему опорному напряжению, как указано в техническом описании. При этом неиспользуемые каналы отключаются, и они не создают перекрестных помех.
- Отрегулируйте усиление электроэнцефалографа (обычно через компонент с переменным сопротивлением), чтобы иметь входной диапазон порядка 100 мкВ.
ПРИМЕЧАНИЕ: Сигналы ЭЭГ, подлежащие измерению, исчисляются десятками микровольт. Однако на сухие электроды сильно влияют артефакты движения, которые приводят к колебаниям порядка 100 мкВ из-за изменчивости импеданса электрод-обшивка. Увеличение диапазона входного напряжения помогает ограничить насыщение усилителя ЭЭГ, но не устраняет его полностью. С другой стороны, было бы неудобно еще больше увеличивать диапазон входного напряжения, потому что это повлияло бы на разрешение напряжения при измерении желаемых компонентов ЭЭГ. В конечном счете, эти два аспекта должны быть сбалансированы, принимая во внимание также битовое разрешение аналого-цифрового преобразователя внутри платы электроэнцефалографа. - Подготовьте три сухих электрода для подключения к плате электроэнцефалографа. Используйте пассивный электрод (без предварительного усиления) в качестве электрода сравнения. Остальные два измерительных электрода должны быть активными (т.е. включать предварительное усиление и, в конечном итоге, аналоговую фильтрацию).
ПРИМЕЧАНИЕ: Электроды, размещенные на волосистой области кожи головы, требуют штифтов для преодоления импеданса контакта электрода с кожей. Если возможно, паяйте серебряные штифты с плоскими головками (чтобы избежать слишком сильной боли для пользователя) или, в идеале, используйте проводящую (мягкую) резину с покрытием Ag/AgCl.
- Приобретите коммерческие умные очки с операционной системой Android и частотой обновления 60 Гц. В качестве альтернативы используйте более низкую частоту обновления. Более высокая частота обновления была бы желательна для стимулов, так как было бы меньше усталости глаз, но в настоящее время на рынке нет доступных решений.
- Загрузите исходный код приложения Android для связи или управления или разработайте его.
- Замените виртуальные кнопки в приложении мерцающими значками, изменив присущий им объект (обычно в Java или Kotlin). Рекомендуется использовать белые квадраты с размером экрана не менее 5%. Обычно, чем больше стимулирующий квадрат, тем выше будет компонент SSVEP для обнаружения, но оптимум может быть найден в зависимости от конкретного случая. Рекомендуемые частоты — 10 Гц и 12 Гц мерцания. Реализуйте мерцание на графическом процессоре (GPU), чтобы избежать перегрузки вычислительного блока (CPU) умных очков. Для этого используйте объекты из библиотеки OpenGL.
- Реализовать модуль Android-приложения для обработки входного потока ЭЭГ в режиме реального времени. Можно добавить службу Android USB, чтобы поток можно было принимать через USB. Обработка в реальном времени может просто применить скользящее окно к потоку ЭЭГ, рассматривая входящие пакеты. Рассчитайте спектральные плотности мощности, связанные с частотами 10 Гц и 12 Гц, с помощью функции быстрого преобразования Фурье. Таким образом, обученный классификатор может различать, что пользователь смотрит на мерцающий значок 10 Гц или мерцающий значок 12 Гц, классифицируя характеристики спектральной плотности мощности.
2. Калибровка интерфейса мозг - компьютер на основе SSVEP
ПРИМЕЧАНИЕ: Для этого исследования были отобраны здоровые добровольцы. Исключите испытуемых с заболеваниями головного мозга в анамнезе. Вовлеченные субъекты должны были иметь нормальное или скорректированное до нормального зрение. Их проинструктировали, чтобы они были расслаблены во время экспериментов и избегали ненужных движений, особенно головой.
- Позвольте пользователю носить умные очки с приложением для Android.
- Позвольте пользователю носить тугую повязку на голову для удержания электродов.
- Подключите недорогой электроэнцефалограф к ПК через USB-кабель, когда ПК отключен от основного источника питания.
- Сначала отсоедините все электроды от платы сбора электроэнцефалографа, чтобы начать с известного состояния.
- На этом этапе поток ЭЭГ обрабатывается в автономном режиме на ПК с помощью скрипта, совместимого с обработкой, реализованной в приложении Android. Запустите скрипт для получения сигналов ЭЭГ и их визуализации.
- Проверьте отображаемый сигнал, который обрабатывается в автономном режиме. Это должно соответствовать только шуму квантования усилителя ЭЭГ.
- Подсоедините электроды.
- Приложите пассивный электрод к левому уху с помощью специального зажима или используйте ушной зажим. Выходной сигнал должен оставаться неизменным на этом этапе, потому что измерительный дифференциальный канал по-прежнему является разомкнутой цепью.
- Подключите активный электрод к отрицательной клемме дифференциального входа измерительного канала ЭЭГ, и приложите к фронтальной области (стандартное расположение Fpz) с помощью оголовья. Через несколько секунд сигнал должен вернуться к нулю (шум квантования).
- Подключите другой активный электрод к положительной клемме дифференциального входа измерительного канала ЭЭГ и приложите к затылочной области (стандартное расположение в унциях) с помощью оголовья. Теперь отображается сигнал мозга, который соответствует зрительной активности, измеренной по отношению к лобной области мозга (никакой визуальной активности там не предвидится).
- Получение сигналов для калибровки системы.
- Многократно стимулируйте пользователя мерцающими значками 10 Гц и 12 Гц (и, в конечном итоге, другими), запустив мерцающий значок в приложении Android, а также получите и сохраните собственные сигналы ЭЭГ для обработки в автономном режиме. Убедитесь, что каждая стимуляция на этом этапе состоит из одного значка, мерцающего в течение 10 секунд, и запустите мерцающий значок, нажав на сенсорную панель умных очков, а также запустив сценарий сбора и визуализации ЭЭГ.
- Из 10-секундных сигналов, связанных с каждой стимуляцией, извлеките две особенности с помощью быстрого преобразования Фурье: спектральную плотность мощности при 10 Гц и при 12 Гц. В качестве альтернативы рассмотрим вторые гармоники (20 Гц и 24 Гц).
- Используйте представление полученных сигналов в области признаков для обучения классификатора машины опорных векторов. Используйте инструмент (в Matlab или Python) для идентификации параметров гиперплоскости с возможным ядром на основе входных признаков. Обученная модель будет способна классифицировать будущие наблюдения сигналов ЭЭГ.
3. Соберите окончательный носимый и портативный интерфейс на основе SSVEP
- Отсоедините USB-кабель от ПК и подключите его непосредственно к умным очкам.
- Вставьте параметры обученного классификатора в приложение для Android. Теперь система готова.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Возможная реализация системы, описанной выше, показана на рисунке 1; Эта реализация позволяет пользователю ориентироваться в дополненной реальности через активность мозга. Мерцающие значки на дисплее умных очков соответствуют действиям для приложения (рис. 1A), и, таким образом, эти очки представляют собой замену традиционному интерфейсу, основанному на нажатиях кнопок или тачпаде. Эффективность такого взаимодействия тесно связана с успешной классификацией потенциалов, вызванных мерцанием. Для достижения этой цели сначала была проведена метрологическая характеристика системы18, а затем пользователи были привлечены к экспериментальной валидации.
Рисунок 1: Возможная реализация предлагаемого интерфейса мозг-компьютер. (A) представление того, что пользователь видит через умные очки, а именно реальный сценарий и визуальные стимулы; (B) пользователь, носящий систему громкой связи. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Электроэнцефалограф был охарактеризован в отношении линейности и погрешности величины. Линейность оценивали при частоте 20 Гц с помощью измерений, проведенных с синусоидальным входным сигналом к устройству, протестированному при семи различных амплитудах (10 мкВ, 20 мкВ, 30 мкВ, 40 мкВ, 60 мкВ, 80 мкВ и 100 мкВ). Отображая напряжение электроэнцефалографа в зависимости от входного напряжения, на рисунке 2А показано четкое линейное поведение электроэнцефалографа. Линейность также была подтверждена тестом Фишера на правильность линейного соответствия. Однако на рисунке также указана некоторая погрешность усиления и смещения. Эти погрешности были проверены путем фиксации амплитуды на уровне 100 мкВ и изменения частоты. Результаты представлены на рисунке 2B и подтверждают погрешность величины по отношению к номинальному коэффициенту усиления.
Рисунок 2: Результаты характеристики недорогого электроэнцефалографа. а) линейные погрешности; (B) погрешности величины. Количество проб для каждой точки измерения составило 4 096. Более подробное обсуждение можно найти в Arpaia et al.18. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Наконец, мерцание умных очков было измерено, чтобы выделить возможные отклонения от номинальной траектории прямоугольной волны. Такие отклонения были особенно заметны в амплитудном спектре мерцания 12 Гц (рис. 3В). Тем не менее, все эти ошибки могут быть учтены или в конечном итоге компенсированы, тем самым продемонстрировав целесообразность использования материала потребительского класса для системы SSVEP-BCI.
Рисунок 3: Результаты характеристики коммерческих смарт-очков с точки зрения амплитудного спектра мерцающих кнопок. а) мерцание с частотой 10 Гц; (B) мерцание с частотой 12 Гц. Более подробное обсуждение можно найти в Arpaia et al.18. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Что касается экспериментальной проверки, в кампании приняли участие 20 испытуемых (7 женщин). Каждый испытуемый прошел 24 испытания с двумя одновременными мерцающими значками на дисплее умных очков. Испытуемый должен был смотреть на один из двух случайно упорядоченных значков, каждый из которых имел разную частоту (мерцание 10 Гц или мерцание 12 Гц). Случайность того, на какую частоту испытуемые смотрели сначала, была гарантирована тем, что они могли решить, на какой значок смотреть без каких-либо заранее определенных критериев. После того, как 12 испытаний были завершены с определенной частотой, испытуемого попросили сосредоточиться на значке с другой частотой для оставшихся испытаний. В эксплуатируемом приложении значок мерцания 12 Гц отображался в верхнем левом углу, а значок мерцания 10 Гц — в правом нижнем углу. Одно испытание длилось 10,0 с, и между последовательными испытаниями проходило несколько секунд (случайной продолжительности). Меньшие временные окна могут быть проанализированы в автономном режиме, обрезав записанные сигналы.
Рисунок 4: Представление сигналов, измеренных во время визуальной стимуляции в области признаков. Сигналы, связанные с мерцающими стимулами 12 Гц (класс 12 Гц), представлены синим цветом, а сигналы, связанные с мерцающими стимулами 10 Гц (класс 10 Гц), представлены красным цветом. Здесь рассматриваются особенности из всех сюжетов. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
На рисунке 4 показаны 10-секундные сигналы, представленные двумя характеристиками спектральной плотности мощности, а именно с частотами 12 Гц и 10 Гц. Одна точка в двух измерениях соответствовала одному испытанию. Точки, соответствующие двум разным частотам мерцания, различались по цвету. Таким образом, эти два класса были разделены, хотя между этими двумя классами существовало совпадение, что могло привести к неправильной классификации. Результаты классификации были получены с четырехкратной перекрестной проверкой, так что данные были разделены четыре раза на 18 испытаний для обучения и 6 испытаний для валидации. Данные подтвердили, что в 10-секундном случае стимуляции (таблица 1) 8 испытуемых из 20 достигли 100% точности, но для других испытуемых точность классификации составляла всего 65-70%. Между тем, один испытуемый достиг 100% при 2-секундной стимуляции (полученной путем разрезания сигналов в постобработке), а соответствующее количество испытуемых достигло случайной (50%) точности классификации. Данные от всех испытуемых были рассмотрены в целом, и получена точность классификации. Производительность также оценивалась с точки зрения скорости передачи информации (ITR), которая в среднем превышала 30 бит/мин. Эти результаты были улучшены за счет рассмотрения спектральных плотностей мощности при 20 Гц и 24 Гц. Таблица 2 показывает, что они увеличились или остались постоянными, и, по крайней мере, в случае стимуляции 10 с стандартное отклонение уменьшилось, что указывает на меньшую дисперсию в показателях классификации для разных субъектов. Наконец, точность классификации была пересчитана для всех испытуемых в этом случае с четырьмя признаками, и снова было обнаружено, что они были близки к средним точностям.
| Тема | 10 с Точность стимуляции, % | 2 с Точность стимуляции, % |
| Все | 94.2 | 77.5 |
| С1 | 100 | 100 |
| С2 | 100 | 98.8 |
| С3 | 100 | 92 |
| С4 | 100 | 92 |
| С5 | 100 | 88 |
| С6 | 100 | 87 |
| С7 | 100 | 87 |
| С8 | 100 | 64 |
| С9 | 97.9 | 57 |
| С10 | 96.7 | 88.8 |
| С11 | 96 | 64 |
| С12 | 95.8 | 78 |
| С13 | 95.4 | 83 |
| С14 | 95.4 | 53 |
| С15 | 94 | 80 |
| С16 | 92.9 | 61 |
| С17 | 91 | 78 |
| С18 | 89.6 | 61 |
| С19 | 81 | 52 |
| С20 | 71 | 49 |
| ЗНАЧИТЬ | 94.9 | 76 |
| ЗППП | 7.4 | 16 |
Таблица 1: Точность перекрестной проверки при классификации сигналов ЭЭГ, связанных с SSVEP. Для каждого субъекта результаты, связанные с стимуляцией 10 с, сравниваются с результатами, связанными со стимуляцией 2 с. Сообщается средняя точность среди всех испытуемых, а также точность, полученная при рассмотрении всех предметов вместе ( строка все).
| 10 с Стимуляция (средняя точность ± стандарта) % | 10 с Стимуляция (средняя точность ± стандарта) % | |
| 2D-кейс | 94,9 ± 7,4 | 76 ±16 |
| 4D-чехол | 97,2 ± 4,3 | 76 ±15 |
Таблица 2: Сравнение эффективности классификации при рассмотрении двух признаков PSD (случай 2D) с четырьмя признаками PSD (случай 4D) для данных ЭЭГ, связанных с SSVEP. Стимуляция 10 с сравнивается с стимуляцией 2 с, сообщая о средних точностях перекрестной проверки и связанных с ними стандартных отклонениях.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Правильное функционирование системы включает в себя два важнейших аспекта: выявление SSVEP и сбор сигнала. Помимо конкретных устройств, выбранных для текущего исследования, SSVEP может быть вызван различными устройствами, обеспечивающими мерцающий свет, хотя умные очки предпочтительнее для обеспечения удобства ношения и портативности. Аналогичным образом, можно было бы рассмотреть и другие коммерческие электроэнцефалографы, но они должны быть носимыми, портативными и включать минимальное количество сухих электродов, чтобы быть удобными для пользователя. Кроме того, система может быть настроена для использования устройств, которые легко программировать. Кроме того, стратегия обработки определяет конечную производительность; Несмотря на то, что стратегия обработки данных не представляется решающей в описанной конструкции системы, ее совершенствование, безусловно, будет способствовать созданию более быстрой и точной системы для приложений связи и управления10,11,19.
Можно выделить некоторые недостатки системы. Действительно, для выявления SSVEP мерцающие стимулы должны иметь большие размеры и стабильную частоту мерцания. Первый подразумевает, что кнопки приложения для Android могут быть громоздкими и накладывать ограничения на сценарий расширенной реальности. Для последнего требуются умные очки с метрологическими характеристиками, которые обычно отсутствуют в коммерческих устройствах. Кроме того, даже после выполнения таких условий наличие ССВЭП зависит от субъекта. Примечательно, что существует внутрисубъектная и межсубъектная вариабельность амплитуд SSVEP, которая зависит от нескольких неконтролируемых факторов, таких как усталость пользователя или внимание/вовлеченность13. Эта проблема усугубляет необходимость поиска оптимальных стимулов для правильного выявления SSVEP20.
С другой стороны, получение сигнала имеет решающее значение для конечной производительности, поскольку при измерении активности мозга должно быть достигнуто подходящее соотношение сигнал/шум. Чтобы достичь максимальной износостойкости, портативности, комфорта пользователя и низкой стоимости, активность мозга измерялась с помощью одноканальной неинвазивной ЭЭГ и сухих электродов. Конечно, сухие электроды в основном соответствуют повседневным требованиям, но отказ от использования проводящих гелей ограничивает контакт электрода с кожей. Следовательно, механическая стабильность электродов должна быть обеспечена путем их правильного размещения и стабилизации при непрерывном использовании. На самом деле, однако, недостатком предлагаемой системы сбора данных является то, что качество сигнала ухудшается по сравнению с более инвазивными методами нейровизуализации.
Несмотря на ожидаемое низкое соотношение сигнал/шум, валидация предлагаемой системы показала, что высокая производительность для приложений связи и управления возможна. В частности, метрологическая характеристика оборудования потребительского класса показала, что используемые устройства подходят для интересующих приложений BCI, а также предположила, что аналогичные устройства должны быть пригодны и для них. Благодаря экспериментальной проверке наблюдались погрешности классификации в зависимости от субъекта, но в целом можно было сделать положительные выводы.
Точность классификации может быть повышена за счет увеличения времени стимуляции. В таком случае реакция системы будет медленнее, но альтернативные возможности связи и управления все еще могут быть предоставлены. Во-вторых, система без обучения (или, в лучшем случае, система с минимальной подготовкой) может быть получена с использованием предварительных данных от других субъектов. Чтобы понять вклад предлагаемого метода в эту область, результаты можно сравнить с литературой по неинвазивному SSVEP-BCI. В более традиционных ИМК точность достигает около 94% даже при стимуляции2 с 21, но такие системы требуют обширной подготовки и могут быть непригодными для ношения и портативными. Однако производительность падает при попытке повысить удобство использования (например, при использовании сухих электродов22 и еще больше при попытке использовать один электрод23). В этих случаях точность классификации снижается примерно до 83%.
Таким образом, система, описанная в этой работе, приближает технологию BCI к повседневным приложениям, повышая удобство использования при сохранении высокой производительности, хотя использование этой системы в клинических условиях может быть нецелесообразным. Некоторые участники отметили, что сухие электроды в затылочной области были более тревожными, чем их традиционные аналоги, но в целом они оценили износостойкость и портативность системы. Возможны многие модернизации, и некоторые из них уже разрабатываются. Например, количество стимулов (и, следовательно, количество команд) может быть увеличено до четырех. Тогда сами стимулы могут быть рассчитаны на то, чтобы меньше напрягать глаза. Наконец, эффективность классификации может быть улучшена за счет более совершенной стратегии обработки для достижения более точной и/или быстрой системы.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Авторам раскрывать нечего.
Acknowledgments
Эта работа была выполнена в рамках проекта «ИКТ для здравоохранения», который был финансово поддержан Министерством образования, университетов и исследований Италии (MIUR) в рамках инициативы «Департаменты передового опыта» (Закон о бюджете Италии No 232/2016) за счет гранта за выдающиеся достижения, присужденного Департаменту информационных технологий и электротехники Неаполитанского университета им. Федерико II. Неаполь, Италия. Проект действительно стал возможен благодаря поддержке инициативы Res4Net и TC-06 (Новые технологии в измерениях) Общества контрольно-измерительных приборов и измерений IEEE. Авторы хотели бы также поблагодарить Л. Каллегаро, А. Чоффи, С. Крискуоло, А. Культреру, Г. Де Блази, Э. Де Бенедетто, Л. Дураччо, Э. Леоне и М. Ортолано за их ценный вклад в разработку, тестирование и проверку системы.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
