Оценка производительности средства проверки орфографии интерфейса мозг-компьютер на основе P300 с оценкой задержки на основе классификатора
Summary
В этой статье представлен метод оценки точности интерфейса мозг-компьютер (BCI) средства проверки орфографии P300 в тот же день с использованием небольшого тестового набора данных.
Abstract
Оценка производительности является необходимым этапом в разработке и валидации систем интерфейса мозг-компьютер (BCI). К сожалению, даже современные системы BCI работают медленно, что делает сбор достаточного количества данных для проверки трудоемкой задачей как для конечных пользователей, так и для экспериментаторов. Тем не менее, без достаточных данных случайные колебания производительности могут привести к ложным выводам о том, насколько хорошо BCI работает для конкретного пользователя. Например, средства проверки орфографии P300 обычно обрабатывают от 1 до 5 символов в минуту. Для оценки точности с разрешением 5% требуется 20 символов (4-20 мин). Несмотря на эти временные затраты, доверительные границы точности от 20 символов могут достигать ±23% в зависимости от наблюдаемой точности. Было показано, что ранее опубликованный метод, Classifier-Based Latency Estimation (CBLE), сильно коррелирует с точностью BCI. В этой работе представлен протокол использования CBLE для прогнозирования точности орфографии P300 пользователя по относительно небольшому количеству символов (~3-8) вводимых данных. Результирующие доверительные границы более жесткие, чем те, которые получены традиционными методами. Таким образом, метод может быть использован для более быстрой и/или более точной оценки производительности BCI.
Introduction
Интерфейсы мозг-компьютер (ИМК) — это неинвазивная технология, которая позволяет людям общаться через машины напрямую, не обращая внимания на физические ограничения, налагаемые организмом. ИМК может использоваться в качестве вспомогательного устройства, управляемого непосредственно мозгом. BCI использует мозговую активность пользователя, чтобы определить, намерен ли пользователь выбрать определенную клавишу (букву, цифру или символ), отображаемую на экране1. В типичной компьютерной системе пользователь физически нажимает нужную клавишу на клавиатуре. Однако в системе BCI с визуальным дисплеем пользователю необходимо сосредоточиться на нужной клавише. Затем BCI выберет нужный ключ, проанализировав измеренные сигналы мозга1. Активность мозга можно измерить с помощью различных методик. Несмотря на то, что существуют конкурирующие технологии ИМК, электроэнцефалограмма (ЭЭГ) считается ведущим методом из-за ее неинвазивного характера, высокого временного разрешения, надежности и относительно низкой стоимости2.
Области применения BCI включают в себя связь, управление устройствами, а также развлечения 3,4,5,6. Одной из наиболее активных областей применения BCI является средство проверки орфографии P300, которое было представлено Farwell и Donchin7. P300 представляет собой потенциал, связанный с событием (ERP), возникающий в ответ на распознавание редкого, но актуального стимула8. Когда человек распознает свой целевой стимул, он автоматически вырабатывает P300. P300 является эффективным сигналом для ИМК, поскольку он передает участнику распознавание целевого события, не требуя внешней реакции9.
P300 BCI привлек исследователей из области компьютерных наук, электротехники, психологии, человеческого фактора и различных других дисциплин. Достигнуты успехи в обработке сигналов, алгоритмах классификации, пользовательских интерфейсах, схемах стимуляции и многих других областях 10,11,12,13,14,15. Однако, независимо от области исследования, общей нитью во всех этих исследованиях является необходимость измерения производительности системы BCI. Для выполнения этой задачи обычно требуется создание тестового набора данных. Эта необходимость не ограничивается исследованиями; Возможное клиническое применение в качестве вспомогательной технологии, скорее всего, потребует индивидуальных наборов валидации для каждого конечного пользователя, чтобы гарантировать, что система может генерировать надежную связь.
Несмотря на значительные исследования, проведенные в отношении P300 BCI, системы все еще довольно медленные. В то время как большинство людей могут использовать P300 BCI16, большинство средств проверки орфографии P300 создают текст порядка 1-5 символов в минуту. К сожалению, такая низкая скорость означает, что создание тестовых наборов данных требует значительного времени и усилий для участников, экспериментаторов и конечных пользователей. Измерение точности системы BCI является биномиальной задачей оценки параметров, и для хорошей оценки необходимо много символов данных.
Для оценки наличия или отсутствия P300 ERP большинство классификаторов используют модель бинарной классификации, которая включает в себя присвоение двоичной метки (например, «присутствие» или «отсутствие») каждому испытанию или эпохе данных ЭЭГ. Общее уравнение, используемое большинством классификаторов, можно выразить следующим образом:
где 
называется баллом классификатора, который представляет собой вероятность наличия ответа P300, x — вектор признаков, извлеченный из сигнала ЭЭГ, а b — член смещения17. Функция f представляет собой функцию принятия решений, которая сопоставляет входные данные с выходной меткой и извлекается из набора помеченных обучающих данных с помощью алгоритма обученияс учителем 17. Во время обучения классификатор обучается на размеченном наборе данных сигналов ЭЭГ, где каждый сигнал помечен как имеющий отклик P300 или нет. Весовой вектор и член смещения оптимизированы таким образом, чтобы свести к минимуму погрешность между прогнозируемым выходом классификатора и истинной меткой сигнала ЭЭГ. После того, как классификатор обучен, его можно использовать для прогнозирования присутствия отклика P300 в новых сигналах ЭЭГ.
Различные классификаторы могут использовать различные функции принятия решений, такие как линейный дискриминантный анализ (LDA), пошаговый линейный дискриминантный анализ (SWLDA), метод наименьших квадратов (LS), логистическая регрессия, метод опорных векторов (SVM) или нейронные сети (NN). Классификатор наименьших квадратов — это линейный классификатор, который минимизирует сумму квадратов ошибок между прогнозируемыми метками классов и истинными метками классов. Этот классификатор предсказывает метку класса нового тестового образца с помощью следующего уравнения:
(1)
где функция знака возвращает +1, если произведение положительное, и -1, если отрицательное, а вектор весов 
получается из набора признаков обучающих данных (x) и меток классов (y) с помощью следующего уравнения:
(2)
В более ранних исследованиях мы утверждали, что оценка задержки на основе классификатора (CBLE) может быть использована для оценки точности BCI 17,18,19. CBLE — это стратегия оценки вариации задержки с использованием временной чувствительности классификатора18. В то время как традиционный подход к классификации P300 предполагает использование одного временного окна, которое синхронизируется с каждым предъявлением стимула, метод CBLE предполагает создание нескольких сдвинутых во времени копий эпох после стимула. Затем он обнаруживает сдвиг во времени, который приводит к максимальному баллу, чтобы оценить задержку ответа P30017,18. В данной работе представлен протокол, который оценивает производительность BCI на основе небольшого набора данных с помощью CBLE. В качестве репрезентативного анализа количество символов варьируется, чтобы сделать прогноз общей производительности человека. Для обоих наборов данных были вычислены среднеквадратичная ошибка (RMSE) для vCBLE и фактическая точность BCI. Результаты показывают, что RMSE из прогнозов vCBLE с использованием подогнанных данных была неизменно ниже, чем точность, полученная из 1-7 тестируемых символов.
Для реализации предложенной методологии мы разработали графический пользовательский интерфейс (GUI) под названием «CBLE Performance Estimation». Также приведен пример кода (Supplementary Coding File 1), который работает на платформе MATLAB. В примере кода выполняются все шаги, применяемые в графическом интерфейсе, но эти шаги приведены для того, чтобы помочь читателю адаптироваться к новому набору данных. В этом коде для оценки предлагаемого метода20 используется общедоступный набор данных «Brain Invaders caliation-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)». Участники играли до трех игровых сессий Brain Invaders, каждая сессия состояла из 9 уровней игры. Сбор данных продолжался до тех пор, пока не были пройдены все уровни или участник не потерял контроль над системой BCI. Интерфейс Brain Invaders включал в себя 36 символов, которые мигали в 12 группах по шесть инопланетян. Согласно парадигме Brain Invaders P300, повторение создавалось 12 вспышками, по одной для каждой группы. Из этих 12 вспышек две вспышки содержали символ цели (известные как вспышки цели), в то время как остальные 10 вспышек не содержали символа цели (известные как вспышки, не относящиеся к цели). Более подробную информацию об этой парадигме можно найти в оригинальной ссылке20.
Подход CBLE также был реализован на наборе данных из Мичигана, который содержал данные 40 участников 18,19. Здесь данные восьми участников пришлось отбросить, потому что их задания были неполными. Все исследование потребовало трех визитов от каждого участника. В первый день каждый участник набрал 19-символьное тренировочное предложение, а затем три 23-символьных тестовых предложения в 1-й, 2-й и 3-й дни. В этом примере клавиатура содержала 36 символов, которые были сгруппированы в шесть строк и шесть столбцов. Каждая строка или столбец прошивались в течение 31,25 миллисекунд с интервалом в 125 миллисекунд между миганиями. Между персонажами была предусмотрена пауза в 3,5 с.
На рисунке 1 представлена структурная схема предлагаемого метода. Подробная процедура описана в разделе протокола.
Protocol
Representative Results
Discussion
В этой статье описан метод оценки точности BCI с использованием небольшого набора данных P300. В данном случае текущий протокол был разработан на основе набора данных «bi2014a», хотя эффективность протокола была подтверждена на двух разных наборах данных. Для успешной реализации этого метод?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Данные, использованные для получения репрезентативных результатов, были собраны в ходе работы, поддержанной Национальным институтом детского здоровья и развития человека (NICHD), Национальными институтами здравоохранения (NIH) в рамках гранта R21HD054697 и Национальным институтом исследований в области инвалидности и реабилитации (NIDRR) при Министерстве образования в рамках гранта H133G090005 и гранта No H133P090008. Остальная часть работы была частично профинансирована Национальным научным фондом (NSF) в рамках гранта #1910526. Выводы и мнения, содержащиеся в этой работе, не обязательно отражают позицию NICHD, NIH, NIDRR или NSF.
References
- Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
- Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
- Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
- Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
- Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
- Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
- Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
- McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
- Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
- Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
- Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
- Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
- Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
- Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
- Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
- Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
- Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
- Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
