분류기 기반 대기 시간 추정을 사용한 P300 기반 뇌-컴퓨터 인터페이스 맞춤법 검사기 성능 추정
Summary
이 문서에서는 작은 테스트 데이터 세트를 사용하여 당일 P300 맞춤법 검사기 BCI(뇌-컴퓨터 인터페이스) 정확도를 예측하는 방법을 제공합니다.
Abstract
성능 추정은 BCI(Brain-Computer Interface) 시스템의 개발 및 검증에 필요한 단계입니다. 안타깝게도 최신 BCI 시스템조차도 속도가 느리기 때문에 검증을 위한 충분한 데이터를 수집하는 것은 최종 사용자와 실험자 모두에게 시간이 많이 걸리는 작업입니다. 그러나 충분한 데이터가 없으면 성능의 무작위 변동으로 인해 BCI가 특정 사용자에 대해 얼마나 잘 작동하는지에 대한 잘못된 추론이 발생할 수 있습니다. 예를 들어 P300 맞춤법 검사기는 일반적으로 분당 약 1-5자를 작동합니다. 5% 해상도로 정확도를 추정하려면 20자(4-20분)가 필요합니다. 이러한 시간 투자에도 불구하고 20자의 정확도에 대한 신뢰 한계는 관찰된 정확도에 따라 최대 ±23%가 될 수 있습니다. 이전에 발표된 방법인 CBLE(Classifier-Based Latency Estimation)는 BCI 정확도와 높은 상관 관계가 있는 것으로 나타났습니다. 이 작업은 CBLE를 사용하여 입력 데이터의 비교적 적은 문자(~3-8)에서 사용자의 P300 맞춤법 검사 정확도를 예측하기 위한 프로토콜을 제공합니다. 결과로 생성되는 신뢰한계는 기존 방법으로 생성된 신뢰한계보다 더 엄격합니다. 따라서, 이 방법은 BCI 성능을 보다 빠르고 및/또는 더 정확하게 추정하는데 사용될 수 있다.
Introduction
뇌-컴퓨터 인터페이스(BCI)는 개인이 신체에 의해 부과되는 물리적 제한에 관계없이 기계를 통해 직접 통신할 수 있도록 하는 비침습적 기술입니다. BCI는 뇌가 직접 조작하는 보조 장치로 활용될 수 있습니다. BCI는 사용자의 두뇌 활동을 사용하여 사용자가 화면1에 표시된 특정 키(문자, 숫자 또는 기호)를 선택할 것인지 여부를 결정합니다. 일반적인 컴퓨터 시스템에서는 사용자가 키보드에서 의도한 키를 물리적으로 누릅니다. 그러나 시각적 디스플레이가 있는 BCI 시스템에서 사용자는 원하는 키에 집중해야 합니다. 그런 다음 BCI는 측정된 뇌 신호1을 분석하여 원하는 키를 선택합니다. 뇌의 활동은 다양한 기술을 사용하여 측정할 수 있습니다. 경쟁하는 BCI 기술이 있지만 뇌전도(EEG)는 비침습적 특성, 높은 시간 분해능, 신뢰성 및 상대적으로 저렴한 비용으로 인해 선도적인 기술로 간주됩니다2.
BCI의 응용 분야에는 통신, 장치 제어 및 엔터테인먼트 3,4,5,6이 포함됩니다. 가장 활발한 BCI 응용 분야 중 하나는 Farwell과 Donchin 300에서 도입한P7 맞춤법 검사기입니다. P300은 드물지만 유의미한 자극8의 인식에 대한 반응으로 생성되는 사건 관련 전위(ERP)이다. 사람이 목표 자극을 인식하면 자동으로 P300을 생성합니다. P300은 외부 반응9 없이 목표 이벤트에 대한 참가자의 인식을 전달하기 때문에 BCI에 효과적인 신호이다.
P300 BCI는 컴퓨터 과학, 전기 공학, 심리학, 인적 요인 및 기타 다양한 분야의 연구원을 끌어들였습니다. 신호 처리, 분류 알고리즘, 사용자 인터페이스, 자극 체계 및 기타 여러 분야에서 발전이 이루어졌습니다 10,11,12,13,14,15. 그러나 연구 분야에 관계없이 이 모든 연구의 공통점은 BCI 시스템 성능 측정의 필요성입니다. 이 작업에는 일반적으로 테스트 데이터 세트를 생성해야 합니다. 이러한 필요성은 연구에만 국한되지 않습니다. 보조 기술로서의 최종 임상 적용은 시스템이 신뢰할 수 있는 통신을 생성할 수 있도록 각 최종 사용자에 대한 개별 검증 세트가 필요할 수 있습니다.
P300 BCI에 대한 상당한 연구가 적용되었음에도 불구하고 시스템은 여전히 매우 느립니다. 대부분의 사람들은 P300 BCI16을 사용할 수 있지만 대부분의 P300 맞춤법 검사기는 분당 1-5자 정도의 텍스트를 생성합니다. 안타깝게도 이러한 느린 속도는 테스트 데이터 세트를 생성하는 데 참가자, 실험자 및 최종 사용자에게 상당한 시간과 노력이 필요하다는 것을 의미합니다. BCI 시스템 정확도 측정은 이항 파라미터 추정 문제이며 좋은 추정을 위해서는 많은 데이터 문자가 필요합니다.
P300 ERP의 존재 유무를 추정하기 위해 대부분의 분류기는 EEG 데이터의 각 시도 또는 에포크에 이진 레이블(예: “존재” 또는 “부재”)을 할당하는 이진 분류 모델을 사용합니다. 대부분의 분류기에서 사용되는 일반 방정식은 다음과 같이 표현할 수 있습니다.
여기서 
는 P300 응답이 존재할 확률을 나타내는 분류기의 점수라고 하고, x는 EEG 신호에서 추출된 특징 벡터이고, b는 편향 항17입니다. 함수 f는 입력 데이터를 출력 레이블에 매핑하는 결정 함수이며, 지도 학습 알고리즘(17)을 사용하여 레이블링된 학습 데이터 세트로부터 학습됩니다. 훈련 중에 분류기는 EEG 신호의 레이블이 지정된 데이터 세트에서 훈련되며, 여기서 각 신호는 P300 응답이 있는지 여부에 따라 레이블이 지정됩니다. 가중 벡터와 편향 항은 분류기의 예측된 출력과 EEG 신호의 실제 레이블 사이의 오차를 최소화하도록 최적화되어 있습니다. 분류기가 훈련되면 새로운 EEG 신호에서 P300 응답의 존재를 예측하는 데 사용할 수 있습니다.
분류자마다 선형 판별 분석(LDA), 단계적 선형 판별 분석(SWLDA), 최소제곱(LS), 로지스틱 회귀, 서포트 벡터 머신(SVM) 또는 신경망(NN)과 같은 서로 다른 결정 함수를 사용할 수 있습니다. 최소 제곱 분류기는 예측된 클래스 레이블과 실제 클래스 레이블 간의 제곱 오차의 합을 최소화하는 선형 분류기입니다. 이 분류자는 다음 방정식을 사용하여 새 테스트 샘플의 클래스 레이블을 예측합니다.
(1)
여기서 부호 함수는 곱이 양수이면 +1, 음수이면 -1을 반환하고, 가중 벡터 
는 아래 방정식을 사용하여 훈련 데이터의 특징 세트, (x) 및 클래스 레이블(y)에서 얻습니다.
(2)
이전 연구에서 우리는 CBLE(Classifier-Based Latency Estimation)를 사용하여 BCI 정확도 17,18,19를 추정할 수 있다고 주장했습니다. CBLE는 분류기의 시간적 민감도(18)를 이용하여 레이턴시 변동을 평가하기 위한 전략이다. P300 분류에 대한 기존 접근 방식은 각 자극 제시와 동기화되는 단일 시간 창을 사용하는 반면, CBLE 방법은 자극 후 에포크의 여러 시간 이동 복사본을 생성하는 것을 포함합니다. 그런 다음 P300 응답17,18의 대기 시간을 추정하기 위해 최대 점수를 초래하는 시간 이동을 감지합니다. 여기에서 이 작업은 CBLE를 사용하여 작은 데이터 세트에서 BCI 성능을 추정하는 프로토콜을 제시합니다. 대표적인 분석으로, 개인의 전반적인 성과를 예측하기 위해 문자 수를 다양화합니다. 두 예제 데이터 세트 모두에서 vCBLE에 대한 RMSE(제곱 평균 제곱근 오차)와 실제 BCI 정확도가 계산되었습니다. 결과는 피팅된 데이터를 사용한 vCBLE 예측의 RMSE가 1개에서 7개의 테스트된 문자에서 파생된 정확도보다 일관되게 낮다는 것을 나타냅니다.
우리는 제안된 방법론의 구현을 위해 “CBLE 성능 추정”이라는 그래픽 사용자 인터페이스(GUI)를 개발했습니다. MATLAB 플랫폼에서 동작하는 예제 코드(보충 코딩 파일 1)도 제공됩니다. 예제 코드는 GUI에 적용된 모든 단계를 수행하지만 독자가 새 데이터 세트에 적응하는 데 도움이 되는 단계가 제공됩니다. 이 코드는 제안된 방법(20)을 평가하기 위해 공개적으로 이용 가능한 데이터 세트 “Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)”를 사용합니다. 참가자들은 Brain Invaders의 게임 세션을 최대 3개까지 플레이했으며, 각 세션에는 9개의 게임 레벨이 있습니다. 데이터 수집은 모든 레벨이 완료되거나 참가자가 BCI 시스템에 대한 모든 통제권을 잃을 때까지 계속되었습니다. 브레인 인베이더(Brain Invaders) 인터페이스에는 6명의 외계인으로 구성된 12개 그룹에서 번쩍이는 36개의 기호가 포함되어 있습니다. 브레인 인베이더 P300 패러다임에 따르면, 각 그룹마다 하나씩 12번의 섬광으로 반복이 생성되었습니다. 이 12번의 플래시 중 2번의 플래시에는 타겟 기호(타겟 플래시라고 함)가 포함되었고, 나머지 10번의 플래시에는 타겟 기호가 포함되지 않았습니다(비타겟 플래시라고 함). 이 패러다임에 대한 자세한 내용은 원본 참조문헌 20에서 찾을 수 있습니다.
CBLE 접근 방식은 40명의 참가자18,19의 데이터가 포함된 미시간 데이터 세트에서도 구현되었습니다. 여기서 8명의 참가자 데이터는 작업이 완료되지 않았기 때문에 폐기해야 했습니다. 전체 연구는 각 참가자의 세 번의 방문이 필요했습니다. 첫째 날, 각 참가자는 19자 훈련 문장을 입력한 후 1일차, 2일차, 3일차에 23자 시험 문장 3개를 입력했습니다. 이 예제에서 키보드에는 6개의 행과 6개의 열로 그룹화된 36개의 문자가 포함되어 있습니다. 각 행 또는 열은 31.25밀리초 동안 깜박였으며 깜박임 간격은 125밀리초였습니다. 캐릭터 사이에는 3.5초의 일시 중지가 제공되었습니다.
그림 1 은 제안된 방법의 블록 다이어그램을 보여줍니다. 자세한 절차는 프로토콜 섹션에 설명되어 있습니다.
Protocol
Representative Results
Discussion
이 기사에서는 작은 P300 데이터 세트를 사용하여 BCI 정확도를 추정하는 방법을 간략하게 설명했습니다. 여기서 현재 프로토콜은 “bi2014a” 데이터 세트를 기반으로 개발되었지만, 프로토콜의 효능은 두 개의 다른 데이터 세트에서 확인되었습니다. 이 기술을 성공적으로 구현하려면 원본 데이터의 epoch 창, 시간 이동 창, 다운 샘플링 비율, 학습 및 테스트 데이터 세트의 크기와 같은 특정 변수를 설정…
Disclosures
The authors have nothing to disclose.
Acknowledgements
대표 결과에 사용된 데이터는 NICHD(National Institute of Child Health and Human Development), 보조금 R21HD054697 산하 NIH(National Institutes of Health), 보조금 H133G090005 및 Award Number H133P090008에 따라 교육부 산하 NIDRR(National Institute on Disability and Rehabilitation Research)의 지원을 받은 연구에서 수집되었습니다. 나머지 연구는 #1910526 상에 따라 NSF(National Science Foundation)에서 부분적으로 자금을 지원했습니다. 이 연구의 결과와 의견이 반드시 NICHD, NIH, NIDRR 또는 NSF의 입장을 반영하는 것은 아닙니다.
References
- Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
- Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
- Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
- Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
- Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
- Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
- Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
- McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
- Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
- Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
- Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
- Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
- Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
- Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
- Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
- Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
- Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
- Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
