P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation
Summary
本稿では、小規模なテストデータセットを使用して、同日P300スペラーブレイン・コンピューター・インターフェース(BCI)の精度を推定する方法を紹介します。
Abstract
性能の見積もりは、ブレイン・コンピュータ・インターフェース(BCI)システムの開発と検証に必要なステップです。残念ながら、最新のBCIシステムでさえ低速であるため、検証に十分なデータを収集することは、エンドユーザーと実験者の両方にとって時間のかかる作業です。しかし、十分なデータがないと、パフォーマンスのランダムなばらつきにより、BCIが特定のユーザーに対してどの程度うまく機能しているかについて誤った推論につながる可能性があります。たとえば、P300スペラーは、通常、1分間に約1〜5文字を操作します。5%の解像度で精度を推定するには、20文字(4〜20分)が必要です。この時間の投資にもかかわらず、20文字からの精度の信頼限界は、観察された精度に応じて最大±23%になる可能性があります。以前に発表された手法であるClassifier-Based Latency Estimation(CBLE)は、BCIの精度と高い相関があることが示されました。この研究では、CBLEを使用して、比較的少ない文字数(~3-8)のタイピングデータからユーザーのP300スペラーの精度を予測するためのプロトコルを提示します。結果として得られる信頼限界は、従来の方法で生成される信頼限界よりも狭くなります。したがって、この方法を使用して、BCIパフォーマンスをより迅速かつ正確に推定できます。
Introduction
ブレイン・コンピューター・インターフェース(BCI)は、身体による物理的な制限に関係なく、個人が機械を介して直接通信できるようにする非侵襲的な技術です。BCIは、脳が直接操作する補助器具として活用できます。BCIは、ユーザの脳活動を用いて、ユーザが画面1に表示される特定のキー(文字、数字、または記号)を選択しようとしているかどうかを判断します。一般的なコンピュータシステムでは、ユーザーはキーボードの目的のキーを物理的に押します。ただし、ビジュアルディスプレイを備えたBCIシステムでは、ユーザーは目的のキーに焦点を合わせる必要があります。そして、BCIは、測定された脳信号1を解析することにより、意図したキーを選択する。脳の活動は、さまざまな技術を使用して測定できます。競合するBCI技術もありますが、脳波(EEG)は、その非侵襲性、高い時間分解能、信頼性、および比較的低コスト2により、主要な技術と見なされています2。
BCIのアプリケーションには、通信、デバイス制御、およびエンターテインメントが含まれます3、4、5、6。最も活発なBCIアプリケーション分野の1つは、FarwellとDonchin7によって導入されたP300スペラーです。P300は、稀ではあるが関連性のある刺激の認識に応答して生成される事象関連電位(ERP)である8。人は、自分の目標とする刺激を認識すると、自動的にP300を生成します。P300は、外向きの反応を必要とせずに、対象事象に対する参加者の認識を伝えるため、BCIにとって効果的なシグナルである9。
P300 BCIは、コンピュータサイエンス、電気工学、心理学、ヒューマンファクター、その他さまざまな分野の研究者を魅了しています。信号処理、分類アルゴリズム、ユーザーインターフェース、刺激方式、その他多くの分野で進歩が見られました10,11,12,13,14,15。しかし、研究分野を問わず、すべての研究に共通しているのは、BCIシステムの性能を測定する必要性です。このタスクでは、通常、テスト・データ・セットを生成する必要があります。この必要性は研究に限ったことではありません。支援技術としての最終的な臨床応用では、システムが信頼性の高い通信を生成できることを確認するために、エンドユーザーごとに個別の検証セットが必要になる可能性があります。
P300 BCIに向けてかなりの研究が行われたにもかかわらず、システムはまだかなり遅いです。大多数の人はP300 BCI16を使用できますが、ほとんどのP300スペラーは1分あたり1〜5文字のオーダーでテキストを生成します。残念ながら、この遅い速度は、テストデータセットの生成に、参加者、実験者、および最終的なエンドユーザーにとってかなりの時間と労力が必要であることを意味します。BCIシステム精度の測定は二項パラメータ推定問題であり、適切な推定には多くの文字のデータが必要です。
P300 ERPの有無を推定するために、ほとんどの分類器は、EEGデータの各試行またはエポックにバイナリラベル(「存在」または「不在」など)を割り当てるバイナリ分類モデルを使用します。ほとんどの分類器で使用される一般方程式は、次のように表すことができます。
ここで 
、は分類器のスコアと呼ばれ、P300応答が存在する確率を表し、xはEEG信号から抽出された特徴ベクトルであり、bはバイアス項17である。関数fは、入力データを出力ラベルにマッピングする決定関数であり、教師あり学習アルゴリズム17を用いて、ラベル付けされたトレーニングデータのセットから学習される。学習中、分類器はEEG信号のラベル付きデータセットでトレーニングされ、各信号はP300応答を持つかどうかとしてラベル付けされます。重みベクトルとバイアス項は、分類器の予測出力と EEG 信号の真のラベルの間の誤差を最小化するように最適化されます。分類器がトレーニングされると、新しいEEG信号におけるP300応答の存在を予測するために使用できます。
分類器が異なれば、線形判別分析 (LDA)、段階的線形判別分析 (SWLDA)、最小二乗法 (LS)、ロジスティック回帰、サポート ベクター マシン (SVM)、ニューラル ネットワーク (NN) など、さまざまな決定関数を使用できます。最小二乗分類器は、予測されたクラス ラベルと真のクラス ラベルの間の誤差の二乗和を最小化する線形分類器です。この分類器は、次の式を使用して、新しいテスト サンプルのクラス ラベルを予測します。
(1)
ここで、符号関数は積が正の場合は +1 を返し、負の場合は -1 を返し、重みベクトル 
は、次の式を使用してトレーニング データの特徴セット (x) とクラス ラベル (y) から取得されます。
(2)
以前の研究では、Classifier-Based Latency Estimation (CBLE) を使用して BCI 精度を推定できると主張しました 17,18,19。CBLEは、分類器の時間感度18を利用してレイテンシーの変動を評価するための戦略である。P300分類の従来のアプローチでは、各刺激の提示と同期した単一の時間枠を使用しますが、CBLE法では、刺激後のエポックの複数のタイムシフトコピーを作成します。次に、P300応答の待ち時間を推定するために、最大スコアをもたらす時間シフトを検出します17,18。本研究では、CBLEを用いて小さなデータセットからBCI性能を推定するプロトコルを提示する。代表的な分析として、文字数を変えて、個人の全体的なパフォーマンスを予測します。どちらのサンプル データセットでも、vCBLE の二乗平均平方根誤差 (RMSE) と実際の BCI 精度が計算されました。結果は、適合データを使用したvCBLE予測からのRMSEが、1〜7個のテスト文字から得られた精度よりも一貫して低かったことを示しています。
我々は、提案手法の実装のために「CBLE Performance Estimation」と呼ばれるグラフィカルユーザインタフェース(GUI)を開発した。また、MATLAB プラットフォーム上で動作するサンプル コード (Supplementary Coding File 1) も提供されています。コード例では、GUI で適用されるすべての手順を実行しますが、手順は、読者が新しいデータセットに適応するのを支援するために提供されています。このコードは、公開されているデータセット「Brain Invaders: calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)」を使用して、提案された方法20を評価します。参加者は、Brain Invadersのゲームセッションを最大3回プレイし、各セッションには9つのレベルのゲームがありました。データ収集は、すべてのレベルが完了するか、参加者がBCIシステムに対するすべての制御を失うまで続けられました。ブレイン・インベーダーのインターフェースには、6人のエイリアンからなる12のグループで点滅する36のシンボルが含まれていました。Brain Invaders P300 パラダイムによると、各グループに 1 回ずつ、合計 12 回のフラッシュによって繰り返しが作成されました。これらの12回のフラッシュのうち、2回のフラッシュにはターゲットシンボル(ターゲットフラッシュ)が含まれ、残りの10回のフラッシュにはターゲットシンボルが含まれていませんでした(非ターゲットフラッシュと呼ばれます)。このパラダイムの詳細については、元の参考文献20 を参照してください。
CBLEアプローチは、40人の参加者からのデータを含むミシガン州のデータセットにも実装されました18,19。ここでは、8人の参加者のタスクが不完全だったため、データを破棄する必要がありました。研究全体では、各参加者から3回の訪問が必要でした。初日には、各参加者が 19 文字のトレーニング文を入力し、1 日目、2 日目、3 日目に 23 文字のテスト文を 3 つ入力しました。この例では、キーボードには 36 文字が含まれ、6 行と 6 列にグループ化されています。各行または列は 31.25 ミリ秒間フラッシュされ、フラッシュ間隔は 125 ミリ秒でした。文字と文字の間には、3.5秒の一時停止が設けられました。
図1 に提案手法のブロック図を示します。詳細な手順については、プロトコルの項で説明しています。
Protocol
Representative Results
Discussion
この記事では、小さなP300データセットを使用してBCI精度を推定する方法について概説しました。ここでは、現在のプロトコルは「bi2014a」データセットに基づいて開発されましたが、プロトコルの有効性は2つの異なるデータセットで確認されました。この手法を正常に実装するには、元のデータのエポック ウィンドウ、タイム シフトのウィンドウ、ダウンサンプリング率、トレーニング デ?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
代表的な結果に使用されたデータは、国立成育医療研究所(NICHD)、国立衛生研究所(NIH)の助成金R21HD054697、および教育省の国立障害リハビリテーション研究所(NIDRR)の助成金H133G090005および賞番号H133P090008の支援を受けた研究から収集されました。残りの研究は、賞#1910526の下で全米科学財団(NSF)から部分的に資金提供されました。この作業の調査結果と意見は、必ずしもNICHD、NIH、NIDRR、またはNSFの立場を反映しているわけではありません。
References
- Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
- Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
- Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
- Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
- Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
- Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
- Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
- McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
- Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
- Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
- Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
- Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
- Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
- Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
- Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
- Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
- Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
- Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
