הערכת ביצועי מאיית ממשק מוח-מחשב מבוססת P300 עם הערכת השהיה מבוססת מסווג
Summary
מאמר זה מציג שיטה להערכת דיוק ממשק מוח-מחשב (BCI) של מאיית P300 באותו יום באמצעות ערכת נתונים קטנה לבדיקה.
Abstract
הערכת ביצועים היא צעד הכרחי בפיתוח ותיקוף של מערכות ממשק מוח-מחשב (BCI). למרבה הצער, אפילו מערכות ממשק מוח-מחשב מודרניות הן איטיות, מה שהופך את איסוף הנתונים המספיקים לאימות למשימה הגוזלת זמן רב עבור משתמשי קצה ונסיינים כאחד. עם זאת, ללא נתונים מספיקים, השונות האקראית בביצועים עלולה להוביל למסקנות שגויות לגבי מידת הפעולה של ממשק מוח-מחשב עבור משתמש מסוים. לדוגמה, מאייתים P300 פועלים בדרך כלל בסביבות 1-5 תווים לדקה. כדי להעריך דיוק ברזולוציה של 5% נדרשים 20 תווים (4-20 דקות). למרות השקעת זמן זו, גבולות הביטחון לדיוק של 20 תווים יכולים להיות עד ±23% בהתאם לדיוק שנצפה. שיטה שפורסמה בעבר, Classifier-Based Latency Estimation (CBLE), הוכחה כבעלת מתאם גבוה עם דיוק BCI. עבודה זו מציגה פרוטוקול לשימוש ב- CBLE כדי לחזות את דיוק האיות P300 של המשתמש מתווים מעטים יחסית (~ 3-8) של נתוני הקלדה. גבולות הביטחון המתקבלים הדוקים יותר מאלה המיוצרים בשיטות מסורתיות. לפיכך ניתן להשתמש בשיטה כדי להעריך ביצועי ממשק מוח-מחשב במהירות רבה יותר ו/או בצורה מדויקת יותר.
Introduction
ממשקי מוח-מחשב (BCI) הם טכנולוגיה לא פולשנית המאפשרת לאנשים לתקשר ישירות באמצעות מכונות ללא התחשבות במגבלות פיזיות המוטלות על ידי הגוף. ממשק מוח-מחשב יכול לשמש כמכשיר עזר המופעל ישירות על-ידי המוח. ממשק מוח-מחשב משתמש בפעילות המוחית של משתמש כדי לקבוע אם המשתמש מתכוון לבחור מפתח מסוים (אות, מספר או סמל) המוצג על המסך1. במערכת מחשב טיפוסית, המשתמש לוחץ פיזית על המקש המיועד במקלדת. עם זאת, במערכת BCI עם תצוגה חזותית, המשתמש צריך להתמקד במפתח הרצוי. לאחר מכן, ממשק מוח-מחשב יבחר את המפתח המיועד על-ידי ניתוח אותות המוח הנמדדים1. ניתן למדוד את פעילות המוח באמצעות טכניקות שונות. למרות שקיימות טכנולוגיות ממשקי מוח-מחשב מתחרות, אלקטרואנצפלוגרם (EEG) נחשבת לטכניקה מובילה בשל אופייה הלא פולשני, רזולוציית הזמן הגבוהה, האמינות והעלות הנמוכה יחסית2.
יישומים של ממשק מוח-מחשב כוללים תקשורת, בקרת התקנים וגם בידור 3,4,5,6. אחד מתחומי היישום הפעילים ביותר של ממשק מוח-מחשב הוא האיות P300, שהוצג על ידי Farwell ו-Donchin7. P300 הוא פוטנציאל הקשור לאירועים (ERP) שנוצר בתגובה לזיהוי גירוי נדיר אך רלוונטי8. כאשר אדם מזהה את גירוי המטרה שלו, הוא מייצר באופן אוטומטי P300. P300 הוא אות יעיל עבור ממשק מוח-מחשב מכיוון שהוא מעביר את זיהוי המשתתף את אירוע המטרה ללא צורך בתגובה חיצונית9.
P300 BCI משך חוקרים ממדעי המחשב, הנדסת חשמל, פסיכולוגיה, גורמי אנוש ודיסציפלינות שונות אחרות. התקדמות נעשתה בעיבוד אותות, אלגוריתמי סיווג, ממשקי משתמש, סכמות גירוי, ותחומים רבים אחרים 10,11,12,13,14,15. עם זאת, ללא קשר לתחום המחקר, החוט המקשר בכל המחקר הזה הוא הצורך למדוד את ביצועי מערכת ממשק המוח-מחשב. משימה זו דורשת בדרך כלל יצירה של ערכת נתוני בדיקה. צורך זה אינו מוגבל למחקר; יישום קליני בסופו של דבר כטכנולוגיה מסייעת ידרוש ככל הנראה ערכות אימות נפרדות עבור כל משתמש קצה כדי להבטיח שהמערכת תוכל ליצור תקשורת אמינה.
למרות המחקר הרב שיושם על P300 BCI, המערכות עדיין איטיות למדי. בעוד שרוב האנשים מסוגלים להשתמש ב- P300 BCI16, רוב מאייתים P300 מפיקים טקסט בסדר גודל של 1-5 תווים לדקה. למרבה הצער, מהירות איטית זו פירושה שיצירת ערכות נתוני בדיקה דורשת זמן ומאמץ ניכרים עבור המשתתפים, הנסיינים ומשתמשי הקצה בסופו של דבר. מדידת דיוק מערכת BCI היא בעיה של הערכת פרמטרים בינומיים, ותווים רבים של נתונים נחוצים לאומדן טוב.
כדי להעריך את הנוכחות או ההיעדר של P300 ERP, רוב המסווגים משתמשים במודל סיווג בינארי, הכולל הקצאת תווית בינארית (למשל, “נוכחות” או “היעדר”) לכל ניסוי או תקופה של נתוני EEG. המשוואה הכללית המשמשת את רוב המסווגים יכולה לבוא לידי ביטוי כך:
כאשר 
נקרא ציון המסווג, המייצג את ההסתברות לקיומה של תגובת P300, x הוא וקטור התכונה המופק מאות EEG, ו-b הוא מונח הטיה17. הפונקציה f היא פונקציית החלטה הממפה את נתוני הקלט לתווית הפלט, ונלמדת מקבוצה של נתוני אימון מתויגים באמצעות אלגוריתם למידה מפוקח17. במהלך האימון, המסווג מאומן על מערך נתונים מתויג של אותות EEG, כאשר כל אות מתויג כבעל תגובת P300 או לא. וקטור המשקל ומונח ההטיה ממוטבים כדי למזער את השגיאה בין הפלט החזוי של המסווג לבין התווית האמיתית של אות ה- EEG. לאחר אימון המסווג, ניתן להשתמש בו כדי לחזות את נוכחותה של תגובת P300 באותות EEG חדשים.
מסווגים שונים יכולים להשתמש בפונקציות החלטה שונות, כגון ניתוח דיסקרימיננטי ליניארי (LDA), ניתוח דיסקרימיננטי ליניארי הדרגתי (SWLDA), ריבועים לפחות (LS), רגרסיה לוגיסטית, מכונות וקטוריות תמיכה (SVM) או רשתות עצביות (NN). מסווג הריבועים הקטנים ביותר הוא מסווג ליניארי הממזער את סכום השגיאות בריבוע בין תוויות המחלקה החזויות לבין תוויות המחלקה האמיתיות. מסווג זה חוזה את תווית המחלקה של מדגם בדיקה חדש באמצעות המשוואה הבאה:
(1)
כאשר הפונקציה Sign מחזירה +1 אם המכפלה חיובית ו- -1 אם היא שלילית, ווקטור 
המשקל מתקבל מקבוצת התכונות של נתוני האימון, (x) ותוויות מחלקה (y) באמצעות המשוואה הבאה:
(2)
במחקר קודם, טענו כי ניתן להשתמש בהערכת השהיה מבוססת מסווג (CBLE) כדי להעריך דיוק BCI 17,18,19. CBLE היא אסטרטגיה להערכת שונות השהיה על ידי ניצול רגישות הזמן של המסווג18. בעוד שהגישה הקונבנציונלית לסיווג P300 כוללת שימוש בחלון זמן יחיד המסונכרן עם כל מצגת גירוי, שיטת CBLE כוללת יצירת עותקים מרובים בזמן של התקופות שלאחר הגירוי. לאחר מכן הוא מזהה את שינוי הזמן שמביא לציון המרבי כדי להעריך את ההשהיה של תגובת P30017,18. כאן, עבודה זו מציגה פרוטוקול שמעריך ביצועי BCI מתוך מערך נתונים קטן באמצעות CBLE. כניתוח מייצג, מספר התווים מגוון כדי לבצע תחזיות של הביצועים הכוללים של הפרט. עבור שתי ערכות הנתונים לדוגמה, חושבו שגיאת הריבוע הממוצעת הבסיסית (RMSE) עבור vCBLE ודיוק BCI בפועל. התוצאות מצביעות על כך שה-RMSE מתחזיות vCBLE, תוך שימוש בנתונים המותאמים לו, היה נמוך באופן עקבי מהדיוק שנגזר מ-1 עד 7 תווים שנבדקו.
פיתחנו ממשק משתמש גרפי (GUI) בשם “CBLE Performance Estimation” ליישום המתודולוגיה המוצעת. הקוד לדוגמה מסופק גם הוא (קובץ קידוד משלים 1) הפועל בפלטפורמת MATLAB. הקוד לדוגמה מבצע את כל השלבים המוחלים בממשק המשתמש הגרפי, אך השלבים מסופקים כדי לסייע לקורא להסתגל לערכת נתונים חדשה. קוד זה משתמש במערך נתונים זמין לציבור “Brain Invaders calibration-less P300 based BCI using dry EEG electrodes Dataset (bi2014a)” כדי להעריך את השיטה המוצעת20. המשתתפים שיחקו עד שלושה מפגשי משחק של Brain Invaders, כאשר בכל מפגש היו 9 רמות של המשחק. איסוף הנתונים נמשך עד שכל הרמות הושלמו או עד שהמשתתף איבד כל שליטה על מערכת ממשק המוח-מחשב. ממשק “פולשי המוח” כלל 36 סמלים שהבזיקו ב-12 קבוצות של שישה חייזרים. על פי פרדיגמת P300 של פולשי המוח, חזרה נוצרה על ידי 12 הבזקים, אחד לכל קבוצה. מתוך 12 הבזקים אלה, שני הבזקים הכילו את סמל המטרה (המכונים הבזקי מטרה), ואילו 10 ההבזקים הנותרים לא הכילו את סמל המטרה (המכונים הבזקים שאינם הבזקי מטרה). מידע נוסף על פרדיגמה זו ניתן למצוא בהפניה המקורית20.
גישת CBLE יושמה גם על מערך נתונים במישיגן, שהכיל נתונים של 40 משתתפים18,19. כאן, הנתונים של שמונה משתתפים היו צריכים להימחק כי המשימות שלהם לא היו מלאות. המחקר כולו דרש שלושה ביקורים מכל משתתף. ביום הראשון, כל משתתף הקליד משפט אימון בן 19 תווים, ואחריו שלושה משפטי מבחן בני 23 תווים בימים 1, 2 ו-3. בדוגמה זו, לוח המקשים כלל 36 תווים שקובצו לשש שורות ושש עמודות. כל שורה או עמודה הובהבה במשך 31.25 אלפיות שנייה עם מרווח של 125 אלפיות השנייה בין הבזקים. בין הדמויות ניתנה הפסקה של 3.5 שניות.
איור 1 מציג את דיאגרמת הבלוקים של השיטה המוצעת. ההליך המפורט מתואר בסעיף הפרוטוקול.
Protocol
Representative Results
Discussion
מאמר זה מתאר שיטה להערכת דיוק ממשק מוח-מחשב באמצעות ערכת נתונים קטנה של P300. כאן, הפרוטוקול הנוכחי פותח על בסיס מערך הנתונים “bi2014a”, אם כי יעילות הפרוטוקול אושרה בשני מערכי נתונים שונים. כדי ליישם בהצלחה טכניקה זו, חיוני לקבוע משתנים מסוימים, כגון חלון התקופה עבור הנתונים המקוריים, חלון הזמן ל…
Disclosures
The authors have nothing to disclose.
Acknowledgements
הנתונים ששימשו לתוצאות מייצגות נאספו מהעבודה הנתמכת על ידי המכון הלאומי לבריאות הילד והתפתחות האדם (NICHD), המכונים הלאומיים לבריאות (NIH) תחת מענק R21HD054697, והמכון הלאומי לחקר מוגבלות ושיקום (NIDRR) במשרד החינוך תחת מענק H133G090005 ופרס מספר H133P090008. שאר העבודה מומנה בחלקה על ידי הקרן הלאומית למדע (NSF) תחת פרס #1910526. ממצאים ודעות בעבודה זו אינם משקפים בהכרח את עמדות NICHD, NIH, NIDRR או NSF.
References
- Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
- Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
- Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
- Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
- Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
- Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
- Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
- McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
- Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
- Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
- Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
- Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
- Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
- Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
- Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
- Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
- Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
- Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
- Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
