Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

הערכת ביצועי מאיית ממשק מוח-מחשב מבוססת P300 עם הערכת השהיה מבוססת מסווג

Published: September 8, 2023 doi: 10.3791/64959
Automatic Translation
1, 1, 1, 2, 3,4, 1
1Brain and Body Sensing Lab, Mike Wiegers Department of Electrical & Computer Engineering, Kansas State University, 2Adaptive Cognitive Assessment Laboratory, Department of Physical Medicine and Rehabilitation, University of Michigan, Ann Arbor, 3Direct Brain Interface Laboratory, Department of Physical Medicine and Rehabilitation, University of Michigan, Ann Arbor, 4Direct Brain Interface Laboratory, Department of Biomedical Engineering, University of Michigan, Ann Arbor

Summary

מאמר זה מציג שיטה להערכת דיוק ממשק מוח-מחשב (BCI) של מאיית P300 באותו יום באמצעות ערכת נתונים קטנה לבדיקה.

Abstract

הערכת ביצועים היא צעד הכרחי בפיתוח ותיקוף של מערכות ממשק מוח-מחשב (BCI). למרבה הצער, אפילו מערכות ממשק מוח-מחשב מודרניות הן איטיות, מה שהופך את איסוף הנתונים המספיקים לאימות למשימה הגוזלת זמן רב עבור משתמשי קצה ונסיינים כאחד. עם זאת, ללא נתונים מספיקים, השונות האקראית בביצועים עלולה להוביל למסקנות שגויות לגבי מידת הפעולה של ממשק מוח-מחשב עבור משתמש מסוים. לדוגמה, מאייתים P300 פועלים בדרך כלל בסביבות 1-5 תווים לדקה. כדי להעריך דיוק ברזולוציה של 5% נדרשים 20 תווים (4-20 דקות). למרות השקעת זמן זו, גבולות הביטחון לדיוק של 20 תווים יכולים להיות עד ±23% בהתאם לדיוק שנצפה. שיטה שפורסמה בעבר, Classifier-Based Latency Estimation (CBLE), הוכחה כבעלת מתאם גבוה עם דיוק BCI. עבודה זו מציגה פרוטוקול לשימוש ב- CBLE כדי לחזות את דיוק האיות P300 של המשתמש מתווים מעטים יחסית (~ 3-8) של נתוני הקלדה. גבולות הביטחון המתקבלים הדוקים יותר מאלה המיוצרים בשיטות מסורתיות. לפיכך ניתן להשתמש בשיטה כדי להעריך ביצועי ממשק מוח-מחשב במהירות רבה יותר ו/או בצורה מדויקת יותר.

Introduction

ממשקי מוח-מחשב (BCI) הם טכנולוגיה לא פולשנית המאפשרת לאנשים לתקשר ישירות באמצעות מכונות ללא התחשבות במגבלות פיזיות המוטלות על ידי הגוף. ממשק מוח-מחשב יכול לשמש כמכשיר עזר המופעל ישירות על-ידי המוח. ממשק מוח-מחשב משתמש בפעילות המוחית של משתמש כדי לקבוע אם המשתמש מתכוון לבחור מפתח מסוים (אות, מספר או סמל) המוצג על המסך1. במערכת מחשב טיפוסית, המשתמש לוחץ פיזית על המקש המיועד במקלדת. עם זאת, במערכת BCI עם תצוגה חזותית, המשתמש צריך להתמקד במפתח הרצוי. לאחר מכן, ממשק מוח-מחשב יבחר את המפתח המיועד על-ידי ניתוח אותות המוח הנמדדים1. ניתן למדוד את פעילות המוח באמצעות טכניקות שונות. למרות שקיימות טכנולוגיות ממשקי מוח-מחשב מתחרות, אלקטרואנצפלוגרם (EEG) נחשבת לטכניקה מובילה בשל אופייה הלא פולשני, רזולוציית הזמן הגבוהה, האמינות והעלות הנמוכה יחסית2.

יישומים של ממשק מוח-מחשב כוללים תקשורת, בקרת התקנים וגם בידור 3,4,5,6. אחד מתחומי היישום הפעילים ביותר של ממשק מוח-מחשב הוא האיות P300, שהוצג על ידי Farwell ו-Donchin7. P300 הוא פוטנציאל הקשור לאירועים (ERP) שנוצר בתגובה לזיהוי גירוי נדיר אך רלוונטי8. כאשר אדם מזהה את גירוי המטרה שלו, הוא מייצר באופן אוטומטי P300. P300 הוא אות יעיל עבור ממשק מוח-מחשב מכיוון שהוא מעביר את זיהוי המשתתף את אירוע המטרה ללא צורך בתגובה חיצונית9.

P300 BCI משך חוקרים ממדעי המחשב, הנדסת חשמל, פסיכולוגיה, גורמי אנוש ודיסציפלינות שונות אחרות. התקדמות נעשתה בעיבוד אותות, אלגוריתמי סיווג, ממשקי משתמש, סכמות גירוי, ותחומים רבים אחרים 10,11,12,13,14,15. עם זאת, ללא קשר לתחום המחקר, החוט המקשר בכל המחקר הזה הוא הצורך למדוד את ביצועי מערכת ממשק המוח-מחשב. משימה זו דורשת בדרך כלל יצירה של ערכת נתוני בדיקה. צורך זה אינו מוגבל למחקר; יישום קליני בסופו של דבר כטכנולוגיה מסייעת ידרוש ככל הנראה ערכות אימות נפרדות עבור כל משתמש קצה כדי להבטיח שהמערכת תוכל ליצור תקשורת אמינה.

למרות המחקר הרב שיושם על P300 BCI, המערכות עדיין איטיות למדי. בעוד שרוב האנשים מסוגלים להשתמש ב- P300 BCI16, רוב מאייתים P300 מפיקים טקסט בסדר גודל של 1-5 תווים לדקה. למרבה הצער, מהירות איטית זו פירושה שיצירת ערכות נתוני בדיקה דורשת זמן ומאמץ ניכרים עבור המשתתפים, הנסיינים ומשתמשי הקצה בסופו של דבר. מדידת דיוק מערכת BCI היא בעיה של הערכת פרמטרים בינומיים, ותווים רבים של נתונים נחוצים לאומדן טוב.

כדי להעריך את הנוכחות או ההיעדר של P300 ERP, רוב המסווגים משתמשים במודל סיווג בינארי, הכולל הקצאת תווית בינארית (למשל, "נוכחות" או "היעדר") לכל ניסוי או תקופה של נתוני EEG. המשוואה הכללית המשמשת את רוב המסווגים יכולה לבוא לידי ביטוי כך:

Equation 1

כאשר Equation 2 נקרא ציון המסווג, המייצג את ההסתברות לקיומה של תגובת P300, x הוא וקטור התכונה המופק מאות EEG, ו-b הוא מונח הטיה17. הפונקציה f היא פונקציית החלטה הממפה את נתוני הקלט לתווית הפלט, ונלמדת מקבוצה של נתוני אימון מתויגים באמצעות אלגוריתם למידה מפוקח17. במהלך האימון, המסווג מאומן על מערך נתונים מתויג של אותות EEG, כאשר כל אות מתויג כבעל תגובת P300 או לא. וקטור המשקל ומונח ההטיה ממוטבים כדי למזער את השגיאה בין הפלט החזוי של המסווג לבין התווית האמיתית של אות ה- EEG. לאחר אימון המסווג, ניתן להשתמש בו כדי לחזות את נוכחותה של תגובת P300 באותות EEG חדשים.

מסווגים שונים יכולים להשתמש בפונקציות החלטה שונות, כגון ניתוח דיסקרימיננטי ליניארי (LDA), ניתוח דיסקרימיננטי ליניארי הדרגתי (SWLDA), ריבועים לפחות (LS), רגרסיה לוגיסטית, מכונות וקטוריות תמיכה (SVM) או רשתות עצביות (NN). מסווג הריבועים הקטנים ביותר הוא מסווג ליניארי הממזער את סכום השגיאות בריבוע בין תוויות המחלקה החזויות לבין תוויות המחלקה האמיתיות. מסווג זה חוזה את תווית המחלקה של מדגם בדיקה חדש באמצעות המשוואה הבאה:

Equation 3(1)

כאשר הפונקציה Sign מחזירה +1 אם המכפלה חיובית ו- -1 אם היא שלילית, ווקטור Equation 4 המשקל מתקבל מקבוצת התכונות של נתוני האימון, (x) ותוויות מחלקה (y) באמצעות המשוואה הבאה:

Equation 5    (2)

במחקר קודם, טענו כי ניתן להשתמש בהערכת השהיה מבוססת מסווג (CBLE) כדי להעריך דיוק BCI 17,18,19. CBLE היא אסטרטגיה להערכת שונות השהיה על ידי ניצול רגישות הזמן של המסווג18. בעוד שהגישה הקונבנציונלית לסיווג P300 כוללת שימוש בחלון זמן יחיד המסונכרן עם כל מצגת גירוי, שיטת CBLE כוללת יצירת עותקים מרובים בזמן של התקופות שלאחר הגירוי. לאחר מכן הוא מזהה את שינוי הזמן שמביא לציון המרבי כדי להעריך את ההשהיה של תגובת P30017,18. כאן, עבודה זו מציגה פרוטוקול שמעריך ביצועי BCI מתוך מערך נתונים קטן באמצעות CBLE. כניתוח מייצג, מספר התווים מגוון כדי לבצע תחזיות של הביצועים הכוללים של הפרט. עבור שתי ערכות הנתונים לדוגמה, חושבו שגיאת הריבוע הממוצעת הבסיסית (RMSE) עבור vCBLE ודיוק BCI בפועל. התוצאות מצביעות על כך שה-RMSE מתחזיות vCBLE, תוך שימוש בנתונים המותאמים לו, היה נמוך באופן עקבי מהדיוק שנגזר מ-1 עד 7 תווים שנבדקו.

פיתחנו ממשק משתמש גרפי (GUI) בשם "CBLE Performance Estimation" ליישום המתודולוגיה המוצעת. הקוד לדוגמה מסופק גם הוא (קובץ קידוד משלים 1) הפועל בפלטפורמת MATLAB. הקוד לדוגמה מבצע את כל השלבים המוחלים בממשק המשתמש הגרפי, אך השלבים מסופקים כדי לסייע לקורא להסתגל לערכת נתונים חדשה. קוד זה משתמש במערך נתונים זמין לציבור "Brain Invaders calibration-less P300 based BCI using dry EEG electrodes Dataset (bi2014a)" כדי להעריך את השיטה המוצעת20. המשתתפים שיחקו עד שלושה מפגשי משחק של Brain Invaders, כאשר בכל מפגש היו 9 רמות של המשחק. איסוף הנתונים נמשך עד שכל הרמות הושלמו או עד שהמשתתף איבד כל שליטה על מערכת ממשק המוח-מחשב. ממשק "פולשי המוח" כלל 36 סמלים שהבזיקו ב-12 קבוצות של שישה חייזרים. על פי פרדיגמת P300 של פולשי המוח, חזרה נוצרה על ידי 12 הבזקים, אחד לכל קבוצה. מתוך 12 הבזקים אלה, שני הבזקים הכילו את סמל המטרה (המכונים הבזקי מטרה), ואילו 10 ההבזקים הנותרים לא הכילו את סמל המטרה (המכונים הבזקים שאינם הבזקי מטרה). מידע נוסף על פרדיגמה זו ניתן למצוא בהפניה המקורית20.

גישת CBLE יושמה גם על מערך נתונים במישיגן, שהכיל נתונים של 40 משתתפים18,19. כאן, הנתונים של שמונה משתתפים היו צריכים להימחק כי המשימות שלהם לא היו מלאות. המחקר כולו דרש שלושה ביקורים מכל משתתף. ביום הראשון, כל משתתף הקליד משפט אימון בן 19 תווים, ואחריו שלושה משפטי מבחן בני 23 תווים בימים 1, 2 ו-3. בדוגמה זו, לוח המקשים כלל 36 תווים שקובצו לשש שורות ושש עמודות. כל שורה או עמודה הובהבה במשך 31.25 אלפיות שנייה עם מרווח של 125 אלפיות השנייה בין הבזקים. בין הדמויות ניתנה הפסקה של 3.5 שניות.

איור 1 מציג את דיאגרמת הבלוקים של השיטה המוצעת. ההליך המפורט מתואר בסעיף הפרוטוקול.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

ממשק המשתמש הגרפי "CBLE Performance Estimation" הוחל על שני מערכי נתונים: מערך הנתונים "BrainInvaders" ומערך הנתונים של מישיגן. עבור מערך הנתונים "BrainInvaders", איסוף הנתונים אושר על ידי הוועדה האתית של אוניברסיטת גרנובל אלפ20. נתוני מישיגן נאספו תחת אישור מועצת הביקורת המוסדית של אוניברסיטת מישיגן19. הנתונים נותחו תחת פרוטוקול פטור 7516 של אוניברסיטת מדינת קנזס. אם אתה אוסף נתונים חדשים, בצע את התהליך שאושר על-ידי IRB של המשתמש לאיסוף הסכמה מדעת. כאן, הפרוטוקול המוצע מוערך באמצעות ניתוח לא מקוון של נתונים שתועדו בעבר, ללא פרטים מזהים, ולכן לא נדרש הסכמה מדעת נוספת.

ממשק המשתמש הגרפי (GUI) הכלול במאמר זה מיומן בניהול שתי תבניות נפרדות של ערכות נתונים. הפורמט הראשון משויך לתוכנת BCI2000, ואילו הפורמט השני מכונה מערך הנתונים "BrainInvaders". על מנת להשתמש בפורמט "פולשים מוחיים", הנתונים חייבים להיות מעובדים מראש כמתואר בשלב 1 של סעיף הפרוטוקול. עם זאת, בעת התמודדות עם תבנית ערכת הנתונים "BCI2000", ניתן להשמיט את שלב 1.

1. הכנת נתונים

  1. BrainInvaders בלבד: צור את קובץ נתוני הקלט בפורמט קובץ ".mat" שניתן להשתמש בו עם ממשק המשתמש הגרפי (GUI) "הערכת ביצועי CBLE". לקבלת קובץ script לדוגמה, עיין בקובץ קידוד משלים 2.
    הערה: כל קובץ נתונים מורכב ממטריצה דו-ממדית המורכבת משורות המייצגות תצפיות שתועדו בדגימות זמן שונות. עמודות המטריצה הממוספרות 2 עד 17 הן הקלטות הנגזרות מ-16 אלקטרודות EEG. העמודה הראשונה של המטריצה מציינת את חותמת הזמן של כל תצפית, ואילו עמודה 18 כוללת מידע הקשור לאירועים ניסיוניים. בעמודה 19, יש בעיקר אפסים, אך כאשר הבזק שאינו יעד (או יעד) מתחיל, המספרים משתנים לאחד (או שניים) באותו זמן ספציפי. תיאור מפורט ניתן למצוא בהפניה20.

2. הורדה והתקנה של חבילת ממשק המשתמש הגרפי

  1. הורד והתקן את ממשק המשתמש הגרפי "CBLE Performance Estimation".

3. אחסון ערכת הנתונים בתיקיית משנה של מיקום ממשק המשתמש הגרפי

  1. ודא שתיקיית ערכת הנתונים נשארת באותה ספרייה כמו ממשק המשתמש הגרפי.
  2. לדוגמה, צור תיקיה חדשה ומקם בתוכה את ממשק המשתמש הגרפי "CBLE Performance Estimation". שמור את כל ערכות הנתונים בתיקיית משנה בתוך "CBLE GUI" בשם "ערכת נתונים".

4. פתיחת ממשק המשתמש הגרפי המותקן

  1. פתחו את MATLAB (ראו טבלת חומרים), שנו את הספריה הנוכחית לתיקייה שבה ממוקם ממשק המשתמש הגרפי, לחצו על הכרטיסייה APPS ובחרו באפשרות MY APPS.
  2. תחת הכרטיסייה "היישומים שלי", בחר הערכת ביצועי CBLE.

5. בחירת פורמט מערך הנתונים

  1. בחר תבנית ערכת נתונים מהתפריט הנפתח בחר תבנית ערכת נתונים.

6. טעינת קובץ נתוני EEG

  1. לחץ על בחר תיקיית קלט כפתור כדי לבחור את הספרייה שבה ממוקם מערך הנתונים.
  2. שימו לב לספירת קובצי הנתונים הקיימים בתיקייה שנבחרה.
    הערה: בפורמט "פולשים מוחיים", כל משתתף מיוצג על ידי קובץ נתונים יחיד. לכן, המספר הכולל של קבצי הנתונים מציין את מספר המשתתפים במחקר. עם זאת, זה לא המקרה עבור פורמט "BCI2000", כמו כל משתתף עשוי להיות מספר קבצי רכבת ובדיקה.

7. הגדרת הפרמטרים

  1. הקלד את מספר המשתתפים שבהם המשתמש מתכוון להשתמש עבור תהליך האומדן ב- "No. של המשתתפים" תיבת טקסט.
  2. BrainInvaders בלבד: ציין את קצב הדגימה של ערכת הנתונים.
    הערה: קבצים BCI2000 כוללים את קצב הדגימה.
  3. בחר ערך השמדה כדי להפחית את הדגימה של ערכת הנתונים לכ- 20 הרץ כדי לשפר את ביצועי הסיווג21. לדוגמה, אם תדירות הדגימה היא 256 הרץ, בחר ערך השמדה של 13.
  4. ציין את חלון הזמן עבור הסיווג באלפיות השנייה.
    הערה: גודל החלון הראשוני המומלץ מוגדר, המאפשר לנקודת ההתחלה לנוע בין 0 ל- 100 אלפיות השנייה ולנקודת הסיום בין 700 ל- 800 אלפיות השנייה. עם זאת, חשוב להימנע מהגדלת גודל החלון יתר על המידה כדי למנוע חפיפה עם אירוע P300 אחר.
  5. הגדר את חלון ההזזה עבור CBLE באלפיות השנייה.
    הערה: 'חלון המשמרת' מתייחס לטווח הזמן המורחב ששיטת CBLE מחפשת כדי למצוא את תגובת P3. המסווג יוחל על התקופה החל מהרכיב הראשון של חלון המשמרת. המסווג מוחל לאחר מכן ברצף על תקופות המתחילות מדגם אחד מאוחר יותר, עד שהתקופה נמשכת מחוץ לחלון המשמרת. לפיכך, חלון Shift חייב להיות גדול יותר מהחלון המקורי; מבחינה אמפירית, ערכים של פחות מ-100 אלפיות השנייה מכל צד מתפקדים היטב. בכל מקרה, יש להחזיק את המרווח לפחות ממחצית ה- ISI.
  6. BC2000 בלבד: הזן את אורך מזהה הנושא המצוין בקובצי ערכת הנתונים בשדה "ID length".
    הערה: ממשק המשתמש הגרפי מצפה שהתווים sub_len הראשונים של שמות הקבצים יקודדו את מזהה הנושא.
  7. BCI2000 בלבד: בשדה "מזהה ערוץ", ציין את מספר הערוצים הכולל או ציין את מספרי הערוצים הספציפיים שישמשו לניתוח.
  8. לחץ על כפתור הגדר פרמטרים כדי להגדיר את כל הפרמטרים הדרושים לניתוח.

8. BrainInvaders בלבד: פיצול מערך הנתונים לאימון ומערך בדיקות

  1. בחרו מספר יעדים המייצגים את גודל ערכת האימונים. החלק הנותר של ערכת הנתונים ייחשב כערכת נתוני הבדיקה.
    הערה: כדי להבטיח הכשרה נכונה של המודל, חיוני שיהיה מדגם אימון גדול מספיק. גודל מדגם האימון המינימלי המומלץ הוא 20, אם כי הוא עשוי להשתנות בהתאם לגודל הכולל של ערכת הנתונים. אם מתרחשות טעויות רגרסיה במהלך האימון, מומלץ להגדיל את מדגם האימון.
  2. לחץ על כפתור "פצל את מערך הנתונים" כדי לחלק את מערך הנתונים לערכות ההדרכה והבדיקה.
    הערה: לכל משתתף תהיה כמות שווה של נתוני אימון. עם זאת, מספר נתוני הבדיקה עשוי שלא להיות שווה עבור כל המשתתפים בשל האפשרות של ניסיונות מרובים במהלך המשימה. כתוצאה מכך, המספר הכולל של המטרות או ההבזקים המוצגים עשוי להשתנות מאדם לאדם.

9. אימון מודל עם מערך נתוני האימון

הערה: שלב 9.1 ישים עבור תבנית "פולשים מוחיים", ושלב 9.2 ישים עבור תבנית "BCI2000".

  1. BrainInvaders בלבד: לחץ על הלחצן Train a Model כדי להחיל רגרסיה ליניארית על מערך נתוני האימון באמצעות משוואה 2 לאימון מודל מסווג.
  2. BCI2000 בלבד: ציין שמות קובצי הדרכה ובדיקה יחד עם תבנית הנתונים שלהם (.dat) כדי להבדיל בין קבצי ההדרכה והבדיקה לבין כל הקבצים. לאחר מכן, לחץ על כפתור אמן מודל כדי להחיל רגרסיה ליניארית על מערך נתוני האימון.

10. חיזוי הדיוק של ערכת הבדיקה

  1. לחץ על חזה דיוק כדי להחיל את מודל המסווג המיומן על ערכת תכונות הבדיקה ולחזות דיוק באמצעות משוואה 1.

11. השגת דיוקים ביעד X

  1. בחר מספר יעד מרבי, X, שיש לקחת בחשבון בערכת הבדיקה.
  2. BCI2000 בלבד: בחר מספר קובץ בדיקה אם למשתמש יש מספר קבצי בדיקה.
  3. לחץ על Find X target accuracy.

12. חישוב vCBLE

  1. לחץ על מצא vCBLE כפתור כדי לקבל את vCBLE עבור כל המטרות.

13. חישוב שגיאת ריבוע ממוצע שורש (RMSE) של דיוק BCI ו- vCBLE

  1. לחץ על כפתור חישוב RMSE כדי לחשב את RMSE בין שתי התחזיות בהתבסס על vCBLE עם דיוק BCI, ודיוק יעד X עם דיוק BCI.

14. הדמיה של תוצאות הניתוח

  1. לחץ על דיוק לעומת vCBLE כפתור כדי לבחון את הקשר בין דיוק כולל vCBLE הכולל עבור כל המשתתפים.
  2. לחץ על הלחצן RMSE of BCI & vCBLE כדי להציג את עקומת RMSE של דיוק BCI ו- vCBLE.

15. חיזוי הביצועים של משתתף בודד

  1. כדי לחזות את הדיוק של משתתף בודד, מקם את מזהה הנושא במזהה משנה.
    הערה: כאן, מערך הנתונים של כל המשתתפים, למעט משתתף הבדיקה, ישמש לאימון מודל רגרסיה ליניארית. ציוני vCBLE של כל המשתתפים האחרים ודיוקי הבדיקה המתאימים שלהם ישמשו כמנבאים ותוויות, בהתאמה, עבור המסווג.
  2. בחר מספר יעד, n. החיזוי יתבסס על הדיוק של תווי n-testing.
  3. לחץ על כפתור חיזוי כדי לקבל את הדיוק החזוי של הנבדק.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

הפרוטוקול המוצע נבדק על שני מערכי נתונים שונים: "BrainInvaders" ומערך הנתונים של מישיגן. ערכות נתונים אלה כבר מוצגות בקצרה בסעיף מבוא. הפרמטרים המשמשים עבור שתי ערכות נתונים אלה מוזכרים בטבלה 1. איורים 2-4 מתארים את הממצאים שהתקבלו באמצעות מערך הנתונים "BrainInvaders", ואילו איורים 5-7 מדגימים את התוצאות שהושגו ממערך הנתונים של מישיגן.

מערך הנתונים "BrainInvaders" כולל 64 משתתפים. איור 2 מציג את הקשר בין דיוק ממשק מוח-מחשב לבין vCBLE של כל 64 המשתתפים. זה מראה כי vCBLE מתואם באופן שלילי מאוד עם דיוק BCI, אם כי כמה חריגים נצפים. איור 3 ממחיש את RMSE של vCBLE ואת הדיוק בפועל כאשר החיזוי נעשה בהתבסס על הדיוק של בדיקת תווים. זה מראה את הראיות כי RMSE עבור חיזוי זה, בהתבסס על ההתאמה שהושגה על ידי vCBLE, היה נמוך יותר מאשר הדיוק מבוסס על כל מספר של תווים בדיקה מ 1 עד 10. עבור מערך הנתונים "BrainInvaders", vCBLE מסוגל לחזות דיוק BCI באמצעות 7 תווים בלבד. באיור 4, החיזוי נעשה מ-vCBLE של ערכות בדיקה עם 2, 5, 7 ו-10 תווים, בהתאמה. כאן, גישה של עזוב משתתף אחד הופעלה בניתוח הרגרסיה כדי לחזות את הדיוק של כל משתתף בודד. דיוק BCI ו-vCBLE הוערכו ביותר מ-100 חזרות. הגבול התחתון והעליון הם ±2 סטיות תקן מהממוצע. כל ארבעת התנאים מצביעים על כך שנצפתה שונות מינימלית כאשר מספר המשתתפים במערך האימונים עולה על 10. המסקנה הייתה כי כ -10 אנשים נדרשים לבנות את מודל הרגרסיה עבור הקשר בין vCBLE ודיוק עבור פרדיגמה ניסויית מסוימת.

בדוגמה השנייה, מערך הנתונים של מישיגן כולל 32 משתתפים, כאשר כולם הקלידו משפט אימון אחד ביום 1 ושלושה משפטי מבחן בימים 1, 2 ו-3. משפטי הבדיקה היו באורך של 23 או 24 תווים, ומשתתפים רבים ביצעו בחירות נוספות כדי לתקן שגיאות שנעשו במהלך פעולה מקוונת. באיור 5 ניתן לראות שמודל vCBLE הפגין ביצועים טובים יותר כאשר מערכי הנתונים של האימונים והבדיקות נאספו באותו יום. למעשה, תחזית זו שנבעה מההתאמה שסופקה על ידי vCBLE הביאה ל- RMSE נמוך יותר מהדיוק המבוסס על מספר כלשהו של תווי בדיקה מ- 1-20 כאשר נתוני האימון ונתוני הבדיקה נאספו באותו יום. איור 6 מראה שבסך הכל, התאמת vCBLE הייתה בעלת RMSE נמוך יותר כאשר הבדיקה כללה פחות משישה תווים. בנוסף, ניתן לראות מאיור 7 שה-RMSE של הערכת הדיוק של vCBLE יורד רק בכ-0.025 בין שלושה תווים לבין מספר התווים האופטימלי שנעשה בו שימוש. משמעות הדבר היא כי אין תועלת רבה לאסוף יותר משלושה תווים עבור ערכת הבדיקה הקטנה.

Figure 1
איור 1: דיאגרמת בלוקים של הפרוטוקול המוצע. (א) עיבוד מקדים של נתונים וחילוץ תכונות. (ב) סיווג P300. (ג) הערכה של vCBLE. (ד) חיזוי דיוקו של אדם. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 2
איור 2: דיוק לעומת vCBLE. דיוק BCI מול vCBLE באמצעות ערכת נתונים "bi2014a". זה מראה מתאם שלילי גבוה בין דיוק vCBLE. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 3
איור 3: RMSE של דיוק BCI ו- vCBLE. RMSE של vCBLE ודיוק הותוו כנגד גדלים שונים של ערכות נתוני בדיקה (1-10) באמצעות ערכת נתונים "bi2014a". בסך הכל, vCBLE מתפקד טוב יותר מדיוק BCI. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 4
איור 4: השוואה בין מודלים באמצעות RMSE. מודלים אלה נבנים בזמן שתחזיות מבוצעות מגדלים שונים של תווי בדיקה. משמאל למעלה: 2 מטרות; מימין למעלה: 5 מטרות; משמאל למטה: 7 מטרות; מימין למטה: 10 מטרות. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 5
איור 5: ערכי RMSE של מודלי vCBLE. מודל נפרד נבנה כדי לחזות דיוק במשך שלושה ימים שונים באמצעות מערך הנתונים של מישיגן. ערכי RMSE עבור מודלים שנבנו באמצעות גדלים שונים של ערכות נתוני בדיקה מוצגים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 6
איור 6: השוואת מודלים. הממוצע של RMSE במשך שלושה ימים חושב עבור vCBLE ומודלים דיוק באמצעות נתוני מישיגן. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Figure 7
איור 7: הפרש RMSE ממוצע מהדגם הטוב ביותר. עבור כל יום, ערך RMSE המינימלי הופחת מערך RMSE של כל תו. הממוצע חושב על פני שלושת הימים. גרף זה מייצג את הביצועים הממוצעים של מודל באמצעות גודל מסוים של ערכת נתונים בהשוואה למודל הטוב ביותר. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

שם ערכת הנתונים מספר נושא אורך תעודת זהות מזהה ערוץ קצב הדגימה ערך השמדה החלון המקורי חלון CBLE מדגם אימון מס' מספר יעד, X
פולשים מוחיים 64 לא ישים [1:16] 512 26 [100, 600] [0, 700] 20 10
מישיגן 32 4 [1:16] 256 13 [4, 804] [-100, 900] לא ישים 20

טבלה 1: פרמטרים סטנדרטיים עבור מערכי נתונים של "BrainInvaders" ו- Michigan.

קובץ קידוד משלים 1. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ קידוד משלים 2. אנא לחץ כאן כדי להוריד קובץ זה.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

מאמר זה מתאר שיטה להערכת דיוק ממשק מוח-מחשב באמצעות ערכת נתונים קטנה של P300. כאן, הפרוטוקול הנוכחי פותח על בסיס מערך הנתונים "bi2014a", אם כי יעילות הפרוטוקול אושרה בשני מערכי נתונים שונים. כדי ליישם בהצלחה טכניקה זו, חיוני לקבוע משתנים מסוימים, כגון חלון התקופה עבור הנתונים המקוריים, חלון הזמן להסטת זמן, יחס הדגימה למטה והגודל של מערכי הנתונים של האימון והבדיקה. משתנים אלה נקבעים על ידי מאפייני מערך הנתונים שבשימוש, כולל מספר המטרות או התווים, מספר הרצפים ומספר המשתתפים הכולל.

ממצאי מערך הנתונים "bi2014a" מצביעים על כך שהתחזית של vCBLE מציגה ביצועים טובים יותר בהשוואה לדיוק BCI ברמת התו עבור כל תנאי הבדיקה (פחות מ-10 תווים), הכוללים מערכי נתונים של בדיקה המכילים תו אחד עד עשרה. עם זאת, כאשר מערך נתוני הבדיקה כולל יותר משבעה יעדים, הביצועים של vCBLE מראים שונות מינימלית. תוצאות מנתוני מישיגן מצביעות על כך שהשימוש ב- vCBLE לחיזוי ביצועים באותו יום יעלה על האומדן מבוסס הדיוק אם ערכת נתוני הבדיקה היא פחות משישה תווים. באופן מעניין, הגדלת כמות הנתונים המשמשים לבניית מודל זה רק משתפרת באופן שולי לאחר התווים הראשונים של הנתונים. בסך הכל, משמעות הדבר היא כי אין צורך לאסוף כמויות גדולות של נתונים כדי לחזות דיוק באותו יום.

על פי התוצאות של מערך הנתונים "bi2014a", ניתן להציע כי מינימום של 10 משתתפים נחוץ כדי לבנות מודל מסווג שיכול לחזות את דיוק ה- BCI של הפרט. עם זאת, הדבר תלוי גם במספר התווים או במספר הרצפים המשמשים הן בשלב האימון והן בשלב הבדיקה. מערך הנתונים " bi2014a " כולל מספר משתתפים שהיו להם מספר קטן יחסית של מטרות כוללות. ראוי להזכיר כי שיטת החיזוי vCBLE כבר נבדקה בהצלחה על מערכי נתונים בגודל קטן המורכבים מ -32 ו -9 משתתפים, בהתאמה, והוכיחה ביצועים יעילים17,18. עם זאת, למערכי נתונים אלה יש מספר גדול יחסית של מטרות כוללות, כגון 19 תווים בסבב האימון ומינימום של 23 תווים בסבב הבדיקה.

ישנן מספר מגבלות שיש לשים לב אליהן בעת יישום שיטה זו. מניתוח מערך הנתונים של מישיגן, נראה כי מודל vCBLE מתפקד גרוע יותר כאשר נתוני האימונים והמבחנים נאספים בימים שונים. כמו כן, שיטה זו דורשת ממשתתפים מרובים לבנות מודל מותאם אישית עבור ערכת נתונים נתונה. יתר על כן, השיטה המוצעת נבדקה על ארבעה מסווגים, כולל מסווג הכי פחות ריבועים, ניתוח דיסקרימיננטה ליניארית בשלבים, מכונת וקטור תמיכה (SVM) ומקודד אוטומטי של מרחב (SAE)17,18. עם זאת, הפרוטוקול צריך להיות ישים לכל מסווג רגיש לזמן. למרות מגבלות אלה, החיסכון הפוטנציאלי בזמן לקהילה המחקרית והקלינית מצדיק חקירה ויישום נוספים.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

כל המחברים מצהירים שאין להם ניגודי עניינים.

Acknowledgments

הנתונים ששימשו לתוצאות מייצגות נאספו מהעבודה הנתמכת על ידי המכון הלאומי לבריאות הילד והתפתחות האדם (NICHD), המכונים הלאומיים לבריאות (NIH) תחת מענק R21HD054697, והמכון הלאומי לחקר מוגבלות ושיקום (NIDRR) במשרד החינוך תחת מענק H133G090005 ופרס מספר H133P090008. שאר העבודה מומנה בחלקה על ידי הקרן הלאומית למדע (NSF) תחת פרס #1910526. ממצאים ודעות בעבודה זו אינם משקפים בהכרח את עמדות NICHD, NIH, NIDRR או NSF.

Materials

Name Company Catalog Number Comments
MATLAB 2021 Matlab N/A Any recent MATLAB version can be used.

DOWNLOAD MATERIALS LIST

References

  1. Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
  2. Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
  3. Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
  4. Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  5. Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
  6. Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
  7. Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
  8. Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
  9. McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
  10. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
  11. Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
  12. Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
  13. Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
  14. Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. 2013 6th International IEEE/EMBS Conference on Neural Engineering (NER), , (2013).
  15. Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
  16. Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
  17. Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
  18. Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
  19. Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
  20. Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
  21. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).

Tags

Speller ממשק מוח-מחשב מבוסס P300 הערכת ביצועים הערכת השהיה מבוססת מסווג מערכות ממשק מוח-מחשב איסוף נתונים אימות משתמשי קצה נסיינים שונות אקראית מסקנות שגויות מאייתים P300 הערכת דיוק השקעת זמן גבולות אמון הערכת השהיה מבוססת מסווג (CBLE) פרוטוקול נתוני הקלדה
הערכת ביצועי מאיית ממשק מוח-מחשב מבוססת P300 עם הערכת השהיה מבוססת מסווג
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Khan, N. N., Sweet, T., Harvey, C.… More

Khan, N. N., Sweet, T., Harvey, C. A., Warschausky, S., Huggins, J. E., Thompson, D. E. P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation. J. Vis. Exp. (199), e64959, doi:10.3791/64959 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter