Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Engineering
Click here for the English version

Engineering

ממשק מוח-מחשב לביש חד-ערוצי ולא פולשני לתעשייה ולשירותי בריאות

Published: July 7, 2023 doi: 10.3791/65007
Automatic Translation
1,2, 1,3, 1,4, 5
1Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II, 2Interdepartmental Center for Research and Innovation in Management and Healthcare (CIRMIS), University of Naples Federico II, 3Advanced Metrological Services Center (CeSMA), University of Naples Federico II, 4Department of Innovation Engineering, University of Salento, 5Department of Electronics and Telecommunication (DET), Polytechnic of Turin

Summary

מאמר זה דן כיצד לבנות ממשק מוח-מחשב על-ידי הסתמכות על ציוד ברמת הצרכן ופוטנציאלים חזותיים במצב יציב. לשם כך, אלקטרואנצפלוגרף חד-ערוצי המנצל אלקטרודות יבשות שולב עם משקפי מציאות רבודה להצגת גירויים והדמיית נתוני פלט. המערכת הסופית הייתה לא פולשנית, לבישה וניידת.

Abstract

העבודה הנוכחית מתמקדת כיצד לבנות ממשק מוח-מחשב לביש (BCI). ממשקי מוח-מחשב הם אמצעי חדשני לאינטראקציה בין אדם למחשב המסתמך על מדידות ישירות של אותות מוחיים כדי לסייע הן לאנשים עם מוגבלויות והן לאנשים בעלי יכולת. דוגמאות ליישומים כוללות בקרה רובוטית, בדיקה תעשייתית ושיקום עצבי. יש לציין כי מחקרים שנערכו לאחרונה הראו כי פוטנציאלים מעוררי ראייה במצב יציב (SSVEPs) מתאימים במיוחד ליישומי תקשורת ובקרה, ונעשים כיום מאמצים להביא את טכנולוגיית BCI לחיי היומיום. כדי להשיג מטרה זו, המערכת הסופית חייבת להסתמך על מכשור לביש, נייד וזול. בניצול SSVEPs, נדרש גירוי חזותי מהבהב עם תדרים קבועים. כך, תוך התחשבות באילוצים יומיומיים, נבדקה במחקר זה האפשרות לספק גירויים חזותיים באמצעות משקפיים חכמים. יתר על כן, כדי לזהות את הפוטנציאלים שעוררו, נשקל מכשיר מסחרי לאלקטרואנצפלוגרפיה (EEG). זה מורכב מתעלה דיפרנציאלית אחת עם אלקטרודות יבשות (ללא ג'ל מוליך), ובכך משיג את הלבישה והניידות המרביות. בממשק מוח-מחשב כזה, המשתמש יכול לתקשר עם המשקפיים החכמים רק על ידי בהייה בסמלים המופיעים על הצג. על בסיס עיקרון פשוט זה, ממשק מוח-מחשב ידידותי למשתמש ובעלות נמוכה נבנה על ידי שילוב משקפי מציאות מורחבת (XR) עם מכשיר EEG זמין מסחרית. הפונקציונליות של XR-BCI לביש זה נבחנה באמצעות קמפיין ניסיוני שכלל 20 נבדקים. דיוק הסיווג היה בין 80%-95% בממוצע בהתאם לזמן הגירוי. לאור תוצאות אלה, המערכת יכולה לשמש כממשק אדם-מכונה לבדיקה תעשייתית, אך גם לשיקום בהפרעות קשב וריכוז ואוטיזם.

Introduction

ממשק מוח-מחשב (BCI) הוא מערכת המאפשרת תקשורת ו/או בקרה של מכשירים ללא מסלולים עצביים טבעיים1. טכנולוגיית ממשק מוח-מחשב היא הדבר הקרוב ביותר שיש לאנושות לשלוט באובייקטים בכוח המוח. מנקודת מבט טכנית, פעולת המערכת פועלת על ידי מדידת פעילות מוחית מושרית או מעוררת, אשר יכולה להיווצר באופן לא רצוני או מרצון מהנושא2. מבחינה היסטורית, המחקר התמקד בסיוע לאנשים עם מוגבלויות מוטוריות באמצעות ממשק מוח-מחשב3, אך מספר גדל והולך של חברות מציעות כיום מכשור מבוסס ממשק מוח-מחשב למשחקים4, רובוטיקה5, תעשייה6 ויישומים אחרים הכוללים אינטראקציה בין אדם למכונה. יש לציין כי ממשקי מוח-מחשב עשויים למלא תפקיד במהפכה התעשייתית הרביעית, כלומר בתעשייה 4.07, שבה מערכות ייצור סייבר-פיזיות משנות את האינטראקציה בין בני אדם לסביבה8. באופן כללי, הפרויקט האירופי BNCI Horizon 2020 זיהה תרחישי יישום כגון החלפה, שחזור, שיפור, שיפור או השלמה של תפקודים טבעיים שאבדו של מערכת העצבים המרכזית, כמו גם שימוש בממשק מוח-מחשב בחקירת המוח9.

במסגרת זו, ההתקדמות הטכנולוגית האחרונה פירושה שממשקי מוח-מחשב עשויים להיות ישימים לשימוש בחיי היומיום10,11. כדי להשיג מטרה זו, הדרישה הראשונה היא לא פולשנית, אשר חשובה כדי למנוע את הסיכונים של התערבות כירורגית והגדלת קבלת המשתמש. עם זאת, ראוי לציין כי הבחירה בדימות מוחי לא פולשני משפיעה על איכות אותות המוח הנמדדים, ותכנון ה- BCI חייב להתמודד עם המלכודות הקשורות12. בנוסף, נדרשות לבישות, וניידות. דרישות אלה עולות בקנה אחד עם הצורך במערכת ידידותית למשתמש, אך גם מציבות כמה אילוצים. בסך הכל, אילוצי החומרה שהוזכרו מטופלים על ידי שימוש במערכת אלקטרואנצפלוגרפית (EEG) עם אלקטרודות נטולות ג'ל6. ממשק מוח-מחשב מבוסס EEG כזה יהיה גם הוא בעלות נמוכה. בינתיים, מבחינת התוכנה, אימון משתמש מינימלי (או באופן אידיאלי ללא הכשרה) יהיה רצוי; כלומר, עדיף להימנע מפרקי זמן ארוכים לכוונון אלגוריתם העיבוד לפני שהמשתמש יכול להשתמש במערכת. היבט זה הוא קריטי בממשקי מוח-מחשב בגלל אי-סטציונריות בין-סובייקטיבית ותוך-נושאית13,14.

ספרות קודמת הוכיחה כי הזיהוי של פוטנציאלים מוחיים מעוררים הוא חזק ביחס לאי-סטציונריות ורעש ברכישת אותות. במילים אחרות, ממשקי מוח-מחשב המסתמכים על זיהוי פוטנציאל מעורר נקראים תגובתיים, והם ממשקי המוח-מחשב בעלי הביצועים הטובים ביותר במונחים של זיהוי דפוסי מוח15. עם זאת, הם דורשים גירוי חושי, וזה כנראה החיסרון העיקרי של ממשקים כאלה. מטרת השיטה המוצעת היא, אם כן, לבנות ממשק מוח-מחשב לביש ונייד ביותר המסתמך על מכשור לביש מהמדף. הגירויים החושיים כאן מורכבים מאורות מהבהבים, הנוצרים על ידי משקפיים חכמים, המסוגלים לעורר פוטנציאלים חזותיים במצב יציב (SSVEPs). עבודות קודמות כבר שקלו לשלב ממשק מוח-מחשב עם מציאות מדומה לבד או בשילוב עם מציאות רבודה16. לדוגמה, הוצעה מערכת BCI-AR לשליטה ברחפן עם SSVEP17. מציאות מדומה, מציאות רבודה ופרדיגמות אחרות מכונות במונח מציאות מורחבת. בתרחיש כזה, הבחירה במשקפיים חכמים עומדת בדרישות הלבישות והניידות, וניתן לשלב משקפיים חכמים עם מערך רכישה מינימלי של EEG. מאמר זה מראה כי ממשק מוח-מחשב מבוסס SSVEP דורש גם הכשרה מינימלית תוך השגת ביצועי סיווג מקובלים עבור יישומי תקשורת ובקרה במהירות נמוכה-בינונית. לפיכך, הטכניקה מיושמת על ממשק מוח-מחשב עבור יישומים בחיי היומיום, והיא נראית מתאימה במיוחד לתעשייה ולבריאות.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

המחקר אושר על ידי הוועדה האתית למחקר פסיכולוגי של המחלקה למדעי הרוח באוניברסיטת נאפולי פדריקו השני. המתנדבים חתמו על הסכמה מדעת לפני השתתפותם בניסויים.

1. הכנת המוח הלביש הלא פולשני - ממשק מחשב

  1. השג אלקטרואנצפלוגרף ברמה צרכנית בעלות נמוכה עם אלקטרודות יבשות, והגדר אותו לשימוש בערוץ יחיד.
    1. קצר חשמלי או חבר תעלות קלט שאינן בשימוש באלקטרואנצפלוגרף בעלות נמוכה למתח ייחוס פנימי כמפורט בגליון הנתונים הטבוע. בכך, הערוצים שאינם בשימוש מושבתים, והם אינם מייצרים רעש crosstalk.
    2. התאם את רווח האלקטרואנצפלוגרף (בדרך כלל באמצעות רכיב בעל התנגדות משתנה) כך שיהיה לו טווח קלט בסדר גודל של 100 μV.
      הערה: אותות ה-EEG שיש למדוד הם בסדר גודל של עשרות מיקרו-וולטים. עם זאת, האלקטרודות היבשות מושפעות מאוד מתוצרי תנועה, הגורמים לתנודות בסדר גודל של 100 μV בשל השונות בעכבת האלקטרודה-עור. הגדלת טווח מתח הכניסה מסייעת להגביל את רוויית מגבר EEG, אך היא אינה מבטלת אותה לחלוטין. מצד שני, זה יהיה לא נוח להגדיל את טווח מתח הכניסה עוד יותר, כי זה ישפיע על רזולוציית המתח במדידת רכיבי EEG הרצוי. בסופו של דבר, יש לאזן את שני ההיבטים גם על ידי התחשבות ברזולוציית הסיביות של הממיר האנלוגי לדיגיטלי בתוך לוח האלקטרואנצפלוגרף.
    3. הכינו שלוש אלקטרודות יבשות לחיבור ללוח האלקטרואנצפלוגרף. השתמש באלקטרודה פסיבית (ללא הגברה מראש) כאלקטרודת הייחוס. שתי אלקטרודות המדידה הנותרות צריכות להיות אלקטרודות פעילות (כלומר, לכלול טרום הגברה וסינון אנלוגי בסופו של דבר).
      הערה: אלקטרודות הממוקמות על אזור קרקפת שעיר דורשות סיכות כדי להתגבר על עכבת מגע אלקטרודה-עור. במידת האפשר, יש להשתמש בסיכות כסף עם ראשים שטוחים (כדי למנוע כאב רב מדי למשתמש), או להשתמש באופן אידיאלי בגומי מוליך (רך) עם ציפוי Ag/AgCl.
  2. השג משקפיים חכמים מסחריים עם מערכת הפעלה אנדרואיד וקצב רענון של 60 הרץ. לחלופין, השתמש בקצב רענון נמוך יותר. קצב רענון גבוה יותר יהיה רצוי לגירויים מכיוון שתהיה פחות עייפות עיניים, אך אין כיום פתרונות זמינים בשוק.
    1. הורד את קוד המקור של יישום Android לתקשורת או בקרה, או פתח אחד.
    2. החלף את הלחצנים הווירטואליים ביישום בסמלים מהבהבים על ידי שינוי האובייקט הטבוע (בדרך כלל ב- Java או Kotlin). ריבועים לבנים עם מידות מסך של 5% לפחות מומלצים. בדרך כלל, ככל שהריבוע המגרה גדול יותר, כך רכיב SSVEP לזיהוי יהיה גבוה יותר, אך ניתן למצוא אופטימום בהתאם למקרה הספציפי. התדרים המומלצים הם 10 הרץ ו-12 הרץ מהבהבים. הטמע את ההבהוב ביחידת העיבוד הגרפי (GPU) כדי למנוע עומס יתר על יחידת המחשוב (CPU) של המשקפיים החכמים. למטרה זו, השתמש באובייקטים מספריית OpenGL.
    3. ליישם מודול של יישום אנדרואיד לעיבוד בזמן אמת של זרם EEG קלט. ניתן להוסיף את שירות ה-USB של Android כך שניתן יהיה לקבל את הזרם באמצעות USB. העיבוד בזמן אמת עשוי פשוט להחיל חלון הזזה על זרם EEG על ידי התחשבות במנות הנכנסות. חשב את הצפיפויות הספקטרליות של ההספק המשויכות לתדרי 10 הרץ ו- 12 הרץ באמצעות פונקציית התמרת פורייה מהירה. מסווג מיומן יכול, אם כן, להבחין שהמשתמש מסתכל על סמל ההבהוב של 10 הרץ או על סמל ההבהוב של 12 הרץ על ידי סיווג תכונות הצפיפות הספקטרלית של הספקטרום.

2. כיול המוח מבוסס SSVEP - ממשק מחשב

הערה: מתנדבים בריאים נבחרו למחקר זה. לא לכלול נושאים עם היסטוריה של מחלות מוח. הנבדקים המעורבים נדרשו להיות בעלי ראייה תקינה או מתוקנת לנורמלית. הם הונחו להיות רגועים במהלך הניסויים ולהימנע מתנועות מיותרות, במיוחד של הראש.

  1. תן למשתמש להרכיב את המשקפיים החכמים עם יישום אנדרואיד.
  2. תן למשתמש ללבוש סרט ראש הדוק להחזקת האלקטרודות.
  3. חבר את האלקטרואנצפלוגרף בעלות נמוכה למחשב באמצעות כבל USB בזמן שהמחשב מנותק מספק הכוח הראשי.
    1. בתחילה נתק את כל האלקטרודות מלוח רכישת האלקטרואנצפלוגרף כדי להתחיל ממצב ידוע.
    2. בשלב זה, זרם EEG מעובד במצב לא מקוון במחשב עם סקריפט תואם לעיבוד המיושם ביישום אנדרואיד. הפעל את הסקריפט כדי לקבל את אותות ה- EEG ולדמיין אותם.
  4. בדוק את האות המוצג המעובד במצב לא מקוון. זה חייב להתאים רק לרעש הקוונטיזציה של מגבר EEG.
  5. חבר את האלקטרודות.
    1. החל את האלקטרודה הפסיבית על האוזן השמאלית באמצעות תפס מותאם אישית, או השתמש באלקטרודת אטב אוזניים. אות הפלט חייב להישאר ללא שינוי בשלב זה מכיוון שערוץ דיפרנציאל המדידה הוא עדיין מעגל פתוח.
    2. חבר אלקטרודה פעילה למסוף השלילי של הקלט הדיפרנציאלי של ערוץ ה- EEG המודד, והחל על האזור הקדמי (מיקום תקן Fpz) עם סרט ראש. לאחר מספר שניות, האות אמור לחזור לאפס (רעש קוונטיזציה).
    3. חבר את האלקטרודה הפעילה השנייה למסוף החיובי של הקלט הדיפרנציאלי של ערוץ ה- EEG המודד, והחל על האזור העורפי (מיקום תקן Oz) עם רצועת הראש. כעת מוצג אות מוחי, המתאים לפעילות החזותית הנמדדת ביחס לאזור המוח המצחי (לא צפויה שם פעילות חזותית).
  6. רכוש אותות לכיול המערכת.
    1. עורר שוב ושוב את המשתמש עם סמלים מהבהבים של 10 הרץ ו- 12 הרץ (ובסופו של דבר אחרים) על ידי הפעלת סמל ההבהוב ביישום אנדרואיד, ורכוש ושמור את אותות ה- EEG הטבועים לעיבוד לא מקוון. ודא שכל גירוי בשלב זה מורכב מסמל יחיד מהבהב במשך 10 שניות, והפעל את סמל ההבהוב על ידי לחיצה על משטח המגע של המשקפיים החכמים תוך הפעלת סקריפט הרכישה וההדמיה של EEG.
    2. מתוך אותות 10 s הקשורים לכל גירוי, לחלץ שתי תכונות באמצעות התמרת פורייה מהירה: צפיפות ספקטרלית הספק ב 10 הרץ וב 12 הרץ. לחלופין, שקול הרמוניות שניות (20 הרץ ו 24 הרץ).
    3. השתמש בייצוג של האותות שנרכשו בתחום התכונות כדי לאמן מסווג מכונה וקטורית תומכת. השתמשו בכלי (ב-Matlab או ב-Python) כדי לזהות את הפרמטרים של על-מישור עם ליבה סופית בהתבסס על תכונות הקלט. המודל המיומן יהיה מסוגל לסווג תצפיות עתידיות של אותות EEG.

3. הרכיבו את הממשק הסופי הלביש והנייד מבוסס SSVEP

  1. נתק את כבל ה- USB מהמחשב וחבר אותו ישירות למשקפיים החכמים.
  2. הכנס את הפרמטרים של המסווג המאומן ליישום Android. המערכת מוכנה כעת.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

יישום אפשרי של המערכת שתוארה לעיל מוצג באיור 1; יישום זה מאפשר למשתמש לנווט במציאות רבודה באמצעות פעילות מוחית. הסמלים המהבהבים בתצוגת המשקפיים החכמים תואמים לפעולות עבור היישום (איור 1A), ולכן משקפיים אלה מייצגים תחליף לממשק מסורתי המבוסס על לחיצות על כפתורים או משטח מגע. יעילותה של אינטראקציה כזו קשורה אך ורק לסיווג מוצלח של הפוטנציאלים המתעוררים על ידי ההבהוב. כדי להשיג מטרה זו, בוצע תחילה אפיון מטרולוגי עבור מערכת18, ולאחר מכן משתמשים אנושיים היו מעורבים בתיקוף ניסיוני.

Figure 1
איור 1: יישום אפשרי של ממשק המוח-מחשב המוצע. (A) ייצוג של מה שהמשתמש רואה דרך המשקפיים החכמים, כלומר התרחיש האמיתי והגירויים החזותיים; (ב) משתמש המשתמש במערכת דיבורית. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

האלקטרואנצפלוגרף אופיין ביחס לליניאריות ולטעות גודל. הלינאריות הוערכה ב-20 הרץ באמצעות מדדים שנערכו עם אות קלט סינוסואידלי למכשיר שנבדק בשבע אמפליטודות שונות (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV ו-100 μV). על-ידי שרטוט המתח של האלקטרואנצפלוגרף כפונקציה של מתח הכניסה, איור 2A מדגיש את ההתנהגות הליניארית הברורה של האלקטרואנצפלוגרף. הלינאריות אושרה גם על ידי מבחן פישר לטובתה של ההתאמה הליניארית. עם זאת, הנתון מצביע גם על טעות רווח וקיזוז מסוימת. שגיאות אלה נבדקו על ידי קיבוע המשרעת ב 100 μV ושינוי התדר. התוצאות מדווחות באיור 2B ומאשרות את טעות הגודל ביחס לרווח הנומינלי.

Figure 2
איור 2: תוצאות אפיון אלקטרואנצפלוגרף בעלות נמוכה. (א) שגיאות ליניאריות; (B) טעויות גודל. מספר הדגימות בכל נקודת מדידה היה 4,096. דיון מפורט יותר ניתן למצוא ב Arpaia et al.18. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

לבסוף, הבהוב המשקפיים החכמים נמדד כדי להדגיש סטיות סופיות מנתיב הגל הריבועי הנומינלי. סטיות כאלה ניכרו במיוחד בספקטרום המשרעת של הבהוב 12 הרץ (איור 3B). עם זאת, כל השגיאות הללו ניתן לשקול או בסופו של דבר פיצוי, ובכך להדגים את ההיתכנות של שימוש בחומר ברמת הצרכן עבור מערכת SSVEP-BCI.

Figure 3
תרשים 3: תוצאות אפיון המשקפיים החכמים המסחריים מבחינת ספקטרום המשרעת של הכפתורים המהבהבים. (A) הבהוב ב-10 הרץ; (B) הבהוב במהירות 12 הרץ. דיון מפורט יותר ניתן למצוא ב Arpaia et al.18. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

בנוגע לתיקוף הניסוי, השתתפו בקמפיין 20 נבדקים (7 נשים). כל נבדק עבר 24 ניסויים עם שני אייקונים מהבהבים בו זמנית על צג המשקפיים החכמים. הנבדק היה צריך לבהות באחד משני הסמלים שהוזמנו באופן אקראי, שלכל אחד מהם היה תדר שונה (10 הרץ מהבהב או 12 הרץ מהבהב). האקראיות של התדירות שבה הנבדקים בהו בהתחלה הובטחה על ידי מתן אפשרות להם להחליט על הסמל לבהות בו ללא קריטריונים מוגדרים מראש. לאחר שהושלמו 12 ניסויים בתדירות מסוימת, הנבדק התבקש להתמקד בסמל עם התדירות האחרת עבור שאר הניסויים. ביישום המנוצל, סמל ההבהוב של 12 הרץ הופיע בפינה השמאלית העליונה ואילו סמל ההבהוב של 10 הרץ הופיע בפינה הימנית התחתונה. ניסוי בודד נמשך 10.0 שניות, וכמה שניות (של משך אקראי) עברו בין ניסויים עוקבים. לאחר מכן ניתן לנתח חלונות זמן קטנים יותר במצב לא מקוון על ידי חיתוך האותות המוקלטים.

Figure 4
איור 4: ייצוג האותות שנמדדו במהלך גירוי חזותי בתחום התכונות. האותות המשויכים לגירויים מהבהבים של 12 הרץ (מחלקה 12 הרץ) מיוצגים בכחול, ואילו האותות המשויכים לגירויים מהבהבים של 10 הרץ (מחלקה 10 הרץ) מיוצגים באדום. תכונות מכל הנושאים נחשבים כאן. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 4 מדווח על אותות של 10 שניות המיוצגים על-ידי שתי תכונות הצפיפות הספקטרלית של החזקות, כלומר ב-12 הרץ וב-10 הרץ. נקודה אחת בשני ממדים התאימה לניסוי יחיד. הנקודות המתאימות לשני תדרי ההבהוב השונים נבדלו על ידי צבען. לפיכך, שני המעמדות הופרדו אם כי הייתה חפיפה בין שני המעמדות, מה שאולי גרם לסיווג שגוי. תוצאות הסיווג התקבלו עם אימות צולב פי ארבעה, כך שהנתונים פוצלו ארבע פעמים ל-18 ניסויים לאימון ו-6 ניסויים לאימות. הנתונים אישרו כי במקרה של גירוי 10 שניות (טבלה 1), 8 נבדקים מתוך 20 הגיעו לדיוק של 100%, אך עבור נבדקים אחרים, דיוק הסיווג היה נמוך כמו 65%-70%. בינתיים, נבדק אחד הגיע ל -100% עם גירוי של 2 שניות (המתקבל על ידי חיתוך האותות בעיבוד שלאחר מכן), ומספר רלוונטי של נבדקים הגיע לדיוק סיווג אקראי (50%). הנתונים מכל הנבדקים נחשבו כמכלול, ודיוק הסיווג התקבל. הביצועים הוערכו גם במונחים של קצב העברת המידע (ITR), שהיה מעל 30 סיביות לדקה בממוצע. תוצאות אלה שופרו על ידי התחשבות בצפיפויות ספקטרליות הספק של 20 הרץ ו- 24 הרץ. טבלה 2 מראה שהן גדלו או נשארו קבועות, ולפחות במקרה הגירוי של 10 שניות, סטיית התקן פחתה, ובכך הצביעה על פחות פיזור בביצועי הסיווג עבור נבדקים שונים. לבסוף, דיוק הסיווג חושב מחדש עבור כל הנבדקים במקרה זה של ארבע תכונות, ונמצא שוב כי הם היו קרובים לדיוקים הממוצעים.

נושא 10 s דיוק גירוי % 2 s דיוק גירוי %
כל 94.2 77.5
S1 100 100
S2 100 98.8
S3 100 92
S4 100 92
S5 100 88
S6 100 87
S7 100 87
S8 100 64
S9 97.9 57
S10 96.7 88.8
S11 96 64
S12 95.8 78
S13 95.4 83
S14 95.4 53
S15 94 80
S16 92.9 61
S17 91 78
S18 89.6 61
S19 81 52
S20 71 49
התכוון 94.9 76
מחלות מין 7.4 16

טבלה 1: דיוק אימות צולב בסיווג אותות EEG הקשורים ל- SSVEP. עבור כל נבדק, התוצאות המשויכות לגירוי של 10 שניות מושוות לתוצאות המשויכות לגירוי של 2 שניות. הדיוק הממוצע בין כל הנבדקים מדווח, כמו גם הדיוק המתקבל על ידי התחשבות בכל הנושאים יחד (שורה כל).

10 s גירוי (דיוק ממוצע ± std) % 10 s גירוי (דיוק ממוצע ± std) %
מארז דו-ממדי 91.9 ± 7.4 76 ± 16
מארז 4D 157.2 ± 4.3 76 ± 15

טבלה 2: השוואה של ביצועי הסיווג כאשר בוחנים שתי תכונות PSD (מארז דו-ממדי) לעומת ארבע תכונות PSD (מארז 4D) עבור נתוני EEG הקשורים ל-SSVEP. גירוי של 10 שניות מושווה לגירוי של 2 שניות על ידי דיווח על דיוקי האימות הצולבים הממוצעים וסטיות התקן הקשורות אליהם.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

תפקודה התקין של המערכת כרוך בשני היבטים מכריעים: אליציטוט SSVEP ורכישת אותות. מלבד המכשירים הספציפיים שנבחרו למחקר הנוכחי, SSVEP יכול להיות מופעל עם מכשירים שונים המספקים אור מהבהב, אם כי משקפיים חכמים עדיפים כדי להבטיח לבישות וניידות. באופן אנלוגי, ניתן לשקול אלקטרואנצפלוגרפים מסחריים נוספים, אך הם יצטרכו להיות לבישים, ניידים ולכלול מספר מינימלי של אלקטרודות יבשות כדי להיות ידידותיים למשתמש. יתר על כן, המערכת יכולה להיות מותאמת אישית לשימוש במכשירים קלים לתכנות. בנוסף, אסטרטגיית העיבוד קובעת את הביצועים הסופיים; למרות שאסטרטגיית העיבוד לא נראתה חיונית בתכנון המערכת המתואר, שיפורה בהחלט יתרום למערכת מהירה ומדויקת יותר עבור יישומי תקשורת ובקרה10,11,19.

כמה חסרונות של המערכת ניתן להדגיש. ואכן, עבור אליציטוט SSVEP, הגירויים המהבהבים צריכים להיות בעלי ממדים גדולים ותדירות הבהוב יציבה. הראשון מרמז כי הכפתורים של יישום אנדרואיד עשויים להיות מגושמים ולהציב מגבלות על תרחיש המציאות המורחבת. האחרון דורש משקפיים חכמים עם מאפיינים מטרולוגיים שאינם קיימים בדרך כלל במכשירים מסחריים. בנוסף, גם לאחר מילוי תנאים כאלה, נוכחות של SSVEP תלוי בנושא. יש לציין כי קיימת שונות תוך-נושאית ובין-נושאית באמפליטודות SSVEP, אשר תלויה במספר גורמים בלתי נשלטים, כגון עייפות המשתמש או תשומת לב/מעורבות13. בעיה זו מוסיפה לצורך למצוא גירויים אופטימליים לאליציטוט SSVEPתקין 20.

מצד שני, קליטת אותות היא קריטית לביצועים הסופיים מכיוון שיש להשיג יחס אות לרעש מתאים בעת מדידת פעילות המוח. על מנת להשיג את הלבישות, הניידות, נוחות המשתמש והעלות הנמוכה ביותר, נמדדה פעילות המוח באמצעות EEG חד ערוצי לא פולשני ואלקטרודות יבשות. כמובן, אלקטרודות יבשות תואמות לרוב לדרישות חיי היומיום, אך הימנעות משימוש בג'לים מוליכים מגבילה את המגע בין האלקטרודה לעור. לכן, יש להבטיח את היציבות המכנית של האלקטרודות על ידי הצבתן כראוי ועל ידי ייצובן בשימוש רציף. למעשה, עם זאת, החיסרון של מערכת הרכישה המוצעת הוא שאיכות האות נפגעת ביחס לטכניקות דימות מוחי פולשניות יותר.

למרות יחס האות לרעש הירוד הצפוי, האימות של המערכת המוצעת הראה כי ביצועים גבוהים עבור יישומי תקשורת ובקרה אפשריים. בפרט, האפיון המטרולוגי של הציוד ברמת הצרכן הראה כי המכשירים המועסקים מתאימים ליישומי BCI בעלי עניין, והוא גם הציע כי התקנים דומים צריכים להתאים גם לאלה. באמצעות התיקוף הניסויי נצפו דיוקי סיווג תלויי נושא, אך ניתן היה להסיק מסקנות כלליות חיוביות.

ניתן לשפר את דיוק הסיווג על ידי הגדלת זמן הגירוי. במקרה כזה, תגובת המערכת תהיה איטית יותר, אך עדיין ניתן לספק יכולות תקשורת ובקרה חלופיות. שנית, ניתן להשיג מערכת ללא הכשרה (או לכל היותר מערכת עם הכשרה מינימלית) על ידי שימוש בנתונים ראשוניים מנושאים אחרים. כדי להבין את תרומתה של השיטה המוצעת לתחום, ניתן להשוות את התוצאות עם הספרות על SSVEP-BCI לא פולשני. בממשקי מוח-מחשב מסורתיים יותר, הדיוק מגיע לכ-94% אפילו עם גירוי של 2 שניות21, אך מערכות כאלה דורשות הכשרה מקיפה ועשויות להיות לא לבישות וניידות. עם זאת, הביצועים יורדים כאשר מנסים להגביר את הידידותיות למשתמש (למשל, כאשר משתמשים באלקטרודות יבשות22 ואף יותר כאשר מנסים להשתמש באלקטרודה בודדת23). במקרים אלה, דיוקי הסיווג מצטמצמים לכ-83%.

לכן, המערכת המתוארת בעבודה זו מקרבת את טכנולוגיית ממשק המוח-מחשב ליישומים בחיי היומיום על ידי הגברת הידידותיות למשתמש תוך שמירה על ביצועים גבוהים, אם כי השימוש במערכת זו בסביבות קליניות עשוי להיות בלתי הולם. חלק מהמשתתפים העירו כי האלקטרודות היבשות באזור העורפי היו מטרידות יותר מעמיתיהם המסורתיים, אך בסך הכל, הם העריכו את הלבישות והניידות של המערכת. שדרוגים רבים אפשריים, וחלקם כבר נמצאים בפיתוח. לדוגמה, ניתן להגדיל את מספר הגירויים (ומכאן גם את מספר הפקודות) לארבעה. לאחר מכן, הגירויים עצמם יכולים להיות מתוכננים כך שיאמצו פחות את העיניים. לבסוף, ניתן לשפר את ביצועי הסיווג באמצעות אסטרטגיית עיבוד מתקדמת יותר כדי להשיג מערכת מדויקת יותר ו / או מהירה יותר.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

למחברים אין מה לחשוף.

Acknowledgments

עבודה זו בוצעה כחלק מפרויקט ICT לבריאות, אשר נתמך כספית על ידי משרד החינוך האיטלקי, האוניברסיטה והמחקר (MIUR), תחת היוזמה מחלקות מצוינות (חוק התקציב האיטלקי מס '232/2016), באמצעות מענק מצוינות שהוענק למחלקה לטכנולוגיית מידע והנדסת חשמל של אוניברסיטת נאפולי פדריקו השני, נאפולי, איטליה. הפרויקט אכן התאפשר הודות לתמיכה של יוזמת Res4Net ושל TC-06 (טכנולוגיות מתפתחות במדידות) של IEEE Instrumentation and Measurement Society. המחברים רוצים גם להודות ל 'Callegaro, א Cioffi, ס 'Criscuolo, א Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone, ו M. Ortolano על תרומתם היקרה בפיתוח, בדיקה, ותיקוף המערכת.

Materials

Name Company Catalog Number Comments
Conductive rubber with Ag/AgCl coating  ab medica s.p.a. N/A Alternative electrodes – type 2
Earclip electrode OpenBCI N/A Ear clip
EEG-AE Olimex N/A Active electrodes
EEG-PE Olimex N/A Passive electrode
EEG-SMT Olimex N/A Low-cost electroencephalograph
Moverio BT-200 Epson N/A Smart glasses
Snap electrodes OpenBCI N/A Alternative electrodes – type 1

DOWNLOAD MATERIALS LIST

References

  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).

Tags

החודש ב-JoVE גיליון 197
ממשק מוח-מחשב לביש חד-ערוצי ולא פולשני לתעשייה ולשירותי בריאות
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Arpaia, P., Esposito, A., Moccaldi,… More

Arpaia, P., Esposito, A., Moccaldi, N., Parvis, M. A Single-Channel and Non-Invasive Wearable Brain-Computer Interface for Industry and Healthcare. J. Vis. Exp. (197), e65007, doi:10.3791/65007 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter