Summary
تناقش هذه الورقة كيفية بناء واجهة دماغية حاسوبية من خلال الاعتماد على معدات من فئة المستهلك وإمكانات الحالة المستقرة بصريا. لهذا الغرض ، تم دمج مخطط كهربية الدماغ أحادي القناة الذي يستغل الأقطاب الكهربائية الجافة مع نظارات الواقع المعزز لعرض المحفزات وتصور بيانات الإخراج. كان النظام النهائي غير جراحي ويمكن ارتداؤه ومحمول.
Abstract
يركز العمل الحالي على كيفية بناء واجهة دماغية حاسوبية يمكن ارتداؤها (BCI). BCIs هي وسيلة جديدة للتفاعل بين الإنسان والحاسوب تعتمد على القياسات المباشرة لإشارات الدماغ لمساعدة كل من الأشخاص ذوي الإعاقة وأولئك القادرين جسديا. تشمل أمثلة التطبيق التحكم الروبوتي والتفتيش الصناعي وإعادة التأهيل العصبي. والجدير بالذكر أن الدراسات الحديثة أظهرت أن الإمكانات المستثارة بصريا في الحالة المستقرة (SSVEPs) مناسبة بشكل خاص لتطبيقات الاتصال والتحكم ، وتبذل الجهود حاليا لإدخال تقنية BCI في الحياة اليومية. لتحقيق هذا الهدف ، يجب أن يعتمد النظام النهائي على أجهزة يمكن ارتداؤها ومحمولة ومنخفضة التكلفة. عند استغلال SSVEPs ، يلزم وجود حافز بصري وامض بترددات ثابتة. وبالتالي ، عند النظر في قيود الحياة اليومية ، تم استكشاف إمكانية توفير محفزات بصرية عن طريق النظارات الذكية في هذه الدراسة. علاوة على ذلك ، للكشف عن الإمكانات المستنبطة ، تم النظر في جهاز تجاري لتخطيط كهربية الدماغ (EEG). يتكون هذا من قناة تفاضلية واحدة مع أقطاب كهربائية جافة (بدون هلام موصل) ، وبالتالي تحقيق أقصى قدر من قابلية الارتداء وقابلية النقل. في مثل هذا BCI ، يمكن للمستخدم التفاعل مع النظارات الذكية بمجرد التحديق في الرموز التي تظهر على الشاشة. بناء على هذا المبدأ البسيط ، تم بناء BCI سهل الاستخدام ومنخفض التكلفة من خلال دمج نظارات الواقع الممتد (XR) مع جهاز EEG المتاح تجاريا. تم فحص وظائف XR-BCI القابل للارتداء من خلال حملة تجريبية شملت 20 شخصا. كانت دقة التصنيف بين 80٪ -95٪ في المتوسط اعتمادا على وقت التحفيز. بالنظر إلى هذه النتائج ، يمكن استخدام النظام كواجهة بين الإنسان والآلة للتفتيش الصناعي ولكن أيضا لإعادة التأهيل في اضطراب فرط الحركة ونقص الانتباه والتوحد.
Introduction
واجهة الدماغ الحاسوبية (BCI) هي نظام يسمح بالاتصال و / أو التحكم في الأجهزة التي لا تحتوي على مسارات عصبية طبيعية1. تقنية BCI هي أقرب شيء لدى البشرية للتحكم في الأشياء بقوة العقل. من وجهة نظر فنية ، يعمل تشغيل النظام عن طريق قياس نشاط الدماغ المستحث أو المستحضر ، والذي يمكن أن يتولد إما بشكل لا إرادي أو طوعي من الموضوع2. تاريخيا ، ركزت الأبحاث على مساعدة الأشخاص ذوي الإعاقات الحركية من خلال BCI3 ، لكن عددا متزايدا من الشركات اليوم تقدم أجهزة قائمة على BCI للألعاب4 ، والروبوتات5 ، والصناعة6 ، وغيرها من التطبيقات التي تنطوي على التفاعل بين الإنسان والآلة. والجدير بالذكر أن BCIs قد تلعب دورا في الثورة الصناعية الرابعة ، وهي الصناعة 4.07 ، حيث تعمل أنظمة الإنتاج السيبرانية الفيزيائية على تغيير التفاعل بين البشر والبيئة المحيطة8. بشكل عام ، حدد المشروع الأوروبي BNCI Horizon 2020 سيناريوهات التطبيق مثل استبدال أو استعادة أو تحسين أو تعزيز أو استكمال الوظائف الطبيعية المفقودة للجهاز العصبي المركزي ، بالإضافة إلى استخدام BCI في التحقيق في الدماغ9.
في هذا الإطار ، تعني التطورات التكنولوجية الحديثة أن واجهات الدماغ والحاسوب قد تكون قابلة للتطبيق للاستخدام في الحياة اليومية10,11. لتحقيق هذا الهدف ، فإن الشرط الأول هو عدم التدخل الجراحي ، وهو أمر مهم لتجنب مخاطر التدخل الجراحي وزيادة قبول المستخدم. ومع ذلك ، تجدر الإشارة إلى أن اختيار التصوير العصبي غير الجراحي يؤثر على جودة إشارات الدماغ المقاسة ، ويجب أن يتعامل تصميم BCI بعد ذلك مع المزالق المرتبطة12. بالإضافة إلى ذلك ، يلزم ارتداء وقابلية النقل. وتتماشى هذه المتطلبات مع الحاجة إلى نظام سهل الاستعمال ولكنها تطرح أيضا بعض القيود. بشكل عام ، تتم معالجة قيود الأجهزة المذكورة من خلال استخدام نظام تخطيط كهربية الدماغ (EEG) مع أقطاب كهربائية خالية من الهلام6. مثل هذا BCI القائم على EEG سيكون أيضا منخفض التكلفة. وفي الوقت نفسه ، من حيث البرنامج ، سيكون من المرغوب فيه الحد الأدنى من تدريب المستخدم (أو من الناحية المثالية عدم التدريب) ؛ وبالتحديد ، سيكون من الأفضل تجنب الفترات الطويلة لضبط خوارزمية المعالجة قبل أن يتمكن المستخدم من استخدام النظام. هذا الجانب مهم في BCIs بسبب عدم ثبات الموضوع وداخل الموضوع13,14.
أظهرت الأدبيات السابقة أن اكتشاف إمكانات الدماغ المستثارة قوي فيما يتعلق بعدم الثبات والضوضاء في اكتساب الإشارة. وبعبارة أخرى ، فإن BCIs التي تعتمد على الكشف عن الإمكانات المثارة تسمى رد الفعل ، وهي أفضل BCIs أداء من حيث التعرف على أنماط الدماغ15. ومع ذلك ، فإنها تتطلب التحفيز الحسي ، والذي ربما يكون العيب الرئيسي لهذه الواجهات. وبالتالي ، فإن الهدف من الطريقة المقترحة هو بناء BCI يمكن ارتداؤه ومحمول للغاية يعتمد على أجهزة يمكن ارتداؤها وجاهزة. تتكون المحفزات الحسية هنا من أضواء وامضة ، ناتجة عن نظارات ذكية ، قادرة على استنباط إمكانات مستثارة بصريا في الحالة المستقرة (SSVEPs). نظرت الأعمال السابقة بالفعل في دمج BCI مع الواقع الافتراضي إما بمفردها أو بالاشتراك مع الواقع المعزز16. على سبيل المثال ، تم اقتراح نظام BCI-AR للتحكم في كوادكوبتر مع SSVEP17. يشار إلى الواقع الافتراضي والواقع المعزز والنماذج الأخرى بمصطلح الواقع الممتد. في مثل هذا السيناريو ، يتوافق اختيار النظارات الذكية مع متطلبات قابلية الارتداء وقابلية النقل ، ويمكن دمج النظارات الذكية مع الحد الأدنى من إعداد اكتساب EEG. يوضح هذا البحث أن BCI القائم على SSVEP يتطلب أيضا الحد الأدنى من التدريب مع تحقيق أداء تصنيف مقبول لتطبيقات الاتصال والتحكم منخفضة السرعة ومتوسطة. ومن ثم ، يتم تطبيق هذه التقنية على BCI لتطبيقات الحياة اليومية ، ويبدو أنها مناسبة بشكل خاص للصناعة والرعاية الصحية.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
تمت الموافقة على الدراسة من قبل اللجنة الأخلاقية للبحوث النفسية التابعة لقسم العلوم الإنسانية بجامعة نابولي فيديريكو الثاني. وقع المتطوعون على موافقة مستنيرة قبل المشاركة في التجارب.
1. إعداد الدماغ غير الغازية القابلة للارتداء - واجهة الكمبيوتر
- احصل على مخطط كهربية الدماغ منخفض التكلفة من فئة المستهلك مع أقطاب كهربائية جافة ، وقم بتكوينه للاستخدام أحادي القناة.
- ماس كهربائى أو توصيل أي قنوات إدخال غير مستخدمة على مخطط كهربية الدماغ منخفض التكلفة بجهد مرجعي داخلي كما هو محدد في ورقة البيانات المضمنة. عند القيام بذلك ، يتم تعطيل القنوات غير المستخدمة ، ولا تولد ضوضاء الحديث المتبادل.
- اضبط كسب مخطط كهربية الدماغ (عادة من خلال مكون ذو مقاومة متغيرة) للحصول على نطاق إدخال في حدود 100 ميكروفولت.
ملاحظة: إشارات EEG المراد قياسها بترتيب عشرات الميكروفولت. ومع ذلك ، تتأثر الأقطاب الكهربائية الجافة بشكل كبير بأدوات الحركة ، مما يؤدي إلى تذبذبات في حدود 100 ميكروفولت بسبب التباين في مقاومة جلد القطب. تساعد زيادة نطاق جهد الدخل على الحد من تشبع مضخم EEG ، لكنها لا تقضي عليه تماما. من ناحية أخرى ، سيكون من غير المناسب زيادة نطاق جهد الدخل أكثر ، لأن هذا سيؤثر على دقة الجهد في قياس مكونات EEG المطلوبة. في النهاية ، يجب موازنة الجانبين من خلال مراعاة دقة البت للمحول التناظري إلى الرقمي داخل لوحة تخطيط كهربية الدماغ. - قم بإعداد ثلاثة أقطاب كهربائية جافة للاتصال بلوحة تخطيط كهربية الدماغ. استخدم قطبا سلبيا (بدون تضخيم مسبق) كقطب كهربائي مرجعي. يجب أن يكون قطبا القياس المتبقيان نشطين (أي يتضمنان التضخيم المسبق والترشيح التناظري في نهاية المطاف).
ملاحظة: تتطلب الأقطاب الكهربائية الموضوعة على منطقة فروة الرأس المشعرة دبابيس للتغلب على مقاومة ملامسة القطب للجلد. إذا أمكن ، قم بلحام دبابيس فضية برؤوس مسطحة (لتجنب الكثير من الألم للمستخدم) ، أو استخدم بشكل مثالي المطاط الموصل (الناعم) مع طلاء Ag / AgCl.
- احصل على نظارات ذكية تجارية بنظام تشغيل Android ومعدل تحديث 60 هرتز. بدلا من ذلك ، استخدم معدل تحديث أقل. سيكون معدل التحديث الأعلى مرغوبا فيه للمنبهات حيث سيكون هناك إجهاد أقل للعين ، ولكن لا توجد حلول متاحة حاليا في السوق.
- قم بتنزيل الكود المصدري لتطبيق Android للاتصال أو التحكم ، أو قم بتطوير واحد.
- استبدل الأزرار الافتراضية في التطبيق بأيقونات وامضة عن طريق تغيير الكائن المتأصل (عادة في Java أو Kotlin). يوصى باستخدام المربعات البيضاء ذات أبعاد الشاشة بنسبة 5٪ على الأقل. عادة ، كلما كان مربع التحفيز أكبر ، كلما كان مكون SSVEP للكشف أعلى ، ولكن يمكن العثور على الأمثل اعتمادا على الحالة المحددة. الترددات الموصى بها هي 10 هرتز و 12 هرتز الخفقان. قم بتنفيذ الوميض على وحدة المعالجة الرسومية (GPU) لتجنب التحميل الزائد على وحدة الحوسبة (CPU) للنظارات الذكية. لهذا الغرض ، استخدم كائنات من مكتبة OpenGL.
- قم بتنفيذ وحدة نمطية من تطبيق Android للمعالجة في الوقت الفعلي لتدفق EEG المدخل. يمكن إضافة خدمة Android USB بحيث يمكن استقبال البث عبر USB. قد تقوم المعالجة في الوقت الفعلي ببساطة بتطبيق نافذة منزلقة على دفق EEG من خلال النظر في الحزم الواردة. احسب الكثافة الطيفية للقدرة المرتبطة بترددات 10 هرتز و 12 هرتز من خلال وظيفة تحويل فورييه السريعة. وبالتالي ، يمكن للمصنف المدرب تمييز أن المستخدم ينظر إلى رمز الخفقان 10 هرتز أو رمز الوميض 12 هرتز من خلال تصنيف ميزات الكثافة الطيفية للطاقة.
2. معايرة الدماغ القائم على SSVEP - واجهة الكمبيوتر
ملاحظة: تم اختيار متطوعين أصحاء لهذه الدراسة. استبعاد الموضوعات التي لديها تاريخ من أمراض الدماغ. كان مطلوبا من الأشخاص المعنيين أن يكون لديهم رؤية طبيعية أو مصححة إلى طبيعية. تم توجيههم للاسترخاء أثناء التجارب وتجنب الحركات غير الضرورية ، خاصة في الرأس.
- دع المستخدم يرتدي النظارات الذكية مع تطبيق Android.
- دع المستخدم يرتدي عصابة رأس ضيقة للإمساك بالأقطاب الكهربائية.
- قم بتوصيل مخطط كهربية الدماغ منخفض التكلفة بجهاز كمبيوتر عبر كبل USB أثناء فصل الكمبيوتر عن مصدر الطاقة الرئيسي.
- في البداية افصل جميع الأقطاب الكهربائية عن لوحة اكتساب مخطط كهربية الدماغ للبدء من حالة معروفة.
- في هذه المرحلة ، تتم معالجة دفق EEG في وضع عدم الاتصال على جهاز الكمبيوتر باستخدام برنامج نصي متوافق مع المعالجة المنفذة في تطبيق Android. ابدأ البرنامج النصي لتلقي إشارات EEG وتصورها.
- تحقق من الإشارة المعروضة التي تتم معالجتها في وضع عدم الاتصال. يجب أن يتوافق هذا فقط مع ضوضاء التكميم لمضخم EEG.
- قم بتوصيل الأقطاب الكهربائية.
- ضع القطب السلبي على الأذن اليسرى بمشبك مخصص ، أو استخدم قطبا كهربائيا مشبك الأذن. يجب أن تظل إشارة الخرج دون تغيير في هذه الخطوة لأن القناة التفاضلية للقياس لا تزال دائرة مفتوحة.
- قم بتوصيل قطب كهربائي نشط بالطرف السالب للإدخال التفاضلي لقناة EEG للقياس ، وقم بتطبيقه على المنطقة الأمامية (الموقع القياسي Fpz) باستخدام عصابة رأس. بعد بضع ثوان ، يجب أن تعود الإشارة إلى الصفر (ضوضاء التكميم).
- قم بتوصيل القطب النشط الآخر بالطرف الموجب للإدخال التفاضلي لقناة EEG للقياس ، وقم بتطبيقه على المنطقة القذالية (الموقع القياسي Oz) باستخدام عصابة الرأس. يتم الآن عرض إشارة الدماغ ، والتي تتوافق مع النشاط البصري المقاس فيما يتعلق بمنطقة الدماغ الأمامية (لا يتوقع وجود نشاط بصري هناك).
- الحصول على إشارات لمعايرة النظام.
- قم بتحفيز المستخدم بشكل متكرر باستخدام رموز الخفقان 10 هرتز و 12 هرتز (وفي النهاية أخرى) عن طريق بدء تشغيل رمز الخفقان في تطبيق Android ، والحصول على إشارات EEG المتأصلة وحفظها للمعالجة في وضع عدم الاتصال. تأكد من أن كل تحفيز في هذه المرحلة يتكون من أيقونة واحدة تومض لمدة 10 ثوان ، وابدأ رمز الخفقان بالضغط على لوحة اللمس الخاصة بالنظارات الذكية أثناء بدء برنامج الحصول على EEG وسيناريو التصور.
- من إشارات 10 s المرتبطة بكل تحفيز ، استخرج ميزتين باستخدام تحويل فورييه السريع: الكثافة الطيفية للطاقة عند 10 هرتز وعند 12 هرتز. بدلا من ذلك ، ضع في اعتبارك التوافقيات الثانية (20 هرتز و 24 هرتز).
- استخدم تمثيلا للإشارات المكتسبة في مجال الميزات لتدريب مصنف آلة متجه الدعم. استخدم أداة (في Matlab أو Python) لتحديد معلمات المستوى الفائق مع نواة نهائية بناء على ميزات الإدخال. سيكون النموذج المدرب قادرا على تصنيف الملاحظات المستقبلية لإشارات EEG.
3. قم بتجميع الواجهة النهائية القابلة للارتداء والمحمولة القائمة على SSVEP
- افصل كبل USB عن جهاز الكمبيوتر ، وقم بتوصيله مباشرة بالنظارات الذكية.
- أدخل معلمات المصنف المدرب في تطبيق Android. النظام جاهز الآن.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
يظهر في الشكل 1 تنفيذ محتمل للنظام الموصوف أعلاه ؛ يسمح هذا التطبيق للمستخدم بالتنقل في الواقع المعزز من خلال نشاط الدماغ. تتوافق أيقونات الخفقان على شاشة النظارات الذكية مع إجراءات التطبيق (الشكل 1 أ) ، وبالتالي ، تمثل هذه النظارات بديلا للواجهة التقليدية القائمة على الضغط على الأزرار أو لوحة اللمس. ترتبط فعالية مثل هذا التفاعل ارتباطا وثيقا بالتصنيف الناجح للإمكانات التي يثيرها الخفقان. لتحقيق هذا الهدف ، تم إجراء توصيف مترولوجي لأول مرة للنظام18 ، ثم شارك المستخدمون البشريون في التحقق من الصحة التجريبية.
الشكل 1: التنفيذ المحتمل لواجهة الدماغ الحاسوبية المقترحة. (أ) تمثيل ما يراه المستخدم من خلال النظارات الذكية ، أي السيناريو الحقيقي والمحفزات البصرية ؛ (ب) مستخدم يرتدي نظام التحدث الحر. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
تم تمييز مخطط كهربية الدماغ فيما يتعلق بالخطأ الخطي والحجم. تم تقييم الخطية عند 20 هرتز من خلال مقاييس أجريت باستخدام إشارة دخل جيبية للجهاز تم اختبارها عند سبع سعات مختلفة (10 μV و 20 μV و 30 μV و 40 μV و 60 μV و 80 μV و 100 μV). من خلال رسم جهد مخطط كهربية الدماغ كدالة لجهد الدخل ، يسلط الشكل 2 أ الضوء على السلوك الخطي الواضح لمخطط كهربية الدماغ. تم تأكيد الخطية أيضا من خلال اختبار فيشر لجودة الملاءمة الخطية. ومع ذلك ، يشير الشكل أيضا إلى بعض أخطاء الكسب والتعويض. تم اختبار هذه الأخطاء عن طريق تثبيت السعة عند 100 μV وتغيير التردد. يتم الإبلاغ عن النتائج في الشكل 2B وتؤكد خطأ الحجم فيما يتعلق بالكسب الاسمي.
الشكل 2: نتائج توصيف مخطط كهربية الدماغ منخفض التكلفة. (أ) الأخطاء الخطية؛ (ب) أخطاء الحجم. كان عدد العينات لكل نقطة قياس 4096. ويمكن الاطلاع على مناقشة أكثر تفصيلا في Arpaia et al.18. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
أخيرا ، تم قياس وميض النظارات الذكية لتسليط الضوء على الانحرافات النهائية عن مسار الموجة المربعة الاسمية. كانت هذه الانحرافات مرئية بشكل خاص في طيف السعة لوميض 12 هرتز (الشكل 3B). ومع ذلك ، يمكن اعتبار كل هذه الأخطاء أو تعويضها في النهاية ، مما يدل على جدوى استخدام مواد من فئة المستهلك لنظام SSVEP-BCI.
الشكل 3: نتائج توصيف النظارات الذكية التجارية من حيث طيف السعة لأزرار الخفقان. (أ) الخفقان عند 10 هرتز؛ (ب) الخفقان عند 12 هرتز. ويمكن الاطلاع على مناقشة أكثر تفصيلا في Arpaia et al.18. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
فيما يتعلق بالتحقق التجريبي ، شارك 20 شخصا (7 إناث) في الحملة. خضع كل موضوع ل 24 تجربة مع رمزين للخفقان في وقت واحد على شاشة النظارات الذكية. كان على الموضوع التحديق في أحد الرمزين اللذين تم ترتيبهما عشوائيا ، ولكل منهما تردد مختلف (وميض 10 هرتز أو وميض 12 هرتز). تم ضمان العشوائية في التردد الذي حدق فيه الأشخاص في البداية من خلال السماح لهم بتحديد الرمز الذي يحدقون فيه دون أي معايير محددة مسبقا. بمجرد الانتهاء من 12 تجربة بتردد محدد ، طلب من الشخص التركيز على الرمز مع التردد الآخر للتجارب المتبقية. في التطبيق المستغل ، ظهرت أيقونة الوميض 12 هرتز في الزاوية العلوية اليسرى بينما ظهرت أيقونة الوميض 10 هرتز في الزاوية اليمنى السفلية. استمرت تجربة واحدة 10.0 ثانية ، ومرت بضع ثوان (من مدة عشوائية) بين التجارب المتتالية. يمكن بعد ذلك تحليل النوافذ الزمنية الأصغر في وضع عدم الاتصال عن طريق قطع الإشارات المسجلة.
الشكل 4: تمثيل الإشارات المقاسة أثناء التحفيز البصري في مجال المعالم. يتم تمثيل الإشارات المرتبطة بمحفزات الخفقان 12 هرتز (الفئة 12 هرتز) باللون الأزرق ، بينما يتم تمثيل الإشارات المرتبطة بمحفزات الخفقان 10 هرتز (الفئة 10 هرتز) باللون الأحمر. يتم النظر في الميزات من جميع الموضوعات هنا. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
يوضح الشكل 4 إشارات 10 s التي تمثلها ميزتا الكثافة الطيفية للقدرة ، وهما عند 12 هرتز و 10 هرتز. نقطة واحدة في بعدين تتوافق مع تجربة واحدة. تميزت النقاط المقابلة لترددي الخفقان المختلفين بلونها. ومن ثم، تم فصل الفئتين، على الرغم من وجود تداخل بين الفئتين، مما قد يكون تسبب في سوء التصنيف. تم الحصول على نتائج التصنيف من خلال التحقق المتقاطع بأربعة أضعاف ، بحيث تم تقسيم البيانات أربع مرات إلى 18 تجربة للتدريب و 6 تجارب للتحقق من صحتها. أكدت البيانات أنه في حالة التحفيز لمدة 10 ثوان (الجدول 1) ، وصل 8 أشخاص من أصل 20 إلى دقة 100٪ ، ولكن بالنسبة للمواد الأخرى ، كانت دقة التصنيف منخفضة تصل إلى 65٪ -70٪. وفي الوقت نفسه ، وصل موضوع واحد إلى 100٪ مع تحفيز 2 ثانية (تم الحصول عليه عن طريق قطع الإشارات في المعالجة اللاحقة) ، ووصل عدد ذي صلة من الموضوعات إلى دقة تصنيف عشوائية (50٪). تم النظر في البيانات من جميع الموضوعات ككل ، وتم الحصول على دقة التصنيف. وجرى تقييم الأداء أيضا من حيث معدل نقل المعلومات (ITR)، الذي كان أعلى من 30 بتة/دقيقة في المتوسط. تم تعزيز هذه النتائج من خلال النظر في الكثافة الطيفية للقدرة عند 20 هرتز و 24 هرتز. يوضح الجدول 2 أنها زادت أو ظلت ثابتة ، وعلى الأقل في حالة التحفيز 10 ثوان ، تضاءل الانحراف المعياري ، مما يشير إلى تشتت أقل في أداء التصنيف لمختلف الموضوعات. أخيرا ، تمت إعادة حساب دقة التصنيف لجميع الموضوعات في هذه الحالة ذات الميزات الأربع ، ووجد مرة أخرى أنها قريبة من متوسط الدقة.
| موضوع | دقة التحفيز 10 ثوان٪ | 2 ثانية دقة التحفيز٪ |
| كل | 94.2 | 77.5 |
| م1 | 100 | 100 |
| م2 | 100 | 98.8 |
| م3 | 100 | 92 |
| م4 | 100 | 92 |
| م5 | 100 | 88 |
| م6 | 100 | 87 |
| م7 | 100 | 87 |
| م8 | 100 | 64 |
| م9 | 97.9 | 57 |
| اس 10 | 96.7 | 88.8 |
| م11 | 96 | 64 |
| م12 | 95.8 | 78 |
| م13 | 95.4 | 83 |
| م14 | 95.4 | 53 |
| م15 | 94 | 80 |
| م16 | 92.9 | 61 |
| م17 | 91 | 78 |
| اس 18 | 89.6 | 61 |
| م19 | 81 | 52 |
| إس 20 | 71 | 49 |
| دني | 94.9 | 76 |
| الامراض المنقوله جنسيا | 7.4 | 16 |
الجدول 1: دقة التحقق المتبادل في تصنيف إشارات EEG المتعلقة ب SSVEP. لكل موضوع ، تتم مقارنة النتائج المرتبطة بتحفيز 10 ثوان مع النتائج المرتبطة بتحفيز 2 ثانية. يتم الإبلاغ عن متوسط الدقة بين جميع الموضوعات ، وكذلك الدقة التي تم الحصول عليها من خلال النظر في جميع الموضوعات معا ( صف الكل).
| 10 ثانية التحفيز (متوسط الدقة ± الأمراض المنقولة جنسيا)٪ | 10 ثانية التحفيز (متوسط الدقة ± الأمراض المنقولة جنسيا)٪ | |
| حالة 2D | 94.9 ± 7.4 | 76 ± 16 |
| حالة 4D | 97.2 ± 4.3 | 76 ± 15 |
الجدول 2: مقارنة أداء التصنيف عند النظر في ميزتين من سمات PSD (حالة 2D) مقابل أربع ميزات PSD (حالة 4D) لبيانات EEG المتعلقة ب SSVEP. تتم مقارنة التحفيز لمدة 10 ثوان بتحفيز 2 ثانية من خلال الإبلاغ عن متوسط دقة التحقق المتقاطع والانحرافات المعيارية المرتبطة بها.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
يتضمن الأداء السليم للنظام جانبين حاسمين: استنباط SSVEP واكتساب الإشارة. بصرف النظر عن الأجهزة المحددة التي تم اختيارها للدراسة الحالية ، يمكن استنباط SSVEP بأجهزة مختلفة توفر ضوءا وامضا ، على الرغم من تفضيل النظارات الذكية لضمان قابلية الارتداء وقابلية الحمل. وبالمثل ، يمكن النظر في المزيد من أجهزة تخطيط كهربية الدماغ التجارية ، ولكن يجب أن تكون قابلة للارتداء ومحمولة وتتضمن الحد الأدنى من الأقطاب الكهربائية الجافة لتكون سهلة الاستخدام. علاوة على ذلك ، يمكن تخصيص النظام لاستخدام الأجهزة التي يسهل برمجتها. بالإضافة إلى ذلك ، تحدد استراتيجية المعالجة الأداء النهائي ؛ على الرغم من أن استراتيجية المعالجة لا تبدو حاسمة في تصميم النظام الموصوف ، إلا أن تحسينها سيساهم بالتأكيد في نظام أسرع وأكثر دقة لتطبيقات الاتصال والتحكم10،11،19.
يمكن تسليط الضوء على بعض أوجه القصور في النظام. في الواقع ، بالنسبة لاستنباط SSVEP ، يجب أن يكون لمحفزات الخفقان أبعاد كبيرة وتردد وميض ثابت. الأول يعني أن أزرار تطبيق Android قد تكون ضخمة وتشكل قيودا على سيناريو الواقع الممتد. يتطلب هذا الأخير نظارات ذكية ذات خصائص مترولوجية غير موجودة عادة في الأجهزة التجارية. بالإضافة إلى ذلك ، حتى بعد استيفاء هذه الشروط ، يعتمد وجود SSVEP على الموضوع. والجدير بالذكر أن هناك تباينا داخل الموضوع وبين الموضوعات في سعة SSVEP ، والذي يعتمد على عدة عوامل لا يمكن السيطرة عليها ، مثل إجهاد المستخدم أو الانتباه / المشاركة13. تضيف هذه المشكلة إلى الحاجة إلى إيجاد محفزات مثالية لاستنباط SSVEP المناسب20.
من ناحية أخرى ، يعد اكتساب الإشارة أمرا بالغ الأهمية للأداء النهائي لأنه يجب تحقيق نسبة إشارة إلى ضوضاء مناسبة عند قياس نشاط الدماغ. من أجل تحقيق أقصى قدر من قابلية الارتداء ، وقابلية النقل ، وراحة المستخدم ، والتكلفة المنخفضة ، تم قياس نشاط الدماغ باستخدام مخطط كهربية الدماغ أحادي القناة غير الغازي والأقطاب الكهربائية الجافة. بالطبع ، تتوافق الأقطاب الكهربائية الجافة في الغالب مع متطلبات الحياة اليومية ، ولكن تجنب استخدام المواد الهلامية الموصلة يحد من ملامسة الجلد بالقطب الكهربائي. لذلك ، يجب ضمان الاستقرار الميكانيكي للأقطاب الكهربائية عن طريق وضعها بشكل صحيح وتثبيتها في الاستخدام المستمر. في الواقع ، ومع ذلك ، فإن عيب نظام الاستحواذ المقترح هو أن جودة الإشارة تتدهور فيما يتعلق بتقنيات التصوير العصبي الأكثر توغلا.
على الرغم من نسبة الإشارة إلى الضوضاء الضعيفة المتوقعة ، أظهر التحقق من صحة النظام المقترح أن الأداء العالي لتطبيقات الاتصالات والتحكم ممكن. وعلى وجه الخصوص، أظهر التوصيف المترولوجي للمعدات من فئة المستهلك أن الأجهزة المستخدمة كانت مناسبة لتطبيقات BCI ذات الأهمية، واقترح أيضا أن تكون الأجهزة المماثلة مناسبة لتلك التطبيقات أيضا. من خلال التحقق التجريبي ، لوحظت دقة التصنيف المعتمدة على الموضوع ، ولكن يمكن استخلاص استنتاجات عامة إيجابية.
يمكن تعزيز دقة التصنيف عن طريق زيادة وقت التحفيز. في مثل هذه الحالة ، ستكون استجابة النظام أبطأ ، ولكن لا يزال من الممكن توفير إمكانات اتصال وتحكم بديلة. ثانيا، يمكن الحصول على نظام بدون تدريب (أو على الأكثر نظام مع الحد الأدنى من التدريب) باستخدام بيانات أولية من مواضيع أخرى. لفهم مساهمة الطريقة المقترحة في هذا المجال ، يمكن مقارنة النتائج مع الأدبيات المتعلقة ب SSVEP-BCI غير الغازية. في BCIs التقليدية ، تصل الدقة إلى حوالي 94٪ حتى مع تحفيز 2 s21 ، لكن مثل هذه الأنظمة تتطلب تدريبا مكثفا وقد لا تكون قابلة للارتداء ومحمولة. ومع ذلك ، ينخفض الأداء عند محاولة زيادة سهولة الاستخدام (على سبيل المثال ، عند استخدام أقطاب كهربائية جافة22 وأكثر عند محاولة استخدام قطب كهربائي واحد23). في هذه الحالات ، يتم تقليل دقة التصنيف إلى حوالي 83٪.
لذلك ، فإن النظام الموصوف في هذا العمل يجعل تقنية BCI أقرب إلى تطبيقات الحياة اليومية من خلال زيادة سهولة الاستخدام مع الحفاظ على الأداء العالي ، على الرغم من أن استخدام هذا النظام في الإعدادات السريرية قد يكون غير مناسب. بعض المشاركين بأن الأقطاب الكهربائية الجافة في المنطقة القذالية كانت أكثر إزعاجا من نظيراتها التقليدية ، ولكن بشكل عام ، قدروا قابلية ارتداء النظام وقابليته للنقل. العديد من الترقيات ممكنة ، وبعضها قيد التطوير بالفعل. على سبيل المثال ، يمكن زيادة عدد المحفزات (وبالتالي عدد الأوامر) إلى أربعة. بعد ذلك ، يمكن تصميم المنبهات نفسها لإجهاد العينين بشكل أقل. أخيرا ، يمكن تحسين أداء التصنيف من خلال استراتيجية معالجة أكثر تقدما لتحقيق نظام أكثر دقة و / أو أسرع.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
ليس لدى المؤلفين ما يكشفون عنه.
Acknowledgments
تم تنفيذ هذا العمل كجزء من مشروع تكنولوجيا المعلومات والاتصالات من أجل الصحة ، والذي تم دعمه ماليا من قبل وزارة التعليم والجامعة والبحوث الإيطالية (MIUR) ، في إطار مبادرة أقسام التميز (قانون الميزانية الإيطالية رقم 232/2016) ، من خلال منحة امتياز منحت لقسم تكنولوجيا المعلومات والهندسة الكهربائية بجامعة نابولي فيديريكو الثاني ، نابولي، إيطاليا. أصبح المشروع ممكنا بالفعل بفضل دعم مبادرة Res4Net و TC-06 (التقنيات الناشئة في القياسات) التابعة لجمعية IEEE للأجهزة والقياس. يود المؤلفون أيضا أن يشكروا L. Callegaro و A. Cioffi و S. Criscuolo و A. Cultrera و G. De Blasi و E. De Benedetto و L. Duraccio و E. Leone و M. Ortolano على مساهماتهم الثمينة في تطوير النظام واختباره والتحقق من صحته.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
