Summary
Bu makale, tüketici sınıfı ekipmanlara ve kararlı durum görsel olarak uyarılmış potansiyellere dayanarak bir beyin-bilgisayar arayüzünün nasıl oluşturulacağını tartışmaktadır. Bunun için, kuru elektrotlardan yararlanan tek kanallı bir elektroensefalograf, uyaran sunumu ve çıktı verisi görselleştirmesi için artırılmış gerçeklik gözlükleriyle entegre edildi. Son sistem invaziv olmayan, giyilebilir ve taşınabilirdi.
Abstract
Bu çalışma, giyilebilir bir beyin-bilgisayar arayüzünün (BCI) nasıl oluşturulacağına odaklanmaktadır. BCI'lar, hem engelli insanlara hem de bedensel olarak yetenekli olanlara yardımcı olmak için beyin sinyallerinin doğrudan ölçümlerine dayanan yeni bir insan-bilgisayar etkileşimi aracıdır. Uygulama örnekleri arasında robotik kontrol, endüstriyel muayene ve nörorehabilitasyon sayılabilir. Özellikle, son zamanlarda yapılan çalışmalar, kararlı durum görsel olarak uyarılmış potansiyellerin (SSVEP'ler) iletişim ve kontrol uygulamaları için özellikle uygun olduğunu ve şu anda BCI teknolojisini günlük hayata getirmek için çaba sarf edildiğini göstermiştir. Bu amaca ulaşmak için, nihai sistem giyilebilir, taşınabilir ve düşük maliyetli enstrümantasyona dayanmalıdır. SSVEP'lerden yararlanırken, sabit frekanslı titreşen bir görsel uyaran gereklidir. Bu nedenle, günlük yaşam kısıtları göz önüne alındığında, akıllı gözlükler aracılığıyla görsel uyaran sağlama olasılığı araştırılmıştır. Ayrıca, ortaya çıkan potansiyelleri tespit etmek için, elektroensefalografi (EEG) için ticari bir cihaz düşünülmüştür. Bu, kuru elektrotlara sahip tek bir diferansiyel kanaldan oluşur (iletken jel içermez), böylece en üst düzeyde giyilebilirlik ve taşınabilirlik elde edilir. Böyle bir BCI'da, kullanıcı yalnızca ekranda görünen simgelere bakarak akıllı gözlüklerle etkileşime girebilir. Bu basit prensip üzerine, genişletilmiş gerçeklik (XR) gözlüklerini ticari olarak temin edilebilen bir EEG cihazıyla entegre ederek kullanıcı dostu, düşük maliyetli bir BCI üretildi. Bu giyilebilir XR-BCI'nın işlevselliği, 20 deneği içeren deneysel bir kampanya ile incelendi. Sınıflandırma doğruluğu stimülasyon süresine bağlı olarak ortalama %80-95 arasındaydı. Bu sonuçlar göz önüne alındığında, sistem endüstriyel denetim için bir insan-makine arayüzü olarak değil, aynı zamanda DEHB ve otizmde rehabilitasyon için de kullanılabilir.
Introduction
Bir beyin-bilgisayar arayüzü (BCI), doğal sinir yolları olmadan cihazlarla iletişime ve / veya cihazların kontrolüne izin veren bir sistemdir1. BCI teknolojisi, insanlığın nesneleri zihnin gücüyle kontrol etmeye en yakın olduğu şeydir. Teknik açıdan bakıldığında, sistem çalışması, konu2'den istemsiz veya gönüllü olarak üretilebilecek indüklenmiş veya uyarılmış beyin aktivitesini ölçerek çalışır. Tarihsel olarak, araştırmalar BCI3 aracılığıyla motor engelli insanlara yardım etmeye odaklandı, ancak günümüzde giderek artan sayıda şirket, oyun4, robotik5, endüstri6 ve insan-makine etkileşimini içeren diğer uygulamalar için BCI tabanlı enstrümantasyon sunuyor. Özellikle, BCI'lar dördüncü sanayi devriminde, yani siber-fiziksel üretim sistemlerinin insanlar ve çevre arasındaki etkileşimi değiştirdiği endüstri 4.07'de rol oynayabilir8. Genel olarak, Avrupa projesi BNCI Horizon 2020, merkezi sinir sisteminin kayıp doğal fonksiyonlarının değiştirilmesi, geri yüklenmesi, iyileştirilmesi, geliştirilmesi veya desteklenmesi gibi uygulama senaryolarının yanı sıra BCI'nın beynin araştırılmasında kullanılması gibi uygulama senaryolarını tanımladı9.
Bu çerçevede, son teknolojik gelişmeler beyin-bilgisayar arayüzlerinin günlük yaşamda kullanım için uygun olabileceği anlamına gelmektedir10,11. Bu amaca ulaşmak için ilk gereklilik, cerrahi müdahale risklerinden kaçınmak ve kullanıcı kabulünü artırmak için önemli olan non-invazivliktir. Bununla birlikte, non-invaziv nörogörüntüleme seçiminin ölçülen beyin sinyallerinin kalitesini etkilediğini ve BCI tasarımının daha sonra ilişkili tuzaklarla başa çıkması gerektiğini belirtmek gerekir12. Ek olarak, giyilebilirlik ve taşınabilirlik gereklidir. Bu gereksinimler, kullanıcı dostu bir sisteme duyulan ihtiyaçla uyumludur, ancak aynı zamanda bazı kısıtlamalar da getirmektedir. Genel olarak, söz konusu donanım kısıtlamaları, jel içermeyen elektrotlara sahip bir elektroensefalografik (EEG) sistemin kullanılmasıyla elealınmaktadır 6. Böyle bir EEG tabanlı BCI da düşük maliyetli olacaktır. Bu arada, yazılım açısından, minimum kullanıcı eğitimi (veya ideal olarak hiçbir eğitim) istenmeyecektir; Yani, kullanıcı sistemi kullanmadan önce işleme algoritmasını ayarlamak için uzun sürelerden kaçınmak en iyisi olacaktır. Bu yön, BCI'larda özneler arası ve özne içi durağanlık olmaması nedeniyle kritik öneme sahiptir13,14.
Önceki literatür, uyarılmış beyin potansiyellerinin tespitinin, sinyal alımındaki durağanlık ve gürültü açısından sağlam olduğunu göstermiştir. Başka bir deyişle, uyarılmış potansiyelin tespitine dayanan BCI'lar reaktif olarak adlandırılır ve beyin paterni tanıma açısından en iyi performans gösteren BCI'lardır15. Bununla birlikte, muhtemelen bu tür arayüzlerin ana dezavantajı olan duyusal stimülasyona ihtiyaç duyarlar. Bu nedenle, önerilen yöntemin amacı, giyilebilir, kullanıma hazır enstrümantasyona dayanan son derece giyilebilir ve taşınabilir bir BCI oluşturmaktır. Buradaki duyusal uyaranlar, akıllı gözlükler tarafından üretilen, kararlı durum görsel olarak uyarılmış potansiyelleri (SSVEP'ler) ortaya çıkarabilen titreşen ışıklardan oluşur. Önceki çalışmalar, BCI'yı sanal gerçeklikle tek başına veya artırılmış gerçeklik16 ile birlikte entegre etmeyi zaten düşünmüştü. Örneğin, SSVEP17 ile bir quadcopter'ı kontrol etmek için bir BCI-AR sistemi önerildi. Sanal gerçeklik, artırılmış gerçeklik ve diğer paradigmalar, genişletilmiş gerçeklik terimiyle anılır. Böyle bir senaryoda, akıllı gözlük seçimi giyilebilirlik ve taşınabilirlik gereksinimlerine uygundur ve akıllı gözlükler minimum EEG edinme kurulumu ile entegre edilebilir. Bu makale, SSVEP tabanlı BCI'nın düşük-orta hızlı iletişim ve kontrol uygulamaları için kabul edilebilir sınıflandırma performansı elde ederken minimum eğitim gerektirdiğini göstermektedir. Bu nedenle, teknik günlük yaşam uygulamaları için BCI'ya uygulanır ve özellikle endüstri ve sağlık hizmetleri için uygun görünmektedir.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Çalışma, Napoli Üniversitesi Federico II Beşeri Bilimler Bölümü Psikolojik Araştırmalar Etik Kurulu tarafından onaylanmıştır. Gönüllüler deneylere katılmadan önce bilgilendirilmiş onam imzaladılar.
1. Non-invaziv giyilebilir beynin hazırlanması - bilgisayar arayüzü
- Kuru elektrotlu düşük maliyetli tüketici sınıfı bir elektroensefalograf edinin ve tek kanallı kullanım için yapılandırın.
- Düşük maliyetli elektroensefalograftaki kullanılmayan giriş kanallarını kısa devre yapın veya doğal veri sayfasında belirtildiği gibi dahili bir referans voltajına bağlayın. Bunu yaparken, kullanılmayan kanallar devre dışı bırakılır ve çapraz konuşma gürültüsü oluşturmazlar.
- Elektroensefalograf kazancını (tipik olarak değişken dirence sahip bir bileşen aracılığıyla) 100 μV mertebesinde bir giriş aralığına sahip olacak şekilde ayarlayın.
NOT: Ölçülecek EEG sinyalleri onlarca mikrovolt mertebesindedir. Bununla birlikte, kuru elektrotlar hareket artefaktlarından büyük ölçüde etkilenir, bu da elektrot-cilt empedansındaki değişkenlik nedeniyle 100 μV mertebesinde salınımlara neden olur. Giriş voltajı aralığının arttırılması, EEG amplifikatör doygunluğunu sınırlamaya yardımcı olur, ancak bunu tamamen ortadan kaldırmaz. Öte yandan, giriş voltajı aralığını daha da artırmak sakıncalı olacaktır, çünkü bu, istenen EEG bileşenlerinin ölçülmesinde voltaj çözünürlüğünü etkileyecektir. Sonuçta, elektroensefalograf kartı içindeki analog-dijital dönüştürücünün bit çözünürlüğü de dikkate alınarak iki yön dengelenmelidir. - Elektroensefalograf panosuna bağlanmak için üç kuru elektrot hazırlayın. Referans elektrot olarak pasif bir elektrot (ön amplifikasyon yok) kullanın. Kalan iki ölçüm elektrodu aktif olmalıdır (yani, ön amplifikasyon ve nihai analog filtrelemeyi içerir).
NOT: Tüylü bir kafa derisi bölgesine yerleştirilen elektrotlar, elektrot-cilt temas empedansının üstesinden gelmek için pimler gerektirir. Mümkünse, düz başlı gümüş pimleri lehimleyin (kullanıcı için çok fazla acı çekmemek için) veya ideal olarak Ag / AgCl kaplamalı iletken (yumuşak) kauçuk kullanın.
- Android işletim sistemine ve 60 Hz yenileme hızına sahip ticari akıllı gözlükler edinin. Daha az göz yorgunluğu olacağı için uyaranlar için daha yüksek bir yenileme hızı arzu edilir, ancak piyasada şu anda mevcut bir çözüm yoktur.
- İletişim veya kontrol için bir Android uygulamasının kaynak kodunu indirin veya bir tane geliştirin.
- Doğal nesneyi değiştirerek uygulamadaki sanal düğmeleri titreşen simgelerle değiştirin (genellikle Java veya Kotlin'de). En az %5 ekran boyutuna sahip beyaz kareler önerilir. Genellikle, uyarıcı kare ne kadar büyük olursa, tespit edilecek SSVEP bileşeni o kadar yüksek olur, ancak belirli bir duruma bağlı olarak optimum bulunabilir. Önerilen frekanslar 10 Hz ve 12 Hz titreşmedir. Akıllı gözlüklerin bilgi işlem biriminin (CPU) aşırı yüklenmesini önlemek için titreşimi grafik işlem birimine (GPU) uygulayın. Bu amaçla, OpenGL kitaplığındaki nesneleri kullanın.
- Giriş EEG akışının gerçek zamanlı olarak işlenmesi için Android uygulamasının bir modülünü uygulayın. Android USB Hizmeti, akışın USB üzerinden alınabilmesi için eklenebilir. Gerçek zamanlı işleme, gelen paketleri dikkate alarak EEG akışına kayan bir pencere uygulayabilir. Hızlı bir Fourier dönüşüm fonksiyonu ile 10 Hz ve 12 Hz frekanslarıyla ilişkili güç spektral yoğunluklarını hesaplayın. Bu nedenle, eğitimli bir sınıflandırıcı, güç spektral yoğunluk özelliklerini sınıflandırarak kullanıcının 10 Hz titreşen simgeye veya 12 Hz titreşen simgeye baktığını ayırt edebilir.
2. SSVEP tabanlı beynin kalibre edilmesi - bilgisayar arayüzü
NOT: Bu çalışma için sağlıklı gönüllüler seçilmiştir. Beyin hastalıkları öyküsü olan denekleri hariç tutun. İlgili deneklerin normal veya düzeltilmiş normal görüşe sahip olmaları gerekiyordu. Deneyler sırasında rahat olmaları ve özellikle başın gereksiz hareketlerinden kaçınmaları talimatı verildi.
- Android uygulaması ile kullanıcının akıllı gözlük takmasına izin verin.
- Kullanıcının elektrotları tutmak için sıkı bir kafa bandı takmasına izin verin.
- Düşük maliyetli elektroensefalografı, PC ana güç kaynağından çıkarılırken bir USB kablosuyla bir PC'ye bağlayın.
- Başlangıçta, bilinen bir durumdan başlamak için tüm elektrotları elektroensefalograf edinme kartından ayırın.
- Bu aşamada, EEG akışı, Android uygulamasında uygulanan işlemle uyumlu bir komut dosyasıyla PC'de çevrimdışı olarak işlenir. EEG sinyallerini almak ve görselleştirmek için komut dosyasını başlatın.
- Çevrimdışı işlenen görüntülenen sinyali kontrol edin. Bu sadece EEG amplifikatörünün niceleme gürültüsüne karşılık gelmelidir.
- Elektrotları bağlayın.
- Pasif elektrodu sol kulağa özel bir klipsle uygulayın veya bir kulak klipsi elektrodu kullanın. Çıkış sinyali bu adımda değişmeden kalmalıdır, çünkü ölçüm diferansiyel kanalı hala açık bir devredir.
- Aktif bir elektrotu ölçüm EEG kanalının diferansiyel girişinin negatif terminaline bağlayın ve bir kafa bandı ile frontal bölgeye (Fpz standart konumu) uygulayın. Birkaç saniye sonra, sinyal sıfıra dönmelidir (niceleme gürültüsü).
- Diğer aktif elektrodu, ölçüm EEG kanalının diferansiyel girişinin pozitif terminaline bağlayın ve kafa bandı ile oksipital bölgeye (Oz standart konumu) uygulayın. Şimdi, frontal beyin bölgesine göre ölçülen görsel aktiviteye karşılık gelen bir beyin sinyali görüntülenir (orada görsel aktivite öngörülmez).
- Sistem kalibrasyonu için sinyalleri alın.
- Android uygulamasında titreşen simgeyi başlatarak kullanıcıyı 10 Hz ve 12 Hz (ve nihayetinde diğer) titreşen simgelerle tekrar tekrar uyarın ve çevrimdışı işleme için doğal EEG sinyallerini alın ve kaydedin. Bu aşamadaki her stimülasyonun 10 saniye boyunca titreşen tek bir simgeden oluştuğundan emin olun ve EEG alma ve görselleştirme komut dosyasını başlatırken akıllı gözlüklerin dokunmatik yüzeyine basarak titreşen simgeyi başlatın.
- Her stimülasyonla ilişkili 10 s sinyallerinden, hızlı Fourier dönüşümünü kullanarak iki özelliği çıkarın: 10 Hz ve 12 Hz'de güç spektral yoğunluğu. Alternatif olarak, ikinci harmonikleri (20 Hz ve 24 Hz) düşünün.
- Bir destek vektörü makine sınıflandırıcısını eğitmek için özellikler etki alanında edinilen sinyallerin bir temsilini kullanın. Giriş özelliklerine dayalı olarak nihai çekirdeğe sahip bir hiperdüzlemin parametrelerini tanımlamak için bir araç (Matlab veya Python'da) kullanın. Eğitilen model, EEG sinyallerinin gelecekteki gözlemlerini sınıflandırabilecektir.
3. Son giyilebilir ve taşınabilir SSVEP tabanlı arayüzü bir araya getirin
- USB kablosunu PC'den çıkarın ve doğrudan akıllı gözlüklere bağlayın.
- Eğitilen sınıflandırıcının parametrelerini Android uygulamasına ekleyin. Sistem artık hazır.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Yukarıda açıklanan sistemin olası bir uygulaması Şekil 1'de gösterilmiştir; Bu uygulama, kullanıcının beyin aktivitesi yoluyla artırılmış gerçeklikte gezinmesini sağlar. Akıllı gözlük ekranındaki titreşen simgeler, uygulamanın eylemlerine karşılık gelir (Şekil 1A) ve bu nedenle, bu gözlükler düğmeye basmaya veya dokunmatik yüzeye dayanan geleneksel bir arayüzün yerini alır. Böyle bir etkileşimin etkinliği, titremenin uyandırdığı potansiyellerin başarılı bir şekilde sınıflandırılması ile kesinlikle ilgilidir. Bu amaca ulaşmak için, önce sistem18 için metrolojik bir karakterizasyon gerçekleştirildi ve daha sonra insan kullanıcıları deneysel bir doğrulamaya dahil edildi.
Şekil 1: Önerilen beyin-bilgisayar arayüzünün olası uygulaması. (A) Kullanıcının akıllı gözlüklerle gördüklerinin, yani gerçek senaryonun ve görsel uyaranların temsili; (B) eller serbest sistemini kullanan bir kullanıcı. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Elektroensefalograf doğrusallık ve büyüklük hatası açısından karakterize edildi. Doğrusallık, yedi farklı genlikte (10 μV, 20 μV, 30 μV, 40 μV, 60 μV, 80 μV ve 100 μV) test edilen cihaza sinüzoidal bir giriş sinyali ile yapılan ölçümlerle 20 Hz'de değerlendirildi. Elektroensefalografın voltajını giriş voltajının bir fonksiyonu olarak çizerek, Şekil 2A, elektroensefalografın net doğrusal davranışını vurgulamaktadır. Doğrusallık, doğrusal uyumun iyiliği için bir Fisher testi ile de doğrulandı. Bununla birlikte, şekil aynı zamanda bazı kazanç ve ofset hatalarını da göstermektedir. Bu hatalar, genliği 100 μV'de sabitleyerek ve frekansı değiştirerek test edildi. Sonuçlar Şekil 2B'de rapor edilmiştir ve nominal kazanca göre büyüklük hatasını doğrulamaktadır.
Şekil 2: Düşük maliyetli elektroensefalograf karakterizasyonunun sonuçları. (A) Doğrusal hatalar; (B) büyüklük hataları. Her ölçüm noktası için numune sayısı 4.096 idi. Daha ayrıntılı bir tartışma Arpaia ve ark.18'de bulunabilir. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Son olarak, nominal kare dalga yolundan nihai sapmaları vurgulamak için akıllı gözlüklerin titreşimi ölçüldü. Bu tür sapmalar özellikle 12 Hz titremenin genlik spektrumunda görülebiliyordu (Şekil 3B). Bununla birlikte, tüm bu hatalar dikkate alınabilir veya nihayetinde telafi edilebilir, böylece SSVEP-BCI sistemi için tüketici sınıfı malzeme kullanmanın fizibilitesini gösterir.
Şekil 3: Ticari akıllı gözlüklerin titreşen düğmelerin genlik spektrumu açısından karakterizasyonunun sonuçları. (A) 10 Hz'de titreme; (B) 12 Hz'de titreme. Daha ayrıntılı bir tartışma Arpaia ve ark.18'de bulunabilir. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Deneysel doğrulama ile ilgili olarak, kampanyaya 20 denek (7 kadın) katıldı. Her denek, akıllı gözlük ekranında aynı anda titreşen iki simgeyle 24 denemeye tabi tutuldu. Özne, her biri farklı bir frekansa (10 Hz titreme veya 12 Hz titreme) sahip olan rastgele sıralanmış iki simgeden birine bakmak zorunda kaldı. Deneklerin ilk başta hangi frekansa baktıklarının rastgeleliği, önceden tanımlanmış herhangi bir kriter olmadan bakacakları simgeye karar vermelerine izin verilerek garanti edildi. Belirli bir frekansta 12 deneme tamamlandıktan sonra, denekten kalan denemeler için diğer frekansla simgeye odaklanması istendi. İstismar edilen uygulamada, 12 Hz titreşen simgesi sol üst köşede, 10 Hz titreşen simgesi ise sağ alt köşede belirdi. Tek bir deneme 10.0 s sürdü ve ardışık denemeler arasında birkaç saniye (rastgele süreli) geçti. Daha küçük zaman pencereleri daha sonra kaydedilen sinyalleri keserek çevrimdışı olarak analiz edilebilir.
Şekil 4: Özellikler alanında görsel stimülasyon sırasında ölçülen sinyallerin gösterimi. 12 Hz titreşen uyaranlarla (sınıf 12 Hz) ilişkili sinyaller mavi renkle gösterilirken, 10 Hz titreşen uyaranlarla (sınıf 10 Hz) ilişkili sinyaller kırmızı renkle temsil edilir. Tüm konulardaki özellikler burada ele alınmıştır. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Şekil 4, iki güç spektral yoğunluk özelliği ile temsil edilen 10 s sinyallerini, yani 12 Hz ve 10 Hz'de bildirmektedir. İki boyuttaki tek bir nokta, tek bir denemeye karşılık geliyordu. İki farklı titreşme frekansına karşılık gelen noktalar renkleriyle ayırt edildi. Bu nedenle, iki sınıf arasında bir örtüşme olmasına rağmen, iki sınıf ayrıldı, bu da yanlış sınıflandırmaya neden olmuş olabilir. Sınıflandırma sonuçları dört kat çapraz doğrulama ile elde edildi, böylece veriler dört kez eğitim için 18 denemeye ve doğrulama için 6 denemeye bölündü. Veriler, 10 s stimülasyon vakasında (Tablo 1), 20 denekten 8'inin% 100 doğruluğa ulaştığını, ancak diğer denekler için sınıflandırma doğruluğunun% 65 -% 70 kadar düşük olduğunu doğruladı. Bu arada, bir denek 2 s stimülasyon ile% 100'e ulaştı (post işlemede sinyalleri keserek elde edildi) ve ilgili sayıda denek rastgele (% 50) sınıflandırma doğruluğuna ulaştı. Tüm deneklerden elde edilen veriler bir bütün olarak ele alınmış ve sınıflandırma doğruluğu elde edilmiştir. Performans, ortalama 30 bit / dak'nın üzerinde olan bilgi aktarım hızı (ITR) açısından da değerlendirildi. Tablo 2 , bunların arttığını veya sabit kaldığını ve en azından 10 s stimülasyon durumunda standart sapmanın azaldığını, böylece farklı denekler için sınıflandırma performansında daha az dağılım olduğunu göstermektedir. Son olarak, bu dört özellikli vakadaki tüm denekler için sınıflandırma doğruluğu yeniden hesaplanmış ve tekrar ortalama doğruluklara yakın oldukları bulunmuştur.
| Konu | 10 s Stimülasyon Doğruluğu % | 2 s Stimülasyon Doğruluğu % |
| Tüm | 94.2 | 77.5 |
| S1 | 100 | 100 |
| S2 | 100 | 98.8 |
| S3 | 100 | 92 |
| S4 | 100 | 92 |
| S5 | 100 | 88 |
| S6 | 100 | 87 |
| S7 | 100 | 87 |
| S8 | 100 | 64 |
| S9 | 97.9 | 57 |
| S10 | 96.7 | 88.8 |
| S11 | 96 | 64 |
| S12 | 95.8 | 78 |
| S13 | 95.4 | 83 |
| S14 | 95.4 | 53 |
| S15 | 94 | 80 |
| S16 | 92.9 | 61 |
| S17 | 91 | 78 |
| S18 | 89.6 | 61 |
| S19 | 81 | 52 |
| S20 | 71 | 49 |
| DEMEK | 94.9 | 76 |
| CYBH | 7.4 | 16 |
Tablo 1: SSVEP ile ilişkili EEG sinyallerinin sınıflandırılmasında çapraz doğrulama doğruluğu. Her denek için, 10 s stimülasyon ile ilişkili sonuçlar, 2 s stimülasyon ile ilişkili sonuçlarla karşılaştırılır. Tüm denekler arasındaki ortalama doğruluk ve tüm konular bir arada düşünülerek elde edilen doğruluk raporlanır ( tümünü sırala).
| 10 s Stimülasyon (Ortalama doğruluk ± std) % | 10 s Stimülasyon (Ortalama doğruluk ± std) % | |
| 2D Kılıf | 94,9 ± 7,4 | 76 ± 16 |
| 4D Kılıf | 97.2 ± 4.3 | 76 ± 15 |
Tablo 2: SSVEP ile ilişkili EEG verileri için iki PSD özelliği (2B durum) ile dört PSD özelliği (4B durum) dikkate alındığında sınıflandırma performansının karşılaştırılması. 10 s'lik bir stimülasyon, ortalama çapraz doğrulama doğrulukları ve bunlarla ilişkili standart sapmalar bildirilerek 2 sn'lik bir uyarımla karşılaştırılır.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Sistemin düzgün çalışması iki önemli yönü içerir: SSVEP uyarımı ve sinyal alımı. Mevcut çalışma için seçilen belirli cihazların yanı sıra, SSVEP, titreşen bir ışık sağlayan farklı cihazlarla ortaya çıkarılabilir, ancak giyilebilirlik ve taşınabilirliği sağlamak için akıllı gözlükler tercih edilir. Benzer şekilde, daha fazla ticari elektroensefalograf düşünülebilir, ancak giyilebilir, taşınabilir olmaları ve kullanıcı dostu olmaları için minimum sayıda kuru elektrot içermeleri gerekir. Ayrıca, sistem programlanması kolay cihazları kullanacak şekilde özelleştirilebilir. Ek olarak, işleme stratejisi nihai performansı belirler; İşleme stratejisi açıklanan sistem tasarımında çok önemli görünmese de, geliştirilmesi kesinlikle iletişim ve kontrol uygulamaları için daha hızlı ve daha doğru bir sisteme katkıda bulunacaktır10,11,19.
Sistemin bazı eksiklikleri vurgulanabilir. Gerçekten de, SSVEP çıkarımı için, titreşen uyaranların büyük boyutlara ve sabit bir titreme frekansına sahip olması gerekir. Birincisi, Android uygulamasının düğmelerinin hantal olabileceği ve genişletilmiş gerçeklik senaryosunda sınırlamalar getirebileceği anlamına gelir. İkincisi, tipik olarak ticari cihazlarda bulunmayan metrolojik özelliklere sahip akıllı gözlükler gerektirir. Ek olarak, bu koşulları yerine getirdikten sonra bile, bir SSVEP'in varlığı konuya bağlıdır. Özellikle, SSVEP genliklerinde, kullanıcı yorgunluğu veya dikkat / katılım gibi kontrol edilemeyen birkaç faktöre bağlı olarak özneler arası ve konular arası değişkenlik vardır13. Bu sorun, uygun SSVEP uyarımı20 için en uygun uyaranları bulma ihtiyacını artırmaktadır.
Öte yandan, sinyal alımı nihai performans için kritik öneme sahiptir, çünkü beyin aktivitesini ölçerken uygun bir sinyal-gürültü oranı elde edilmelidir. En üst düzeyde giyilebilirlik, taşınabilirlik, kullanıcı konforu ve düşük maliyet elde etmek için, beyin aktivitesi tek kanallı non-invaziv EEG ve kuru elektrotlarla ölçüldü. Tabii ki, kuru elektrotlar çoğunlukla günlük yaşam gereksinimlerine uygundur, ancak iletken jellerin kullanımından kaçınmak elektrot-cilt temasını sınırlar. Bu nedenle, elektrotların mekanik stabilitesi, doğru yerleştirilerek ve sürekli kullanımda stabilize edilerek sağlanmalıdır. Bununla birlikte, aslında, önerilen edinme sisteminin dezavantajı, sinyal kalitesinin daha invaziv nörogörüntüleme tekniklerine göre düşmesidir.
Beklenen zayıf sinyal-gürültü oranına rağmen, önerilen sistemin doğrulanması, iletişim ve kontrol uygulamaları için yüksek performansın mümkün olduğunu göstermiştir. Özellikle, tüketici sınıfı ekipmanın metrolojik karakterizasyonu, kullanılan cihazların ilgilenilen BCI uygulamaları için uygun olduğunu gösterdi ve aynı zamanda benzer cihazların bunlar için de uygun olması gerektiğini önerdi. Deneysel doğrulama yoluyla, konuya bağlı sınıflandırma doğrulukları gözlendi, ancak olumlu genel sonuçlar çıkarılabildi.
Sınıflandırma doğruluğu, stimülasyon süresi artırılarak artırılabilir. Böyle bir durumda, sistem yanıt hızı daha yavaş olacaktır, ancak alternatif iletişim ve kontrol yetenekleri hala sağlanabilir. İkincisi, eğitimsiz bir sistem (veya en fazla minimum eğitime sahip bir sistem) diğer konulardan elde edilen ön veriler kullanılarak elde edilebilir. Önerilen yöntemin alana katkısını anlamak için, sonuçlar non-invaziv SSVEP-BCI literatürü ile karşılaştırılabilir. Daha geleneksel BCI'larda, doğruluk 2 s stimülasyon21 ile bile yaklaşık% 94'e ulaşır, ancak bu tür sistemler kapsamlı eğitim gerektirir ve giyilebilir ve taşınabilir olmayabilir. Bununla birlikte, kullanım kolaylığını artırmaya çalışırken performans düşer (örneğin, kuru elektrotlar22 kullanıldığında ve tek bir elektrot23 kullanmaya çalışırken daha da fazla). Bu durumlarda, sınıflandırma doğrulukları yaklaşık% 83'e düşürülür.
Bu nedenle, bu çalışmada açıklanan sistem, klinik ortamlarda kullanılması uygun olmasa da, performansı yüksek tutarken kullanıcı dostu olma özelliğini artırarak BCI teknolojisini günlük yaşam uygulamalarına yaklaştırmaktadır. Bazı katılımcılar, oksipital bölgedeki kuru elektrotların geleneksel meslektaşlarından daha rahatsız edici olduğunu, ancak genel olarak sistemin giyilebilirliğini ve taşınabilirliğini takdir ettiklerini belirttiler. Birçok yükseltme mümkündür ve bazıları zaten geliştirilmektedir. Örneğin, uyaranların sayısı (ve dolayısıyla komutların sayısı) dörde çıkarılabilir. Daha sonra, uyaranların kendileri gözleri daha az zorlamak için tasarlanabilir. Son olarak, sınıflandırma performansı, daha doğru ve / veya daha hızlı bir sistem elde etmek için daha gelişmiş bir işleme stratejisi ile geliştirilebilir.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarların açıklayacak hiçbir şeyi yok.
Acknowledgments
Bu çalışma, İtalya Eğitim, Üniversite ve Araştırma Bakanlığı (MIUR) tarafından Mükemmellik Bölümleri (232/2016 sayılı İtalyan Bütçe Kanunu) girişimi kapsamında, Napoli Federico II Üniversitesi Bilgi Teknolojileri ve Elektrik Mühendisliği Bölümü'ne verilen bir mükemmellik hibesi ile finansal olarak desteklenen Sağlık için BİT projesinin bir parçası olarak gerçekleştirilmiştir. Napoli, İtalya. Proje gerçekten de Res4Net girişiminin ve IEEE Enstrümantasyon ve Ölçüm Topluluğu'nun TC-06 (Ölçümlerde Gelişen Teknolojiler) desteğiyle mümkün olmuştur. Yazarlar ayrıca L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone ve M. Ortolano'ya sistemin geliştirilmesi, test edilmesi ve doğrulanmasındaki değerli katkıları için teşekkür eder.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
