Summary
이 백서에서는 소비자 등급 장비와 정상 상태의 시각적 유발 잠재력에 의존하여 뇌-컴퓨터 인터페이스를 구축하는 방법에 대해 설명합니다. 이를 위해 건식 전극을 활용하는 단일 채널 뇌파계가 자극 표현 및 출력 데이터 시각화를 위해 증강 현실 안경과 통합되었습니다. 최종 시스템은 비침습적, 웨어러블 및 휴대용이었습니다.
Abstract
현재 연구는 웨어러블 뇌-컴퓨터 인터페이스(BCI)를 구축하는 방법에 중점을 둡니다. BCI는 장애인과 장애인 모두를 돕기 위해 뇌 신호의 직접 측정에 의존하는 인간-컴퓨터 상호 작용의 새로운 수단입니다. 적용 사례로는 로봇 제어, 산업 검사 및 신경 재활이 있습니다. 특히, 최근 연구에 따르면 정상 상태 시각 유발 전위(SSVEP)는 통신 및 제어 애플리케이션에 특히 적합하며 현재 BCI 기술을 일상 생활에 도입하기 위한 노력이 이루어지고 있습니다. 이 목표를 달성하기 위해 최종 시스템은 웨어러블, 휴대용 및 저비용 기기에 의존해야 합니다. SSVEP를 활용하려면 고정 주파수로 깜박이는 시각적 자극이 필요합니다. 따라서 일상 생활의 제약을 고려할 때 스마트 안경을 통해 시각적 자극을 제공할 수 있는 가능성을 본 연구에서는 탐구하였다. 또한, 유도된 전위를 감지하기 위해 뇌파검사(EEG)를 위한 상용 장치가 고려되었습니다. 이것은 건식 전극(전도성 젤 없음)이 있는 단일 차동 채널로 구성되어 최고의 착용성과 휴대성을 달성합니다. 이러한 BCI에서, 사용자는 단지 디스플레이에 나타나는 아이콘들을 응시하는 것만으로 스마트 글래스와 상호작용할 수 있다. 이 간단한 원리에 따라 확장 현실(XR) 안경을 상업적으로 이용 가능한 EEG 장치와 통합하여 사용자 친화적인 저비용 BCI를 구축했습니다. 이 웨어러블 XR-BCI의 기능은 20명의 피험자가 참여한 실험 캠페인으로 조사되었습니다. 분류 정확도는 자극 시간에 따라 평균 80%-95% 사이였습니다. 이러한 결과를 감안할 때 이 시스템은 산업 검사를 위한 인간-기계 인터페이스로 사용될 수 있을 뿐만 아니라 ADHD 및 자폐증의 재활에도 사용될 수 있습니다.
Introduction
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 자연 신경 경로없이 장치와의 통신 및/또는 제어를 허용하는 시스템이다1. BCI 기술은 인류가 마음의 힘으로 사물을 조종하는 데 가장 가까운 것입니다. 기술적인 관점에서 볼 때, 시스템 작동은 피험자로부터 비자발적 또는 자발적으로 생성될 수 있는 유도 또는 유발된 뇌 활동을 측정함으로써 작동한다2. 역사적으로 연구는 BCI3를 통해 운동 장애가 있는 사람들을 돕는 데 중점을 두었지만, 오늘날 점점 더 많은 회사들이 게임4, 로봇 공학5, 인더스트리6 및 인간-기계 상호 작용과 관련된 기타 응용 분야를 위한 BCI 기반 계측기를 제공하고 있습니다. 특히, BCI는 4차 산업혁명, 즉 인더스트리 4.0(Industry 4.0)7에서 중요한 역할을 할 수 있는데, 여기서 사이버-물리적 생산 시스템은 인간과 주변 환경 간의 상호작용을 변화시키고 있다8. 대체로 유럽 프로젝트 BNCI Horizon 2020은 중추신경계의 손실된 자연적 기능을 대체, 복원, 개선, 향상 또는 보완하는 것과 같은 응용 시나리오와 뇌 조사에 BCI를 사용하는 것과 같은 응용 시나리오를 식별했습니다9.
이러한 프레임워크에서, 최근의 기술적 진보는 뇌-컴퓨터 인터페이스가 일상 생활에서의 사용에 적용될 수 있음을 의미한다10,11. 이 목표를 달성하기 위한 첫 번째 요구 사항은 비침습성이며, 이는 외과적 개입의 위험을 피하고 사용자 수용도를 높이는 데 중요합니다. 그러나 비침습적 신경영상의 선택이 측정된 뇌 신호의 품질에 영향을 미치며, BCI 설계는 관련된 함정을 다루어야 한다는 점은 주목할 가치가 있다12. 또한 착용감과 휴대성이 요구됩니다. 이러한 요구 사항은 사용자 친화적인 시스템의 필요성과 일치하지만 몇 가지 제약 조건도 있습니다. 전반적으로, 언급된 하드웨어 제약은 젤-프리 전극(gel-free electrodes)을 갖는 뇌파(electroencephalographic, EEG) 시스템의 사용에 의해 해결된다6. 이러한 EEG 기반 BCI는 비용도 저렴합니다. 한편, 소프트웨어 측면에서 최소한의 사용자 교육(또는 이상적으로는 교육이 없음)이 필요합니다. 즉, 사용자가 시스템을 사용하기 전에 처리 알고리즘을 튜닝하는 데 오랜 시간을 피하는 것이 가장 좋습니다. 이 측면은 주제 간 및 주제 내 비정상성13,14 때문에 BCI에서 중요합니다.
이전 문헌은 유발된 뇌 전위의 감지가 신호 획득에서 비정상성 및 잡음과 관련하여 강력하다는 것을 입증했습니다. 즉, 유발 전위의 검출에 의존하는 BCI는 반응성(rereaction)이라고 하며, 뇌 패턴 인식 측면에서 가장 성능이 좋은 BCI이다15. 그럼에도 불구하고, 그들은 감각 자극을 필요로하는데, 이는 아마도 그러한 인터페이스의 주요 단점 일 것입니다. 따라서 제안된 방법의 목표는 웨어러블 기성품 기기에 의존하는 고도로 웨어러블하고 휴대가 간편한 BCI를 구축하는 것입니다. 여기서 감각 자극은 스마트 안경에 의해 생성되는 깜박이는 빛으로 구성되며, 이는 정상 상태 시각적 유발 전위(SSVEP)를 유도할 수 있습니다. 이전 연구에서는 이미 BCI를 단독으로 또는 증강 현실과 함께 가상 현실과 통합하는 것을 고려했습니다16. 예를 들어, SSVEP17로 쿼드콥터를 제어하기 위해 BCI-AR 시스템이 제안되었습니다. 가상 현실, 증강 현실 및 기타 패러다임은 확장 현실이라는 용어로 언급됩니다. 이러한 시나리오에서 스마트 안경의 선택은 착용성 및 휴대성 요구 사항을 준수하며 스마트 안경은 최소한의 EEG 획득 설정으로 통합될 수 있습니다. 이 백서는 SSVEP 기반 BCI가 최소한의 교육만 필요하며 중저속 통신 및 제어 응용 분야에서 허용 가능한 분류 성능을 달성한다는 것을 보여줍니다. 따라서 이 기술은 일상 생활 응용 분야를 위해 BCI에 적용되며 특히 산업 및 의료에 적합한 것으로 보입니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이 연구는 나폴리 페데리코 II 대학 인문학과의 심리학 윤리위원회의 승인을 받았습니다. 자원 봉사자들은 실험에 참여하기 전에 정보에 입각 한 동의서에 서명했습니다.
1. 비침습적 웨어러블 뇌 준비 - 컴퓨터 인터페이스
- 건식 전극이 있는 저가형 소비자 등급 뇌파계를 구하고 단일 채널 사용을 위해 구성합니다.
- 저비용 뇌파계에서 사용하지 않는 입력 채널을 단락시키거나 내부 기준 전압에 연결합니다.tage 고유한 데이터시트에 명시되어 있습니다. 이렇게 하면 사용하지 않는 채널이 비활성화되고 누화 노이즈가 발생하지 않습니다.
- 뇌파 이득(일반적으로 가변 저항이 있는 구성 요소를 통해)을 조정하여 입력 범위가 100μV 정도가 되도록 합니다.
알림: 측정할 EEG 신호는 수십 마이크로볼트 정도입니다. 그러나 건식 전극은 모션 아티팩트의 영향을 크게 받으며, 이로 인해 전극-피부 임피던스의 가변성으로 인해 100μV 정도의 진동이 발생합니다. 입력 전압 범위를 늘리면 EEG 증폭기 포화를 제한하는 데 도움이 되지만 완전히 제거되지는 않습니다. 반면에 입력 전압 범위를 더 늘리는 것은 원하는 EEG 구성 요소를 측정할 때 전압 분해능에 영향을 미치기 때문에 불편할 것입니다. 궁극적으로, 두 가지 측면은 뇌파 보드 내부의 아날로그-디지털 변환기의 비트 분해능도 고려하여 균형을 이루어야 합니다. - 뇌파 보드에 연결할 3 개의 건식 전극을 준비합니다. 수동 전극(사전 증폭 없음)을 기준 전극으로 사용합니다. 나머지 두 개의 측정 전극은 활성 전극이어야 합니다(즉, 사전 증폭 및 최종 아날로그 필터링 포함).
알림: 털이 많은 두피 부위에 배치된 전극은 전극-피부 접촉 임피던스를 극복하기 위해 핀이 필요합니다. 가능하면 납작한 머리가 있는 은색 핀을 납땜하거나(사용자에게 너무 많은 고통을 피하기 위해) Ag/AgCl 코팅이 된 전도성(부드러운) 고무를 사용하는 것이 이상적입니다.
- Android 운영 체제와 60Hz의 재생 빈도를 갖춘 상업용 스마트 안경을 구입하십시오. 또는 더 낮은 재생 빈도를 사용합니다. 눈의 피로가 적기 때문에 자극에 더 높은 재생 빈도가 바람직하지만 현재 시장에는 사용 가능한 솔루션이 없습니다.
- 통신 또는 제어를 위해 Android 애플리케이션의 소스 코드를 다운로드하거나 개발합니다.
- 애플리케이션의 가상 버튼을 고유한 객체(일반적으로 자바 또는 Kotlin)를 변경하여 깜박이는 아이콘으로 대체합니다. 화면 크기가 5% 이상인 흰색 사각형을 사용하는 것이 좋습니다. 일반적으로 자극 제곱이 클수록 검출할 SSVEP 성분이 높지만 특정 경우에 따라 최적을 찾을 수 있습니다. 권장 주파수는 10Hz 및 12Hz 깜박임입니다. 그래픽 처리 장치(GPU)에서 깜박임을 구현하여 스마트 안경의 컴퓨팅 장치(CPU)에 과부하가 걸리지 않도록 합니다. 이를 위해 OpenGL 라이브러리의 개체를 사용합니다.
- 입력 EEG 스트림의 실시간 처리를 위해 Android 애플리케이션의 모듈을 구현합니다. USB를 통해 스트림을 수신할 수 있도록 Android USB 서비스를 추가할 수 있습니다. 실시간 처리는 인커밍 패킷을 고려하여 단순히 EEG 스트림에 슬라이딩 윈도우를 적용할 수 있습니다. 고속 푸리에 변환 함수를 통해 10Hz 및 12Hz 주파수와 관련된 전력 스펙트럼 밀도를 계산합니다. 따라서, 훈련된 분류기는 파워 스펙트럼 밀도 특징들을 분류함으로써 사용자가 10Hz 플리커링 아이콘 또는 12Hz 플리커링 아이콘을 보고 있다는 것을 구별할 수 있다.
2. SSVEP 기반 뇌 보정 - 컴퓨터 인터페이스
참고: 이 연구를 위해 건강한 지원자가 선택되었습니다. 뇌 질환의 병력이 있는 피험자는 제외합니다. 관련 피험자는 정상 또는 정상으로 교정된 시력을 가져야 했습니다. 그들은 실험 중에 긴장을 풀고 불필요한 움직임, 특히 머리의 움직임을 피하도록 지시 받았다.
- 사용자가 Android 애플리케이션으로 스마트 안경을 착용하게 합니다.
- 사용자가 전극을 고정하기 위해 꽉 조이는 머리띠를 착용하게 하십시오.
- PC가 주 전원 공급 장치에서 분리된 상태에서 USB 케이블을 통해 저가의 뇌파도를 PC에 연결합니다.
- 처음에는 알려진 상태에서 시작하기 위해 뇌파 수집 보드에서 모든 전극을 분리합니다.
- 이 단계에서 EEG 스트림은 Android 애플리케이션에서 구현된 처리와 호환되는 스크립트를 사용하여 PC에서 오프라인으로 처리됩니다. 스크립트를 시작하여 EEG 신호를 수신하고 시각화합니다.
- 오프라인으로 처리되는 표시된 신호를 확인하십시오. 이는 EEG 증폭기의 양자화 잡음에만 해당해야 합니다.
- 전극을 연결합니다.
- 사용자 지정 클립을 사용하여 수동 전극을 왼쪽 귀에 적용하거나 이어 클립 전극을 사용합니다. 측정 차동 채널은 여전히 개방 회로이기 때문에 이 단계에서 출력 신호는 변경되지 않은 상태로 유지되어야 합니다.
- 측정 EEG 채널의 차동 입력의 음극 단자에 활성 전극을 연결하고 헤드밴드로 정면 영역(Fpz 표준 위치)에 적용합니다. 몇 초 후에 신호는 0(양자화 노이즈)으로 돌아와야 합니다.
- 다른 활성 전극을 측정 EEG 채널의 차동 입력의 양극 단자에 연결하고 헤드밴드로 후두부(오즈 표준 위치)에 적용합니다. 이제 뇌 신호가 표시되며, 이는 전두엽 뇌 영역과 관련하여 측정 된 시각 활동에 해당합니다 (시각적 활동이 예상되지 않음).
- 시스템 교정을 위한 신호를 수집합니다.
- Android 애플리케이션에서 깜박임 아이콘을 시작하여 10Hz 및 12Hz(및 결국 다른) 깜박임 아이콘으로 사용자를 반복적으로 자극하고 오프라인 처리를 위해 고유한 EEG 신호를 획득 및 저장합니다. 이 단계의 각 자극이 10초 동안 깜박이는 단일 아이콘으로 구성되어 있는지 확인하고 스마트 안경의 터치패드를 눌러 깜박임 아이콘을 시작하는 동시에 EEG 획득 및 시각화 스크립트를 시작합니다.
- 각 자극과 관련된 10초 신호에서 고속 푸리에 변환을 사용하여 두 가지 특징, 즉 10Hz 및 12Hz에서의 전력 스펙트럼 밀도를 추출합니다. 또는 2차 고조파(20Hz 및 24Hz)를 고려하십시오.
- 특징 영역에서 수집된 신호의 표현을 사용하여 서포트 벡터 머신 분류기를 훈련시킬 수 있습니다. 도구(Matlab 또는 Python)를 사용하여 입력 기능을 기반으로 최종 커널이 있는 초평면의 파라미터를 식별합니다. 훈련된 모델은 EEG 신호의 향후 관찰을 분류할 수 있습니다.
3. 최종 웨어러블 및 휴대용 SSVEP 기반 인터페이스 조립
- PC에서 USB 케이블을 분리하고 스마트 안경에 직접 연결합니다.
- 학습된 분류자의 매개 변수를 Android 애플리케이션에 삽입합니다. 이제 시스템이 준비되었습니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
상술한 시스템의 가능한 구현은 도 1에 도시되어 있다; 이 구현을 통해 사용자는 뇌 활동을 통해 증강 현실을 탐색할 수 있습니다. 스마트 안경 디스플레이의 깜박이는 아이콘은 응용 제품의 동작에 해당하므로(그림 1A), 이 안경은 버튼 누름 또는 터치패드를 기반으로 하는 기존 인터페이스를 대체합니다. 이러한 상호 작용의 효능은 깜박임에 의해 유발 된 전위의 성공적인 분류와 밀접한 관련이 있습니다. 이러한 목적을 달성하기 위해, 먼저 시스템(18)에 대해 도량형 특성화가 수행되었고, 그 후 인간 사용자가 실험적 검증에 참여하였다.
그림 1 : 제안 된 뇌-컴퓨터 인터페이스의 가능한 구현. (A) 사용자가 스마트 안경을 통해 보는 것, 즉 실제 시나리오와 시각적 자극의 표현; (b) 상기 핸즈프리 시스템을 착용한 사용자. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
뇌파도는 선형성 및 크기 오차와 관련하여 특성화되었습니다. 선형성은 7개의 서로 다른 진폭(10μV, 20μV, 30μV, 40μV, 60μV, 80μV 및 100μV)에서 테스트된 장치에 대한 정현파 입력 신호로 수행된 측정을 통해 20Hz에서 평가되었습니다. 뇌파도의 전압을 입력 전압 의 함수로 표시함으로써 그림 2A는 뇌파도의 명확한 선형 거동을 강조합니다. 선형성은 또한 선형 적합의 우수성에 대한 Fisher의 테스트에 의해 확인되었습니다. 그러나 이 그림은 일부 이득 및 오프셋 오류도 나타냅니다. 이러한 오류는 진폭을 100μV로 고정하고 주파수를 변경하여 테스트했습니다. 결과는 그림 2B에 보고되어 있으며 공칭 이득에 대한 크기 오차를 확인합니다.
그림 2: 저비용 뇌파 특성 분석 결과. (a) 선형 오류; (B) 크기 오류. 각 측정 지점에 대한 샘플 수는 4,096개였습니다. 더 자세한 논의는 Arpaia et al.18에서 찾을 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
마지막으로, 스마트 안경의 깜박임을 측정하여 공칭 구형파 경로의 최종 편차를 강조했습니다. 이러한 편차는 특히 12Hz 깜박임의 진폭 스펙트럼에서 볼 수 있습니다(그림 3B). 그러나 이러한 모든 오류를 고려하거나 궁극적으로 보정할 수 있으므로 SSVEP-BCI 시스템에 소비자 등급 재료를 사용할 수 있는 가능성을 입증할 수 있습니다.
그림 3: 깜박이는 버튼의 진폭 스펙트럼 측면에서 상업용 스마트 안경의 특성을 분석한 결과입니다. (a) 10Hz에서 깜박임; (B) 12Hz에서 깜박임. 더 자세한 논의는 Arpaia et al.18에서 찾을 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
실험적 검증과 관련하여 20명의 피험자(여성 7명)가 캠페인에 참여했습니다. 각 피험자는 스마트 안경 디스플레이에 두 개의 아이콘이 동시에 깜박이는 24번의 시험을 거쳤습니다. 피험자는 무작위로 정렬된 두 개의 아이콘 중 하나를 응시해야 했으며, 각각 다른 주파수(10Hz 깜박임 또는 12Hz 깜박임)를 가졌습니다. 피험자가 처음에 응시하는 빈도의 무작위성은 미리 정의된 기준 없이 응시할 아이콘을 결정하게 함으로써 보장되었습니다. 특정 빈도로 12번의 시도가 완료되면 피험자는 나머지 시도에 대해 다른 빈도로 아이콘에 집중하도록 요청받았습니다. 악용된 애플리케이션에서 12Hz 깜박임 아이콘은 왼쪽 상단 모서리에 나타나고 10Hz 깜박임 아이콘은 오른쪽 하단 모서리에 나타납니다. 단일 시도는 10.0초 동안 지속되었으며 연속 시도 사이에 몇 초(무작위 기간)가 경과했습니다. 그런 다음 기록된 신호를 차단하여 더 작은 시간 창을 오프라인으로 분석할 수 있습니다.
그림 4: 특징 영역에서 시각적 자극 동안 측정된 신호의 표현. 12Hz 깜박임 자극(클래스 12Hz)과 관련된 신호는 파란색으로 표시되고 10Hz 깜박임 자극(클래스 10Hz)과 관련된 신호는 빨간색으로 표시됩니다. 여기에서는 모든 주제의 기능을 고려합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4는 12Hz 및 10Hz에서 두 가지 전력 스펙트럼 밀도 기능으로 표현되는 10초 신호를 보고합니다. 2차원의 단일 점은 단일 시행에 해당합니다. 두 개의 서로 다른 깜박임 주파수에 해당하는 점은 색상으로 구별되었습니다. 따라서 두 클래스 사이에 겹치는 부분이 존재했지만 두 클래스가 분리되어 오분류가 발생했을 수 있습니다. 분류 결과는 4배 교차 검증을 통해 얻어졌으므로 데이터는 훈련을 위한 18개의 시도와 검증을 위한 6개의 시도로 4회 분할되었습니다. 데이터에 따르면 10초 자극 사례(표 1)에서 20명 중 8명의 피험자가 100% 정확도에 도달했지만 다른 피험자의 경우 분류 정확도가 65%-70%로 낮았습니다. 한편, 한 피험자는 2초 자극(후처리에서 신호를 절단하여 얻음)으로 100%에 도달했으며 관련 수의 피험자는 무작위(50%) 분류 정확도에 도달했습니다. 모든 피험자의 데이터를 전체적으로 고려하여 분류 정확도를 얻었습니다. 성능은 평균 30비트/분 이상인 정보 전송 속도(ITR) 측면에서도 평가되었습니다. 이러한 결과는 20Hz 및 24Hz에서의 전력 스펙트럼 밀도를 고려하여 향상되었습니다. 표 2 는 이들이 증가하거나 일정하게 유지되었음을 보여주며, 적어도 10초 자극의 경우 표준 편차가 감소하여 상이한 피험자에 대한 분류 성능의 분산이 적음을 나타냅니다. 마지막으로, 이 4가지 특징 사례에서 모든 피험자에 대한 분류 정확도를 다시 계산한 결과, 평균 정확도에 가까운 것으로 다시 나타났습니다.
| 제목 | 10초 자극 정확도 % | 2초 자극 정확도 % |
| 모두 | 94.2 | 77.5 |
| 시즌 1 | 100 | 100 |
| 시즌 2 | 100 | 98.8 |
| 시즌 3 | 100 | 92 |
| 시즌 4 | 100 | 92 |
| 시즌 5 | 100 | 88 |
| 시즌 6 | 100 | 87 |
| 시즌 7 | 100 | 87 |
| 시즌 8 | 100 | 64 |
| 시즌 9 | 97.9 | 57 |
| 시즌 10 | 96.7 | 88.8 |
| 시즌 11 | 96 | 64 |
| 시즌 12 | 95.8 | 78 |
| 시즌 13 | 95.4 | 83 |
| 시즌 14 | 95.4 | 53 |
| 시즌 15 | 94 | 80 |
| 시즌 16 | 92.9 | 61 |
| 시즌 17 | 91 | 78 |
| 시즌 18 | 89.6 | 61 |
| 시즌 19 | 81 | 52 |
| 시즌 20 | 71 | 49 |
| 의미하다 | 94.9 | 76 |
| 성병 | 7.4 | 16 |
표 1: SSVEP 관련 EEG 신호 분류의 교차 검증 정확도. 각 피험자에 대해 10초 자극과 관련된 결과를 2초 자극과 관련된 결과와 비교합니다. 모든 피험자 간의 평균 정확도와 모든 피험자를 함께 고려하여 얻은 정확도( 행 모두)가 보고됩니다.
| 10초 자극(평균 정확도 ± 표준) % | 10초 자극(평균 정확도 ± 표준) % | |
| 2D 케이스 | 94.9 ± 7.4 | 76 ± 16 |
| 4D 케이스 | 97.2 ± 4.3 | 76 ± 15 |
표 2: SSVEP 관련 EEG 데이터에 대해 2개의 PSD 특징(2D 사례)과 4개의 PSD 특징(4D 사례)을 고려할 때의 분류 성능 비교. 10초 자극은 평균 교차 검증 정확도 및 관련 표준 편차를 보고하여 2초 자극과 비교됩니다.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
시스템의 적절한 기능에는 SSVEP 유도 및 신호 획득이라는 두 가지 중요한 측면이 포함됩니다. 현재 연구를 위해 선택된 특정 장치 외에도 SSVEP는 깜박이는 빛을 제공하는 다양한 장치로 유도될 수 있지만 착용성과 휴대성을 보장하기 위해 스마트 안경이 선호됩니다. 유사하게, 더 많은 상업용 뇌파계가 고려 될 수 있지만, 착용 가능하고 휴대 가능해야하며 사용자 친화적이기 위해서는 최소한의 건조 전극이 필요합니다. 또한 프로그래밍하기 쉬운 장치를 사용하도록 시스템을 사용자 정의할 수 있습니다. 또한 처리 전략은 최종 성능을 결정합니다. 비록 프로세싱 전략이 설명된 시스템 설계에서 결정적인 것으로 보이지는 않았지만, 그것의 향상은 확실히 통신 및 제어 애플리케이션(10,11,19)을 위한 더 빠르고 더 정확한 시스템에 기여할 것이다.
시스템의 몇 가지 단점을 강조 할 수 있습니다. 실제로 SSVEP 유도를 위해서는 깜박임 자극이 큰 크기와 안정적인 깜박임 주파수를 가져야 합니다. 전자는 Android 애플리케이션의 버튼이 부피가 크고 확장 현실 시나리오에 제한이 있을 수 있음을 의미합니다. 후자는 일반적으로 상용 장치에 존재하지 않는 도량형 특성을 가진 스마트 안경이 필요합니다. 또한 이러한 조건을 충족 한 후에도 SSVEP의 존재 여부는 대상에 따라 다릅니다. 특히, SSVEP 진폭에는 피험자 내 및 피험자 간 가변성이 있으며, 이는 사용자 피로 또는 주의/참여와 같은 몇 가지 제어할 수 없는 요인에 따라 달라집니다13. 이러한 문제는 적절한 SSVEP 유도를 위한 최적의 자극을 찾아야 할 필요성을 더한다20.
반면에 뇌 활동을 측정할 때 적절한 신호 대 잡음비를 달성해야 하기 때문에 신호 획득은 최종 성능에 매우 중요합니다. 최고의 착용성, 휴대성, 사용자 편의성 및 저렴한 비용을 달성하기 위해 단일 채널 비침습적 EEG 및 건식 전극으로 뇌 활동을 측정했습니다. 물론 건식 전극은 대부분 일상 생활 요구 사항을 준수하지만 전도성 젤의 사용을 피하면 전극과 피부 접촉이 제한됩니다. 따라서 전극을 올바르게 배치하고 연속 사용시 안정화하여 전극의 기계적 안정성을 보장해야합니다. 그러나, 실제로, 제안된 획득 시스템의 단점은 신호 품질이 보다 침습적인 신경영상 기술에 대하여 저하된다는 것이다.
예상되는 낮은 신호 대 잡음비에도 불구하고, 제안된 시스템의 검증은 통신 및 제어 애플리케이션을 위한 고성능이 가능하다는 것을 입증했습니다. 특히, 소비자 등급 장비의 도량형 특성은 사용된 장치가 관심 있는 BCI 응용 분야에 적합하다는 것을 보여주었고 유사한 장치도 이러한 응용 분야에도 적합해야 함을 시사했습니다. 실험적 검증을 통해 피험자 의존적 분류 정확도가 관찰되었지만 전반적으로 긍정적인 결론을 도출할 수 있었습니다.
분류 정확도는 자극 시간을 증가시킴으로써 향상될 수 있다. 이러한 경우 시스템 응답성은 느려지지만 대체 통신 및 제어 기능은 여전히 제공될 수 있습니다. 둘째, 훈련이 없는 시스템(또는 기껏해야 최소한의 훈련이 있는 시스템)은 다른 과목의 예비 데이터를 사용하여 얻을 수 있습니다. 제안된 방법이 현장에 기여하는 바를 이해하기 위해 결과를 비침습적 SSVEP-BCI에 대한 문헌과 비교할 수 있습니다. 보다 전통적인 BCI에서, 정확도는 2초 자극(21)으로도 약 94%에 도달하지만, 이러한 시스템은 광범위한 트레이닝을 필요로 하며, 웨어러블 및 휴대용이 아닐 수 있다. 그러나, 성능은 사용자 친화성을 증가시키려고 할 때 떨어진다(예를 들어, 건식 전극(22 )을 사용할 때, 그리고 단일 전극(23)을 사용하려고 시도할 때 훨씬 더 많이). 이 경우 분류 정확도는 약 83%로 감소합니다.
따라서 이 작업에서 설명하는 시스템은 임상 환경에서 이 시스템을 사용하는 것이 부적절할 수 있지만 높은 성능을 유지하면서 사용자 친화성을 높여 BCI 기술을 일상 생활에 더 가깝게 만듭니다. 일부 참가자들은 후두부의 건식 전극이 기존 전극보다 더 불안하다고 언급했지만 전반적으로 시스템의 착용성과 휴대성을 높이 평가했습니다. 많은 업그레이드가 가능하며 그 중 일부는 이미 개발 중입니다. 예를 들어, 자극의 수(따라서 명령의 수)를 4개로 늘릴 수 있습니다. 그런 다음 자극 자체가 눈의 피로를 덜도록 설계 할 수 있습니다. 마지막으로, 분류 성능은 보다 정확하고 더 빠른 시스템을 달성하기 위해 보다 진보된 처리 전략을 통해 향상될 수 있다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 공개 할 것이 없습니다.
Acknowledgments
이 작업은 이탈리아 교육부, 대학 및 연구부(MIUR)가 재정적으로 지원한 보건을 위한 ICT 프로젝트의 일환으로 우수 부서(이탈리아 예산법 번호 232/2016)에 따라 나폴리 페데리코 II 대학의 정보 기술 및 전기 공학과에 수여된 우수 보조금을 통해 수행되었습니다. 나폴리, 이탈리아. 이 프로젝트는 Res4Net 이니셔티브와 IEEE Instrumentation and Measurement Society의 TC-06(Emerging Technologies in Measurements)의 지원으로 가능했습니다. 또한 시스템 개발, 테스트 및 검증에 귀중한 기여를 해주신 L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone 및 M. Ortolano에게도 감사의 뜻을 전합니다.
Materials
| Name | Company | Catalog Number | Comments |
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
