Summary
휠콘은 가파르고 뒤틀리고 울퉁불퉁한 트레일을 따라 산악 자전거를 비침습적으로 시뮬레이션하는 비디오 게임을 디자인하는 새로운 무료 및 오픈 소스 플랫폼입니다. 그것은 인간의 감각 운동 제어 (지연, 양자화, 소음, 교란 및 다중 피드백 루프)에 제시 하는 구성 요소를 포함 하 고 연구원 감각 모터 제어에서 계층 아키텍처를 공부 할 수 있습니다.
Abstract
피드백 제어 이론은 이론적으로 인간 감각 조절을 모델링하기 위해 광범위하게 구현되었습니다. 그러나 여러 피드백 루프의 중요한 구성 요소를 조작할 수 있는 실험 플랫폼은 개발이 부족합니다. 이 백서에서는 이러한 불충분을 해결하기 위한 오픈 소스 플랫폼인 휠콘(WheelCon)에 대해 설명합니다. 휠콘은 컴퓨터, 표준 디스플레이, 힘 피드백 모터가 장착된 저렴한 게이밍 스티어링 휠만을 사용하여 산악 자전거를 가파르고 뒤틀리고 울퉁불퉁한 트레일아래로 라이딩하는 정경적인 감각 모터 작업을 안전하게 시뮬레이션합니다. 이 플랫폼은 제공된 데모에서 입증되는 것처럼 유연성을 제공하므로 연구원들은 고급 계획 계층및 낮은 수준의 지연 반사 층을 포함하여 계층화된 피드백 루프의 장애, 지연 및 양자화(데이터 속도)를 조작할 수 있습니다. 이 문서에서는 WheelCon의 그래픽 사용자 인터페이스(GUI), 기존 데모의 입력 및 출력, 새로운 게임을 설계하는 방법을 설명합니다. 또한 모델의 예측과 잘 어울리는 데모 게임의 기본 피드백 모델과 실험 결과를 제시합니다. 휠콘 플랫폼은 https://github.com/Doyle-Lab/WheelCon 다운로드할 수 있습니다. 요컨대, 이 플랫폼은 효과적인 감각 운동 신경 과학 연구 및 제어 엔지니어링 교육을 위한 프로그래밍에 저렴하고 사용하기 간단하며 유연하게 제공됩니다.
Introduction
인간 감각 운동 제어 시스템은 매우 견고한1,감지가 분포되어 있지만, 변수, 희소, 정량화, 시끄러운 및 지연2,,3,,4; 중추 신경계의 컴퓨팅은55,6,,7이느립니다. 및 근육 작동 피로 와 포화8. 많은 전산 이론적 모델은 인간의 범위 및응답(15,16)에서절충 과정인 복잡한 인간 감각조절 공정4,9,1610,,11, 12,,,12,13,,14를설명하기 위해 제안되었다., 예를 들어, 피드백 제어 이론은 최적의 제어정책(12),베이지안 이론 모델 감각운동 학습17,,18,19 및정보이론 감각운동 기초20,,21을예측한다. 이론적 모델의 풍부와는 달리 여러 피드백 루프의 중요한 구성 요소를 조작할 수 있는 실험 플랫폼은 개발이 부족합니다. 이는 감각 모터 제어의 이러한 측면을 교개하고 테스트할 플랫폼을 설계하려면 모터 제어 이론, 신호 처리 및 상호 작용에서 컴퓨터 그래픽 및 프로그래밍까지 다양한 전문 지식이 필요하기 때문입니다. 연구원은 종종 자신의 사용자 정의 하드웨어 / 소프트웨어 시스템을 개발하여 인간의 감각 모터 제어 성능을 특성화하여 연구 그룹 간에 데이터 세트를 비교 / 대조하고 통합하는 능력을 제한 할 수 있습니다. 사용하기 쉽고 검증된 시스템을 개발하면 감각 조절의 정량적 특성이 확대될 수 있습니다.
이 논문에서는 휠콘 플랫폼, 소설, 무료 및 오픈 소스 플랫폼을 제시하여 Fitts 법칙에 도달하는 Fitts의 법칙과 가파르고 뒤틀리고 울퉁불퉁한 트레일을 내리는 산악 자전거 작업을 비침습적으로 시뮬레이션하는 가상 환경을 위한 비디오 게임을 설계합니다. 작업에 도달하는 Fitts의 법칙은 거리 저울에서 폭의 목표에 도달하는 데 필요한 시간이22,,23로필요한 속도와 정확도 사이의 절충을 정량화합니다. '산악 자전거 작업'은 특히 피드백 루프를 연구하는 측면에서 인간의 감각 운동 성능에 대한 연구의 두 가지 고전적인 구성 요소인 추적 및 보상 추적 작업의 조합입니다.
휠콘에는 지연, 양자화, 노이즈, 교란 및 여러 피드백 루프와 같은 각 이론에 제시된 고도로 요구되는 기본 구성 요소가 포함되어 있습니다. 그것은 인간의 감각 운동 제어에서 다음과 같은 다양한 질문을 연구하기위한 잠재적 인 도구입니다 :
• 인간 감각 운동 시스템이 뇌 의 제한된 자원 (예 : 공간 및 대사 비용)에 의해 근본적으로 제약되는 신경 신호의 지연 및 양자화를 다루는 방법(24,,25;
• 감각 운동 제어(26)와인간의 피질에서 신경 상관 관계 방법;
• 인간이 감각 운동 제어27에서예측할 수없는 외부 장애를 처리하는 방법;
• 계층 적 제어 루프가 인간 감각 모터 시스템16,,28,,29내에서 계층화되고 통합되는 방법;
• 인간 시각피드백(30)과 반사피드백(31)의 지연 및 양자화의 결과;
• 지연 및 양자화 에서 감각 운동 학습을위한 최적의 정책 및 전략16,,17,,24,,29.
WheelCon은 스티어링 휠과 통합되어 동적 제어 정책 및 시스템 오류를 기록하면서 신호 지연, 양자화, 노이즈 및 교란과 같은 이러한 질문의 변수를 조작하는 게임 조건을 시뮬레이션할 수 있습니다. 또한 연구자들은 감각 운동 제어에서 계층화된 아키텍처를 연구할 수 있습니다. 산악 자전거를 타는 예에서 이 작업에는 하이레이어 플랜과 저층 반사의 두 가지 제어 레이어가 참여합니다. 눈에 보이는 교란(예: 트레일)의 경우, 우리는 교란이 도착하기 전에 계획합니다. 사전에 알려지지 않은 장애(즉, 작은 범프)의 경우 제어는 지연된 반사 신경에 의존합니다. 피드백 제어 이론은 효과적인 계층구조 아키텍처가 더 높은 계층의 목표, 계획, 결정을 하층의 감지, 반사 및액션(24)과통합할 수 있음을 제안합니다. 휠콘은 이러한 계층화된아키텍처(도 1)를테스트하기 위해 계획 및 반사 층에서 고유한 교란을 유도하는 실험 도구를 제공합니다.
우리는 저렴하고 사용하기 쉽고 프로그래밍 플랫폼인 WheelCon을 제공하여 이론과 신경 과학에 대한 실험 연구 사이의 격차를 해소합니다. 구체적으로, 그것은 지연의 효과 검사에 사용할 수 있습니다., 정량화, 방해, 잠재적으로 속도 정확도 절충. 제어 루프에서 조작할 수 있는 변수는 표 1에표시됩니다. 또한 인간의 감각 운동 제어에서 다른 제어 층에 걸쳐 의사 결정 및 멀티플렉스 능력을 연구하기 위해 적용 될 수있다. 더욱이, 휠콘은 뇌파(EEG)와 같은 비침습적 신경 기록과 호환되며, 감각 운동 제어 시 신경 반응을 측정하기 위해32,,33,,34,,35,및 비침습적 뇌 자극 기술( 예: 경두개 전기 자극(tES) 및 경두개 자기 자극(TMS), 신경활동,36.36
Subscription Required. Please recommend JoVE to your librarian.
Protocol
프로토콜의 개발 및 응용 프로그램은 캘리포니아 공과 대학 기관 검토 위원회 (IRB)와 과학 기술 IRB의 남부 대학에 의해 승인되었다. 주체는 수행되는 절차에 앞서 정보에 입각한 동의를 제공했습니다.
1. 시스템 준비 및 설정
- 권장되는 기본 하드웨어는 2GHz 듀얼 코어 프로세서와 4GB의 시스템 메모리입니다.
- C# 프로그래밍 언어를 사용하는 동안 Unity 플랫폼 아래 게임 플랫폼을 구축합니다. 로지텍 게이밍 휠 드라이버와 로지텍 스티어링 휠 SDK는 게이밍 플랫폼 개발에 필요합니다.
- 게임 플랫폼 실행 파일은 Windows 10 운영 체제(OS)만 지원합니다. 따라서 Windows 10을 실행하는 PC에서 해당 레이싱 휠 드라이버를 다운로드하여 설치합니다. 그런 다음 압축 된 WheelCon 소프트웨어 (https://github.com/Doyle-Lab/WheelCon/archive/master.zip)를 다운로드하고 로컬 하드 드라이브에 파일을 추출합니다.
- 레이싱 휠을 모니터 앞의 좌석 높이에 단단히 장착한 다음 휠의 USB 케이블을 PC와 전원 어댑터를 콘센트에 연결합니다.
- 드라이버 GUI를 시작하여 올바른 입력 판독을 테스트하고 피드백을 강제로 내보도록 합니다. 중요한 것은 테스트 중에 드라이버 GUI를 백그라운드에서 계속 실행합니다.
- 프로그램을 시작하려면 '\WheelCon 마스터\실행 파일\' 디렉토리에서 WheelCon.exe를 두 번 클릭합니다.
- 구성 화면에서 모니터 설정을 선택하고 재생을 클릭합니다! (그림 2a). 메인 메뉴가 나타납니다. 디스플레이 크기와 위치가 지정된지 확인합니다.
참고: 커서 속도를 정의하는 '휠 감도' 값은 0에서 1사이이며 기본값은 0.5입니다. 레이싱 휠에서 제공하는 모션 범위가 특정 작업 매개 변수에 맞지 않는 경우 이 값을 조정합니다. 예를 들어, 노화 인구에 대한 감도를 감소시면 됩니다. 그러나 작업 간에 비교하려면 배터리 및 그룹 간에 이 값을 일정하게 유지해야 합니다.
2. 작업 구현
- 게임에 도달하는 Fitts의 법칙
참고 : 게임에 도달하는 Fitts의 법칙은 도달 과정을 시뮬레이션합니다. 피험체는 수직 선을 원하는영역(도 2d)으로배치하기 위해 휠을 돌려야 합니다.- 피사체를 바퀴 뒤에 편안하게 앉히면 됩니다. 필요한 경우 휠 높이를 조정합니다.
- 메인 메뉴에서 Fitts의 법률 작업(그림 2b)을클릭하고 텍스트 상자에 제목 식별 및 작업 정보를 나타내는 출력 파일의 이름을 입력합니다.
- 파일 선택(Select Files)을클릭하고 '\WheelCon-마스터\ 데모 입력 파일\' 디렉토리에서 Fitt의 Law.txt를 선택한 다음 게임 시작을클릭합니다.
- 피사체에 녹색 수직 선을 휠로 이동하여 회색 영역 내에 배치하도록 지시합니다. 이 작업은 피사체가 휠을 기동하는 것과 다양한 작업에서 사용되는 색상 규칙을 숙지하는 역할을 합니다.
- 산악 자전거 작업
참고 : 산악 자전거 작업은 추구와 보상 추적 작업의 조합입니다. 산악 자전거를 타고 가파르고 뒤틀리고 울퉁불퉁한 트레일을 따라 달리는 시뮬레이션을 합니다. 피사체는 흔적을 보고 바퀴를 돌리면 추적할 수 있으며 모터는 휠을 토크하여 시험에서 보이지 않는 범프를 모방할 수 있습니다(그림 2e).-
게임 1: 시각적 지연의 효과 테스트
참고 :이 게임에서, 앞의 창 (고급 경고 대 지연)의 길이가 조작됩니다.- 메인 메뉴에서 마운틴 바이크 태스크(그림 2c)를클릭하고 텍스트 상자에 제목 식별 및 작업 정보를 나타내는 출력 파일의 이름을 입력합니다.
- 파일 선택(을클릭하고 Vision_Delay.txt)에서 '\WheelCon-master\ 데모 입력 파일\' 디렉토리를 선택한 다음 게임 시작을클릭합니다.
- 피사체에 녹색 수직 선을 휠과 함께 이동하여 보라색 수평 선을 교차하는 회색 트레일의 일부를 추적하도록 지시합니다.
-
게임 2: 작업 지연의 효과 테스트
참고 :이 게임에서는 휠 무브먼트와 액션 출력 사이에 다양한 길이의 지연이 추가됩니다.- 메인 메뉴에서 마운틴 바이크 태스크를 클릭하고 텍스트 상자에 제목 식별 및 작업 정보를 나타내는 출력 파일의 이름을 입력합니다.
- 파일 선택(select Files)을클릭하고'\WheelCon 마스터\ 데모 입력 파일\' 디렉토리에서 Action_Delay.txt를 선택한 다음 게임 시작을클릭합니다.
- 피사체에 녹색 수직 선을 휠과 함께 이동하여 보라색 수평 선을 교차하는 회색 트레일의 일부를 추적하도록 지시합니다.
-
게임 3: 시각적 양자화 효과 테스트
참고: 이 게임에서는 시각적 입력이 양수화되어 데이터 속도를 제한합니다.- 메인 메뉴에서 마운틴 바이크 태스크를 클릭하고 텍스트 상자에 제목 식별 및 작업 정보를 나타내는 출력 파일의 이름을 입력합니다.
- 파일 선택(선택 파일을클릭) '\휠콘 마스터\ 데모 입력 파일\' 디렉토리에서 비전 정량화를 선택한 다음 게임 시작을클릭합니다.
- 피사체에 녹색 수직 선을 휠과 함께 이동하여 보라색 수평 선을 교차하는 회색 트레일의 일부를 추적하도록 지시합니다.
-
게임 4: 액션 양자화 효과 테스트
참고: 이 게임에서는 액션 출력이 정량화되어 데이터 속도를 제한합니다.- 메인 메뉴에서 마운틴 바이크 태스크를 클릭하고 텍스트 상자에 제목 식별 및 작업 정보를 나타내는 출력 파일의 이름을 입력합니다.
- 파일 선택(Select Files)을클릭하고 '\WheelCon-마스터\ 데모 입력 파일\' 디렉토리에서 액션 퀀티화를 선택한 다음 게임 시작을클릭합니다.
- 피사체에 녹색 수직 선을 휠과 함께 이동하여 보라색 수평 선을 교차하는 회색 트레일의 일부를 추적하도록 지시합니다.
-
게임 5: 범프 및 트레일 방해의 효과 테스트
참고: 이 작업은 세 가지 시나리오로 구성됩니다.
a) "범프", 산악 자전거를 탈 때 충돌을 치는 것을 모방 하는 바퀴에 토크 장애에도 불구 하 고 일정 한 흔적 피사체를 추적;
b) "흔적", 임의의 회전하지만 충돌없이 움직이는 흔적을 추적;
c) 임의의 회전과 범프와 움직이는 흔적을 추적, "범프와 흔적".- 메인 메뉴에서 마운틴 바이크 태스크를 클릭하고 텍스트 상자에 제목 식별 및 작업 정보를 나타내는 출력 파일의 이름을 입력합니다.
- 파일 선택에서클릭하고 '\WheelCon 마스터\ 데모 입력 파일\' 디렉토리에서 범프 & Trail.txt를 선택한 다음 게임 시작을클릭합니다.
- 피사체에 녹색 수직 선을 휠과 함께 이동하여 보라색 수평 선을 교차하는 회색 트레일의 일부를 추적하도록 지시합니다.
-
게임 1: 시각적 지연의 효과 테스트
3. 데이터 출력
- '\WheelCon-master\실행 파일\실행 파일\MountainBikeData\' 디렉토리에서 TXT 출력 파일을 찾은 다음 '\WheelCon-master\Source 코드' 디렉토리에서 Matlab'WheelCon 데이터 분석 코드.m로 엽니다.
- MATLAB 스크립트에서 출력 파일 디렉터리에 따라 폴더 및 file_names 변수를 지정한 다음 스크립트(Ctrl + Enter)를 실행하고 출력 변수는 작업 영역에 대한 열 벡터로 저장됩니다. 각 샘플링 시간에 대해 오류 및 제어 정책이 내보냅니다. 자세한 설명은 표 2를 참조하십시오.
4. 입력 파일 개발
- '휠콘 Mntn 자전거 트레일 디자인 코드.m'을 '\휠콘 마스터\소스 코드\' 디렉토리로 엽니다.
- 원하는 게임 매개 변수에 대한 섹션(Ctrl + T)을 주석 해제하고 스크립트를 실행합니다(Ctrl + Enter). 입력 파일은 .txt 형식으로 '\WheelCon 마스터\소스 코드\' 디렉토리에 저장됩니다. 입력 파일의 각 열은 하나의 제어 변수입니다. 제어 변수 목록에 대한 표 1을 참조하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
모델링 피드백 제어
도 1에표시된 단순화된 피드백 제어 모델을 보여 드립니다. 시스템 역학은 다음을 통해 제공됩니다.
여기서x(t)는시간에 x오차가 t, rr(t)은 트레일 교란tw(t)이며,t범프 교란, u(t)는 대조군 동작이다. w ut
트레일 교란의 작업 지연 모델링
지연 T가 동작하고, 트레일 교란 rr(t)이 있는 경우,t
게임은 0 초기 조건으로 시작 : x(0) = 0. 제어기 θ는 상태, u교란 및 제어 입력의 역사에 대한 전체 정보를 사용하여 제어 명령u(t)를생성합니다. 여기서, 그물 지연 T는 인간 감각모터 피드백의 내부 지연및 외부적으로 추가된 지연으로 구성된다. 제어 명령은 지연 T ≥ 0으로 실행됩니다. 위험 인식 설정에서 감각 모터 제어는 L1 최적 제어의 사용에 동기를 부여하고, 따라서, 목표는 다음과 같은 강력한 제어 문제를 확인하는 것입니다
이 문제는 간단하고 직관적인 솔루션을 인정합니다. 최적의 비용은
이 최적의 비용은 최악의 경우 제어 정책 u(t + T)= -r(t)에의해 달성된다, 이는 산출
트레일 교란에서 작업 양자화를 모델링
데이터 속도, R, 제어 루프가 제한되면, 제어 작업은 통신 제약 조건이 있는 다음 피드백 루프에 의해 생성되며,
여기서 
는 컨트롤러이고, 
데이터 레이트 R ≥1을 가진 정량제이며, 즉 S는 카디널리티 2R의유한한 세트이다. 교란 r(t)는무한대 바인딩 및 일반성의 손실없이, 
. 최악의 경우 상태 편차는
최소 제어 노력은
오류 측정
성능을 정량화하기 위해 무한대 표준 
오류, 절대 오차(MAE) 및 루트 평균 제곱 오차(RMSE)를 측정했습니다. 무한대 규범은 절대 오차의 최대값으로 정의되며, 여기서
절대 오차가 다음과 같이 계산되는 것을 의미합니다.
루트 평균 제곱 오차는 다음과 같이 계산됩니다.
게임 1: 시각적 고급 경고 또는 지연
게임 1은 앞의 창(고급 경고/지연)의 길이가 추가 장애에 노출되지 않고 감각 조절 성능에 미치는 영향을 평가합니다.
게임 1은 360초 동안 지속되며 연속 "트레일"로 구성되어 있어 30초마다 앞을 내다볼 수 있는 양을 줄입니다. 이 게임은 고급 경고의 1s로 시작하고 0.75s로 감소한 다음 0.5s로 감소합니다. 거기에서, 게임은 -0.4의 최소에 도달 할 때까지 앞의 모습을 0.1 로 감소. 양수 지연 또는 음수 고급 경고는 플레이어 뒤에 있는 흔적만 표시된다는 것을 의미합니다.
게임이 진행되면서 플레이어의 오류 역학의 진화가 1s 고급 경고와 0.4 의 지연으로 그림 3a-3b에 별도로 묘사되었습니다. 두 플롯 모두 30초 간격의 중간 20초만 표시하여 플레이어가 새로운 앞의 창에 적응하는 효과를 무시합니다. 0.4s 지연 설정에서 오류가 진행되는 동안 1s 고급 경고 설정에서 오류가 안정적으로 보이며 진행 중에 오류가 거꾸로 뒤집습니다. 이러한 효과를 보다 자세하게 정량화하기 위해 지연 수준에 해당하는∞20s 그룹의 오차 역학에 대한 표준인 L1-/L2-/L∞를 평가합니다. 플롯에서 이러한 계산을 요약하면 그림 3c가제공되며, 이는 고급 경고가 0.5에 도달한 다음 대략 선형 방식으로 증가할 때까지 플레이어의 오류 규범이 어떻게 변경되지 않는지 보여줍니다.
게임 2: 액션 출력 지연
게임 1의 외부 시각적 지연과 는 달리, 게임 2는 액션 출력에 특정 내부 지연을 추가; 즉, 현재의 제어 정책u(t)는 T행위가 외부지연인 u uu(t+T법)에서 작동한다. actt 게임 2는 180s. T를 30s마다 조정하고,T액은 0s에서 시작하며, 0.4에 도달할 때까지 0.1s씩 증가합니다.
지연 의 효과는 그림 4에표시됩니다. 시력 지연과 마찬가지로 Eq(3)의 이론예측과 잘 일치하는 지연으로 오류가 선형적으로 증가합니다.
게임 3 및 게임 4: 비전 입력 및 액션 출력의 양자화
게임 3과 게임 4는 각각 비전 입력 및 액션 출력에서 양자화효과를 연구합니다. 각 게임은 210s 길이이며, 양수화는 30s마다 변경되며 데이터 속도가 1비트에서 7비트로 증가합니다. 예를 들어, R비스가 게임 3에서 1이면 원하는 위치(게임 GUI의 회색 선)가 화면의 중앙 왼쪽 또는 중앙 오른쪽에 표시됩니다. R비스 = n, 원하는 위치는 화면에 2n 가능한 위치에 제시 될 수있다. 게임 4의 경우 R액트 = 1이 되면 플레이어는 한 속도로 왼쪽 또는 오른쪽으로 가고 있습니다. R액트n이되면 플레이어는 휠을 조종하여 2n-1 속도로 왼쪽 또는 오른쪽으로 이동합니다.
비전 및 동작에서 정량화(제한된 데이터 속도)의 효과는 도 5에도시된다. Eq(6)의 이론 예측과 일치하여 감각 모터 제어 성능은 더 높은 데이터 속도로 향상되고 R이 약 5일 때 최적의 제어 성능에 도달합니다.
게임 5: 범프 및 트레일 방해
게임 5는 인간의 감각 모터 제어에 범프와 트레일 소요의 효과를 테스트하도록 설계되었습니다. 게임 5는 세 가지 시나리오로 구성됩니다.
a) "범프", 산악 자전거를 탈 때 충돌을 치는 것을 모방 하는 바퀴에 토크 장애에도 불구 하 고 일정 한 흔적 피사체를 추적;
b) "흔적", 임의의 회전하지만 충돌없이 움직이는 흔적을 추적;
c) 임의의 회전과 범프와 움직이는 흔적을 추적, "범프와 흔적".
각 시나리오는 순서(범프, 트레일, 범프가 있는 트레일)에서 60s에 지속됩니다( 각 시나리오 앞에 5s 휴식). 또한 격리된 단계 중 교란과 트레일은 결합된 "범프가 있는 트레일" 단계에서 중복되므로 별도의 작업과 플레이어가 멀티플렉스를 해야 하는 작업 간에 적절한 성능 비교를 그릴 수 있습니다. 게임 전체에는 비전 입력에 향상된 경고가 1개, 작업 출력지연, 비전과 액션 모두에 대한 10비트 데이터 전송률이 있습니다.
교란으로, 우리는 랜덤, 바이너리 신호를 사용, 그 진폭은 스티어링 휠의 모터가 발휘 할 수있는 최대 토크입니다. 100ms마다 토크가 최대 긍정과 음수(휠의 경우 100 또는 -100) 사이를 전환합니다. 유사한 임의 바이너리 스위칭은 추적 유도체를 제어합니다. 좀 더 구체적으로 말하자면, 트레일은 일정한 속도로 이동하지만, 항상 플레이어에게 편안하게 볼 수 있도록 방향을 임의로 전환합니다. 필요한 스티어링 휠 회전 속도가 약 75°/s인 것을 화면상의 트레일 속도를 조정했습니다.
참고: 지연 및 데이터 속도의 한계를 가진 감각 모터 제어 성능을 연구하는 데 사용되기 때문에, 우리는 과목이 작업에 대한 교육을 받은 후에만 데이터를 분석하고 성능이 안정해졌습니다. 학습 효과는 데이터에서 제외되었습니다. 또한 피드백 제어 모델은 학습을 고려하지 않았습니다.
그림 1: 모터가 장착된 피사체 및 게이밍 휠이 있는 실험 플랫폼을 위한 기본 블록 다이어그램입니다.
각 상자는 통신하거나 계산하는 구성 요소이며 G의 게임 내에서를 포함하여 지연 및 양자화를 모두 모두 제공합니다. 사전 경고 T는 비전이 있는 컴퓨터 화면에도 구현됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 휠콘을 위한 사용자 그래픽 인터페이스입니다.
(a)메인 메뉴; (b)Fitt의 법률 작업 메뉴; (c)산악 자전거 작업 메뉴; (d)Fitt의 법칙 작업에 대한 비디오 게임 인터페이스; (e)마운틴 바이크 태스크를 위한 비디오 게임 인터페이스. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 산악 자전거 작업 중에 시력 입력지연을 추가합니다.
(a-b) 시스템은 1s 고급경고(a)와0.4s지연(b)으로세션에 대한 시간 역학을 이수합니다. 검은 색 선과 파란색 선은 각각 트레일 위치와 플레이어 위치입니다. 빨간색 선은 오류 역학입니다. (c)지연이 증가함에 따라 오류가 증가합니다. 음수 지연은 고급 경고를 의미합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 성능에 대한 외부 지연의 영향입니다.
오류의 L∞ 규범, MAE 및 RMSE는 지연이 증가함에 따라 증가합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: 비전 입력(a) 및 작업 출력(b)의 정량화.
L∞ 오류, MAE 및 RMSE는 각각 파란색, 검은색 및 빨간색 선으로 표시됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 6: 인간의 감각 운동 제어에 범프 및 트레일 교란의 효과.
(a)범프 교란에 의해 유도된 오차 역학; (b)트레일 교란에 의해 유도된 오차 역학; (c)범프 및 트레일 교란에 의해 유도된 오차 역학; (d)충돌(파란색), 트레일(빨간색), 범프(녹색)가 있는 트레일의 오버레이 오차. 보라색 빈 및 주황색으로 채워진 줄기 플롯은 범프 교란과 트레일 방해의 타이밍과 방향을 각각 나타냅니다. 휠 힘과 트레일 속도 모두 정사각형 파도이며 줄기는 이러한 사각형 파도가 전환되는 위치(즉, 힘과 속도의 유도체)를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 표기법 | 변수 | 단위 | 구속 |
| w(t) | 범프 교란 | n 뉴턴 | 0 ≤ w (t) ≤ 100 |
| r(t) | 트레일 교란 | 100픽셀 | 0 ≤ r (t) ≤ 100; |
| r(t) | w(t) | |||
| T비스 | 비전 사전 경고/지연 | 두 번째 | -1 ≤ T비스 & 1 |
| T행위 | 작업 지연 | 두 번째 | 0 ≤ T비스 & ∞ |
| R비스 | 비전 입력의 외부 데이터 속도 | 비트 | 1 ≤ R비스 ≤ 10 |
| R액트 | 휠 출력의 외부 데이터 속도 | 비트 | 1 ≤ R액트 ≤ 10 |
| Q비스 | 비전 입력의 외부 퀀티저 | 1 | Q비스 = 2R비스 |
| Q액 | 휠 출력의 외부 쿼티저 | 1 | Q액트 = 2R비스 |
표 1: 조작할 수 있는 제어 루프의 변수입니다.
| 표기법 | 변수 | 단위 | |
| T | 시간 | 두 번째 | |
| x(t) | 플레이어의 위치와 원하는 위치 사이의 거리로 측정된 오류 역학 | 100픽셀 | |
| u(t) | 스티어링 휠의 이탈각도로 측정된 제어 정책 | 학위 | |
표 2: 동적 시스템의 상태 변수 및 입력 신호입니다.
| 플랫폼 | 오픈 소스 ? | 링크 다운로드 | 함수 |
| 2D 가상 환경(2DVE) | 아니요 | 1. 뇌졸중 후 팔 재활을위한 손아 귀부 운동 | |
| 에스 마이크 | 아니요 | 1.프로피오셉션, 모터 및 감각 운동 손 손상의 평가 | |
| Opensim | 예 | https://opensim.stanford.edu/ | 1. 신경 근육 조정을 공부하려면; 2. 사용자가 근골격계 구조의 모델을 개발하고 움직임의 동적 시뮬레이션을 만들 수 있습니다. |
| 공압 장갑 | 아니요 | 1.To 다리 마비 성 뇌성 마비를 가진 어린이의 손가락 증식을 훈련하고 평가합니다. | |
| 버추얼엔액션 | 예 | http://virtualenaction.gforge.inria.fr/ | 1. 전신 신경 과학 시뮬레이션; 2. 뇌의 기능적 모델을 확인하려면; 3.To 실험 복잡한 생존 행동 |
| VR 스피릿 | 아니요 | 1.To 사회적 시나리오에서 예측 능력을 향상시킵니다. 2. 소아 환자를 위한 재활 집중 교육 |
|
| 휠콘 | 예 | https://github.com/Doyle-Lab/WheelCon | 1. 인간의 감각 운동 제어에서 Fitts의 법칙을 확인하기 위해; 2.To 감각 운동 제어에서 계층화된 아키텍처를 연구합니다. |
표 3: 일부 기존 감각 모터 플랫폼 목록입니다.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
이 논문에서는 인간 감각 모터 제어에서 지연, 양자화, 교란 및 계층화된 피드백 루프의 효과를 연구하기 위한 무료 오픈 소스 게임 플랫폼인 WheelCon을 선보였습니다. 우리는 하드웨어, 소프트웨어 및 GUI를 보여 주었다. 지연 및 양자화를 갖춘 단일 감각 조절 루프의 설정이 구현되어 감각 모터 제어의 지연, 정량화 및 방해의 영향을 측정할 수 있습니다. 실험 결과는 피드백 제어 이론의 예측과 잘 일치합니다.
이 프로토콜은 외부 지연을 비침습적으로 조작하고 비전 입력 및 작업 출력 모두에서 데이터 속도를 제한하고 감각 모터 제어 성능을 분석하는 방법을 제공합니다. 프로토콜에서, 우리는 플랫폼에 미리 정의 된 몇 가지 작업 시나리오에서 게임을 참가자를 요청합니다. 이러한 작업을 통해지연(도 3 및 도 4)과양자화의 비선형 효과(도5)의선형 효과를 확인했습니다. 이러한 효과는 인간의 감각 모터 제어에서 속도 정확도 절충을 감안할 때 최적화를 의미합니다. 또한 이 프로토콜을 통해 인간 감각운동 시스템의 계층화된 피드백 루프를 높은 수준의 고급 계획 층과 저수준 지연 반사층(도6)으로연구할 수 있습니다.
이 프로토콜에서는 사전에 참가자를 훈련하는 것이 중요하지만 기차를 통해 훈련하는 것이 중요합니다. 그렇지 않으면 학습 효과 또는 참가자의 피로는 모델의 예측에 영향을 미칩니다. 참가자에 걸쳐 감각 운동 능력의 가변성은 불가피하며, 따라서 프로토콜의 일부 매개 변수 (즉, 휠 감도 및 범프의 토크)는 참가자의 나이, 강도 및 운동 기술을 기반으로 조정해야합니다. 그룹 간에 이러한 매개 변수를 일치시키는 것이 필요합니다. 여기서는 사용자가 비교를 하기 위해 이전 그룹과 젊은 그룹 모두에 적합한 감도를 선택하는 것이 좋습니다.
이 방법의 한 가지 제한사항은 여기에 제시된 모델이 학습 프로세스를 고려하지 않았다는 것입니다. 과목이 잘 훈련된 후에만 데이터를 분석하고 학습 효과를 피하기 위해 성능이 안정되었다는 점에 유의해야 합니다.
니콜라스 데노옐 외.는 전신 신경과학시뮬레이션(38)을위한 플랫폼(VirtualEnaction)을 개발하였다. 버추얼엔액션은 뇌의 기능성 모델을 검증하는 데 사용할 수 있습니다. 게다가, 일부 재활 플랫폼은 감각 운동 작업39,40,,,41,,42, 43을,43수행하기 위해 개발되었다. Scott L. Delp 등은 재활 과학43에서운동의 동적 시뮬레이션을 만들고 분석하기 위해 오픈 소스 소프트웨어 (OpenSim)를 개발했습니다. 마리카 데머스 등은 뇌졸중41후 팔 재활을위한 2D 가상 환경을 제안했다. Zbytniewska 모니카 등 손 감각 운동 장애 의 평가를 위한 로봇 장치를 설계(42). 제임스 V. 맥콜 외. 헤미프성 뇌성 마비40어린이손가락 재활을위한 플랫폼을 제안했다. 니콜로 부티 등은 소아 환자를 위한 사회적 예측 개선 및 재활 집중 교육에 대한 VR 기반 플랫폼을개발한다 39. 표 3에는 이러한 플랫폼간의 비교와 여기에 제시된 플랫폼이 나열되어 있습니다.
향후 연구 방향을 위해, 플랫폼은 감각 운동 제어 중 신경 반응을 측정하기 위해 비침습적 신경 기록 기술 (EEG)과 호환됩니다. 감각 운동 제어와 EEG 공간 주파수 신호 사이의 매핑 관계를 조사, 우리는 감각 운동 제어의 뇌 메커니즘을 공개 할 수 있습니다. 그것은 인간의 감각 운동 시스템을 이해하기위한 중요한 연구 질문이 될 것입니다. 더욱이, 이 연구 결과에 있는 이론의 대부분은 학습 후에 최적 통제에 근거를 두습니다. 훈련을 위한 정지 시간은 아주 임의로 그리고 경험적으로 연구 결과에서 선택됩니다. 따라서 참가자가 하드 asymptote 또는 고원(44)을쳤는지 여부를 평가하는 것이 중요한 문제입니다. 향후 연구는 WheelCon을 사용하여 감각 운동 학습 연구를 조사하여 감각 운동 학습 이론으로 점면/고원 및 가능한 설명을 추가로 테스트할 수 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 이해 상충이 없다고 밝힌다.
Acknowledgments
대본을 재구성하고, 영상을 촬영하고 편집해주신 왕양씨와 영상 편집에 감사드립니다. 이 연구는 CIT 인다우먼트 및 국립 과학 재단 (JCD), 보스웰 펠로우십 (QL) 및 고급 대학 기금 (No.)의 지원을 받았습니다. G02386301, G02386401), 광동자연과학재단 공동기금(2019A151111038호)
Materials
| Name | Company | Catalog Number | Comments |
| Gaming Wheel | Logitech | ||
| Windows 10 OS | Microsoft |
References
- Franklin, D. W., Wolpert, D. M.
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R.
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E.
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R.
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M.
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
- Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
