당사는 밀접한 루프에서 인체와 심장 신호를 스트리밍, 매개 변수화, 분석 및 수정하는 공동 적응 인터페이스를 구축하기 위한 프로토콜 및 분석 방법을 제시합니다. 이 설정은 생물 물리학 변화를 추적하는 데 도움이 외부 감각 입력을 가진 사람의 말초 및 중추 신경계에서 파생 된 신호를 인터페이스합니다.
감각 대체 및 감각 확대를 위한 방법을 개발하는 필드는 중추 신경계 (CNS)에서 신호를 사용하여 외부 목표를 제어하는 것을 목표로했습니다. 그러나 이동 중인 대화형 바디에 의해 자체 생성된 외부 신호를 업데이트하는 프로토콜은 덜 빈번합니다. dyadic 교환 도중 다른 움직이는 에이전트의 그를 조종하기 위하여 한 움직이는 에이전트의 바디 심장-두뇌 생체 리듬을 결합하는 방법의 빈약이 있습니다. 이러한 위업을 달성하기 위한 과제중 하나는 서로 다른 물리적 단위, 이질적인 시간 척도 및 가변 샘플링 주파수를 가진 멀티모달 바이오 신호를 사용하여 설정의 복잡성이었습니다.
최근 몇 년 동안, 비침습적으로 여러 신호를 나란히 활용할 수 있는 웨어러블 바이오 센서의 출현은 뇌 및/또는 바디 머신 인터페이스를 개선하는 것 외에도 상호 작용하는 다이드의 주변 신호를 다시 매개 변수화하고 업데이트할 수 있는 가능성을 열어주었습니다. 여기서 우리는 생체 센서를 사용하여 효과적인 체형 모터 출력 (운동학 및 심박수 포함)을 업데이트하는 공동 적응 인터페이스를 제시합니다. 금욕적 바이오 신호를 매개 변수화하고, 이 출력을 소간화하고, 비수오/오디오 운동 성 재흡수 입력으로 다시 매개변수 형태로 다시 공급합니다. 우리는 두 가지 유형의 상호 작용을 사용하는 방법을 설명합니다, 하나는 두 인간과 거의 실시간으로 상호 작용하는 인간과 아바타와 관련된 다른 하나를 포함. 내부 체감각-모터 제어에 대한 외부 입력의 영향을 측정하는 새로운 방법의 맥락에서 새로운 방법에 대해 논의합니다.
내추럴 클로즈 루프 컨트롤러
감각 모터 정보는 잘 조직된 조정된 행동을 생성하기 위하여 두뇌와 바디 사이 를 지속적으로 흐릅니다. 이러한 행동은 독백 스타일(그림 1A)에서와 같이 사람의 행동에만 초점을 맞추거나 대화 스타일(그림 1B)에서와 같이 dyad에서 두 에이전트 간에 공유되는 복잡한 동적 동작 중에 단독으로 연구할 수 있습니다(그림 1B). 그러나 세 번째 옵션은 인간-컴퓨터 클로즈 루프인터페이스(그림 1C)의컨텍스트 내에서 프록시 컨트롤러를 통해 이러한 복잡한 상호 작용을 평가하는 것입니다. 이러한 인터페이스는 다이드의 각 에이전트에 의해 기여 순간 의 움직임의 변동을 추적 할 수 있습니다, 그리고 자신의 동기 상호 작용에서 자기 등장 응집력의 유형에 의해, 바람직한 방법으로 dyad의 리듬을 조종하는 데 도움.
그림 1: 다른 형태의 제어. (A)자기 두뇌 제어 인터페이스는 “독백”스타일로 자기 조절하고 상호 작용할 수있는 사람의 뇌와 사람의 자신의 몸 사이의 밀접한 루프 관계에 의존한다. 이 모드는 자체 생성 모션의 제어를 시도하거나 외부 장치를 제어하는 것을 목표로 할 수도 있습니다. (B)“대화” 스타일 컨트롤은 서로의 움직임을 제어하기 위해 물리적 인 훈련과 턴 복용을 통해 서로 상호 작용하는 두 댄서에 대해 도입된다. (C)다이드의 “제3자” 대화 제어는 두 댄서의 바이오 신호를 결합하여 매개변수화하고 감각 지도의 형태로 오디오 및/또는 비전을 사용하여 재매개변수 형태로 무용수에게 다시 공급하는 컴퓨터 인터페이스에 의해 중재된 것으로 소개된다. 여기에 제시된 예의 재매개변수화는 오디오 또는 시각적 피드백을 사용하여 달성되었으며, 다른 댄서 중 한 명의 실시간 운동 모터 출력에 의해 향상되었습니다. 또는 두 댄서의, 일부 교대 패턴에 회전복용. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
이 방법의 전반적인 목표는 두 에이전트가 두 인간, 또는 인간과 그 /그녀의 자기 움직이는 아바타를 포함 할 수있는 dyadic 교환에 종사로, 움직이는 신체의 생체 리듬 활동에 순간 변동을 활용, 매개 변수화 및 재 매개 변수화 할 수 있음을 보여주는 것입니다.
뇌가 어떻게 행동을 조절하고 감각적 결과를 예측할 수 있는지에 대한 조사는 지난1,2,3에서 많은 이론적 문의라인을 생성하고 신경운동 제어4,5,6,7,8의다양한 모델을 생성했다. 이 다분야 분야의 한 줄은 근접 루프 뇌 기계 또는 뇌 컴퓨터 인터페이스의 개발을 포함하고있다. 이러한 유형의 설정은 로봇 암9,10,11,외골격(12)및 컴퓨터화면(13)의 커서와 같은 외부 장치를 제어하기 위해 CNS 신호를 활용하고 조정하는 방법을 제공한다. 이러한 모든 외부 장치는 자체 인텔리전스가 없는 속성을 공유합니다. 대신, 뇌가 그들을 제어하려고 하는 뇌는 이러한 장치에서 생성하는 모션의 결과를 예측하는 방법을 배우는 것입니다 (예를 들어, 커서의 움직임, 로봇 팔의 움직임 등) 키네의 형태로 전반적인 감각 모터 피드백에 기여하는 다른 지지 모션을 생성하는 것입니다. 종종, 이러한 인터페이스의 가장 중요한 목표는 뇌뒤에 있는 사람이 부상이나 장애를 우회하도록 돕고, 의도적인 생각의 변화를 외부 장치의 의심하게 통제된 물리적 행위로 되감는 것입니다. 그러나 덜 일반적인 모션에 몸의 움직임을 조종 하려고 하는 인터페이스의 개발 되었습니다.
뇌-기계 인터페이스에 대한 원래 연구의 대부분은 목표 지향적 인 행동을 달성 할 수있는 신체 부위를통해 중추 신경계 (CNS)의 제어에 초점을 맞추고9,14, 15,16,17. 그러나, 자율 신경계(ANS)를 포함하여 말초 신경계(PNS)의 활동에서 유래된 신호를 이용하여 다른 인간 또는 아바타를 포함하거나 인간을 상호작용하는 외부 에이전트의 신호를 영향을 미치고 조종할 수 있을 정도로 유익하다는 다른 상황이 있다(도 1C에서와같이). 로봇 팔이나 커서와 는 달리,이 경우 다른 에이전트는 뇌에 의해 구동 지능을 가지고 (사람의 움직임을 부여 한 아바타의 경우, 또는 다른 에이전트의 경우, 상호 작용 인간의 dyad의 경우).
dyadic 교환과 공동 적응 근접 루프 인터페이스의 환경을 만드는 설정은 뇌가 CNS와 PNS 사이의 다리를 물리적으로 절단하지 않았음에도 불구하고, 의지에 자신의 몸을 의지로 제어 할 수없는 신경계의 장애에 개입하는 데 사용할 수 있습니다. 이것은 두뇌가 지속적으로 감시하고 그 자체 생성한 생체 리듬을 조정하는 것을 돕기 위하여 피드백 루프가 중단되었을 수 있는 시끄러운 말초 신호 때문에 때문일 지도 모릅니다. 이 시나리오는 파킨슨 병 환자에서 발생18,19,또는 자신의 모터 출력에 과도한 소음과 자폐증 스펙트럼 장애를 가진 참가자. 실제로, 두 경우 모두, 우리는 의도된 움직임의 속도에서 파생된 돌아오는 운동 신호에서 높은 수준의 노이즈 대 신호 비율을 정량화하였다(20,21,22) 및심장(23)으로부터. 이러한 경우, 외부 신호의 뇌 제어를 마스터하려고, 또한 모션에서 몸을 제어하는 동안, 뇌가 주변에서 연속 (efferent) 모터 스트림에서 수신 정보의 재 응력 (재 흡수) 스트림에서 자기 반응 신호가 발생할 수 있습니다. 실제로, 이러한 자체 생성 efferent 모터 스트림에 존재하는 순간별 변동은 의도적 인 행동의 감각 결과의 예측을 돕는 데 유용한 중요한 정보를 포함(24). 이 피드백이 노이즈에 의해 손상되면 제어 신호를 예측하기 어렵고 의도적인 계획을 물리적 행위로 연결하기가 어려워집니다.
이러한 피드백 루프를 다른 에이전트로 확장하고 제3자(그림1C)를통해 사람과 에이전트의 상호 작용을 제어한다면, 우리는 거의 실시간으로 서로의 공연을 조종할 수 있는 기회를 가질 수 있습니다. 이것은 우리가 정신적 의도에서 물리적 의지의 가난한 실현귀착되었던 신경계의 무질서를 취급하기 위하여 공동 적응두뇌 바디 또는 두뇌 기계 인터페이스의 개념을 확장하는 것을 필요로 할 것이라는 개념의 증명을 저희를 제공할 것입니다.
의도적인 행동은 맥락에 따라 달라지며25,26의높은 확신을 가진 정신적 의도 수준을 추론할 수 있는 모터 스토세스 시그니처를 정확하게 특징으로 하는 결과를 초래한다. 따라서, 뇌 기계 또는 뇌 컴퓨터 인터페이스에 대한 사전 사람 중심의 접근 에 대한 dyadic 교환을 활용하는 새로운 방법의 장점은, 우리는 의도의 다른 수준에서, 사람의 인식 아래 크게 트랜스 피어 신체와 심장 생체 리듬을 포함하도록 제어 신호를 증강 할 수 있다는 것입니다. 이러한 방식으로, 우리는 의식적 제어가 뇌 커서제어(17)를조정하는 과정에서 발생하는 경향이 있는 반응성 간섭을 약화시킨다. 액세스할 수 있는 다양한 신호를 매개 변수화하여 예측 프로세스에 더 많은 확실성을 추가할 수 있습니다. 그 라인을 따라, 이전 작업은 나란히 뇌와 신체 신호를 사용하여 존재27,28,29; 그러나 뇌-신체 신호에 의해 포착 된 dyadic 상호 작용을 포함 하는 작업은 부족 남아. 또한, 현존하는 문헌은 고의적인것들(30,31)의결과로 자발적으로 발생하는 완전한 인식과 과도기적 움직임에 따라 수행된 행동의 의도적인 세그먼트 사이의 구별을 아직 설명하지 못하고 있다. 여기서 우리는 dyadic 교환의 맥락에서 그 구별을 하고, 댄스 공간에서 안무 (의도적) 대 즉흥적 인 (자발적인) 모션의 예를 제공하면서,이 이분제32를공부하는 새로운 방법을 제공합니다.
감각 모터 통합 및 변환프로세스(33)의트랜스듀션 및 전송 지연으로 인해 이러한 예측 코드를 제자리에 두고, 곧 출시될 감각 입력을 높은 확실하게 예측하는 법을 배워야 합니다. 이를 위해, 지속적으로 업데이트되는 운동 성 리퍼런트 스트림에서 신호로부터 유래된 노이즈 대 신호 비율의 진화를 특성화할 수 있어야 한다. 그런 다음 모터 가변성의 변화를 체계적으로 측정하기 위한 프로토콜이 필요합니다. 변동성은 본질적으로 나가는 efferent 모터 스트림(34)의순간별 변동에 존재한다. 이러한 신호는 비고정적이고 상황에 맞는 변화에 민감하기 때문에35,36,작업의 컨텍스트 변경과 함께 발생하는 변경 사항을 매개변수화할 수 있습니다. 의식적인 CNS 제어에서 나오는 반응성 신호의 간섭을 최소화하고, pNS 모터 스트림의 정량화 가능한 변화를 불러일으키기 위해, 사람의 자기 인식 아래 크게 변화하는 주변 신호를 모집하여 감각 피드백을 간접적으로 변경하는 프록시 클로즈루프 인터페이스를 소개합니다. 그런 다음 프록시 닫기 루프 인터페이스가 두 에이전트에서 간접적으로 불러 일으키는 프로세스를 시각화할 수 있는 금방 분석을 사용하여 감각 조작을 따르는 변화를 체계적으로 측정하는 방법을 보여줍니다.
프록시 닫기 루프 컨트롤러 소개
주변 신호에 존재하는 감각 모터 가변성은 학습, 적응 및 일반화가 서로 다른 맥락에서 이루어지는 동안 신경계의 성능을 안내하는 풍부한 정보 원을 구성한다37. 이러한 신호는 부분적으로 작업을 제어하려고 하는 CNS의 부산물로 등장하지만 컨트롤러의 직접적인 목표는 아닙니다. 사람이 자연스럽게 다른 사람과 상호 작용함에 따라 주변 신호를 활용, 표준화 및 다시 매개 변수화 할 수 있습니다. 그 변화는 변이를 매개변수화하고 체계적으로 전환할 수 있다는 것을 의미하며, 하나는 운동적 재연으로 시스템에 지속적으로 다시 들어가는 efferent 모터 스트림을 변경합니다. 이러한 설정에서, 우리는 더 전통적인 기술이 수행하는 그랜드 평균의 유형에 손실되는 고정밀으로 캡처, 스토세스 시프트를 시각화 할 수 있습니다.
새로운 통계 플랫폼에서 변화의 특성화를 달성하기 위해, 우리는 여기에 내부적으로 자체 생성 모터 신호와 외부 감각 입력 (청각 및 시각)의 통합을 허용하는 프로토콜, 표준화 된 데이터 유형 및 분석을 소개, 사람은 자연스럽게 다른 사람과 상호 작용하는 동안, 또는 사람의 아바타 버전. 이러한 의미에서, 우리는 주변 신호를 제어하는 것을 목표로하기 때문에 (CNS 신호를 수정하여 외부 장치 또는 미디어를 직접 제어하는 것보다), 우리는 이 것을 프록시 클로즈루프인터페이스(도 2)로동전화한다. 우리는 PNS의 관면 신호의 변화를 특성화하는 것을 목표로합니다.
도 2: 밀접루프 다중 모달 인터페이스를 이용한 dyadic 상호 작용의 프록시 제어. (A)컴퓨터 공동 적응 인터페이스 대(B)를통해 두 댄서의 간접 제어(댄스 살사)를 통해 말초 신경계 신호를 활용하고 음성 및/또는 시각적 입력으로 파라미터를 재지정하여 제어하는 대화형 인공 아바타 다이드. (C)생체 리듬 신호진폭/타이밍의 순간변동으로부터 파생된 새로운 표준화된 데이터 유형(마이크로 무브먼트 스파이크, MMS)을 이용하여 음향화의 개념이 진동으로 변환된 다음 소리로 변환된다. 물리학에서, 우리는 측정 가능한 진동으로 튜닝 포크 아웃 퍼팅 음파에 의해 생성 된 압축및 희귀 한 파벌의 개념을 빌려. 음파의 회로도는 소화에 대한 스파이크 농도에 병렬로 시간이 지남에 따라 변조 압력으로 표현. MMS에서 진동 및 소화에 이르는 제안된 파이프라인을 통과하는 물리적 신호의 예입니다. 우리는 인터페이스에 입력으로 심박수 신호를 사용합니다. 이렇게 하면 4초마다 이동 이착륙에 정렬된 신호진폭의 변동이 필요하며 진동을 나타내는 MMS 열차를 제작합니다. MMS의 스파이크 열차는 [0,1]에서 표준화됩니다. 색상 막대에 따라 스파이크의 색상은 신호의 강도를 나타냅니다. 그런 다음 Max를 사용하여 이러한 진동을 소성화합니다. 이 sonified 신호는 A에서 재생하거나 아바타와의 상호 작용을 B에서 변경하는 데 사용할 수 있습니다. 또한, B에서는 환경에 사운드를 포함하고 본체 위치를 사용하여 관심 영역(RoI)에서 사운드를 재생하거나, RoI에 의해 전달될 때 다른 신체 부위에 고정된 신체 부위의 RoI, 속도 또는 가속의 함수로서 오디오 기능을 조절할 수 있다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
PNS 신호는 자율에서 자발적32에이르기까지 신경계의 다양한 기능층에서 다중 모달 efferent 스트림을 공동 등록웨어러블 감지 기술로 비침습적으로 활용할 수 있습니다. 그런 다음 이러한 스트림의 변화를 거의 실시간으로 측정하고 변경 사항이 신호 대 잡음 비율을 향상시키는 스트림을 선택할 수 있습니다. 이 efferent 모터 신호는 다른 형태의 감각 안내(예: 청각, 시각 등)로 보강될 수 있습니다. PNS 신호는 전체 인식을 scape, 그들은 많은 저항없이 조작하기 쉽습니다 38. 따라서, 우리는 인간의 시스템에 덜 스트레스가 될 수있는 방법으로 사람의 성능을 조종하는 데 도움이 그들을 사용합니다.
인터페이스 구축
우리는 가까운 루프 공동 적응 멀티 모달 인터페이스에 의해 중재 프록시 제어의 디자인을 제시한다. 이 인터페이스는 실시간 다감각 피드백을 조정합니다. 도 3은 일반 디자인을 표시합니다.
근접 루프 인터페이스는 5개의 주요 단계를 특징으로 합니다. 첫 번째 단계는 여러 웨어러블 계측기의 다중 모달 데이터 수집입니다. 2단계는 MoBI 그룹(39)이개발한 LabStreamingLayer(LSL, https://github.com/sccn/labstreaminglayer)의 플랫폼을 통한 다중 모달 스트림의 동기화이다. 3단계는 신호를 통합하고 경험적으로 생리학적 특징(실험설정과 관련된)을 실시간으로 접면하기 위해 파이썬, MATLAB 또는 기타 프로그래밍 언어 인터페이스로 LSL 데이터 구조를 스트리밍하는 것이다. 4단계는 신체신호의 연속스트림으로부터 추출된 선택된 특징을 재매개화하고, 선택된 감각적 양성(예: 시각, 청각, 운동성 등)을 사용하여 이를 보강하여 소리나 비주얼의 형태로 재생하여, 사람의 신경계에서 문제가 되는 감각적 모달성을 증대, 대체 또는 향상시키는 것이다. 마지막으로, 5단계는 시스템에 의해 생성된 신호의 금세적 시그니처를 실시간으로 재평가하고, 어떤 감각적 양도가 임박한 작용의 감각적 결과를 예측할 때, 체질 변동의 급격한 변화를 높은 확실성(noise 최소화)의 정권에 가져오는지 선택하는 것이다. 이 루프는 후속 분석에 대한 전체 성능을 저장하는 동시에 선택된 신호에 초점을 맞춘 실험 기간 내내 지속적으로 재생되며(도 3의 회로도에 묘사된 바와 같이40, 41,42,43,44, 45,46,46,47을 참조).
그림 3: 다중 모달 주변 구동 클로즈 루프 인터페이스 개념의 아키텍처입니다. 다양한 신체 신호가 수집됩니다 -운동 데이터, 심장 및 뇌 활동 (단계 1). LSL은 다양한 장비에서 인터페이스(2단계)로 오는 데이터를 동기적으로 공동 등록하고 스트리밍하는 데 사용됩니다. 파이썬/MATLAB/C# 코드는 표준화된 데이터 유형과 일반적인 스케일을 사용하여 신호의 변동을 지속적으로 매개변수화하는 데 사용되며, 이는 시스템의 불확실성을 약화시키는 데 가장 적합한 감각 안내의 소스를 선택할 수 있습니다(3단계). 이러한 실시간 향상된 신호 전송은 선택된 채널을 통한 신호 전송을 실시간으로 향상시켜 재진입감각 신호의 재매개변수화를 통해 연속 모터 스트림에 통합하고 분실또는 손상된 입력 스트림(감각 대체 단계 4)을 향상시킬 수 있습니다. 연속 재평가는 루프(5단계)를 닫고 추가 향후 분석을 위해 모든 데이터를 저장합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
다음 섹션에서는 근접 루프 인터페이스를 구축하는 방법의 일반적인 프로토콜을 제시 (도 3에설명된 대로) 두 댄서 (실제 닫기 루프 시스템) 사람과 아바타 사이의 물리적 dyadic 상호 작용을 포함하는 두 가지 실험 인터페이스 (보충 재료에 정교하게 제시)의 대표적인 결과를 설명합니다.
이 백서는 dyadic 교환의 맥락에서 사람의 주변 신호를 하네스, 매개 변수화 및 매개 변수화하는 근접 루프 공동 적응, 대화형 다중 모달 인터페이스를 통해 프록시 제어개념을 소개합니다. 우리는 사람의 생체 리듬의 변동에 있는 stochastic 교대를 특성화하고 변경을 매개변수화하는 것을 겨냥했습니다. 또한 우리는 거의 실시간으로 소음 대 신호 정권의 표적 수준으로 생체 리듬의 신속한 서명을 체계적으로 조종하는 것을 목표로했습니다.
우리는 5 가지 핵심 요소를 만족시키는 근접 루프 인터페이스를 구축하기위한 일반 프로토콜을 제시했습니다 : 1) 다양한 계측기 및 기술을 사용하여 CNS, PNS 및 ANS에서 오는 여러 신체 데이터의 수집; 2) 데이터의 동기화된 기록 및 스트리밍; 3) 선택한 신호의 실시간 분석; 4) 신체 신호를 위해 추출된 생리적 특징을 사용하여 감각 증강(audio, visual 등)의 생성; 및 5) 인간 시스템과 병렬 감각 증강의 지속적인 추적은 인간과 시스템 사이의 상호 작용의 루프를 닫는다.
일반 프로토콜은 두 예제 인터페이스에 적용되었습니다. 첫 번째는 인간 요원 두 명과 인간과 아바타 요원 사이의 두 번째 물질 간의 다이딕 교환을 조사합니다. 두 가지 유형의 다이드들은 주변 신호가 실시간으로 체계적으로 변경될 수 있고 이러한 금세 변화를 정확하게 추적할 수 있다는 개념 증명을 제공하는 데 사용되었습니다. 한 다이드는 물리적으로 상호 작용하는 두 명의 참가자로 구성되었으며, 다른 참가자는 사용자의 움직임을 부여한 3D 렌더링 아바타의 형태로 가상 에이전트와 상호 작용하는 참가자와 이러한 실시간 모션의 변형을 포함했습니다. 이러한 변화는 증강 된 감각의 설정에서 청각 및 / 또는 시각적 감각 입력에 의해 구동 대화 형 조작에 의해 연상되었다. 실제 dyad와 인공 dyad 모두에서, 우리는 심장 박동에서 신체 생체 리듬 및 자율 신호를 포함하여 주변 신호를 원격으로 이동의 타당성을 입증했습니다.
우리는 운동 신호 스트림이 거의 실시간으로 조작되고 다시 매개 변수화되는 것처럼 효과적인 모터 가변성의 이러한 변화를 조사하기 위해 새로운 실험 프로토콜을 제시했습니다. 이 재진입 정보(운동적 재보급48)는시스템 성능을 실시간으로 전환하는 데 중요한 가치를 입증했습니다. 그들은 우리가 여기에서 제시 한 방법을 사용하여 정확하게 추적 할 수있는 행동의 감각 적 결과에 대한 정보를 부담합니다.
또한 분석 의 표준화를 위한 데이터 유형과 통계 적 방법을 보여 주기도 했습니다. 우리는 다양한 맥락에서 자연적으로 진화하는 생리 활동의 실시간 변화를 입증하기 위해 여러 가지 시각화 도구를 제공했으며, 경험적으로 유도된 통계 추론으로 자체 생성 및 자가 제어 신경계 신호의 해석에 빌려줍니다. 중요한 것은 프록시 컨트롤러에 의해 불러온 변경 사항은 부드럽고 정량화가능했기 때문에 주변 활동이 두 가지 이상 유용하다는 개념에 대한 지원을 빌려주는 것입니다. 시판되는 무선 웨어러블 센서를 사용하여 이러한 방법을 구현할 수 있지만 시스템을 강조하지 않고 생체 물리학 리듬에서 캡쳐가능한 성능 변화를 체계적으로 유도할 수 있습니다. 임상 분야로 우리의 방법을 번역하고 새로운 내정간섭 모형을 개발하기 위하여 시험으로 그(예를 들면, 자폐증에있는 증강현실을 사용할 때와 같이)로 사용하는 것이 중요합니다( 예를 들면, 자폐증에 있는 증강현실을 이용하는 때와 같이). 이러한 모델에서는 감각 입력이 정확하게 조작되고 출력이 거의 실시간으로 매개 변수화되고 다시 매개 변수화되기 때문에 사람의 자연주의 적 행동의 감각적 결과를 추적하고 정량화 할 수 있습니다.
우리는 인간 신경계에 의해 자체 생성되고 무선 웨어러블과 비침습적으로 활용되는 다양한 생체 리듬 활동을 활용하는 일반적인 모델로이 프로토콜을 제공합니다. 이 논문에 EEG, ECG 및 운동학을 등록하기 위해 일련의 바이오 센서를 사용했지만 신호를 기록, 동기화 및 분석하는 방법은 일반적입니다. 따라서 인터페이스는 다른 기술을 통합할 수 있습니다. 또한 프로토콜은 의료 분야로 확장되는 다른 자연주의 적 행동과 컨텍스트를 포함하도록 수정할 수 있습니다. 우리는 자연스러운 행동을 목표로 했기 때문에, 우리가 개발 한 설정은 장난 스러운 설정 (예 : 어린이와 부모를 포함)에서 사용할 수 있습니다.
신경계의 몇몇 무질서는 통제 문제에 그 같은 장난 접근에서 유익할 수 있었습니다. 우리가 여기에서 보여 준 dyadic 상호 작용의 두 가지 유형에서, 참가자는 무의식적으로 조작하고 체계적으로 서명을 이동하는 주변 출력을 사용하는 동안, 무의식적으로 음악을 제어하는 것을 목표로 할 수 있습니다. 과학자들은 수년 동안 감마 파라미터 평면과 다른 연령대(78세까지의 신생아)를 통해 감마 모멘트 공간을 경험적으로 매핑했기 때문에19,50,51,52, 53 및 조건(자폐증, 파킨슨 병, 뇌졸중, 혼수 상태 및 청각 장애인), 다양한 수준의 제어 (자발적, 자동, 자발적, 자발적, 비자발적 및 자율 학)25,47,54,그들은 감마 공간에 스토세스 시그니처가 좋은 예측 제어를 위한 것이어야 하는 곳을 나타내는 경험적으로 측정된 기준을 가지고 있습니다. 이전 연구는 또한 인간 신경계7,19,55,56의자체 생성 리듬에서 나오는 자발적인 임의 잡음의 존재가 있는 파라미터가 어디에 있는지 알고 있음을 보여주었습니다. 생체 리듬 모터 노이즈를 최소화하는 최적화 스키마 내에서, 우리는 따라서 각 사람의 PDF의 가족의 모양과 분산 서명이 높은 신호 대 잡음 비 및 예측 값을 도움이되는 감마 공간의 표적 영역을 달성하는 방식으로 신호를 구동하는 것을 목표로 할 수 있습니다. 이러한 의미에서, 우리는 총 데이터를 잃지 않고 오히려 주어진 상황에서 소음의 바람직한 수준으로 시스템을 구동하는 데 효과적으로 사용합니다.
Dyadic 상호 작용은 임상 또는 훈련 환경에서 유비쿼터스입니다. 그들은 트레이너와 연수생 사이에 발생할 수 있습니다; 의사와 환자; 임상 치료사와 환자; 그리고 그들은 또한 번역 과학을 관련 시키는 연구 설정에서 발생할 수 있습니다 및 연구원과 참가자참여. 현재 프로토콜의 장점 중 하나는 dyads를 위해 설계되었지만 개인화된다는 것입니다. 따라서, 사람의 신경계의 기능적 계층 구조를 통해 신호진폭의 범위를 고려하면서, 사람의 최상의 능력과 소인에 대한 공동 적응적 상호 작용을 조정할 수 있습니다. 확률 궤도가 나타나고 시간에 진화함에 따라 서명 확률을 확인하고 해당 타임 시리즈를 사용하여 가능한 감각 적 결과와 함께 몇 가지 임박한 이벤트를 예측 할 수도 있습니다.
마지막으로, 가까운 루프 인터페이스도 예술 세계에서 사용할 수 있습니다. 그들은 현대 무용, 기술 댄스와 시각화및 신체 표현의 음향화의 계산 중심 형태를 생성하는 공연 예술가에게 새로운 길을 제공 할 수 있습니다. 이러한 맥락에서, 무용수의 몸은 이분야40,41,43,46의선행 작업에서 알 수 있듯이 자가 생성 된 생체 리듬 활동의 손화 및 시각화를 통해 다양한 감각 적 양상을 유연하게 탐구하는 감각 중심의 도구로 전환 될 수 있습니다. 이러한 공연은 무대에서 댄서의 역할을 강화하고 관객이 눈에 보이는 움직임을 넘어 미묘한 신체 신호를 경험할 수 있습니다.
이 기술의 여러 측면은 실시간 설정에서 사용을 최적화하기 위해 추가 개발 및 테스트가 필요합니다. 동기 스트리밍은 고속 CPU/GPU 전력 및 메모리 용량을 요구하여 지속적인 모터 명령의 감각 적 결과를 예측할 때 시간을 확보하고 한 걸음 앞서 나갈 수 있다는 개념을 실제로 활용해야 합니다. 장비의 샘플링 속도는 신호를 진정으로 정렬하고 적절한 감각 융합을 수행하고 신경계의 다양한 채널을 통해 정보 전송을 탐색 할 수 있도록 비교할 수 있어야합니다. 이러한 제한 사항 중 일부는 이 새 인터페이스에 있습니다.
이 모든 일은 잠재성을 채용하면서 신체 시스템의 제어를 개선하는 새로운 개념을 제공하므로 스토카즘 변화의 체계적인 표준화 된 결과 측정을 허용합니다.
The authors have nothing to disclose.
우리는 이 연구를 수행하기 위해 자원봉사를 한 학생들에게 감사드립니다. 칸 아난트와 PhaseSpace Inc.는 설정을 설명하는 데 필요한 이미지와 비디오를 제공합니다. 그리고 우리가 채널 www.youtube.com/c/neuroelectrics/ 및 그 매뉴얼에서 자료를 사용할 수 있도록 신경 전자. 마지막으로, 이 원고의 제출 단계에서 전문적인 지원을 위한 러트거스 코그너스 센터의 토마스 파파토마스 교수, 낸시 루리 마크 가족 재단 경력 개발 상 EBT 및 제론델리스 재단 어워드에서 VK에 감사드립니다.
기여
개념화, VK 및 EBT; 방법론, EBT; 소프트웨어, VK, EBT, SK.; 검증, VK 및 SK; 정식 분석, VK; 조사, VK, EBT, SK; 자원, EBT; 데이터 큐레이션, VK; 쓰기-원래 초안 준비, EBT; 쓰기-검토 및 편집, VK, SK.; 시각화, VK 및 EBT.; 감독, EBT.; 프로젝트 관리, EBT.; 자금 조달, EBT 모든 저자는 읽고 원고의 출판 된 버전에 동의했다.
Enobio 32 | Enobio | Hardware for EEG data collection | |
Enobio ECG Extention | Enobio | Hardware for ECG data collection | |
LabStreamingLayer (LSL) | Synchronization and streaming of data | ||
Matlab | Mathwork | Analysis and processing of data | |
Max | Cycling'74 | Sonification of bodily information | |
NIC.2 | Enobio | Software for EEG and ECG data collection | |
PhaseSpace Impulse | PhaseSpace | Hardware for collection of the kinematic data (position, speed, acceleration) | |
Python3 | Python | Analysis and processing of data | |
Recap | PhaseSpace | Software for collection of the kinematic data (position, speed, acceleration) |