휠콘: 인간 감각 모터 제어를 연구하기 위한 휠 제어 기반 게임 플랫폼
Summary
휠콘은 가파르고 뒤틀리고 울퉁불퉁한 트레일을 따라 산악 자전거를 비침습적으로 시뮬레이션하는 비디오 게임을 디자인하는 새로운 무료 및 오픈 소스 플랫폼입니다. 그것은 인간의 감각 운동 제어 (지연, 양자화, 소음, 교란 및 다중 피드백 루프)에 제시 하는 구성 요소를 포함 하 고 연구원 감각 모터 제어에서 계층 아키텍처를 공부 할 수 있습니다.
Abstract
피드백 제어 이론은 이론적으로 인간 감각 조절을 모델링하기 위해 광범위하게 구현되었습니다. 그러나 여러 피드백 루프의 중요한 구성 요소를 조작할 수 있는 실험 플랫폼은 개발이 부족합니다. 이 백서에서는 이러한 불충분을 해결하기 위한 오픈 소스 플랫폼인 휠콘(WheelCon)에 대해 설명합니다. 휠콘은 컴퓨터, 표준 디스플레이, 힘 피드백 모터가 장착된 저렴한 게이밍 스티어링 휠만을 사용하여 산악 자전거를 가파르고 뒤틀리고 울퉁불퉁한 트레일아래로 라이딩하는 정경적인 감각 모터 작업을 안전하게 시뮬레이션합니다. 이 플랫폼은 제공된 데모에서 입증되는 것처럼 유연성을 제공하므로 연구원들은 고급 계획 계층및 낮은 수준의 지연 반사 층을 포함하여 계층화된 피드백 루프의 장애, 지연 및 양자화(데이터 속도)를 조작할 수 있습니다. 이 문서에서는 WheelCon의 그래픽 사용자 인터페이스(GUI), 기존 데모의 입력 및 출력, 새로운 게임을 설계하는 방법을 설명합니다. 또한 모델의 예측과 잘 어울리는 데모 게임의 기본 피드백 모델과 실험 결과를 제시합니다. 휠콘 플랫폼은 https://github.com/Doyle-Lab/WheelCon 다운로드할 수 있습니다. 요컨대, 이 플랫폼은 효과적인 감각 운동 신경 과학 연구 및 제어 엔지니어링 교육을 위한 프로그래밍에 저렴하고 사용하기 간단하며 유연하게 제공됩니다.
Introduction
인간 감각 운동 제어 시스템은 매우 견고한1,감지가 분포되어 있지만, 변수, 희소, 정량화, 시끄러운 및 지연2,,3,,4; 중추 신경계의 컴퓨팅은55,6,,7이느립니다. 및 근육 작동 피로 와 포화8. 많은 전산 이론적 모델은 인간의 범위 및응답(15,16)에서절충 과정인 복잡한 인간 감각조절 공정4,9,1610,,11, 12,,,12,13,,14를설명하기 위해 제안되었다., 예를 들어, 피드백 제어 이론은 최적의 제어정책(12),베이지안 이론 모델 감각운동 학습17,,18,19 및정보이론 감각운동 기초20,,21을예측한다. 이론적 모델의 풍부와는 달리 여러 피드백 루프의 중요한 구성 요소를 조작할 수 있는 실험 플랫폼은 개발이 부족합니다. 이는 감각 모터 제어의 이러한 측면을 교개하고 테스트할 플랫폼을 설계하려면 모터 제어 이론, 신호 처리 및 상호 작용에서 컴퓨터 그래픽 및 프로그래밍까지 다양한 전문 지식이 필요하기 때문입니다. 연구원은 종종 자신의 사용자 정의 하드웨어 / 소프트웨어 시스템을 개발하여 인간의 감각 모터 제어 성능을 특성화하여 연구 그룹 간에 데이터 세트를 비교 / 대조하고 통합하는 능력을 제한 할 수 있습니다. 사용하기 쉽고 검증된 시스템을 개발하면 감각 조절의 정량적 특성이 확대될 수 있습니다.
이 논문에서는 휠콘 플랫폼, 소설, 무료 및 오픈 소스 플랫폼을 제시하여 Fitts 법칙에 도달하는 Fitts의 법칙과 가파르고 뒤틀리고 울퉁불퉁한 트레일을 내리는 산악 자전거 작업을 비침습적으로 시뮬레이션하는 가상 환경을 위한 비디오 게임을 설계합니다. 작업에 도달하는 Fitts의 법칙은 거리 저울에서 폭의 목표에 도달하는 데 필요한 시간이22,,23로필요한 속도와 정확도 사이의 절충을 정량화합니다. ‘산악 자전거 작업’은 특히 피드백 루프를 연구하는 측면에서 인간의 감각 운동 성능에 대한 연구의 두 가지 고전적인 구성 요소인 추적 및 보상 추적 작업의 조합입니다.
휠콘에는 지연, 양자화, 노이즈, 교란 및 여러 피드백 루프와 같은 각 이론에 제시된 고도로 요구되는 기본 구성 요소가 포함되어 있습니다. 그것은 인간의 감각 운동 제어에서 다음과 같은 다양한 질문을 연구하기위한 잠재적 인 도구입니다 :
• 인간 감각 운동 시스템이 뇌 의 제한된 자원 (예 : 공간 및 대사 비용)에 의해 근본적으로 제약되는 신경 신호의 지연 및 양자화를 다루는 방법(24,,25;
• 감각 운동 제어(26)와인간의 피질에서 신경 상관 관계 방법;
• 인간이 감각 운동 제어27에서예측할 수없는 외부 장애를 처리하는 방법;
• 계층 적 제어 루프가 인간 감각 모터 시스템16,,28,,29내에서 계층화되고 통합되는 방법;
• 인간 시각피드백(30)과 반사피드백(31)의 지연 및 양자화의 결과;
• 지연 및 양자화 에서 감각 운동 학습을위한 최적의 정책 및 전략16,,17,,24,,29.
WheelCon은 스티어링 휠과 통합되어 동적 제어 정책 및 시스템 오류를 기록하면서 신호 지연, 양자화, 노이즈 및 교란과 같은 이러한 질문의 변수를 조작하는 게임 조건을 시뮬레이션할 수 있습니다. 또한 연구자들은 감각 운동 제어에서 계층화된 아키텍처를 연구할 수 있습니다. 산악 자전거를 타는 예에서 이 작업에는 하이레이어 플랜과 저층 반사의 두 가지 제어 레이어가 참여합니다. 눈에 보이는 교란(예: 트레일)의 경우, 우리는 교란이 도착하기 전에 계획합니다. 사전에 알려지지 않은 장애(즉, 작은 범프)의 경우 제어는 지연된 반사 신경에 의존합니다. 피드백 제어 이론은 효과적인 계층구조 아키텍처가 더 높은 계층의 목표, 계획, 결정을 하층의 감지, 반사 및액션(24)과통합할 수 있음을 제안합니다. 휠콘은 이러한 계층화된아키텍처(도 1)를테스트하기 위해 계획 및 반사 층에서 고유한 교란을 유도하는 실험 도구를 제공합니다.
우리는 저렴하고 사용하기 쉽고 프로그래밍 플랫폼인 WheelCon을 제공하여 이론과 신경 과학에 대한 실험 연구 사이의 격차를 해소합니다. 구체적으로, 그것은 지연의 효과 검사에 사용할 수 있습니다., 정량화, 방해, 잠재적으로 속도 정확도 절충. 제어 루프에서 조작할 수 있는 변수는 표 1에표시됩니다. 또한 인간의 감각 운동 제어에서 다른 제어 층에 걸쳐 의사 결정 및 멀티플렉스 능력을 연구하기 위해 적용 될 수있다. 더욱이, 휠콘은 뇌파(EEG)와 같은 비침습적 신경 기록과 호환되며, 감각 운동 제어 시 신경 반응을 측정하기 위해32,,33,,34,,35,및 비침습적 뇌 자극 기술( 예: 경두개 전기 자극(tES) 및 경두개 자기 자극(TMS), 신경활동,36.36
Protocol
Representative Results
Discussion
이 논문에서는 인간 감각 모터 제어에서 지연, 양자화, 교란 및 계층화된 피드백 루프의 효과를 연구하기 위한 무료 오픈 소스 게임 플랫폼인 WheelCon을 선보였습니다. 우리는 하드웨어, 소프트웨어 및 GUI를 보여 주었다. 지연 및 양자화를 갖춘 단일 감각 조절 루프의 설정이 구현되어 감각 모터 제어의 지연, 정량화 및 방해의 영향을 측정할 수 있습니다. 실험 결과는 피드백 제어 이론의 예측과 잘 …
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
대본을 재구성하고, 영상을 촬영하고 편집해주신 왕양씨와 영상 편집에 감사드립니다. 이 연구는 CIT 인다우먼트 및 국립 과학 재단 (JCD), 보스웰 펠로우십 (QL) 및 고급 대학 기금 (No.)의 지원을 받았습니다. G02386301, G02386401), 광동자연과학재단 공동기금(2019A151111038호)
Referencias
- Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
