WheelCon: Игровая платформа на основе управления колесами для изучения управления сенсорными датчиками человека
Summary
WheelCon является новым, свободным и открытым исходным кодом платформы для разработки видеоигр, которые неинвазивно имитирует горный велосипед вниз крутой, извилистый, ухабистый след. Он содержит компоненты, представляющие в человеке сенсорного контроля (задержка, квантизация, шум, нарушение, и несколько циклов обратной связи) и позволяет исследователям изучать слоистую архитектуру в сенсорном контроле.
Abstract
Теория контроля обратной связи была широко реализована для теоретической модели управления сенсорными датчиками человека. Однако экспериментальные платформы, способные манипулировать важными компонентами нескольких циклов обратной связи, не имеют разработки. В этом документе описывается WheelCon, платформа с открытым исходным кодом, направленная на устранение таких недостатков. Используя только компьютер, стандартный дисплей и недорогое игровое рулевое колесо, оснащенное мотором силовой обратной связи, WheelCon безопасно имитирует каноническую сенсорную задачу езды на горном велосипеде по крутой, скручивающейся, ухабистой тропе. Платформа обеспечивает гибкость, как это будет продемонстрировано в представленных демонстрациях, так что исследователи могут манипулировать помехами, задержкой и количественной оценкой (скорость данных) в слоистых петлях обратной связи, включая высокий уровень расширенного уровня плана и низкоуровневый слой замедленного рефлекса. В этой статье мы иллюстрируем графический пользовательский интерфейс WheelCon (GUI), ввод и вывод существующих демонстраций, а также способы разработки новых игр. Кроме того, мы представляем базовую модель обратной связи и экспериментальные результаты демо-игр, которые хорошо согласуются с прогнозом модели. Платформу WheelCon можно скачать в https://github.com/Doyle-Lab/WheelCon. Короче говоря, платформа отличается быть дешевым, простым в использовании, и гибкой программы для эффективного сенсорного нейронауки исследований и управления инженерным образованием.
Introduction
Система управления сенсорным человеком чрезвычайно надежна1, хотя зондирование распределено, переменная, разреженная, количественно, шумно и задерживается2,3,4; вычисления в центральной нервной системе медленно5,,6,7; и усталость мышц активации и насыщает8. Многие вычислительные теоретические модели были предложены для объяснения сложного процесса управления человеческим сенсомотором4,,9,10,11,12,13,14, который является процессом компромисса в человеческой досягаемости и ответ15,16. Например, теория контроля обратной связи предсказывает оптимальную политику управления12,Байесовскую теорию модели сенсомотора обучения17,,18,,19 и сенсорной теории информации фундамент20,21. В отличие от обилия теоретических моделей, экспериментальные платформы, способные манипулировать важными компонентами нескольких циклов обратной связи, не имеют разработки. Отчасти это связано с тем, что проектирование платформы для моста и тестирования этих аспектов сенсорного контроля требует разнообразных знаний, простирающихся от теории управления двигателем, обработки сигналов и взаимодействия, вплоть до компьютерной графики и программирования. Исследователи часто разрабатывают свои собственные пользовательские аппаратные/программные системы для характеристики управления сенсорными датчиками человека, что может ограничить возможность сравнения/контрастности и интеграции наборов данных между исследовательскими группами. Разработка простой в использовании и проверенной системы может расширить количественную характеристику сенсорного контроля.
В этой работе мы представляем платформу WheelCon, новую, свободную и платформу с открытым исходным кодом для разработки видеоигр для виртуальной среды, которая неинвазивно имитирует закон Fitts достижения игры и горный велосипед задача с сбив крутой, извилистый и ухабистый след. Закон Fitts для достижения задачи количественно компромисс между скоростью и точностью, в которой время, необходимое для достижения цели ширины на расстоянии масштабах, как22,23. «Гора-велосипед задача» представляет собой сочетание преследования и компенсационного отслеживания задачи, которые являются двумя классическими компонентами исследований по человеку сенсорной производительности, особенно с точки зрения изучения обратной связи петли.
WheelCon содержит очень востребованные основные компоненты, представленные в каждой теории: задержка, количественная оценка, шум, нарушение и несколько циклов обратной связи. Это потенциальный инструмент для изучения следующих различных вопросов в управлении сенсорным человеком:
Как система сенсорных чувств человека имеет дело с задержкой и количественной оценкой в нейронной сигнализации, которая принципиально ограничена ограниченными ресурсами (такими как пространство и метаболические затраты) вмозге 24,25;
Как нервная корреляция в коре человека с сенсоросимоторным контролем26;
Как люди справляются с непредсказуемыми внешними нарушениями в сенсорно-соровомом контроле27;
Как иерархические петли управления слоистые и интегрированные в систему сенсорных чувств человека16,28,29;
– следствие задержки и количественной оценки зрительной обратной связичеловека 30 и рефлекторной обратной связи31 в сенсорном контроле;
Оптимальная политика и стратегия для сенсорного обучения при задержке и количественной оценке16,17,24,29.
WheelCon интегрируется с рулевым колесом и может имитировать игровые условия, которые манипулируют переменными в этих вопросах, такими как задержка сигнализации, количественная оценка, шум и помехи, при записи политики динамического управления и системных ошибок. Это также позволяет исследователям изучать слоистую архитектуру в сенсорно-хозяйском контроле. В примере езды на горном велосипеде в этой задаче участвуют два контрольных слоя: высокослойный план и низкослойный рефлекс. Для видимых нарушений (т.е. тропы), мы планируем до прибытия помех. Для нарушений, неизвестных заранее (т.е. небольшие шишки), контроль полагается на задержки рефлексов. Теория контроля обратной связи предполагает, что эффективные слоистые архитектуры могут интегрировать цели, планы, решения с зондированием нижних слоев, рефлексом и действием24. WheelCon предоставляет экспериментальные инструменты, чтобы вызвать отличительные нарушения в плане и рефлекторных слоев отдельно для тестирования такой слоистой архитектуры(рисунок 1).
Мы предоставляем дешевый, простой в использовании и гибкий в программе платформы, WheelCon, что мосты разрыв между теоретическими и экспериментальными исследованиями по неврологии. Если быть конкретным, то он может быть использован для изучения последствий задержки, количественной оценки, нарушения, потенциально скоростных компромиссов точности. Переменные, которыми можно манипулировать в циклах управления, отображаются в таблице 1. Он также может быть применен для изучения принятия решений и мультиплексной способности через различные слои управления в управлении сенсорным человеком. Кроме того, WheelCon совместим с неинвазивными нейронными записями, такими как электроэнцефалография (ЭЭГ), для измерения нервной реакции во время сенсорного контроля32,,33,,34,,35,и неинвазивных методов стимуляции мозга, таких как транскраниальная электрическая стимуляция (tES) и транскраниальная магнитная стимуляция (TMS), чтобы манипулировать нервной активностью36,37.
Protocol
Representative Results
Discussion
В этой работе мы представили бесплатную игровую платформу с открытым исходным кодом WheelCon для изучения последствий задержки, количественной оценки, нарушения и многослойных циклов обратной связи в управлении сенсорными датчиками человека. Мы показали аппаратное обеспечение, программ…
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
Мы благодарим г-на Чжэньяна Вана за изменение сценариев, съемку и редактирование видео, а г-на Циюань Е за редактирование видео. Это исследование получило поддержку от CIT Фонд и Национальный научный фонд (в JCD), Boswell стипендий (для ЗЛ) и высокого уровня Университетского фонда (Нет. G02386301, G02386401), Совместный фонд Гуандунский фонд естественных наук (No 2019A1515111038).
Referencias
- Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
