JoVE Journal > Neuroscience
Summary
Abstract
Introduction
Protocol
Results
Discussion
Disclosures
Acknowledgements
Materials
References
Automatic Translation
Please note that all translations are automatically generated. Click here for the English version.
Neuroscience

WheelCon: Una plataforma de juego basada en el control de ruedas para estudiar el control del sensor humano

Published: August 15, 2020
doi:
10.3791/61092
, , , , , , , ,
1Department of Biomedical Engineering,Southern University of Science and Technology, 2Division of Engineering and Applied Science,California Institute of Technology, 3Neuroscience Center,Huntington Medical Research Institutes

Summary

WheelCon es una plataforma novedosa, gratuita y de código abierto para diseñar videojuegos que simulan de forma no invasiva el ciclismo de montaña por un sendero empinado, retorcido y accidentado. Contiene componentes que se presentan en el control sensorimotor humano (retardo, cuantificación, ruido, perturbación y múltiples bucles de retroalimentación) y permite a los investigadores estudiar la arquitectura en capas en el control sensorimotor.

Abstract

La teoría del control de retroalimentación se ha implementado ampliamente para modelar teóricamente el control sensorimotor humano. Sin embargo, las plataformas experimentales capaces de manipular componentes importantes de múltiples bucles de retroalimentación carecen de desarrollo. Este artículo describe WheelCon, una plataforma de código abierto destinada a resolver tales insuficiencias. Usando sólo una computadora, una pantalla estándar y un volante de juego barato equipado con un motor de retroalimentación de fuerza, WheelCon simula con seguridad la tarea de sensorimotor canónico de montar una bicicleta de montaña por un sendero empinado, retorcido y accidentado. La plataforma proporciona flexibilidad, como se demostrará en las demostraciones proporcionadas, para que los investigadores puedan manipular las perturbaciones, el retraso y la cuantificación (velocidad de datos) en los bucles de retroalimentación en capas, incluyendo una capa de plan avanzada de alto nivel y una capa de reflejo retardada de bajo nivel. En este artículo, ilustramos la interfaz gráfica de usuario (GUI) de WheelCon, la entrada y salida de las demostraciones existentes y cómo diseñar nuevos juegos. Además, presentamos el modelo de retroalimentación básica y los resultados experimentales de los juegos de demostración, que se alinean bien con la predicción del modelo. La plataforma WheelCon se puede descargar en https://github.com/Doyle-Lab/WheelCon. En resumen, la plataforma se presenta para ser barato, fácil de usar, y flexible para programar para la investigación de neurociencia sensorimotor eficaz y la educación de ingeniería de control.

Introduction

El sistema de control sensorimotor humano es extremadamente robusto1,aunque la detección está distribuida, variable, escasa, cuantificada, ruidosa y retardada2,3,4; la computación en el sistema nervioso central es lenta5,6,7; y el accionamiento muscular fatiga y satura8. Se han propuesto muchos modelos teóricos computacionales para explicar el complicado proceso de control sensorimotor humano4,9,10,11,12,13,14, que es un proceso de compensación en alcance humano y respuesta15,,16. Por ejemplo, la teoría del control de retroalimentación predice la política de control óptimo12, modelos de teoría bayesiana sensorimotor aprendizaje17,18,19 y la teoría de la información sensorimotor fundación20,21. En contraste con la abundancia de modelos teóricos, las plataformas experimentales capaces de manipular componentes importantes de múltiples bucles de retroalimentación carecen de desarrollo. Esto se debe en parte al hecho de que diseñar una plataforma para puentear y probar estos aspectos del control sensorimotor requiere una amplia gama de experiencia, que abarca desde la teoría del control del motor, el procesamiento de señales y la interacción, hasta los gráficos por computadora y la programación. Los investigadores a menudo desarrollan sus propios sistemas de hardware/software personalizados para caracterizar el rendimiento del control sensorimotor humano, lo que puede limitar la capacidad de comparar/contrastar e integrar conjuntos de datos entre grupos de investigación. El desarrollo de un sistema fácil de usar y validado podría ampliar la caracterización cuantitativa del control sensorimotor.

En este artículo, presentamos la plataforma WheelCon, una plataforma novedosa, gratuita y de código abierto para diseñar videojuegos para un entorno virtual que simula de forma no invasiva un juego de alcance de la Ley de Fitts y una tarea de bicicleta de montaña con un sendero empinado, retorcido y accidentado. La ley de Fitts para alcanzar la tarea cuantifica el equilibrio entre velocidad y precisión en el que el tiempo necesario para alcanzar un objetivo de anchura en escalas de distancia como22,23. La “tarea de bicicleta de montaña” es una combinación de una tarea de búsqueda y seguimiento compensatorio, que son dos componentes clásicos de la investigación sobre el rendimiento sensorimotor humano, especialmente en términos de estudio de bucles de retroalimentación.

WheelCon contiene los componentes básicos altamente demandados presentados en cada teoría: retardo, cuantificación, ruido, perturbación y múltiples bucles de retroalimentación. Es una herramienta potencial para estudiar las siguientes preguntas diversas en el control sensorimotor humano:

• Cómo el sistema sensorimotor humano se ocupa del retraso y la cuantificación en la señalización neuronal, que está fundamentalmente limitado por los recursos limitados (como el espacio y los costos metabólicos) en el cerebro24,25;
• Cómo la correlación neuronal en la corteza humana con el control sensorimotor26;
• Cómo los seres humanos manejan las perturbaciones impredecibles y externas en el control sensorimotor27;
• Cómo los bucles de control jerárquico se integran e integran dentro del sistema sensorimotor humano16,28,29;
• La consecuencia del retraso y cuantificación en la retroalimentación visual humana30 y la retroalimentación reflexiva31 en el control sensorimotor;
• La política y estrategia óptimas para el aprendizaje sensorimotor bajo retraso y cuantificación16,17,24,29.

WheelCon se integra con un volante y puede simular condiciones de juego que manipulan las variables en estas preguntas, como el retardo de señalización, la cuantificación, el ruido y las perturbaciones, mientras se registran la política de control dinámico y los errores del sistema. También permite a los investigadores estudiar la arquitectura en capas en el control sensorimotor. En el ejemplo de montar en bicicleta de montaña, dos capas de control están involucradas en esta tarea: el plano de capa alta y el reflejo de capa baja. Para las perturbaciones visibles (es decir, el rastro), planificamos antes de que llegue la perturbación. Para perturbaciones desconocidas de antemano (es decir, pequeñas protuberancias), el control se basa en reflejos retardados. La teoría del control de retroalimentación propone que las arquitecturas en capas efectivas pueden integrar los objetivos, los planes, las decisiones con la detección, el reflejo y la acción24de las capas inferiores. WheelCon proporciona herramientas experimentales para inducir perturbaciones distintivas en las capas de plano y reflejo por separado para probar una arquitectura en capas(Figura 1).

Proporcionamos una plataforma barata, fácil de usar y flexible de programar, WheelCon que cierra la brecha entre los estudios teóricos y experimentales sobre neurociencia. Para ser específico, se puede utilizar para examinar los efectos del retardo, la cuantificación, la perturbación, las compensaciones potencialmente de precisión de velocidad. Las variables que se pueden manipular en bucles de control se muestran en la Tabla 1. También se puede aplicar para estudiar la toma de decisiones y la capacidad de multiplexación a través de diferentes capas de control en el control sensorimotor humano. Además, WheelCon es compatible con grabaciones neuronales no invasivas, como la electroencefalografía (EEG), para medir la respuesta neuronal durante el control sensorimotor32,,33,34,35, y las técnicas de estimulación cerebral no invasiva, como la estimulación eléctrica transcraneal (tES) y la estimulación magnética transcraneal (TMS), para manipular la actividad neuronal36,37.

Protocol

El desarrollo y la aplicación del protocolo fueron aprobados por la Junta de Revisión Institucional del Instituto de Tecnología de California (IRB) y la Universidad del Sur de Ciencia y Tecnología IRB. El sujeto proporcionó el consentimiento informado antes de cualquier procedimiento que se llevara a cabo. 1. Preparación y configuración del sistema El hardware básico recomendado es un procesador de doble núcleo de 2 GHz y 4 GB de memoria del sistema. Construye la p…

Representative Results

Control de retroalimentación de modelado Mostramos un modelo de control de retroalimentación simplificado que se muestra en la Figura 1. La dinámica del sistema se da por: donde x(t) es el error en el momento t, r(t) es la perturbación del rastro w</…

Discussion

En este artículo, hemos presentado una plataforma de juego gratuita de código abierto, WheelCon, para estudiar los efectos del retardo, la cuantificación, la perturbación y los bucles de retroalimentación en capas en el control del sensorimotor humano. Hemos mostrado el hardware, el software y la GUI. Se han implementado los ajustes de un único bucle de control sensorimotor con retardo y cuantificación, lo que nos permite medir los efectos del retardo, la cuantificación y la perturbación en el control sensorimot…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Agradecemos al Sr. Zhengyang Wang por remodelar los guiones, grabar y editar el video, y al Sr. Ziyuan Ye por editar el video. Este estudio obtuvo el apoyo de CIT Endowment & National Science Foundation (a JCD), la beca Boswell (a QL) y el High-level University Fund (No. G02386301, G02386401), Fondo Conjunto de la Fundación de Ciencias Naturales de Guangdong (No. 2019A1515111038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft
DOWNLOAD MATERIALS LIST

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Tags

WheelConWheel ControlGaming PlatformHuman Sensorimotor ControlExperimental PlatformVirtual EnvironmentMountain BikeSteering WheelSignaling DelayQuantizationNoiseDisturbanceMotor Control TrajectoryAerodynamicsSensory Motor ControlFitt’s Law TaskMountain Bike TaskVision DelayLook-ahead Window

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).
Download Citation
Reprints and Permissions

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image