WheelCon: En hjulkontrollbaserad spelplattform för att studera mänsklig sensorimotorisk kontroll
Summary
WheelCon är en ny, fri och öppen källkod plattform för att utforma videospel som noninvasively simulerar mountainbike ner en brant, vridande, ojämn spår. Den innehåller komponenter som presenterar i mänskliga sensorimotorisk kontroll (fördröjning, kvantisering, buller, störningar och flera återkopplingsslingor) och gör det möjligt för forskare att studera den skiktade arkitekturen i sensorimotorisk kontroll.
Abstract
Feedback kontrollteori har genomförts i stor utsträckning för att teoretiskt modellera mänskliga sensorimotoriska kontroll. Men experimentella plattformar som kan manipulera viktiga komponenter i flera återkopplingsslingor saknar utveckling. Detta dokument beskriver WheelCon, en öppen källkod plattform som syftar till att lösa sådana brister. Med bara en dator, en standarddisplay och billig spelratt utrustad med en kraftåterkopplingsmotor simulerar WheelCon säkert den kanoniska sensorimotoriska uppgiften att cykla en mountainbike nerför en brant, vridande, ojämn stig. Plattformen ger flexibilitet, vilket kommer att visas i de demos som tillhandahålls, så att forskare kan manipulera störningar, fördröjning och kvantisering (datahastighet) i de skiktade återkopplingsslingorna, inklusive ett avancerat planlager på hög nivå och ett fördröjt reflexlager på låg nivå. I det här dokumentet illustrerar vi WheelCons grafiska användargränssnitt (GUI), inmatning och utdata från befintliga demos och hur man utformar nya spel. Dessutom presenterar vi den grundläggande feedback-modellen och de experimentella resultaten från demospelen, som ligger väl i linje med modellens förutsägelse. WheelCon-plattformen kan laddas ner på https://github.com/Doyle-Lab/WheelCon. Kort sagt, plattformen är skisserat för att vara billig, enkel att använda, och flexibel för att programmera för effektiv sensorimotor neurovetenskap forskning och kontroll ingenjörsutbildning.
Introduction
Den mänskliga sensorimotor styrsystem är extremt robust1, även om avkänningen distribueras, variabel, gles, kvantifierade, bullriga och fördröjd2,3,4; datoranvändningen i det centrala nervsystemet är långsam5,6,7; och muskelaktiveringströtthet och mättar8. Många beräkningsteoretiska modeller har föreslagits för att förklara den komplicerade mänskliga sensorimotorisk kontrollprocess4,9,10,,11,12,13,14, som är en kompromiss process i mänsklig räckvidd och svar15,16. Till exempel förutspår feedback kontroll teori den optimala kontroll politik12, Bayesian teori modeller sensorimotor lärande17,18,19 och informationsteori sensorimotor stiftelse20,21. I motsats till överflödet av teoretiska modeller, experimentella plattformar som kan manipulera viktiga komponenter i flera återkopplingsslingor saknar utveckling. Detta beror delvis på det faktum att designa en plattform för att överbrygga och testa dessa aspekter av sensorimotorisk kontroll kräver ett brett spektrum av expertis, som sträcker sig från motorisk styrteori, signalbehandling och interaktion, hela vägen till datorgrafik och programmering. Forskare utvecklar ofta sina egna anpassade hårdvaru-/programvarusystem för att karakterisera mänskliga sensorimotoriska styrprestanda, vilket kan begränsa möjligheten att jämföra/kontrastera och integrera datamängder över forskargrupper. Utvecklingen av ett lättutnyttjat och validerat system skulle kunna bredda den kvantitativa karakteriseringen av sensorimotorisk kontroll.
I detta dokument presenterar vi WheelCon-plattformen, en ny, fri och öppen källkodsplattform för att designa videospel för en virtuell miljö som noninvasively simulerar en Fitts’Law nå spel och en mountainbike uppgift med downing en brant, vridande och ojämn spår. Fitts lag för att nå uppgiften kvantifierar avvägningen mellan hastighet och noggrannhet där den tid som krävs för att nå ett mål av bredd på avståndsskalor som22,23. Den “mountainbike uppgift” är en kombination av en strävan och kompensatorisk spårning uppgift, som är två klassiska komponenter i forskning om mänskliga sensorimotor prestanda, särskilt när det gäller att studera feedback loopar.
WheelCon innehåller de högt efterfrågade grundläggande komponenter som presenteras i varje teori: fördröjning, kvantisering, buller, störningar och flera återkopplingsslingor. Det är ett potentiellt verktyg för att studera följande olika frågor inom mänsklig sensorimotorisk kontroll:
• Hur det mänskliga sensorimotorsystemet hanterar fördröjning och kvantisering i neural signalering, som i grunden begränsas av de begränsade resurserna (såsom utrymme och metaboliska kostnader) i hjärnan24,25;
• Hur neural korrelation i den mänskliga cortex med sensorimotor kontroll26;
• Hur människor hanterar oförutsägbara, yttre störningar i sensorimotorstyrning27;
• Hur de hierarkiska kontrollslingorna skiktade och integrerade i det mänskliga sensorimotorsystemet16,,28,29;
• Följden av fördröjningen och kvantiseringen i mänsklig visuell återkoppling30 och reflexåterkoppling31 i sensorimotorisk kontroll;
• Den optimala policyn och strategin för sensorimotorisk inlärning under fördröjning och kvantisering16,,17,,24,29.
WheelCon integreras med en ratt och kan simulera spelförhållanden som manipulerar variablerna i dessa frågor, till exempel signalfördröjning, kvantisering, brus och störningar, samtidigt som den dynamiska styrprincipen och systemfelen registrerars. Det gör det också möjligt för forskare att studera den skiktade arkitekturen i sensorimotorisk kontroll. I exemplet med att cykla är två kontrolllager involverade i denna uppgift: högskiktsplanen och reflexen i lågskiktet. För synliga störningar (dvs. leden), planerar vi innan störningen anländer. För störningar som är okända i förväg (dvs. små gupp) förlitar sig kontrollen på fördröjda reflexer. Feedback kontrollteori föreslår att effektiva skiktade arkitekturer kan integrera de högre skiktens mål, planer, beslut med de lägre skiktens avkänning, reflex och åtgärd24. WheelCon tillhandahåller experimentella verktyg för att framkalla särskiljande störningar i planen och reflexskikt separat för att testa en sådan skiktad arkitektur (figur 1).
Vi erbjuder en billig, lättanvänd och flexibel till programplattform, WheelCon som överbryggar klyftan mellan teoretiska och experimentella studier om neurovetenskap. För att vara specifik, det kan användas för att undersöka effekterna av försening, kvantisering, störningar, potentiellt hastighet-noggrannhet kompromisser. De variabler som kan manipuleras i kontrollslingor visas i tabell 1. Det kan också tillämpas för att studera beslutsfattande och multiplexering förmåga över olika kontrollskikt i mänskliga sensorimotor kontroll. Dessutom är WheelCon kompatibel med noninvasive neurala inspelningar, såsom elektroencefalografi (EEG), för att mäta neurala svar under sensorimotor kontroll32,33,34,35, och icke-invasiv hjärnstimulering tekniker, såsom Transkraniell elektrisk stimulering (tES) och Transkraniell magnetisk stimulering (TMS), att manipulera neural aktivitet36,37.
Protocol
Representative Results
Discussion
I detta dokument har vi presenterat en gratis, öppen källkod spelplattform, WheelCon, för att studera effekterna av försening, kvantisering, störningar och skiktade återkopplingar i mänskliga sensorimotor kontroll. Vi har visat hårdvara, mjukvara och GUI. Inställningarna för en enda sensorimotor kontrollslinga med fördröjning och kvantisering har genomförts, vilket gör att vi kan mäta effekterna av fördröjning, kvantisering och störningar i sensorimotorisk kontroll. De experimentella resultaten är väl…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Vi tackar Mr Zhengyang Wang för omforma skript, skytte och redigering av video, och Mr Ziyuan Ye för att redigera videon. Denna studie fick stöd från CIT Endowment & National Science Foundation (till JCD), Boswell stipendium (till QL) och hög nivå University Fund (Nr. G02386301, G02386401), Guangdong Natural Science Foundations gemensamma fond (nr 2019A1515111038).
Riferimenti
- Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
