Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

WheelCon: Een wheel control-based gaming platform voor het bestuderen van menselijke sensorimotor controle

Published: August 15, 2020 doi: 10.3791/61092
Automatic Translation
1,2,3, 2, 1, 2, 2, 2, 2, 2, 2
1Department of Biomedical Engineering, Southern University of Science and Technology, 2Division of Engineering and Applied Science, California Institute of Technology, 3Neuroscience Center, Huntington Medical Research Institutes

Summary

WheelCon is een nieuw, gratis en open-source platform om videogames te ontwerpen die niet invasief mountainbiken simuleert over een steil, kronkelend, hobbelig parcours. Het bevat componenten die zich presenteren in menselijke sensorimotorische controle (vertraging, kwantisering, ruis, verstoring, en meerdere feedback lussen) en stelt onderzoekers in staat om de gelaagde architectuur in sensorimotorische controle te bestuderen.

Abstract

Feedback controle theorie is uitgebreid geïmplementeerd om theoretisch model menselijke sensorimotorische controle. Experimentele platforms die in staat zijn om belangrijke componenten van meerdere feedbacklussen te manipuleren, hebben echter geen ontwikkeling. Deze paper beschrijft WheelCon, een open-source platform gericht op het oplossen van dergelijke insufficiencies. Met behulp van alleen een computer, een standaard display, en goedkope gaming stuurwiel uitgerust met een kracht feedback motor, WheelCon veilig simuleert de canonieke sensorimotor taak van het rijden op een mountainbike langs een steile, kronkelende, hobbelige parcours. Het platform biedt flexibiliteit, zoals zal worden aangetoond in de gegeven demo's, zodat onderzoekers de storingen, vertraging en kwantisering (datasnelheid) in de gelaagde feedbacklussen kunnen manipuleren, inclusief een geavanceerde planlaag op hoog niveau en een vertraagde reflexlaag op laag niveau. In dit artikel illustreren we de grafische gebruikersinterface (GUI) van WheelCon, de invoer en output van bestaande demo's en het ontwerpen van nieuwe games. Daarnaast presenteren we het basisfeedbackmodel en de experimentele resultaten van de demogames, die goed aansluiten bij de voorspelling van het model. Het WheelCon-platform kan op https://github.com/Doyle-Lab/WheelCon worden gedownload. Kortom, het platform is gekenmerkt om goedkoop, eenvoudig te gebruiken, en flexibel te programmeren voor effectieve sensorimotor neurowetenschappelijk onderzoek en controle engineering onderwijs.

Introduction

Het menselijke sensorimotorische controlesysteem is uiterst robuust1, hoewel de detectie wordt verdeeld, variabel, schaars, gekwantificeerd, lawaaierig en vertraagd2,3,4; het berekenen in het centrale zenuwstelsel is traag5,6,7; en de spieractuatie vermoeien en verzadigt8. Er zijn veel computationele theoretische modellen voorgesteld om het ingewikkelde menselijke sensorimotorische controleproces4,9,10,11, 129,13,13,14te verklaren , wat een afwegingsproces is in menselijk bereik en respons15,16. Feedback control theorie voorspelt bijvoorbeeld het optimale controlebeleid12, Bayesiaanse theoriemodellen sensorimotor leren17,18,19 en informatietheorie sensorimotor foundation20,21. In tegenstelling tot de overvloed aan theoretische modellen, experimentele platforms in staat om belangrijke componenten van meerdere feedback lussen te manipuleren gebrek aan ontwikkeling. Dit is deels te wijten aan het feit dat het ontwerpen van een platform om deze aspecten van sensorimotorische controle te overbruggen en te testen een breed scala aan expertise vereist, die zich uitstrekt van motorische controletheorie, signaalverwerking en interactie, helemaal tot computergraphics en programmering. Onderzoekers ontwikkelen vaak hun eigen aangepaste hardware/softwaresystemen om menselijke sensorimotorische besturingsprestaties te karakteriseren, die de mogelijkheid om te vergelijken/contrasteren en datasets in verschillende onderzoeksgroepen kunnen integreren, kunnen beperken. De ontwikkeling van een gebruiksvriendelijk en gevalideerd systeem zou de kwantitatieve karakterisering van sensorimotorische besturing kunnen verbreden.

In deze paper presenteren we het WheelCon-platform, een nieuw, gratis en open-source platform om videogames te ontwerpen voor een virtuele omgeving die niet-invasief een Fitts' Law-bereikende game en een mountainbike-taak simuleert met het neerhalen van een steil, bochtig en hobbelig parcours. De wet van de Fitts voor het bereiken van de taak kwantificeert de afweging tussen snelheid en nauwkeurigheid, waarbij de tijd die nodig is voor het bereiken van een doelstelling van breedte op afstandschalen als22,23. De 'mountainbike taak' is een combinatie van een achtervolging en compenserende tracking taak, die twee klassieke componenten van het onderzoek naar menselijke sensorimotor prestaties, met name in termen van het bestuderen van feedback lussen.

WheelCon bevat de zeer gevraagde basiscomponenten die in elke theorie worden gepresenteerd: vertraging, kwantisering, ruis, verstoring en meerdere feedbacklussen. Het is een potentieel instrument voor het bestuderen van de volgende uiteenlopende vragen in de menselijke sensorimotorische controle:

• Hoe het menselijke sensorimotorische systeem omgaat met de vertraging en kwantisering in neurale signalering, die fundamenteel wordt beperkt door de beperkte middelen (zoals de ruimte en metabole kosten) in de hersenen24,25;
• Hoe neurale correlatie in de menselijke cortex met sensorimotorische controle26;
• Hoe mensen omgaan met de onvoorspelbare, externe storingen in sensorimotorische besturing27;
• Hoe de hiërarchische besturingslussen gelaagd en geïntegreerd zijn in het menselijke sensorimotorische systeem16,28,29;
• Het gevolg van de vertraging en kwantificering in menselijke visuele feedback30 en reflexfeedback31 in sensorimotorische controle;
• Het optimale beleid en de strategie voor sensorimotorisch leren onder vertraging en kwantisering16,17,24,29.

WheelCon integreert met een stuurwiel en kan spelomstandigheden simuleren die de variabelen in deze vragen manipuleren, zoals signaleringsvertraging, kwantificering, ruis en verstoring, terwijl het dynamische controlebeleid en systeemfouten worden opgenomen. Het stelt onderzoekers ook in staat om de gelaagde architectuur in sensorimotorische controle te bestuderen. In het voorbeeld van het rijden op een mountainbike zijn twee controlelagen betrokken bij deze taak: het hooglaagse plan en de lagelaagreflex. Voor zichtbare storingen (d.w.z. het spoor) plannen we voordat de storing aankomt. Voor storingen die van tevoren onbekend zijn (d.w.z. kleine hobbels), is de controle afhankelijk van vertraagde reflexen. Feedback controle theorie stelt voor dat effectieve gelaagde architecturen kunnen integreren van de hogere lagen doelen, plannen, beslissingen met de onderste lagen 'sensing, reflex, en actie24. WheelCon biedt experimentele hulpmiddelen om onderscheidende verstoringen in het plan en reflexlagen afzonderlijk te veroorzaken voor het testen van een dergelijke gelaagde architectuur (figuur 1).

Wij bieden een goedkoop, gebruiksvriendelijk en flexibel te programmeren platform, WheelCon dat de kloof tussen theoretische en experimentele studies over neurowetenschappen overbrugt. Om specifiek te zijn, kan het worden gebruikt voor het onderzoeken van de effecten van vertraging, kwantificering, verstoring, potentieel snelheid-nauwkeurigheid afwegingen. De variabelen die kunnen worden gemanipuleerd in controlelussen worden weergegeven in tabel 1. Het kan ook worden toegepast voor het bestuderen van besluitvorming en multiplexing vermogen over verschillende controlelagen in menselijke sensorimotor controle. Bovendien is WheelCon compatibel met niet-invasieve neurale opnamen, zoals elektro-encefalografie (EEG), om de neurale respons te meten tijdens sensorimotorische besturing32,33,34,35, en de niet-invasieve hersenstimulatietechnieken, zoals Transcranial Electrical Stimulation (tES) en Transcranial Magnetic Stimulation (TMS), om de neurale activiteit36,37te manipuleren .

Subscription Required. Please recommend JoVE to your librarian.

Protocol

De ontwikkeling en toepassing van het protocol werden goedgekeurd door het California Institute of Technology Institutional Review Board (IRB) en de Southern University of Science and Technology IRB. De betrokkene gaf geïnformeerde toestemming voordat er procedures werden uitgevoerd.

1. Systeemvoorbereiding en -installatie

  1. De aanbevolen basishardware is een 2 GHz dual-core processor en 4 GB systeemgeheugen.
  2. Bouw het gamingplatform onder het Unity-platform, terwijl je C#programmeertaal gebruikt. De Logitech gaming wheel driver en Logitech Steering Wheel SDK zijn nodig voor de ontwikkeling van het gaming platform.
  3. Het gameplatform executable bestanden ondersteunen alleen Windows 10 Operating System (OS). Daarom, op een pc met Windows 10, downloaden en installeren van de bijbehorende race wiel bestuurder. Download vervolgens de gecomprimeerde WheelCon-software (https://github.com/Doyle-Lab/WheelCon/archive/master.zip) en haal de bestanden naar de lokale harde schijf.
  4. Monteer het racewiel stevig op het zitniveau voor een monitor en sluit vervolgens de USB-kabel van het wiel aan op de pc en de voedingsadapter op een stopcontact.
  5. Start de driver GUI om te testen op de juiste input uitlezing en forceer feedback. Belangrijk is dat de bestuurders-GUI tijdens de test op de achtergrond blijft draaien.
  6. Als u het programma wilt starten, dubbelklikt u op WheelCon.exe in de map '\WheelCon-master\Executable & Output Files\'.
  7. Kies op het configuratiescherm instellingen voor monitor en klik op Afspelen! (Figuur 2a). Het hoofdmenu verschijnt. Controleer of de weergavegrootte en locatie zijn opgegeven.
    OPMERKING: De waarde 'Wielgevoeligheid', die de cursorsnelheid definieert, varieert van 0 tot 1 en standaarden tot 0,5. In het geval dat het bewegingsbereik van het racewiel niet past bij specifieke taakparameters, pas deze waarde aan. Verlaag bijvoorbeeld de gevoeligheid voor de vergrijzende bevolking. Echter, voor het vergelijken tussen taken, is het noodzakelijk om deze waarde constant te houden voor de batterij en tussen groepen.

2. Uitvoering van de taak

  1. De wet van fitts die spel bereikt
    OPMERKING: De wet van de Fitts die spel bereikt, simuleert het bereiken van het proces. Het onderwerp moet het wiel draaien om de verticale lijn in het gewenste gebied te plaatsen(figuur 2d).
    1. Plaats het onderwerp comfortabel achter de wielen. Pas indien nodig de wielhoogte aan.
    2. Klik in het hoofdmenu op De wettaak (figuur 2b)van Het is geschikt en typ een naam voor het uitvoerbestand met vermelding van de identificatie van het onderwerp en taakgegevens op het tekstvak.
    3. Klik op Bestand selecteren, kies De Wet.txt van Fitt in de map '\WheelCon-master\ Demo Input Files\' en klik vervolgens op Game starten.
    4. Instrueer het onderwerp om de groene verticale lijn met het wiel te verplaatsen om het binnen de grijze zone te plaatsen. Deze taak dient om het onderwerp vertrouwd te maken met het manoeuvreren van het wiel, evenals met de kleurconventie die in verschillende taken wordt gebruikt.
  2. Mountainbike taken
    OPMERKING: De mountainbike taak is een combinatie van achtervolging en compenserende tracking taak. Het simuleert het rijden op een mountainbike langs een steil, verwrongen en hobbelig parcours. Het onderwerp kan het pad zien en draai het wiel om het te volgen, terwijl een motor kan koppel het wiel om onzichtbare hobbels na te bootsen in de proef (Figuur 2e).
    1. Spel 1: Het testen van het effect van de visuele vertraging
      LET OP: In dit spel wordt de lengte van het vooruitkijken venster (geavanceerde waarschuwing vs. vertraging) gemanipuleerd.
      1. Klik in het hoofdmenu op Mountainbiketaak (figuur 2c)en typ een naam voor het uitvoerbestand met vermelding van de identificatie van het onderwerp en taakgegevens op het tekstvak.
      2. Klik op Bestand selecteren,kies Vision_Delay.txt in de map '\WheelCon-master\ Demo Input Files\' en klik vervolgens op Game starten.
      3. Instrueer het onderwerp om de groene verticale lijn met het wiel te verplaatsen om het deel van het grijze spoor te volgen dat de paarse horizontale lijn kruist.
    2. Spel 2: Het testen van het effect van actie vertraging
      LET OP: In dit spel wordt een vertraging van verschillende lengtes toegevoegd tussen wielbeweging en actie-output.
      1. Klik in het hoofdmenu op Mountainbiketaak en typ een naam voor het uitvoerbestand met vermelding van de identificatie van het onderwerp en taakinformatie op het tekstvak.
      2. Klik op Bestand selecteren,kies Action_Delay.txt in de map '\WheelCon-master\ Demo Input Files\' en klik vervolgens op Game starten.
      3. Instrueer het onderwerp om de groene verticale lijn met het wiel te verplaatsen om het deel van het grijze spoor te volgen dat de paarse horizontale lijn kruist.
    3. Game 3: Het testen van het effect van visuele kwantisering
      OPMERKING: In dit spel wordt visuele invoer gekwantificeerd om de gegevenssnelheid te beperken.
      1. Klik in het hoofdmenu op Mountainbiketaak en typ een naam voor het uitvoerbestand met vermelding van de identificatie van het onderwerp en taakinformatie op het tekstvak.
      2. Klik op Bestand selecteren,kies Vision Quantization.txt in de map '\WheelCon-master\ Demo Input Files\' en klik vervolgens op Game starten.
      3. Instrueer het onderwerp om de groene verticale lijn met het wiel te verplaatsen om het deel van het grijze spoor te volgen dat de paarse horizontale lijn kruist.
    4. Spel 4: Het testen van het effect van actie kwantificering
      OPMERKING: In dit spel wordt de actie-uitvoer gekwantificeerd om de gegevenssnelheid te beperken.
      1. Klik in het hoofdmenu op Mountainbiketaak en typ een naam voor het uitvoerbestand met vermelding van de identificatie van het onderwerp en taakinformatie op het tekstvak.
      2. Klik op Bestand selecteren,kies Actie kwantificering.txt in de map '\WheelCon-master\ Demo Input Files\' en klik vervolgens op Game starten.
      3. Instrueer het onderwerp om de groene verticale lijn met het wiel te verplaatsen om het deel van het grijze spoor te volgen dat de paarse horizontale lijn kruist.
    5. Spel 5: Het testen van het effect van bult en trail verstoring
      OPMERKING: Deze taak bestaat uit drie scenario's:
      a) "Hobbels", het bijhouden van een constante trail onderwerp ondanks koppel verstoringen op het wiel dat het raken van hobbels na te bootsen tijdens het rijden op een mountainbike;
      b) "Trail", het bijhouden van een bewegend spoor met willekeurige bochten, maar zonder hobbels;
      c) "Trail with Bumps", het bijhouden van een bewegend spoor met willekeurige bochten en hobbels.
      1. Klik in het hoofdmenu op Mountainbiketaak en typ een naam voor het uitvoerbestand met vermelding van de identificatie van het onderwerp en taakinformatie op het tekstvak.
      2. Klik op Bestand selecteren,kies Bump & Trail.txt in de map '\WheelCon-master\ Demo Input Files\' en klik vervolgens op Game starten.
      3. Instrueer het onderwerp om de groene verticale lijn met het wiel te verplaatsen om het deel van het grijze spoor te volgen dat de paarse horizontale lijn kruist.

3. Gegevensuitvoer

  1. Zoek het TXT-uitvoerbestand in de map '\WheelCon-master\Executable & Output Files\MountainBikeData\' en open vervolgens met Matlab' WheelCon Data Analysis Code.m' in de map '\WheelCon-master\Source Code'.
  2. Geef in het MATLAB-script de map op en file_names variabelen volgens de map met uitvoerbestand en voer vervolgens het script uit (Ctrl + Enter) en worden de uitvoervariabelen opgeslagen als kolomvectoren in de werkruimte. Het fout- en controlebeleid wordt voor elke bemonsteringstijd geëxporteerd. Zie tabel 2 voor de gedetailleerde beschrijving.

4. Input bestandsontwikkeling

  1. Open 'WheelCon Mntn Bike Trail Design Code.m' in de map '\WheelCon-master\Source Code\'.
  2. Uncomment (Ctrl + T) de sectie voor de gewenste spelparameters en voer het script uit (Ctrl + Enter). Het invoerbestand wordt opgeslagen in de map '\WheelCon-master\Source Code\' in .txt-indeling. Elke kolom in de invoerbestanden is één regelvariabele. Raadpleeg tabel 1 voor de lijst met besturingselementvariabelen.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Besturingselement feedback voor modelleren

We tonen een vereenvoudigd feedbackcontrolemodel dat wordt weergegeven in figuur 1. De systeemdynamiek wordt gegeven door:

Equation 1

waar x(t) is de fout op het tijdstip t, r(t) is de trail verstoring w(t), is de bump storing, en u(t) is de controle-actie.

Modellering actie vertraging in trail verstoring

Wanneer er een vertraging T in actie, en een trail disturbance r(t), we modelleren de controle actie door

Equation 2

Het spel begint met nul initiële voorwaarde: x(0) = 0. De controller κ genereert het besturingscommando u(t) met behulp van de volledige informatie over de geschiedenissen van de status, verstoring en controle-invoer. Hier bestaat de netto vertraging T uit de interne vertragingen in de menselijke sensorimotorische feedback en de vertragingen extern toegevoegd. De besturingsopdracht wordt uitgevoerd met vertraging T ≥ 0. Sensorimotorische controle in de risicobewuste instelling motiveert het gebruik van L1 optimale controle, en als zodanig is het doel om het volgende robuuste controleprobleem te verifiëren

Equation 3

Dit probleem geeft een eenvoudige en intuïtieve oplossing toe. De optimale kosten worden gegeven door

Equation 4

Deze optimale kosten worden bereikt door het worst-case control policy u(t + T) = −r(t), dat

Equation 5

Modelleringsactie Kwantificering in trailstoring

Wanneer de gegevenssnelheid, R, in de controlelus is beperkt, wordt de controleactie gegenereerd door de volgende feedbacklus met communicatiebeperkingen,

Equation 6

waar Equation 12 een controller is en een Equation 13 quantizer is met gegevenssnelheid R ≥ 1, d.w.z. S is een eindige set kardinaliteit 2R. De verstoring r(t) is oneindig-norm gebonden en zonder verlies van algemeenheid, Equation 14 . De worst-case state afwijking wordt lager begrensd door

Equation 7

en de minimale controle-inspanning wordt gegeven door

Equation 8

Maatmaatregelen van fout

Om de prestaties te kwantificeren, hebben we de oneindigheidsnormfout Equation 15 gemeten, gemiddelde fout (MAE) en root mean square error (RMSE). De oneindigheidsnorm wordt gedefinieerd als het maximum van de absolute fouten,

Equation 9

Gemiddelde absolute fout wordt als volgt berekend

Equation 10

De gemiddelde kwadraatfout wordt als volgt berekend

Equation 11

Game 1: Visuele geavanceerde waarschuwing of vertraging

Game 1 evalueert hoe de lengte van het vooruitkijkende venster (geavanceerde waarschuwing/vertraging) de prestaties van de sensorimotorische besturing beïnvloedt zonder te worden blootgesteld aan extra verstoringen.

Game 1 duurt 360 seconden en bestaat uit een continue "Trail", die de hoeveelheid vooruit kijken vermindert elke 30 seconden. Het spel begint met 1 s van geavanceerde waarschuwing, en dan daalt tot 0,75 s, en vervolgens tot 0,5 s. Vanaf daar, het spel vermindert de blik vooruit met 0,1 s tot een minimum van -0,4 s is bereikt. Positieve vertraging, of negatieve geavanceerde waarschuwing, betekent dat alleen het spoor achter de speler zichtbaar is.

Een evolutie van foutdynamica van de speler aangezien het spel met 1 s geavanceerde waarschuwing vordert en 0.4 svertraging werden afgebeeld in Figuur 3a-3b afzonderlijk. Zowel de plot weer te geven alleen het midden 20 seconden van elk van de 30-seconden intervallen aan de effecten van de speler aan te passen aan de nieuwe look-ahead venster verwaarlozen. De progressie van de fout in de blokken ziet er stabiel uit in de geavanceerde waarschuwingsinstelling van 1 s, terwijl in de 0.4s vertragingsinstelling de fout tijdens de voortgang ondersteboven klapt. Om dat effect in meer detail te kwantificeren, evalueren we L1-/L2-/L-norm voor de foutdynamiek voor elke groep van 20 s die overeenkomt met een vertragingsniveau. Het samenvatten van deze berekeningen in een plot geeft figuur 3c, die laat zien hoe de fout-norm van de spelers niet verandert totdat de geavanceerde waarschuwing 0,5 s bereikt en vervolgens stijgt op een ongeveer lineaire manier.

Game 2: Vertraging in actie-output

In tegenstelling tot de externe visuele vertraging van Game 1 voegt Game 2 specifieke interne vertraging toe aan de actie-uitvoer; met andere woorden, het huidige controlebeleid u(t) werkt bij u(t + Tact) waar Tact is de externe vertraging in actie. Game 2 duurt voor 180 s. Het aanpassen van T-act om de 30 s,T-act begint bij 0 s, en stappen met 0,1 s totdat het 0,4 s bereikt.

De gevolgen van vertraging in actie worden weergegeven in figuur 4. Net als bij de visievertraging neemt de fout lineair toe met de vertraging, die goed in lijn is met de voorspelling van de theorie in Eq(3).

Game 3 en Game 4: Kwantificering in Vision input en Action Output

Game 3 en Game 4 bestuderen de effecten van kwantificering in respectievelijk de input en actie-output van de visie. Elk spel is 210 s lang, en de kwantisering verandert elke 30 s, met de datasnelheid stijgt van 1 naar 7 bits. Wanneer deR-vis bijvoorbeeld 1 in Game 3 is, wordt de gewenste positie (grijze lijn in de gaming-GUI) weergegeven in het midden-links of in het midden-rechts van het scherm. Wanneer Rvis = n, kan de gewenste positie worden gepresenteerd in 2n mogelijke locaties op het scherm. Voor Game 4, wanneer Ract = 1, de speler gaat naar links of rechts met een snelheid. Wanneer Ract is n, kan de speler sturen het wiel naar links of rechts te gaan met 2n-1 snelheden.

De effecten van kwantificering (beperkte gegevenssnelheid) in de visie en actie worden weergegeven in figuur 5. In overeenstemming met de voorspelling van de theorie in Eq(6), verbetert de sensorimotorische besturingsprestaties met hogere gegevenssnelheden en bereikt de optimale controleprestaties wanneer R rond 5 is.

Spel 5: Bump en trail verstoring

Game 5 is ontworpen om de effecten van bump en trail verstoringen op menselijke sensorimotor controle te testen. Game 5 bestaat uit drie scenario's:

a) "Hobbels", het bijhouden van een constante trail onderwerp ondanks koppel verstoringen op het wiel dat het raken van hobbels na te bootsen tijdens het rijden op een mountainbike;
b) "Trail", het bijhouden van een bewegend spoor met willekeurige bochten, maar zonder hobbels;
c) "Trail with Bumps", het bijhouden van een bewegend spoor met willekeurige bochten en hobbels.

Elk scenario duurt 60 s in de volgorde (Bumps, Trail, Trail with Bumps) met een 5 s rust voorafgaand aan elk scenario. Bovendien worden de storingen en het parcours tijdens de geïsoleerde fasen gedupliceerd in de gecombineerde "Trails with Bumps" fase, zodat een goede prestatievergelijking kan worden getrokken tussen de afzonderlijke taken en degene waar de speler multiplex moet zijn. Gedurende het hele spel, is er 1 s van geavanceerde waarschuwing in visie input, geen vertraging in actie-output, en een 10-bits datasnelheid voor zowel visie en actie.

Als de storing gebruiken we een willekeurig, binair signaal, waarvan de amplitude het maximaal mogelijke koppel is dat de motor van het stuurwiel kan uitoefenen. In elke 100 ms schakelt het koppel tussen max positief en negatief (100 of -100 voor het wiel). Een soortgelijke willekeurige binaire switching regelt het spoorderivaat. Meer specifiek, het pad reist met een constante snelheid, maar willekeurig schakelt zijn richting zodanig dat het altijd blijft in het scherm bereik comfortabel zichtbaar voor de speler. We hebben de snelheid van het spoor op het scherm zodanig aangepast dat de vereiste draaisnelheid van het stuurwiel ongeveer 75°/s is. Figuur 6 illustreert de 5 s snapshots van de foutdynamiek voor elk scenario tijdens het spel.

OPMERKING: Aangezien dit wordt gebruikt om de sensorimotorische controleprestaties te bestuderen met beperkingen van vertraging en gegevenssnelheid, analyseerden we de gegevens pas nadat de proefpersonen voor de taak waren opgeleid en hun prestaties stabiel werden. De leereffecten zijn uitgesloten van de gegevens. Bovendien heeft het feedbackcontrolemodel niet overwogen om te leren.

Figure 1
Figuur 1: Basisblokdiagram voor een experimenteel platform met onderwerp- en gamingwiel met motor.
Elk vak is een component die communiceert of berekent en mogelijk zowel vertraging als kwantificering heeft, ook binnen het spel in G. De waarschuwing vooraf T is ook geïmplementeerd op een computerscherm met visie. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 2
Figuur 2: De gebruiksgrafische interface voor WheelCon.
a) het hoofdmenu; b) het menu "Wetstaak" van de fitt; c) het menu Mountainbike-taak; d) de interface voor videogames voor de wettaak van Fitt; (e) de video game interface voor Mountain Bike Task. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 3
Figuur 3: Het toevoegen van vertraging in visie input tijdens de mountainbike taak.
(a-b) De systeemdynamiek met tijd voor de sessie met 1 s geavanceerde waarschuwing(a) en met 0,4 s vertraging (b). De zwarte lijn en de blauwe lijn zijn respectievelijk de positie van de speler en de positie van de speler. De rode lijn is de foutdynamiek. cc) Fout neemt toe met de toenemende vertraging. De negatieve vertraging betekent geavanceerde waarschuwing. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 4
Figuur 4: Effecten van externe vertraging in de actie op de prestaties.
De L∙ norm van fouten, MAE en RMSE neemt toe met de toenemende vertraging. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 5
Figuur 5: Kwantificering in visieinput (a) en actie-output (b).
De L∙ fout, MAE en RMSE worden weergegeven in de blauwe, zwarte en rode lijn, respectievelijk. Klik hier om een grotere versie van dit cijfer te bekijken.

Figure 6
Figuur 6: Effecten van hobbel- en spoorverstoring op menselijke sensorimotorische controle.
a) de foutdynamiek als gevolg van bumpstoring; b) de foutdynamiek als gevolg van spoorverstoring; c) de foutdynamiek als gevolg van hobbel- en spoorverstoring; (d) de overlayed fout in hobbels (blauw), paden (rood), Paden met hobbels (groen). De paars-lege en oranje gevulde stampercelen geven respectievelijk de timing en richting aan van de hobbelstoringen en spoorverstoring. Merk op dat zowel de wielkrachten als de trailrates vierkante golven zijn, en de stengels geven aan waar deze vierkante golven schakelen (d.w.z. derivaten van de krachten en tarieven). Klik hier om een grotere versie van dit cijfer te bekijken.

Notatie Variabele Eenheid Beperkt
w(t) Bump storing n Newton 0 ≤ w(t) ≤ 100
r(t) De storing van het spoor 100 pixels 0 ≤ r(t) ≤ 100;
r(t) | w(t)
Tvis Visie waarschuwing vooraf / vertraging Tweede -1 ≤ Tvis < 1
Thandeling Vertraging van actie Tweede 0 ≤ Tvis < ∙
Rvis Externe gegevenssnelheid in visie-invoer Beetje 1 ≤ Rvis ≤ 10
Rhandeling Externe gegevenssnelheid in de wieluitvoer Beetje 1 ≤R-handeling ≤ 10
Qvis Externe quantizer op de visieinput 1 Qvis = 2Rvis
Qhandelen Externe quantizer op de wieluitgang 1 Qact = 2Rvis

Tabel 1: De variabelen in controlelussen die kunnen worden gemanipuleerd.

Notatie Variabele Eenheid
T Tijd Tweede
x(t) Foutdynamica, gemeten aan de door de afstand tussen de positie van de speler en de gewenste positie 100 pixels
u(t) Controlebeleid, gemeten aan de hand van de afwijkende hoek van het stuurwiel Mate

Tabel 2: De toestandsvariabele en het ingangssignaal in het dynamische systeem.

Platform Open Source ? Koppeling downloaden Functie
2D Virtuele Omgeving (2DVE) № 1.Reach-to-grasp bewegingen voor armrevalidatie na een beroerte;
ETH MIKE № 1.Voor de beoordeling van proprioceptieve, motorische en sensorimotorische handbeperkingen
Opensim Ja https://opensim.stanford.edu/ 1. neuromusculaire coördinatie te bestuderen;
2. Laat gebruikers modellen van bewegingsstructuren ontwikkelen en dynamische simulaties van bewegingen maken.
PneuGlove PneuGlove PneuGlove № 1.To trainen en evalueren vinger individuatie bij kinderen met hemiplegische cerebrale parese
Virtuele actie Ja http://virtualenaction.gforge.inria.fr/ 1. Voor systemische neurowetenschappelijke simulatie;
2. het verifiëren van de functionele modellen van de hersenen;
3.To experimenteer complex overlevingsgedrag
VR-SPIRIT № 1.To voorspellende vaardigheden in sociale scenario's te verbeteren.
2. Revalidatie intensieve training voor pediatrische patiënten
WheelCon Ja https://github.com/Doyle-Lab/WheelCon 1. de wet van de montage in de menselijke sensorimotorische controle te verifiëren;
2.To bestuderen de gelaagde architectuur in Sensorimotor control.

Tabel 3: De lijst van enkele bestaande sensorimotorplatforms.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

In dit document hebben we een gratis, open-source gaming platform gepresenteerd, WheelCon, voor het bestuderen van de effecten van vertraging, kwantificering, verstoring en gelaagde feedback lussen in menselijke sensorimotorische controle. We hebben de hardware, de software en de GUI getoond. De instellingen van een enkele sensorimotorische besturingslus met vertraging en kwantisering zijn geïmplementeerd, waardoor we de effecten van vertraging, kwantisering en verstoring in sensorimotorische besturing kunnen meten. De experimentele resultaten zijn goed in lijn met de voorspelling van de feedback controle theorie.

De protocollen bieden een manier om externe vertragingen niet-invasief te manipuleren en de gegevenssnelheid in zowel visieingangen als actie-output te beperken en de sensorimotorische besturingsprestaties te analyseren. In het protocol vragen we de deelnemers om het spel te spelen onder verschillende taakscenario's die vooraf zijn gedefinieerd in het platform. Met deze taken hebben we het lineaire effect van vertraging(figuur 3 en figuur 4) en het niet-lineaire effect van kwantificering(figuur 5)geverifieerd. Deze effecten impliceren de optimalisatie gezien de snelheid-nauwkeurigheid afweging in de menselijke sensorimotorische controle. Het protocol stelt ons ook in staat om de gelaagde feedbacklussen in het menselijke sensorimotorische systeem te bestuderen met een geavanceerde planlaag op hoog niveau en een vertraagde reflexlaag op laag niveau(figuur 6).

In dit protocol is het van cruciaal belang om de deelnemer vooraf te trainen, maar niet over de trein; anders zullen de leereffecten of de vermoeidheid van de deelnemers van invloed zijn op de voorspellingen van het model. De variabiliteit van de sensorimotor vermogen tussen de deelnemers is onvermijdelijk, en daarom een aantal parameters in het protocol (dat wil zeggen, de wielgevoeligheid en het koppel van de bult) moeten worden afgestemd op basis van de leeftijd van de deelnemers, kracht, en motorische vaardigheden. Het afstemmen van deze parameters tussen groepen is noodzakelijk. Hier raden we aan dat de gebruiker een geschikte gevoeligheid kiest voor zowel de oude als de jonge groep om een vergelijking te maken.

Een beperking van de methode is dat het hier gepresenteerde model geen rekening heeft gehouden met het leerproces. Het is belangrijk op te merken dat we de gegevens pas hebben geanalyseerd nadat de proefpersonen goed waren opgeleid en dat hun prestaties stabiel werden om de leereffecten te vermijden.

Nicolas Denoyelle et al. ontwikkelde een platform (VirtualEnaction) voor systemische neurowetenschappelijke simulatie38. VirtualEnaction kan worden gebruikt om functionele modellen van de hersenen te valideren. Daarnaast is er een revalidatieplatform ontwikkeld voor het uitvoeren van sensorimotorische taken39,40,41,42,43. Scott L. Delp et al. ontwikkelde een open-source software (OpenSim) om dynamische simulaties van Movement in revalidatiewetenschap te maken en te analyseren43. Marika Demers et al. stelde een 2D virtuele omgeving voor arm revalidatie na beroerte41. Zbytniewska Monika et al. ontwerp een robotapparaat voor de beoordeling van handsensorimotorische beperkingen42. James V. McCall et al. stelde een platform voor vingerrevalidatie bij kinderen met hemilegic cerebrale parese40. Niccolò Butti et al. ontwikkelen een VR-gebaseerd platform over sociale voorspellingsverbetering en revalidatie-intensieve training voor pediatrische patiënten39. Tabel 3 vermeldde de vergelijkingen tussen deze platforms met het hier gepresenteerde platform.

Voor de toekomstige onderzoeksrichtingen is het platform compatibel met niet-invasieve neurale opnamen techniek (EEG) om de neurale respons te meten tijdens sensorimotorische controle. Onderzoek naar de mapping relatie tussen sensorimotorische controle en de EEG ruimtelijke frequentie signaal, kunnen we onthullen de hersenen mechanisme van sensorimotorische controle. Het zal een belangrijke onderzoeksvraag zijn voor het begrijpen van het menselijke sensorimotorische systeem. Bovendien is het grootste deel van de theorie in deze studie gebaseerd op optimale controle na het leren. De stoptijd voor de opleiding is vrij willekeurig en empirisch gekozen in de studie. Het is daarom een belangrijke kwestie om te evalueren of de deelnemers een harde asymptote of een plateau44raken. Toekomstige studies zouden de sensorimotorische leerstudie kunnen onderzoeken met behulp van WheelCon om de asymptote/plateau en hun mogelijke verklaringen verder te testen met sensorimotorische leertheorie.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

De auteurs onthullen dat ze geen belangenconflicten hebben.

Acknowledgments

Wij danken de heer Zhengyang Wang voor het hervormen van de scripts, schieten en bewerken van de video, en de heer Ziyuan Ye voor het bewerken van de video. Deze studie kreeg steun van CIT Endowment & National Science Foundation (aan JCD), Boswell fellowship (aan QL) en High-level University Fund (nr. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (nr. 2019A1515111038).

Materials

Name Company Catalog Number Comments
Gaming Wheel Logitech
Windows 10 OS Microsoft

DOWNLOAD MATERIALS LIST

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
  26. Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
  27. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  28. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  29. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  30. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  31. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  32. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  33. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  34. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  35. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  36. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  37. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  38. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  39. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  40. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  41. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  42. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  43. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  44. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Tags

Neuroscience Sensorimotor control gaming platform besturingstheorie gelaagde architectuur
WheelCon: Een wheel control-based gaming platform voor het bestuderen van menselijke sensorimotor controle
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Liu, Q., Nakahira, Y., Liang, Z.,… More

Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter