Summary

Karakterisering av avkänningen av byrån över åtgärder av neurala-maskin gränssnitt manövrerade proteser

Published: January 07, 2019
doi:

Summary

Här presenterar vi ett protokoll som kännetecknar avkänningen av byrån som utvecklats under kontroll av sensate virtuella eller robotic protetiska händer. Psykofysisk enkäter är anställda att fånga explicit upplevelsen av byrån, och intervallet uppskattning (avsiktlig bindande) är anställda att implicit mäta avkänningen av byrån.

Abstract

Detta arbete beskriver en metodologisk ram som kan användas för att uttryckligen och underförstått karakterisera avkänningen av byrån utvecklats över neurala-maskin-gränssnitt (NMI) kontrollen av sensate virtuella eller robotic protetiska händer. Bildandet av byrån är grundläggande för att skilja de åtgärder som vi utför med våra lemmar som våra egna. Sträva efter att införliva dessa samma perceptuella mekanismerna avancerade övre-lem proteser, kan vi börja att integrera en konstgjord lem närmare i användarens befintliga kognitiv ram för lem kontroll. Detta har stor betydelse för att främja användarnas acceptans, användning och effektiv kontroll av avancerade övre-lem proteser. I detta protokoll, deltagarna styra en virtuell proteshand och får kinestetiska sensoriska feedback via deras befintliga NMIs. En rad virtuella gripande uppgifter utförs och störningar har systematiskt införts till kinesthetic feedback och virtuella handrörelser. Två separata åtgärder för byrån är anställda: etablerade psykofysisk frågeformulär (att fånga explicit upplevelsen av byrån) och ett tidsintervall uppskatta aktiviteten för att fånga den implicita känslan av byrån (avsiktlig bindande). Resultaten av detta protokoll (frågeformulär noter och tidsintervall uppskattar) kan analyseras för att kvantifiera omfattningen av byrån bildandet.

Introduction

När robotprotester blir alltmer avancerad, kommer att vikten av relevanta sensoriska feedback fortsätta att växa. Sensoriska feedback påverkar hur människor uppfattar, interagera med och även integrera maskiner i sin kropp-schemat. Senaste NMI tekniker kan nu ge protetiska lem användare intuitiv kontroll och uppnå förnimmelser som är associerad med touch1,2,3,4,5,6 , 7 och kinesthesia (rörelse känsla)8,9 i saknade lemmar. När denna sensorisk information är ihopparad med den visuella informationen genom att titta på den konstgjorda extremiteten under drift, vi har tillgång till viktiga delar som informera skillnaden av själv –kontra-andra. Att utnyttja denna tillgång kan bidra till protetiska lem användare ett steg närmare till löpande en konstgjord lem som en del av sin kropp, snarare än bara ett verktyg.

Kroppsmedvetenhet och känslan av att vara förkroppsligade uppstår från inrättandet av byrån (upplevelsen av författarskap över en lem åtgärder) och ägande (känslan av att en lem är en del av kroppen)10,11. Ägande medieras främst genom integrering av touch och visuell information12. Byrå framträder från integrationen av uppsåt, rörelse sensation (kinesthesia), visuell information och förutsägande kognitiva modeller11. Under utförandet av en frivillig åtgärd bildas byrå när sensoriska konsekvenserna av att åtgärder anpassa modellens uppsåt och förutsägelser från utövarens inre modeller13. Byrån är separat och distinkt från ägande. Begreppet lem ägande har studerats ofta i protesen litteratur14. En känsla av lem ägande former i NMI deltagare när touch feedback är rumsligt och tidsmässigt lämpligt, som uppmätt uttryckligen via enkäter eller implicit via kvarstående lem temperaturförändringar, eller temporal beställer domar15. Men har färre möjligheter funnits för att utforska byrån i samband med NMI16. Senaste arbete med NMI deltagare har visat att byrån kan främjas målmedvetet och är separat från upplevelsen av ägande8.

Byrån är särskilt betydande i driften av robotprotester eftersom det är en kognitiv länk till kontroll av konstgjorda extremitetens fysiska handlingar genom upplevelser av kausalitet, känslan av kontroll av konstgjorda extremiteten eller orsakar något att hända17. Robotprotester är avancerade datoriserade maskiner som användaren måste samarbeta med att effektivt utföra uppgifter. Vissa protetiska lemmar har införlivat autonoma funktioner, såsom grepp-slip identifiering och korrigering; ändå har dessa system sett begränsad antagandet som funktionalitet kör utanför användarens kontroll kan ses som frustrerande om inte korrekt genomfört8,18. Detta utgör en grundläggande utmaning som är ekade i tillämpningar av mänskligt samarbete med autonoma maskiner. D.v.s. människor litar ofta sina egna handlingar över de som härrör från ett samarbete med datorer eller datorer, och detta förtroende påverkar direkt en operatörs sannolikheten att använda de autonoma funktioner19,20. Som människor är lita vi medfödd på oss själva och våra kroppar som utför de åtgärder som vi avser; När detta uppnås, upprättar vi en inneboende känsla av byrån. Intressant, påverkas bildandet av byrån i människa-dator samarbetsåtgärder. Under människa-människa kooperativa uppgifter, kan en gemensam känsla av byrån bildas över rörelsen21; men tyder litteraturen det dela byrån är pantsatta under människa-dator samarbete22,23. Dessa utmaningar återspeglas i protetiska övre-lem användning och avvisande andelen robotic enheter förblir höga, med 23% – 39% av användare avbryta sin användning24. I själva verket föredrar många protes användare fortfarande kroppen-powered system25. Dessa system bort datoriserade maskinen från det kontrollerar kretsloppet och mer par intimt användarens kroppsrörelse till protesen rörelse via wire kablar. Detta förstärker ytterligare vikten av kognitiva integration i användningen av avancerade protetiska enheter. Vi föreslår att NMI system kan ge ett antal nödvändiga sensoriska och motoriska bitar att hjälpa flytta proteser närmare till att fastställa en kooperativa känsla av byrån, och detta kommer att bidra till att främja acceptans och en verklig integration av dessa datoriserade maskiner med sina användare.

Byrån kan mätas i ett antal sätt. De enklaste åtgärderna använda psykofysisk frågeformulär eller skalor som uttryckligen ber deltagarna till vem eller vad de tillskriver en händelse17,26,27. Detta bygger på individens befintliga föreställningen av ”jaget” genom att kräva deltagarna att göra inferential bedömningar av själv attribution (dvs.att uttryckligen avgöra om ”jag” eller en annan person var ansvariga för en handling eller händelse). Implicita mått ge inblick i bakgrunden kognitiva processer som inträffar under motor action och sensoriska händelser. Denna syn på byrån försöker mäta det som inte uttryckligen upplevs av en individ. Normalt uppnås detta genom att ha deltagare som kännetecknar en upplevd skillnad i själv – och externt-genererade åtgärder, till exempel med deltagare rapportera hur länge de uppfattas som uppstår mellan en själv och externt-genererade händelse 17 , 28. vid fullgörandet av egenproducerad åtgärder, byrån implicit yttrar sig som en perceptuell kompression i tid mellan åtgärder och deras sensoriska konsekvenser, känd som avsiktlig bindande28. När individer rapporterar att de uppfattas som uppstår mellan en åtgärd och dess resultat, motsvarar upplevda kortare tid en starkare bildade känsla av byrån29,30. Intressant, har det visats att explicita och implicita åtgärder inte kan direkt korrelerar som de sannolikt karakterisera olika perceptuella mekanismerna17 som tillsammans informera avkänningen av byrån. Som sådan, kommer att om inrättande av en mer omfattande förståelse av byrån bildas under protesen användning sannolikt kräva experimentella protokoll sysselsätter både explicita och implicita åtgärder.

Detta arbete beskriver en metodologisk ram som kan användas för att uttryckligen och underförstått karakterisera avkänningen av byrån utvecklat om NMI kontrollen över sensate virtuella eller robotic protetiska händer. Två tekniker för att mäta byrån vid fullgörandet av en sensomotorisk objekt-gripa uppgift markeras. Etablerade psykofysisk enkäter är anställd att fånga explicit upplevelsen av byrån, medan intervallet uppskattning (avsiktlig bindande) är anställd att implicit mäta avkänningen av byrån.

Omfattningen av detta protokoll är att utvärdera avkänningen av byrån i samband med ett NMI som ger fysiologiskt relevanta aktiva motorstyrning och kinesthetic feedback. Dessa tekniker är generaliserbart till virtuella eller fysiska protetiska NMI-system. I området i närheten finns det minimala begränsningar på de populationer som kan anställas för att utföra detta protokoll. Exempelvis rörlighet för deltagarens armar bilateralt påverkas inte (de måste ha en sund lem), och de måste ha kognitiv förmåga till göra tidsbaserade domar och artikulera erfarna förnimmelser.

Protocol

Detta protokoll har godkänts tidigare och följer riktlinjerna i Cleveland Clinics mänskliga forskningsetisk kommitté. 1. hårdvara och mjukvara för NMI Fastställa varje enskild deltagares NMI kontroll och feedback så att när de försöker utföra en rörelse kan de se och känna en virtuell protes slutföra det rörelsen. Generera en hand kinestetiska percept genom deltagarens NMI och fånga kinematik upplevda rörelse genom att deltagaren visar vad de känner med han…

Representative Results

Det experimentellt protokollet utfördes med tre amputee deltagare verkar en sensate virtuella protes via deras NMI8 (figur 1). Inställningen används en deltagare-kontrollerbara virtuella hand rör sig genom förprogrammerade kinematisk profiler som använder den MuJoCo HAPTIX fysik motor31. Den virtuella handen visades på en horisontell skärm framför deltagarna på en plats som rumsligt kongruent …

Discussion

Här presenteras en metodram för att karakterisera upplevelsen av byrån bildades ändandet sensate proteser via NMIs. I detta sammanhang är byrån särskilt relevant eftersom det överbryggar fysiska åtgärder för att de kognitiva bakgrundsprocesser som formar uppfattningen. Genom en deltagares protes och NMI, har vi direkt tillgång till ett antal nyckelfaktorer som skapar känslan av byrån: avsikten, motoreffekt och rörelse sensation. Av betydelse till avancerade protetiska lem kontroll, verktygen i det…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Författarna vill tacka Madeline Newcomb för hennes bidrag till figur generation. Detta arbete finansierades av de amerikanska skattebetalarna genom en NIH, kontoret av direktören, gemensam fond, omvälvande R01 Research Award (grant nr 1R01NS081710-01) och den Defense Advanced Research Projects Agency (avtalsnummer N66001-15-C-4015 under överinseende av Biologi teknik programmet kontorschef D. Weber).

Materials

LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit National Instruments, Austin, TX, USA Full or Pro Version We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data.
8-Slot, USB CompactDAQ Chassis National Instruments, Austin, TX, USA cDAQ-9178
±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module National Instruments, Austin, TX, USA NI-9221
100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module National Instruments, Austin, TX, USA NI-9263
Custom Wearable Kinesthetic Tactor HDT Global, Solon, OH, USA N/A This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand.
MuJoCo Physics Engine, HAPTIX Version Roboti LLC, Redmond, WA, USA mjhaptix150 Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model.
Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle Ottobock, Duderstadt, Germany electrodes: 13E200=60
battery: 757B21
battery receptacle: 757Z191=2
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used.

References

  1. Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
  2. Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
  3. Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
  4. Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
  5. Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
  6. Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
  7. Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
  8. Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
  9. Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
  10. Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
  11. Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
  12. Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
  13. Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
  14. Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
  15. Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
  16. Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
  17. Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
  18. Edwards, A. L. . Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , (2016).
  19. Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems – Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
  20. Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
  21. Moore, J. W. What is the sense of agency and why does it matter?. Frontiers in Psychology. 7 (AUG), 1-9 (2016).
  22. Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
  23. Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency?. 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , (2017).
  24. Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
  25. Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
  26. Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
  27. Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
  28. Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
  29. Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
  30. Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
  31. Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , (2015).
  32. Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).
check_url/58702?article_type=t

Play Video

Cite This Article
Schofield, J. S., Shell, C. E., Thumser, Z. C., Beckler, D. T., Nataraj, R., Marasco, P. D. Characterization of the Sense of Agency over the Actions of Neural-machine Interface-operated Prostheses. J. Vis. Exp. (143), e58702, doi:10.3791/58702 (2019).

View Video