Summary

감각 신경-기계 인터페이스 운영 무생물의 작업을 통해 기관의 특성

Published: January 07, 2019
doi:

Summary

여기 sensate 가상 또는 로봇 인공 손을 제어 개발 기관의 감각 특징 짓는 프로토콜 선물이. Psychophysical 설문 조사 기관의 명시적 경험을 잡으려고 고용 고 시간 간격이 견적 (의도적인 바인딩) 암시적으로 기관의 감각을 측정 하는.

Abstract

이 작품에는 암시적으로 sensate 가상 또는 로봇 인공 손의 신경-기계 인터페이스 (NMI) 제어 개발 기관의 감각을 특성화 한 방법론 프레임 워크를를 명시적으로 사용할 수 있는 설명 합니다. 기관의 형성은 우리가 우리 자신의 것으로 우리의 사지와 수행 하는 작업을 구별 하는에 기본적 이다. 이 같은 지 각 메커니즘에 고급 위 사지 무생물을 통합 하는 노력을 하 고, 여 우리 다리 제어를 위한 사용자의 기존 인식 프레임 워크에 인공 다리를 더 밀접 하 게 통합 시작할 수 있습니다. 이 사용자 수용, 사용, 및 고급 위 사지 무생물의 효과적인 제어를 홍보에 중요 한 의미를 갖는다. 이 프로토콜에 참가자는 가상 인공 손을 제어 하 고 그들의 기존 Nmi 통해 kinesthetic 감각 피드백을 받을. 일련의 가상 쥐고 작업 수행 되 고 섭 kinesthetic 피드백 및 가상 손 움직임을 체계적으로 소개 된다. 두 개의 별도 측정 기관 고용: psychophysical 설문 조사 (기관의 명시적 경험을 잡으려고) 및 시간 간격 추정 기관 (의도적인 바인딩)의 암시적 의미를 캡처 작업을 설립. 이 프로토콜의 결과 (설문지 점수와 시간 간격 추정) 기관 형성의 정도 계량 분석 될 수 있다.

Introduction

로봇 prostheses 될 점점 더 고급, 관련 감각 피드백의 중요성 성장을 계속할 것 이다. 감각 피드백 어떻게 인간 인식, 상호 작용 하 고 심지어 그들의 몸 스키마로 기계를 통합에 영향을 줍니다. 최근 NMI 기법 수 이제 보 철 다리 사용자 직관적인 컨트롤 제공 하 고 달성과 관련 된 감각 터치1,2,,34,,56 , 7 과 kinesthesia (움직임 감지)8,9 실종 사지에. 이 감각 정보 작업 중 인공 사지를 보고에서 제공 하는 시각적 정보와 결합 될 때 우리에 접근이 핵심 요소는 자기의 구별을 알려-다른. 이 액세스를 활용 하는 보 철 다리 사용자에 게 도구 보다는 오히려 그들의 몸의 한 부분으로 운영 하는 인공 다리를 한 걸음 더 가까이가지고 하는 것을 도울 수 있다.

몸 인식 및 구현 되 고 감각 기관 (다리의 작업을 통해 작가의 경험)와 소유권 (느낌 사지 신체의 부분)의 설립에서 발생10,11. 소유권은 주로 시각적 정보12의 통합을 통해 중재 됩니다. 기관 의도, 운동 감각 (kinesthesia), 시각적 정보와 예측 인지 모델11의 통합에서 나온다. 자발적 행동의 성능 동안 기관 해당 작업의 감각 결과 정렬 수행자의 의도와 수행자의 내부 모델13에서 예측 하는 때 형성 된다. 기관은 별도 프로세스와 다른 소유권 이다. 족 문학14자주 사지 소유권의 개념을 공부 되었습니다 했다. NMI 참가자 터치 피드백은 공간 및 일시적으로 적절 한, 설문 조사를 통해 명시적으로 또는 암시적으로 잔여 다리 온도 변화를 통해 측정 또는 시간적 순서 판단15때에 사지 소유권 형태의 감각. 그러나, 적은 기회 탐험 NMI16의 맥락에서 기관 존재 합니다. NMI 참가자와 함께 최근 작품 기관이 의도적으로 승격 될 수 있습니다 및 소유권8의 경험에서 별도 시연 하고있다.

그것은 인과 관계, 느낌의 경험을 통해 인공 사지의 물리적 행동 컨트롤 인지 링크 기구는 로봇 무생물의 작업에 특히 중요 한 인공 사지를 제어 하거나 뭔가를 17일이. 로봇 prostheses 효과적으로 작업을 전산화 컴퓨터 사용자와 협력 해야 합니다 고급입니다. 일부 인공 사지 그립-슬립 감지 및 보정; 자치 기능 통합 그러나 이러한 시스템으로 사용자의 컨트롤 외부 실행 기능 볼 수 있습니다 실망 적절 하 게 구현 되지8,18제한 채용을 보았다. 이 자동 기계와 인간 협력의 응용 프로그램에 걸쳐 에코 근본적인 도전을 선물 한다. 즉, 인간 컴퓨터 또는 기계, 협력에서 인 동안 그들의 자신의 행동 신뢰 하 고이 신뢰 직접 자치 기능19,20를 사용 하 여 운영자의 가능성에 영향을 미칩니다. 인간으로 서, 우리 innately 신뢰와 우리 몸이 우리 것; 작업을 수행 하 때이 이루어집니다, 우리 기관의 본질적인 의미를 설정 합니다. 흥미롭게도, 기관 형성은 협력 인간-컴퓨터 작업에 영향을. 인간-인간 협동 작업을 하는 동안 공유 감각 기관의 운동21; 이상 형성 될 수 있습니다. 그러나, 문학 공유 기관이 인간-컴퓨터 협력22,23동안 지 장 나왔다. 이러한 보 철 위 다리 사용에 반영 됩니다 그리고 로봇 장치 거부 비율 높은, 사용자가 자신의 사용24중단의 23%-39%와 함께 남아 있다. 사실, 많은 족 사용자는 여전히 몸 전원 시스템25를 선호합니다. 이 시스템 제어 루프에서 컴퓨터 기계를 제거 하 고 더 와이어 케이블을 통해 족 운동에 사용자의 신체 움직임을 속속들이 커플. 이 더 고급 보 철 장치 사용에서 인지 통합의 중요성을 강화 한다. NMI 시스템 구축 협력 기관, 감각 인공 사지 가까이 이동할 수 있도록 필요한 감각 및 모터 조각의 숫자를 제공할 수 있습니다 그리고이 수용 및이의 진정한 통합을 추진 하는 수단이 될 것입니다 하는 것이 좋습니다. 그들의 사용자와 컴퓨터 기계입니다.

기구는 여러 가지 방법으로 측정 될 수 있습니다. 간단한 조치 사용 psychophysical 설문 또는 비늘을 명시적으로 누구 또는 무엇을 참가자 들에 게 그들이 이벤트17,,2627특성. 이 개인의 기존 인식에 의존 자체 속성 (, 명시적으로 “나” 또는 다른 작업 또는 이벤트에 대 한 책임은 여부 판단)의 날개 식 판단을 내릴 참가자를 요구 하 여 “자기”. 암시적 측정값 모터 행동 및 감각 이벤트 동안 발생 하는 인지 프로세스 백그라운드에 대 한 통찰력을 제공 합니다. 기관의이 보기는 개인에 의해 명시적으로 인식 되지 않습니다을 측정 하려고 합니다. 일반적으로 이것은 참가자 자체-와 외부-생성 작업, 예를 들어 참가자를 데 그들은 자기-와 외부-생성 이벤트 사이 발생을 인식 하는 시간의 기간을 보고 인식된 차이 특성화 함으로써 얻을 수 17 , 28. 자체 생성 된 작업의 성능 동안 암시적으로 기관 활동 및 의도 바인딩28로 알려진 그들의 감각 결과 사이의 시간에 지 각 압축으로 명단. 개인 그들 사이 행동 그리고 그 결과 발생을 인식 하는 시간을 보고, 시간 시간 단축 인식된 기관29,30의 더 강력 하 게 형성 된 감각에 해당 합니다. 흥미롭게도, 그들은 가능성이 기관의 감각을 함께 알려 다른 지 각 메커니즘17 특성화는으로 명시적 및 암시적 측정값 직접 연결 되지 수는 입증 되었습니다. 따라서,의 족 사용 하는 동안 기관 형성의 보다 포괄적인 이해를 수립 필요 합니다 명시적 및 암시적 사용 실험 프로토콜.

이 작품에는 암시적으로 sensate 가상 또는 로봇 인공 손의 NMI 컨트롤 위에 개발 하는 기관의 감각을 특성화 한 방법론 프레임 워크를를 명시적으로 사용할 수 있는 설명 합니다. 기관 중 sensorimotor 개체 파악 하는 작업의 성능을 측정 하는 두 가지 기술은 강조 표시 됩니다. 설립된 psychophysical 설문 조사 경험을 캡처하는 명시적 기관의 시간 간격 견적 (의도적인 바인딩) 암시적으로 감각 기관의 측정 하 고용은 고용 된다.

이 프로토콜의 범위 기관 생리학 관련 활성 모터 제어 및 근육 감각 피드백을 제공 하는 NMI의 맥락에서의 의미를 평가 하는 것입니다. 이 기술은 가상 또는 실제 보 철 NMI 시스템을 받아들이기는 있습니다. 이 프로토콜을 수행 하기 위해 채용 될 수 있습니다 인구에 최소한의 제한이 있습니다. 예를 들어, 참가자의 위 사지의 이동성 양측 영향을 받을 수 (그들은 하나의 사운드 사지를가지고 있어야 합니다), 그리고 그들은 시간을 기준으로 판단 하 고 똑 경험된 감각 인지 능력을 보유 해야 합니다.

Protocol

이 프로토콜은 이전 승인 하 고 클리블랜드 클리닉의 인간 연구 윤리 위원회의 지침을 따릅니다. 1. 하드웨어와 소프트웨어는 NMI의 그렇게 운동을 수행 하는 경우, 그들은 보고 느낌 그 운동을 완료 가상 족 각 개별 참가자의 NMI 컨트롤 및 피드백을 설정 합니다. 참가자의 NMI 통해 손 kinesthetic percept를 생성 하 고 그들이 어떤 느낌을 설명 하는 참가자를 함으로써 ?…

Representative Results

실험 프로토콜은 그들의 NMI8 (그림 1)는 sensate 가상 족 통해 운영 3 수족 참가자와 함께 수행 되었다. 설치 사용 참가자가 제어할 수 있는 가상 손31MuJoCo HAPTIX 물리 엔진 사용 하 여 프로그램 된 운동학 프로필을 통해 이동 합니다. 가상 손 위치를 공간적으로 일치 하는 그들의 없는 사지에 참가자 앞 가로 모니?…

Discussion

여기 방법론 프레임 워크는 sensate prostheses 통해 Nmi 동안 형성 하는 기관의 경험 하 여. 이러한 맥락에서 기관 관계가 특히 지 각을 형성 하는 배경 인지 프로세스를 실제 행동 교량 으로입니다. 통해 참가자의 족 NMI, 우리는 기관의 감각을 설정 하는 핵심 요소 수에 대 한 직접 액세스: 의도, 모터 출력 및 운동 감각. 고급 보 철 다리 제어에 중요성의이 작품에서 제공 하는 도구 활용 어떻게 이…

Disclosures

The authors have nothing to disclose.

Acknowledgements

저자는 매들린 컴 그림 세대에 그녀의 기여에 대 한 감사 하 고 싶습니다. 이 작품은 NIH, 사무실 이사, 일반 펀드의를 통해 미국의 납세자에 의해 투자 되었다 Transformative R01 연구 상 (부여 #1R01NS081710-01)와 방위 고급 연구 프로젝트 기관 (계약 번호 N66001-15-C-4015 후원의 생물학 기술 Office 프로그램 관리자 D. Weber).

Materials

LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit National Instruments, Austin, TX, USA Full or Pro Version We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data.
8-Slot, USB CompactDAQ Chassis National Instruments, Austin, TX, USA cDAQ-9178
±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module National Instruments, Austin, TX, USA NI-9221
100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module National Instruments, Austin, TX, USA NI-9263
Custom Wearable Kinesthetic Tactor HDT Global, Solon, OH, USA N/A This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand.
MuJoCo Physics Engine, HAPTIX Version Roboti LLC, Redmond, WA, USA mjhaptix150 Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model.
Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle Ottobock, Duderstadt, Germany electrodes: 13E200=60
battery: 757B21
battery receptacle: 757Z191=2
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used.

References

  1. Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
  2. Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
  3. Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
  4. Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
  5. Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
  6. Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
  7. Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
  8. Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
  9. Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
  10. Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
  11. Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
  12. Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
  13. Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
  14. Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
  15. Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
  16. Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
  17. Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
  18. Edwards, A. L. . Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , (2016).
  19. Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems – Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
  20. Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
  21. Moore, J. W. What is the sense of agency and why does it matter?. Frontiers in Psychology. 7 (AUG), 1-9 (2016).
  22. Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
  23. Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency?. 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , (2017).
  24. Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
  25. Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
  26. Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
  27. Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
  28. Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
  29. Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
  30. Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
  31. Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , (2015).
  32. Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).
check_url/58702?article_type=t

Play Video

Cite This Article
Schofield, J. S., Shell, C. E., Thumser, Z. C., Beckler, D. T., Nataraj, R., Marasco, P. D. Characterization of the Sense of Agency over the Actions of Neural-machine Interface-operated Prostheses. J. Vis. Exp. (143), e58702, doi:10.3791/58702 (2019).

View Video