Summary
この実験的プロトコルは、健康な成人における仮想プリズム適応療法(VPAT)の使用と、VPATと機能的近赤外分光法との関連を示し、VPATが皮質活性化に及ぼす影響を決定する。結果は、VPATが実現可能であり、従来のプリズム適応療法と同様の行動適応を誘発する可能性があることを示唆している。
Abstract
ヘミ空間無視は脳卒中後の一般的な障害である。これは、貧しい機能的および社会的成果に関連付けられている。したがって、ヘミ空間無視の管理を成功させるためには、適切な介入が不可欠である。しかし、様々な介入の臨床使用は、実際の臨床実践において制限されている。プリズム適応療法は、半空間無視を治療するための最もエビデンスに基づくリハビリテーションモダリティの1つです。プリズム療法で起こりうるあらゆる欠点を克服するために、没入型バーチャルリアリティと深度感知カメラを用いて、仮想プリズム適応療法(VPAT)を作成する新しいシステムを開発しました。VPATシステムを検証するために、我々は、VPATシステムを介して行動の誤りと皮質活性化の変化を調査する実験プロトコルを設計した。皮質活性化は機能的近赤外分光法(fNIRS)により測定した。実験は4つの段階で構成されていました。4つすべて、右利きの健康な人々に適用されたクリック、指差しまたは休息が含まれていました。クリック対ポインティングは、総運動タスクに関連する皮質領域を調査するために使用され、VPATとポイントを使用したポイントは、visuospatial知覚に関連する皮質領域を調査するために使用されました。4人の健康な参加者からの予備的な結果は、VPATシステムによる指摘誤差が従来のプリズム適応療法に類似していることを示した。より多くの参加者およびfNIRSデータとのさらなる分析、ならびに脳卒中患者の研究が必要であるかもしれない。
Introduction
ヘミ空間無視は、対側のヘミ空間視野を知覚する能力に影響を与え、脳卒中1、2の後に一般的な障害である。半球空間無視後のリハビリテーションは重要ですが、機能や社会的転帰が悪いため、実際の臨床実習3,4ではリハビリテーションが十分に活用されていないことがよくあります。
ヘミ空間無視のために提案された様々な既存のリハビリテーションアプローチの中で、プリズム適応(PA)療法は、亜急性または慢性脳卒中の患者におけるヘミ空間無視の回復および改善に有効であることが証明されている5、6、7、8。しかし、従来のPAは、いくつかの欠点9、10のために十分に利用されていない。これらは、1)プリズムレンズに起因する高コストと時間要件を含み、偏差の程度に調整するために変更する必要があります。2)に向けられる追加の材料を設定し、手の軌道をマスクする必要があります。そして3)PAは、座って頭の位置を制御できる患者によってのみ使用することができます。
バーチャルリアリティ(VR)環境における適応効果を再現する最近の研究では、仮想プリズム適応療法(VPAT)が無視11のサブタイプに応じて異なる効果を有することが可能であると報告した。また、PAの皮質活性化は脳病変12に応じて変化する可能性が示唆された。しかし、VR誘導PAに見られる皮質活性化パターンについてはほとんど知られていない。
これらの障害を克服し、臨床現場でのPAの利用を促進するために、深度感知カメラを用いて、仮想プリズム適応療法(VPAT)と呼ばれる没入型VR技術を用いた新しいPA治療システムを開発しました。空間的な再編成を促進するために、仮想肢の位置に関する視覚的なフィードバックを提供する能力を備えた没入型VRシステムを設計しました。従来のPAの効果を模倣したこの没入型VR技術を用いて、健康な参加者のVPATシステムを検証する実験を設計しました。
我々は、我々の可視化された実験プロトコルを実施することにより、新しいVPATシステムが従来のPAと同様に行動適応を誘導できるかどうかを調べた。さらに、VPATシステムが脳卒中後の斜空間知覚またはヘミ空間無視の回復に関連する皮質領域で活性化を誘導できるかどうかを探りたい。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
すべての手続きは、ソウル国立大学ブンダン病院機関教育審査委員会(IRB)によって審査され、承認されました。健康な参加者を募集するために、ポスターを使って病院の周りを宣伝しました。
1. 実験的なセットアップ
- 参加者募集
- 次の包含基準を使用して被験者のスクリーニングプロセスを実行する:1)健康、18歳から50歳の間。2)右利き、エディンバラの利き手の在庫14によって評価される;3)VRのためのヘッドマウントディスプレイを着用し、VR内のオブジェクトを検出することができます。そして4)脳卒中、パーキンソン病、外傷性脳損傷など、脳に影響を与える疾患の歴史はない。
注: これらの基準は、実験に参加する能力を持つ参加者をスクリーニングし、結果に影響を与える要因を調整するために設計されました。 - 参加者を募集し、研究全体と期待される臨床問題の詳細な説明を提供します。含まれる前に同意を得る必要があります。
- 次の包含基準を使用して被験者のスクリーニングプロセスを実行する:1)健康、18歳から50歳の間。2)右利き、エディンバラの利き手の在庫14によって評価される;3)VRのためのヘッドマウントディスプレイを着用し、VR内のオブジェクトを検出することができます。そして4)脳卒中、パーキンソン病、外傷性脳損傷など、脳に影響を与える疾患の歴史はない。
- 実験システム
注:没入型VRシステムと深度センシングカメラを使用したカスタマイズされたVPATシステムが使用されました。機能的な赤外分光法(fNIRS)を同時に使用して皮質活性化を調べた。実験のためにVPATとfNIRSを連結した(図1)。- VPATシステム
注:VPATシステムは、VR実装用のヘッドマウントディスプレイ、ユーザーが直感的な入力を行うハンドジェスチャーを認識できるハンドトラッキングセンサー、およびハードウェアプッシュボタンで構成されています。全体の構成は、図 1に示されています。- ヘッドマウントディスプレイの前にハンドトラッキングセンサーが傾いないことを確認します。
- VRシステムのリファレンスカメラがフロントモニタの上に正しく設置されていることを確認します。
- 参加者が実験に使用する手の近くの場所に押しボタンを固定します。
- ソフトウェアを実行して、エラーがないことを確認します。
注: 仮想環境は、可能な限り近い実際の環境に一致するように実装されました。タスクは、仮想環境内のハンドポイントとプッシュボタンによるボタン入力によって実行されました。
- fNIRS
- パソコン(PC)、31光彩(15光源、16検出器)、テキスタイルEEGキャップ、データ記録ソフトウェアなどの商用fNIRSシステムを使用してください。
- VPAT システムと fNIRS の間のリンケージ (図 1)。
- TCP/IP 通信を使用するリモート・キーボード制御ソフトウェアを使用して、VPAT システムの開始イベントと fNIRS システムでの記録のタイミングを同期します。
- コンピュータのリモートコマンドキーを使用して、fNIRS記録を開始します。
- VPATシステム
2. 実験的なセットアップ (図 2)
- fNIRS測定設定
- 参加者をテーブルから約15センチ離れたまっすぐな姿勢で背中を合った椅子に座ります。手を伸ばす際に参加者の手が表に当たらないことを確認します。
- fNIRSキャップ設定の場合、参加者の頭囲に応じてキャップサイズを選択します。頂点 (Cz) がイニオンとナシオンの中間点と左のプリオーラシキュラー領域と右のプリオーラシキュラー領域の中間点の交点に配置されるようにキャップを配置します。画面上にモンタージュを表示し、モンタージュに15のソースと24の検出器を接続します。光源からの利得を改善するために必要な場合は、毛髪調製後に導電性ゲルを使用し、光を挿入します。参加者に保持キャップを着用してもらいます。
注:この研究では、周囲54、56、および58cmの3つの異なるサイズの繊維脳度キャップを使用しました。 - ソフトウェア設定(キャリブレーションなど)については、fNIRSシステムソフトウェアを実行し、無視モンタージュをロードします。
- モンタージュを画面に表示し、モンタージュに従って15個のソースと24個の検出器を設定します(図3)。
- 調整ボタンを押します。画面に[Lost]と表示されている場合は、ヘアの準備を繰り返し、再調整します。
- VPAT システム設定
- HMD、リファレンスカメラ、およびLeapモーションカメラを接続し、コンピュータを接続するボタンを押してVPATシステムを設定します。
- fNIRSのキャップの上に参加者の頭の上にバーチャルリアリティヘッドマウントディスプレイ(VR HMD)を取り付けてください。キャップの動きを避けるようにしてください。
- VPAT ソフトウェアを実行します。参加者の情報(氏名、年齢、利き手)を入力し、「開始」ボタンを押します。
- 表示で仮想手の視覚化を確認します。2 段階のキャリブレーション(画面キャリブレーションと目標距離キャリブレーション)を進めます。
- 参加者に、中央の赤い十字 (+) を見てから、"r"キーを押して画面を調整するように指示します。
注: 画面の調整では、座標系を再センタリングして、仮想空間をユーザーの視覚範囲の前に配置します。 - 参加者に右手でターゲット(つまりボール)を指し示し、Oキーを押して手の位置を調整するように指示します。
注:我々の研究では、参加者がターゲットにしなければならなかったオブジェクトは、ビューの上から降りてきたピンクの棒の上の白いボールでした。ターゲット距離キャリブレーションは、ユーザーの範囲内にターゲットを配置します。これは、実験中にターゲットを正しく配置するために使用されます。 - キャリブレーション後、"w"キーを押して実験を開始します。
- VPAT および fNIRS リンケージ設定
- イベント同期ソフトウェアを使用して、解析のトリガを fNIRS に入力し、VPAT を fNIRS に接続します。
- VPAT と fNIRS の間の時刻同期を行う場合は、コンピュータと 2 つのシステムを同じネットワークに接続し、自己生成キー転送プログラムを使用して同期します。
- 両方のコンピュータの IP とポート入力を使用して接続した後、VPAT プログラムの"w"キーを使用して実験セッションを開始します。イベント同期ソフトウェアが自動的に実行され、実行中のトリガが自動的にfNIRSに転送され、保存されます。
- 実験の後、ソフトウェア自動終了とVPATデータを取得します。次に、VPAT および fNIRS システム ソフトウェアを停止します。
注: 参加者はVPAT実験中に指をさした後、元の位置に手を戻す必要があります。
3. VPATシステムの検証実験
- fNIRS記録を用いたブロック設計実験 (図4)
- ステップ 2 のセットアッププロセスを完了した後、参加者が実験を開始する準備ができていることを確認します。
- プリズムモードを使用せずにVPATシステムを起動し、VRシステム内のターゲットを直ちに指し示して手順を理解するよう参加者に指示します。
- 各フェーズは、ポイント、クリック、または休憩用のブロックで構成されています (図 4)。ここでも、参加者に対して、ボタンをクリックするか、VRシステム内のターゲットをできるだけ早く右手の人差し指で指すように指示します。
- fNIRS記録と4つのフェーズを同時に開始するには、開始キーをクリックします。
注: ポインティング タスクの間、白いボールは固定時間内にタッチする必要がありました。- 適切なアイコンが表示されたら、参加者にポイント、クリック、または静止を指示します。
注: タスク中、ポイントとクリックは、タイマー バーの真上の白いボールと右側のアイコンで示されていました。タスクの実行時間は、図 2に示すようにタイマー バーで示されています。 - 参加者に、3s以内の左側または右側に表示されるターゲットに触れるように指示します。クリックブロックの場合は、参加者にプッシュボタンを押す指示を出します。
メモ:白いボールを含むターゲットセットは、キャリブレーションによって得られた参加者の中心から-10°または10°の距離に位置していました。ターゲットセットは、右側または左側にランダムに表示されます。実験計画によると、標的は3sで現れ、その後消失し、新しい位置に再生した。 - フェーズが切り替えられた場合、参加者が同じ方法で実行されるようにします。
注: ポインティング タスクでは、バーチャル プリズム アダプティブ モードでは、VR 空間の架空の手の左側に、参加者の頭に対して 10°または 20° の偏差が示されました。ゼロ度は、仮想手と実際の手の位置が一致することを示した。
注: 実験 (図 4)は、合計 4 つのフェーズで構成され、各フェーズは、ポイントとクリックまたは休息を交互に行います (フェーズ 1 と 4 はポイントとクリック、フェーズ 2 と 3 は指差し、休止していました)。
- 適切なアイコンが表示されたら、参加者にポイント、クリック、または静止を指示します。
4. データ分析
- ポインティング エラー分析
注: データは、実験者が開始ボタン"w"を押した瞬間から保存されました。データはVPATソフトウェアを通じて、フレームごとに約60 Hzで自動的に保存されました。フェーズ名、経過時間、および仮想人差し指の位置は、時間の経過とともに格納されました。ポインティングエラーは、ターゲットと人差し指の間の角度値で、参加者の頭の位置を中心にしています。- ポインティング タスク データをフェーズ別に分類します(プレ VPAT、VPAT 10°、VPAT 20°、ポスト VPAT)。
- 各フェーズのデータ (フェーズ 1 と 4) で、ポインティング タスクとクリック タスクのデータを分類します。
- 各フェーズとタスクのタイプに応じて、サブフェーズごとに 30 s 単位でデータを分類します。
- ポイント誤差分析の場合、人差し指の位置データから試行誤差(ポインティングエラー)値の中央値を抽出します。
- 分散分析検定(ANOVA)の反復測定を使用して、各相の差を分析します。
注:Leap モーション センサーを使用したハンド トラッキングの場合、外れ値は、手の姿勢の閉塞または誤検出が原因でした。偽の手の位置データを除いて、中央値は、サブフェーズ内の代表的なポインティングエラー値を見つけるために使用されました。
- fNIRS データ処理
- fNIRS 解析ソフトウェアを起動し、生データファイルとプローブ情報をロードします。
- イベントレコードを編集して、実験中に各条件を確認して、マーカー設定処理を実行します。
- 実験的に無関係な時間間隔を削除してデータの前処理を実行し、ステップやスパイクなどのアーティファクトを削除し、周波数フィルタを適用して実験的に無関係な周波数帯を除外します。
注: すべてのデータセットは、0.01 Hz のハイパス フィルタと 0.2 Hz のローパス フィルタを使用してフィルタリングされ、インストゥルメンタルノイズまたは生理学的ノイズの影響を除去します。 - ピーク照明波長の値(すなわち、760および850 nm)を入力して波長を指定します。チャネルのソースと検出器の間に3cmの物理的な距離を使用してください。
- ベースライン フィールドを選択します。
注: ベースライン フィールドを、既定の設定であるデータ セットのフルタイム コースとして選択しました。 - hemodynamic 状態の時系列を計算して、フィルターされたデータからの前処理を完了します。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
4人の健常者(男性1名、女性3名)のデータが代表的な結果として用いられた。ポインティングエラーは図5Aに示され、各ポインティングタスクのサブフェーズにおける10試行の中央値の平均は30 s続きます。 各フェーズの最初のブロックの中央値ポインティング誤差の平均値は、0.45 ± 0.92(プレVPAT)、4.69 ±3.08(VPAT 10°)、5.43±2.22(VPAT 20°)、-5.17 ±1.60(ポストVPAT)でした。ポインティング誤差変化の傾向は、反復測定ANOVAを介して統計的に有意であった(p = 0.001)。各被験者のポインティング誤差は図5Bに示され、VPAT段階および後プリズム適応(陰性ポインティング誤差)の適応を示す。
図1:VPATおよびfNIRSリンケージシステムを使用した実験設定VPAT = 仮想プリズム適応療法;fNIRS = 機能的近赤外分光法。この図は以前にKimら15によって出版されましたこの図の大きなバージョンを見るにはここをクリックしてください。
図2:VPATおよびfNIRSシステムで実験を行う対象。VPAT = 仮想プリズム適応療法;fNIRS = 機能的近赤外分光法。この図の大きなバージョンを表示するには、ここをクリックしてください。
図3:モンタージュは、3cmの間隔で15個の光源(赤い円)と24検出器(青い円)を配置することによって54チャンネルを含む。最も近いソースと検出器の間のスペースは、数字を持つ黄色の円として表される1つのチャネルを構成しました。この図の大きなバージョンを表示するには、ここをクリックしてください。
図4:実験計画VPAT = 仮想プリズム適応療法;Pt = ポイント。Cl = クリックします。Re = 休息。この図の大きなバージョンを表示するには、ここをクリックしてください。
図5:各ブロックのポインティングエラー。(A) 各ブロックにおける対象の中央値のポインティング誤差の平均値グラフ。この図は、各被験者による各ブロックにおける金氏ら15(B)のポイント誤差の中央値によって以前に発表された。反時計回りの方向(つまり、ターゲットから左へ)は正の値です。この図の大きなバージョンを表示するには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本研究ではVR環境で翻訳された手の動きを用いたプリズム適応療法を実施した。従来のプリズム適応療法のように、実施された偏差が角度オーバーシュートと行動適応を引き起こしているかどうかを調べた。
中央値のポインティングエラー結果(図5)と最初のポインティングエラーの結果では、位相を切り替えるとポインティングエラーが大きく変化しました。いくつかの手認識エラーは除去されましたが、誤検出が依然として存在する可能性があります。誤った追跡などの体系的な誤差を排除するために中央値を使用すると、平均ポインティングエラーの結果が予想よりも低いことがわかった。後プリズム適応は、各被験者に常に示された(図5B)。これらの結果は、従来のプリズム適応療法と同様の行動適応を示した。
実験にはいくつかの問題がありました。手の誤検出は、ポインティング タスクで頻繁に発生しました。場合によっては、指差し中に手が目標に達しても、Leap モーション認識エラーにより仮想手が追跡されなかった場合があります。また、参加者はクリックタスクでHMDを装着していたため、押しボタンを見つけるのは難しく、実験者は継続的な支援を行う必要がありました。HMDの重量および長期適用はまたfNIRSの検眼剤と接触する区域の苦痛を引き起こすかもしれない。そのため、HMDが持ち上げられたり、参加者自身がHMDを保持していたりする場合がありました。
システムの欠点を克服し、fNIRSデータを含むより多くのデータ分析を通じて実験の結果を統合すれば、視空間無視の治療に使用される可能性があります。さらに、ゲームに優しいコンテンツを適用して、没入型で楽しい治療モダリティを提示することができます。それにもかかわらず、より高度なVPATシステムによるさらなる研究は、バイス空間無視を有する脳卒中患者における臨床的有効性を証明することが必要である。
いくつかの以前の研究は、没入型VR、またはヘッドマウントVRセット16の使用によって誘発される乗り物酔いを報告しています。VRが着席位置17に実装されている場合、乗り物酔いはまれであると報告されています。動きの不一致も乗り物酔いの原因になることがありますが、仮想環境18,19でバックグラウンドを個別に設定することで軽減できます。このシステムでは、手の偏差角度だけが動きのミスマッチを引き起こし、乗り物酔い全体に与える影響は少ないはずです。
この実験の参加者は正常な成人であったため、一貫した問題はなかった。しかし、脳卒中患者の治療として使用するためには、上記の問題を考慮する必要があり、治療中の休憩や治療時間の長さなど、仮想プリズム療法プロトコルを考慮する必要があります。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
ウォンソク・キム、スンミン・チョー、ナムジョン・パイクは、この作品に関連する「仮想モデルを用いて視覚刺激を作成する方法、システム、読み取り可能な記録媒体」と題する特許を持っています。
Acknowledgments
本研究は、ソウル大学校大盆唐病院研究基金(14-2015-022)、貿易産業エネルギー省(韓国・MOTIE)、韓国科学ICT(MSIT)、厚生省(MOHW、韓国)が支援した。)AI-バイオ-ロボット-医学コンバージェンスのための技術開発プログラム(20001650)ビデオ撮影の準備と進め方を手伝ってくれたスービンパーク、ヌリ・キム、イェリン・チャンに感謝します。
Materials
| Name | Company | Catalog Number | Comments |
| EASYCAP | Easycap | C-SAMS | Platform to accommodate fNIRS optodes |
| Leap Motion 3D Motion Controller | Ultrahaptics | FBA_LM-C01-US | Hand detection device attached HMD |
| Leap Motion VR Developer Mount for VR Headset | Ultrahaptics | VR-UAZ | |
| Matlab R2015a | Mathworks | Programming language running with NIRStar | |
| NIRScout | Medical Technology LLC | NSC-CORE | fNIRS system |
| nirsLAB v201605 | Medical Technology LLC | Software for analyzing data collected with NIRScout | |
| NIRStar 14.1 | Medical Technology LLC | NIRScout Acquisition Software | |
| Occulus Rift DK2 | Occulus | VR HMD | |
| PowerMate USB Multimedia Controller | Griffin Technology | NA16029 | Push Button in task |
| SuperLab 5.0 | Cedrus Corp. | Synchronize the stimulus presentations allied to NIRScout |
References
- Appelros, P., Karlsson, G. M., Seiger, A., Nydevik, I. Neglect and anosognosia after first-ever stroke: incidence and relationship to disability. Journal of Rehabilitation Medicine. 34 (5), 215-220 (2002).
- Buxbaum, L., et al. Hemispatial neglect subtypes, neuroanatomy, and disability. Neurology. 62 (5), 749-756 (2004).
- Jehkonen, M., et al. Visual neglect as a predictor of functional outcome one year after stroke. Acta Neurologica Scandinavica. 101 (3), 195-201 (2000).
- Jehkonen, M., Laihosalo, M., Kettunen, J. Impact of neglect on functional outcome after stroke–a review of methodological issues and recent research findings. Restorative Neurology and Neuroscience. 24 (4-6), 209-215 (2006).
- Mizuno, K., et al. Prism adaptation therapy enhances rehabilitation of stroke patients with unilateral spatial neglect: a randomized, controlled trial. Neurorehabilitation and Neural Repair. 25 (8), 711-720 (2011).
- Shiraishi, H., Yamakawa, Y., Itou, A., Muraki, T., Asada, T. Long-term effects of prism adaptation on chronic neglect after stroke. NeuroRehabilitation. 23 (2), 137-151 (2008).
- Yang, N. Y., Zhou, D., Chung, R. C., Li-Tsang, C. W., Fong, K. N. Rehabilitation interventions for unilateral neglect after stroke: a systematic review from 1997 through 2012. , (2013).
- Rossetti, Y., et al. Prism adaptation to a rightward optical deviation rehabilitates left hemispatial neglect. Nature. 395 (6698), 166-169 (1998).
- Barrett, A., Goedert, K. M., Basso, J. C. Prism adaptation for spatial neglect after stroke: translational practice gaps. Nature Reviews Neurology. 8 (10), 567-577 (2012).
- Maxton, C., Dineen, R., Padamsey, R., Munshi, S. Don't neglect 'neglect'-an update on post stroke neglect. International Journal of Clinical Practice. 67 (4), 369-378 (2013).
- Gammeri, R., Turri, F., Ricci, R., Ptak, R. Adaptation to virtual prisms and its relevance for neglect rehabilitation: a single-blind dose-response study with healthy participants. Neuropsychol Rehabilitation. , 1-14 (2018).
- Saj, A., Cojan, Y., Assal, F., Vuilleumier, P. Prism adaptation effect on neural activity and spatial neglect depend on brain lesion site. Cortex. 119, 301-311 (2019).
- Redding, G. M., Wallace, B.
- Caplan, B., Mendoza, J. E. Encyclopedia of Clinical Neuropsychology. , Springer. 928 (2011).
- Kim, W. S., Paik, N. J., Cho, S. 2017 International Conference on Virtual Rehabilitation (ICVR). , IEEE. 1-2 (2017).
- Munafo, J., Diedrick, M., Stoffregen, T. A. The virtual reality head-mounted display Oculus Rift induces motion sickness and is sexist in its effects. Experimental Brain Research. 235 (3), 889-901 (2017).
- Merhi, O. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. , SAGE Publications Sage CA. Los Angeles, CA. 2618-2622 (2018).
- Duh, H. B. L., Parker, D. E., Furness, T. A. Proceedings of 9th International Conference on Human-Computer Interaction. , Citeseer. New Orleans, LA, USA. 5-10 (2018).
- Prothero, J. D., Draper, M. H., Parker, D., Wells, M. The use of an independent visual background to reduce simulator side-effects. Aviation, Space, and Environmental Medicine. 70, 3 Pt 1 277-283 (1999).
