モバイルアイトラッカーを用いた関節視覚注意を捉える方法論
Summary
マルチモーダルセンサーの使用は、教育の設定における社会的相互作用の役割を理解する有望な方法です。本論文では、モバイルアイトラッカーを用いて共振ダイアドから関節視覚的注意を捉える方法論について述べている。
Abstract
新しい技術の進歩の出現により、前例のない精度でマイクロレベルでの社会的相互作用の研究が可能です。アイトラッカー、電極活動リストバンド、脳波バンド、モーションセンサーなどの高周波センサは、ミリ秒レベルでの観測を提供します。この精度レベルにより、研究者は社会的相互作用に関する大規模なデータセットを収集できます。本稿では、複数のアイトラッカーが社会的相互作用、関節視覚的注意(JVA)の基本的な構成要素をどのように捉えることができるかについて論じた。JVAは、発達心理学者によって、子どもたちが言語を習得する方法を理解し、小さな学習者のグループがどのように協力するかを理解するための科学者を学び、社会科学者が小さなチームの相互作用を理解するために研究されています。本論文では、モバイルアイトラッカーを使用して併置された設定でJVAをキャプチャする方法について説明します。これは、いくつかの経験的な結果を提示し、社会的相互作用を理解するために顕微鏡観察をキャプチャすることの意味を議論します。
Introduction
JVAは、特に言語習得を研究する発達心理学者によって、過去1世紀にわたって広く研究されてきました。共同の注意は単に言葉を学ぶ方法ではなく、むしろ子供の心の理論の前駆体であるということがすぐに確立されました。したがって、他者とのコミュニケーション、共同作業、共感の育成など、多くの社会プロセスにおいて重要な役割を果たしています。自閉症の小児は、例えば、重要な社会的障害に関連する介護者と視覚的な注意を調整する能力を欠いている2.人間は、社会の機能的なメンバーになり、行動を調整し、他の人から学ぶために共同の注意を必要とします。最初の言葉を身につける子どもたち、学校の先生から学ぶ10代の若者、プロジェクトでの共同作業を行う学生、共通の目標に向かって取り組む大人のグループまで、共同の注意は個人間の共通点を確立するための基本的なメカニズムです 3.本論文では、教育研究におけるJVAの研究に焦点を当てています。時間の経過と共に共同の注意がどのように展開されるかを理解することは、共同学習プロセスの研究において最も重要です。このように、それは社会構成主義者の設定で主な役割を果たしています。
共同注意の正確な定義はまだ議論されている4.本論文は、共同注意(JA)、すなわちJVAのサブコンストラクトに関する。JVAは、2つの被験者が同時に同じ場所を見ているときに起こります。JVAは、JAの研究に関心のある他の重要な構成要素に関する情報を提供しないことに留意すべきである。本論文では、2人の参加者の視線追跡データを組み合わせ、視線を揃える頻度を分析することで、JVAを運用・簡素化します。より包括的な議論のために、興味のある読者はシポソバエットal.4のJAコンストラクトの研究についての詳細を学ぶことができます。
過去10年間で、技術の進歩はJVAに関する研究を根本的に変革してきました。主なパラダイムシフトは、実験室や生態学的な設定でビデオ録画を定性的に分析するのではなく、複数のアイトラッカーを使用して注意アライメントの定量的な測定値を得ることになっていました。この開発により、研究者はダイアドの視覚的な調整に関する正確で詳細な情報を収集することができました。さらに、アイトラッカーはより手頃な価格になりつつあります:最近まで、その使用は学術的な設定や大企業に予約されていました。信頼性の高いデータセットを生成する安価なアイトラッカーを購入できるようになりました。最後に、ハイエンドラップトップや仮想および拡張現実ヘッドセットなどの既存のデバイスに視線追跡機能をプログレッシブに組み込むことは、アイトラッキングがすぐにユビキタスになることを示唆しています。
視線追跡装置の普及により、社会的な相互作用について何ができること、教えてくれないのかを理解することが重要です。このホワイト ペーパーで紹介する方法論は、この方向の第一歩です。私は、複数のアイトラッカーからJVAをキャプチャする際の2つの課題に対処します:1)時系列スケール、および2)空間スケール上のデータを同期します。具体的には、このプロトコルは、実際の環境に配置された受託マーカーを利用して、参加者が視線を向けているコンピュータビジョンアルゴリズムを通知します。この新しい種類の方法論は、小さなグループの人間の行動の厳格な分析への道を開きます。
この研究プロトコルは、ハーバード大学の人間研究倫理委員会のガイドラインに準拠しています。
Protocol
Representative Results
Discussion
このホワイト ペーパーで説明する方法論は、併置されたダイアドで JVA をキャプチャする厳密な方法を提供します。手頃な価格のセンシング技術とコンピュータビジョンアルゴリズムの改良により、これまで利用できなかった精度で協調的な相互作用を研究できるようになりました。この方法論は、環境中で広められた受託マーカーを利用し、参加者の視線を共通の平面に再マップする方法?…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
この方法論の開発は、国立科学財団(NSF#0835854)、スイス教育・研究・イノベーション事務局、ハーバード大学教育学部のディーン・ベンチャー基金が出資する職業教育のリーディング・ハウス・テクノロジーによって支援されました。
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
Riferimenti
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
