מתודולוגיה ללכידת תשומת לב ויזואלית משותפת באמצעות עוקבים אחר העין הניידת
Summary
שימוש בחיישנים רב-מודאליים הוא דרך מבטיחה להבין את התפקיד של אינטראקציות חברתיות בהגדרות חינוכיות. נייר זה מתאר מתודולוגיה עבור לכידת תשומת לב חזותית משותפת מתוך דיאדת ממוקם באמצעות מעוקבים העין ניידים.
Abstract
עם הופעתו של פיתוחים טכנולוגיים חדשים, ניתן ללמוד אינטראקציות חברתיות במיקרורמה עם דיוק חסר תקדים. חיישנים בתדר גבוה, כגון עוקבים אחר העיניים, להקות הפעילות האלקטרועורי, להקות EEG, וחיישני תנועה מספקים תצפיות ברמת מילי-שניה. רמת דיוק זו מאפשרת לחוקרים לאסוף מערכות נתונים גדולות על אינטראקציות חברתיות. במאמר זה, אני דן כיצד מספר עוקבים העין יכולים ללכוד מבנה בסיסי באינטראקציות חברתיות, תשומת לב חזותית משותפת (JVA). JVA נחקרה על ידי פסיכולוגים התפתחותיים כדי להבין כיצד ילדים רוכשים שפה, מדענים לומדים להבין כיצד קבוצות קטנות של לומדים לעבוד יחד, מדענים חברתיים להבין אינטראקציות בקבוצות קטנות. נייר זה מתאר מתודולוגיה עבור לכידת JVA בהגדרות ממוקם באמצעות מעוקבים העין ניידים. היא מציגה כמה תוצאות אמפירית ודנה בהשלכות של לכידת מיקרו-תצפיות כדי להבין אינטראקציות חברתיות.
Introduction
JVA כבר נחקרו בהרחבה במהלך המאה האחרונה, במיוחד על ידי פסיכולוגים התפתחותיים ללמוד רכישת שפה. זה הוקם במהירות כי תשומת לב משותפת היא יותר מסתם דרך ללמוד מילים אלא מבשר מראש לתיאוריות של הילדים של המוח1. לפיכך, היא ממלאת תפקיד משמעותי בתהליכים חברתיים רבים, כגון תקשורת עם אחרים, שיתוף פעולה ופיתוח אמפתיה. ילדים אוטיסטים, למשל, חוסר יכולת לתאם את תשומת הלב החזותית שלהם עם המטפלים שלהם, אשר קשורה לליקויים חברתיים משמעותיים2. בני האדם זקוקים לתשומת לב משותפת כדי להפוך לחברים פונקציונליים של החברה, לתאם את פעולותיהם וללמוד מאחרים. מילדים הרוכשים את המילים הראשונות שלהם, בני נוער לומדים ממורי בית ספר, סטודנטים המשתפים פעולה בפרויקטים, ולקבוצות של מבוגרים העובדים למען מטרות משותפות, תשומת לב משותפת היא מנגנון בסיסי להקמת הקרקע המשותפת בין היחידים3. במאמר זה, אני מתמקד במחקר של JVA במחקר חינוכי. הבנת אופן הטיפול המשותף במשך הזמן היא בעלת חשיבות עיקרית לחקר תהליכי למידה משותפים. ככזה, הוא משחק תפקיד דומיננטי בהגדרות הסוציוביסטית.
ההגדרה המדויקת לתשומת לב משותפת עדיין נדונהבארבע. נייר זה מודאג עם מבנה משנה של תשומת לב משותפת (JA), כלומר JVA. JVA קורה כאשר שני נושאים מסתכלים באותו מקום בו זמנית. יצוין כי JVA אינו מספק כל מידע על מבנים חשובים אחרים של עניין במחקר של JA, כגון ניטור משותף, הדדית, תשומת לב משותפת, או יותר באופן כללי, מודעות של הכרה של חבר אחר בקבוצה. נייר זה מבצע הפעלה ומפשט את JVA על ידי שילוב נתוני מעקב אחר העין משני משתתפים וניתוח התדר שבו הם מיישר את הביט שלהם. לדיון מקיף יותר, הקורא המעוניין יכול ללמוד עוד על חקר המבנה של ה-JA בסיפוסואט אל.4.
במהלך העשור האחרון, ההתקדמות הטכנולוגית הפכה באופן קיצוני למחקר על JVA. משמרת הפרדיגמה העיקרית הייתה להשתמש במספר עוקבים כדי להשיג מדדים כמותיים של המערכים האטתיים, בניגוד לניתוח הקלטות וידאו ובקרה במעבדה או בסביבה אקולוגית. התפתחות זו אפשרה לחוקרים לאסוף מידע מדויק ומפורט על תיאום חזותי של לסביות. בנוסף, עוקבים העין הופכים סבירים יותר: עד לאחרונה, השימוש שלהם שמורה הגדרות אקדמיות או תאגידים גדולים. כעת ניתן לרכוש מעוקבים העין זול שיוצרים מערכות נתונים אמין. לבסוף, את ההכללה הפרוגרסיבית של יכולות מעקב המבט לתוך התקנים קיימים כמו מחשבים נישאים high-end ו-אוזניות מציאות וירטואלית ורבודה מציע כי מעקב אחר העין בקרוב יהיה בכל מקום.
בגלל הפופולריזציה של מכשירי מעקב אחר עיניים, חשוב להבין מה הם יכולים ולא יכול לספר לנו על אינטראקציות חברתיות. המתודולוגיה המוצגת במאמר זה מסמנת צעד ראשון בכיוון זה. אני מטפל בשני אתגרים בלכידת JVA ממספר עוקבים: סנכרון הנתונים ב-1) הסולם הזמני, ו -2 בקנה מידה מרחבי. באופן ספציפי יותר, פרוטוקול זה עושה שימוש fiducial סמנים ממוקמים בסביבות העולם האמיתי כדי ליידע את האלגוריתמים לראיית מחשב שבו המשתתפים מורידים את המבט. סוג חדש זה של מתודולוגיה מפחית את הדרך לניתוח קפדני של התנהגות אנושית בקבוצות קטנות.
פרוטוקול מחקר זה תואם את ההנחיות של ועדת האתיקה של המחקר האנושי באוניברסיטת הרווארד.
Protocol
Representative Results
Discussion
המתודולוגיה המתוארת במאמר זה מספקת דרך קפדנית ללכוד JVA בתוך dyads ממוקם. עם הופעתה של טכנולוגיית חישה במחיר סביר ואלגוריתמים משופרים לראיית המחשב, כעת ניתן ללמוד אינטראקציות שיתופיות עם דיוק שהיה לא זמין בעבר. מתודולוגיה זו ממנפת סמנים fiducial המופץ בסביבה ומשתמשת הומוגרפיות כדרך למיפוי מחדש ?…
Declarações
The authors have nothing to disclose.
Acknowledgements
פיתוח מתודולוגיה זו נתמך על ידי הקרן הלאומית למדע (NSF #0835854), טכנולוגיות הבית המובילות לחינוך לייעוד, הממומן על ידי מזכירות המדינה השווייצרית לחינוך, מחקר וחדשנות, וקרן החינוך הממלכתי של בית הספר של הרווארד.
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
Referências
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
