שילוב נתוני מעקב אחר עיניים באמצעות ניתוח של תוכן וידאו מחינם-צפייה בסרטון וידאו של טיול בסביבה של פארק עירוני
Summary
מטרת הפרוטוקול היא לפרט כיצד לאסוף נתוני וידאו לשימוש במעבדה; כיצד להקליט נתוני מעקב אחר עיניים של משתתפים התבוננות בנתונים וכיצד לנתח ביעילות את התוכן של קטעי וידאו שהם מחפשים באמצעות טכניקת לימוד מכונה.
Abstract
כמו אנשים חיים יותר ויותר בערים, שיטות ללמוד את התנועות היומיומיות שלהם ואת הנתונים שניתן לאסוף הופך חשוב ויקר. אינפורמטיקה מעקב אחר העין ידועים להתחבר למגוון של רגשות, תנאי בריאות, מצבים נפשיים ופעולות. אבל מכיוון שחזון הוא תוצאה של תנועות עיניים מתמדת, להקניט מה חשוב ממה שרעש הוא מורכב ומידע אינטנסיבי. יתרה מזאת, אתגר משמעותי הוא שליטה על מה שאנשים מסתכלים לעומת מה שמוצג להם.
הבאים מציגים מתודולוגיה לשילוב וניתוח של מעקב אחר העיניים בווידאו של סצנה טבעית ומורכבת עם טכניקת למידה ממוחשבת לניתוח תוכן הווידאו. בפרוטוקול אנו מתמקדים בניתוח נתונים מסרטוני וידאו שצולמו, כיצד ניתן להשתמש בווידאו כדי להקליט את נתוני מעקב העיניים של המשתתפים, ולחשוב על האופן שבו ניתן לנתח את תוכן הווידאו ולשלבו עם נתוני המעקב אחר העין. אנו מציגים תקציר קצר של התוצאות ודיון בפוטנציאל השיטה למחקרים נוספים בסביבות מורכבות.
Introduction
החוויות היומיומיות שלנו בסביבות עירוניות משפיעות מאוד על הבריאות והרווחה שלנו. הרווחה שלנו יכולה להיות תלויה בכמות החללים הירוקים שאנו רואים וחווים1,2,3, ותצוגות אלה ניתן לכמת באמצעות ציוד מעקב אחר העין כדי להנחות את קבלת החלטות בנוגע לעיצוב הפארק. עם זאת, מתעוררת בעיה עם הנפח של נתוני מעקב אחר העין הנוצרת ומקבלת תחושה של נתונים אלה. כאשר הציוד להקלטת הנתונים מבט במעבדה או הגדרה טבעית הופך להיות קל יותר לשימוש וחזק יותר, החוקרים צריכים לשקול כיצד נוכל לאסוף ולנתח נתונים ובאופן מוחלט כדי לעזור עם שאלות לקבלת ההחלטות.
עד כה, מחקר מחקרי עיניים רב השתמש בתצלומים בסקר או בקביעת מעבדה4. בעוד מתודולוגיה זו מאפשרת מידה רבה של שליטה והקפדה על תוצאות, זה לא יכול לנצל את ההתקדמות העדכנית ביותר בטכנולוגיה מעקב העין הכוללים את השימוש וידאו לבישים מעוקבים העין ניידים. יתר על כן, היינו טוענים כי הפעולה של הליכה ורוגע הוא בהכרח דינמי במיוחד כאשר מונחה לקראת משימה כגון למצוא5. לכן הבנה מדעית מלאה של הגדרות אלה צריכה להתרחש מחוץ למעבדה. עם זאת, כרגע, מעקב אחר העין במסגרת המציאות הטבעית הופך את השוואת החוויה בין הנושאים לקשה מאוד. לדוגמה, אם היינו רוצים להשוות בין אם המשיב האחד מסתכל על עצים יותר מאשר אחר, כיצד יכולנו לשלוט על העובדה שנקודת המבט שלהם תהיה משתנה ללא הרף לעומת אחרים או שהראש שלהם אולי התהפך. ניתוח מפורט בתנאים אלה הוא כמעט בלתי אפשרי עם טכניקות ניתוח נוכחיות. היינו טוענים כי חשוב לשלוט על אזורי הצפייה הזמינים לאדם ללמוד בניתוח כדי להיות מסוגל להסביר את הסצינה הכוללת הנצפים בכל נקודה אחת בזמן.
יש סדרה של תיאוריות לקשר רמות הלחץ ותפיסות של בטיחות לנוף נוף התפתח היטב אמצעים של לחץ6,7. הייתה גם עלייה מהירה בתחכום של ציוד מעקב עיניים כדי למדוד מבט8. מעקב אחר העין חשוב מכיוון שתנועות עיניים לא רצוניות יכול להיות מחובר יותר באופן אמין להעדפה, מתח ואמצעים אחרים מסורתיים מאשר סקרים פולשנית, בדיקות פיזיולוגיות כגון רמות קורטיזול הרוק. מטרת מחקר זה היא לפתח כלים המאפשרים מדידה מדויקת יותר של נתוני מעקב אחר העין החלים על הגדרות טבעיות יותר, כדי לספק ראיות נוספות עבור או להפריך תיאוריות הנוף ארוכת הטווח אשר הודיעו על עיצוב הפארק עבור עשורים.
מטרת הפרויקט היא לפתח ולבדוק טכניקת ניתוח הרומן שיכולה ליצור נתונים רלוונטיים למעקב אחר עיניים עבור קטעי וידאו שונים של הליכה בפארק סימולציות. העבודה שלנו דיווחה כאן ובמקומות אחרים9 מייצגת נקודה בחצי הדרך בין הסביבה הטבעית של מערכת מעקב העין הניידת לחלוטין ומחקרי צילום מבוססי מעבדה המכונה לעיל. בפרט, אנו מתרכזים בשימוש בקטעי וידאו כחומר הגירוי, חקר כיצד ניתן להשתמש בחומר זה כדי לבחון את כמות הקסם שפארקים שונים יוצרים בעיר מלבורן. העבודה שלנו מבוססת על ההנחה כי ניתוח מפורט של קטעי וידאו הוא צעד הכרחי להפר לפני התחייבות מלאה, הערכה טבעית יותר של הפוטנציאל של פארקים כדי לספק שחזור מהלחץ.
במחקר זה, אנו המועסקים שולחן העבודה עין-גשש עם קטעי וידאו של טיולים בפארקים עירוניים וביקשו מהמשתתפים לדמיין שהם לוקחים הליכה רגועה דרך הפארק. אנו מתארים שיטה כדי לאפשר את משך הזמן שהמשתתפים בילו להסתכל על חפצים שונים להיות דומים בין הפארקים. לימודי שולחן העבודה בדרך כלל קלים יותר לשליטה בהשוואה למחקרי ET ניידים ולאפשר ניתוח השוואתי של כל נושא.
התוכנה הסטנדרטית למעקב אחר עיניים משתמשת בתחום הידני של כלי הריבית שבו למפעיל יש אפשרות לצייר באופן ידני גבולות סביב אובייקטים מעניינים בכל סצינה. הדבר מאפשר את משך הזמן שבו המשתתפים השקיעו בחיפוש אחר אובייקטים שונים לספירה אוטומטית. עבור נתוני וידאו, תהליך זה הוא אינטנסיבי העבודה וכפוף המפעיל סובייקטיביות ושגיאה. בגירסאות מאוחרות יותר של תוכנת ניתוח מעקב אחר עיניים, ניתן לעקוב אחר אובייקטים באופן אוטומטי בין מסגרות כאשר הם בגודל זהה בווידאו. זה שיפור, עם זאת, זה נועד רק כדי לשמש מספר קטן של גירויים בכל תמונה וכל תמונה יש לבדוק ואישר.
תיוג ידני של אובייקטים בתמונה נפוץ ונתמך על ידי תוכנת עריכת תמונות כגון תוכנית מניפולציה תמונה של גנו (GIMP). בהינתן כי 1 s מייצרת 30 מסגרות או תמונות, את התיוג הידני של קטעי וידאו אינו מעשי. בנוסף, התוויות AOI על ידי ציור מצולעים וקטור סביב הקצה של אובייקטים מורכבים כגון חופות עץ הוא זמן רב מאוד. לבסוף, כל עוד אפשר לחשב את גודל האובייקטים בשדה תצוגה באמצעות תיוג וקטורי, תכונה זו אינה זמינה כעת.
השיטה שאנו מדווחים עליה מטפלת במגבלות אלה. מחקר זה העסיק תוויות אוטומטי של אובייקטים. אפשרות זו מאפשרת שימוש בטכניקת עיבוד תמונה המוכרת כתוויות סמנטי, שבה לכל פיקסל בכל אחת ממסגרות הווידאו מוקצה תווית המציינת מחלקת אובייקט. למידה ממוחשבת משמשת להפקת מסווג פיקסל עבור כל מחלקת האובייקט של העניין. המותגים האלה מספקים תווית בעלת יכולת מיטבית לכל פיקסל (הידוע כפוטנציאלים אונאריים), אשר מעודנים לאחר מכן בתהליך מיטוב שלאחר מכן כדי להשיג את הפלט הסופי המסומנת בתווית. מידע מסווג זה מלמד גבולות של החלטות סטטיסטיות בין כל מחלקות אובייקטים במרחב של תכונות המחולצות מהתמונה, כולל מרקם, היסטוגרמה של כיוון קצוות, ערכי צבע RGB וקואורדינטות של תמונה מנורמלת. טכניקה מתאימה לכך מיושמת בארגז הכלים של למידה ממוחשבת של דרווין10 והיא מתוארת להלן.
Protocol
Representative Results
Discussion
באופן כללי, בחבילות תוכנה סטנדרטיות לניתוח נתוני מעקב אחר עיניים, נעשה שימוש בווקטור AOI. אפילו עבור תמונה בודדת, לא ניתן למדוד בקלות את גודל הווקטור. יתרה מזאת, כולל כל האואוס בתמונה וחישוב הכמויות היחסיות של האואוס הוא מפרך. כמעט בלתי אפשרי לעשות זאת באופן ידני על וידאו ללא טכניקת למידה מכו…
Disclosures
The authors have nothing to disclose.
Acknowledgements
עבודה זו היה נתמך כספית על ידי עיריית מלבורן וחלקית על ידי ARC DP 150103135. ברצוני להודות לאיאמאון Fennessy על העצה והגישה השיתופית שלו. בזכות מיוחדת לחוקר המסייע איזבל ג’צקי ואיתן חן, שסייעו גם הם לאסוף ולנתח נתונים אלה. כל השגיאות נשארות המחברים.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
