الجمع بين بيانات تتبع العين مع تحليل محتوي الفيديو من مجانا-مشاهده فيديو للمشي في بيئة الحديقة الحضرية
Summary
والهدف من البروتوكول هو تفصيل كيفيه جمع بيانات الفيديو لاستخدامها في المختبر ؛ كيفيه تسجيل بيانات تتبع العين للمشاركين الذين يبحثون في البيانات وكيفيه تحليل محتوي مقاطع الفيديو التي كانوا يبحثون فيها باستخدام تقنيه تعلم آلات بكفاءة.
Abstract
وبما ان الافراد يعيشون بشكل متزايد في المدن ، فان أساليب دراسة تحركاتهم اليومية والبيانات التي يمكن جمعها تصبح مهمة وقيمه. ومن المعروف ان المعلوماتية تتبع العين للتواصل مع مجموعه من المشاعر, الظروف الصحية, الحالات العقلية والإجراءات. ولكن لان الرؤية هي نتيجة لحركات العين المستمرة ، وأغاظه ما هو مهم من ما هو الضجيج معقده والبيانات المكثفة. وعلاوة علي ذلك ، هناك تحد كبير يتمثل في السيطرة علي ما ينظر اليه الناس مقارنه بما يقدم لهم.
وفيما يلي منهجيه للجمع بين وتحليل تتبع العين علي شريط فيديو للمشهد الطبيعي والمعقد مع تقنيه التعلم الألى لتحليل محتوي الفيديو. في البروتوكول نركز علي تحليل البيانات من أشرطه الفيديو المصورة ، وكيف يمكن استخدام الفيديو علي أفضل وجه لتسجيل بيانات تتبع العين للمشاركين ، والاهم كيف يمكن تحليل محتوي الفيديو ودمجه مع بيانات تتبع العين. ونقدم ملخصا موجزا للنتائج ومناقشه لإمكانيات الطريقة لاجراء مزيد من الدراسات في البيئات المعقدة.
Introduction
ان تجاربنا اليومية التي نعيشها في البيئات الحضرية تؤثر بشكل كبير علي صحتنا ورفاهيتنا. ويمكن لرفاهيتنا ان تعتمد علي كميه المساحات الخضراء التي نري ونختبرها1،2،3، ويمكن قياس هذه الآراء باستخدام معدات تتبع العين لتوجيه صنع القرار حول تصميم المتنزه. ومع ذلك ، تنشا مشكله مع حجم بيانات تتبع العين التي يتم إنشاؤها والشعور بهذه البيانات. وبما ان المعدات اللازمة لتسجيل بيانات البصر في المختبر أو الاعداد الطبيعي تصبح أسهل في الاستخدام وأكثر قوه ، يحتاج الباحثون إلى النظر في كيفيه جمع وتحليل البيانات بشكل صحيح للمساعدة في الاسئله المتعلقة بصنع القرار.
حتى الآن ، وقد استخدمت قدرا كبيرا من البحوث تتبع العين الصور في مسح أو مختبر الاعداد4. في حين ان هذه المنهجية تسمح لقدر كبير من الاستنساخ والسيطرة علي النتائج ، فانها غير قادره علي الاستفادة من أحدث التطورات في تكنولوجيا تتبع العين التي تشمل استخدام الفيديو ويمكن ارتداؤها المحمولة بتتبع العين. وعلاوة علي ذلك ، فاننا نقول ان العمل من المشي والاسترخاء هو بالضرورة ديناميكية وخاصه عندما توجه نحو مهمة مثل الطريق5. ولذلك فان الفهم العلمي الكامل لهذه الإعدادات ينبغي ان يتم خارج المختبر. ومع ذلك ، في الوقت الراهن ، فان تتبع العين في بيئة طبيعيه واقعيه يجعل مقارنه التجربة بين المواضيع صعبه للغاية. علي سبيل المثال ، إذا أردنا مقارنه ما إذا كان أحد المجيبين ينظر إلى الأشجار أكثر من الآخر ، كيف يمكننا التحكم في حقيقة ان وجهه نظرهم ستتغير باستمرار بالمقارنة مع الآخرين أو ان رؤوسهم قد انقلبت. تحليل مفصل في هذه الظروف يكاد يكون من المستحيل مع تقنيات التحليل الحالية. ونحن نقول انه من المهم السيطرة علي مناطق المشاهدة المتاحة للفرد الذي يجري دراسته وفي التحليل ليكون قادرا علي حساب المشهد الإجمالي الذي ينظر اليه في اي نقطه زمنيه واحده.
هناك مجموعه من النظريات التي تربط بين مستويات التوتر والتصورات للسلامة لمناظر طبيعيه ومقاييس متطورة من الإجهاد6,7. وكانت هناك أيضا زيادة سريعة في تطور معدات تتبع العين لقياس البصر8. تتبع العين أمر مهم لان حركات العين غير الطوعية قد تكون مرتبطة بشكل أكثر موثوقيه بالتفضيل والإجهاد وغيرها من الإجراءات التقليدية من المسوحات والاختبارات الفسيولوجية التدخلية مثل مستويات الكورتيزول اللعابية. والهدف من هذا البحث هو تطوير الاداات التي تمكن من قياس أدق لبيانات تتبع العين المطبقة علي المزيد من الإعدادات الطبيعية ، وذلك لتقديم المزيد من الادله علي أو دحض نظريات المناظر الطبيعية القديمة التي قامت بتصميم المتنزه عقود.
الهدف من هذا المشروع هو تطوير واختبار تقنيه تحليل جديده يمكن ان تولد البيانات المناسبة لتعقب العين لأشرطه الفيديو المختلفة من محاكاة المشي بارك. ويمثل عملنا الذي تم الإبلاغ عنه هنا وفي أماكن أخرى9 نقطه في منتصف الطريق بين الوضع الطبيعي لنظام تتبع العين المتنقل بالبالكامل ودراسات الصور المستندة إلى المختبر المشار اليها أعلاه. علي وجه الخصوص ، ونحن نركز علي استخدام أشرطه الفيديو والمواد التحفيزية ، واستكشاف كيف يمكن استخدام هذه المواد لاختبار كميه من السحر ان الحدائق المختلفة التي تولد في مدينه ملبورن. ويستند عملنا علي افتراض ان التحليل المفصل لأشرطه الفيديو هو خطوه ضرورية للإخلال قبل القيام بتقييم اوفي وأكثر طبيعيه لإمكانات الحدائق لتوفير استعاده من الإجهاد.
في هذه الدراسة ، استخدمنا جهاز كمبيوتر سطح المكتب تعقب العين مع أشرطه الفيديو من المشي من خلال الحدائق الحضرية وطلبت من المشاركين ان يتصوروا انهم كانوا ياخذون نزهه الاسترخاء من خلال حديقة. نقوم بوصف طريقه للسماح بمقدار الوقت الذي أنفقه المشاركون في البحث عن كائنات مختلفه لتكون قابله للمقارنة بين الحدائق. الدراسات المكتبية هي أسهل عموما للسيطرة مقارنه مع الدراسات المتنقلة ET والسماح التحليل المقارن لكل موضوع.
تستخدم برمجيات تتبع العين القياسية أداه مجال الاهتمام اليدوية التي يمكن للمشغل فيها رسم الحدود يدويا حول الأشياء ذات الاهميه في كل مشهد. يتيح ذلك مقدار الوقت الذي يقضيه المشاركون في البحث عن كائنات مختلفه ليتم حسابها تلقائيا. النسبة لبيانات الفيديو ، فان هذه العملية كثيفه العمالة وتخضع لذاتية المشغل والخطا. في الإصدارات اللاحقة من برنامج تحليل تتبع العين ، يمكن ل AOIs تعقب الكائنات تلقائيا عبر الإطارات عندما تكون بنفس الحجم في الفيديو. هذا هو التحسن ، ومع ذلك ، وهذا هو المقصود فقط لاستخدامها لعدد قليل من المحفزات في كل صوره ويجب ان يتم فحص كل صوره وتاكيدها.
الوسم اليدوي للكائنات في صوره أمر شائع ويدعمه برنامج تحرير الصور مثل برنامج التلاعب بالصور غنو (الأعرج). النظر إلى ان 1 s تنتج 30 إطارات أو الصور ، والوسم اليدوي لأشرطه الفيديو غير عملي. الاضافه إلى ذلك ، فان وضع العلامات بواسطة المضلعات المتجهة حول حافه الأجسام المعقدة مثل الستائر الشجرية يستغرق وقتا طويلا. وأخيرا ، في حين انه من المتصور انه من الممكن حساب حجم الأجسام في مجال الرؤية باستخدام وسم النواقل ، فان هذه الميزة غير متاحه حاليا.
الطريقة التي نقوم بالإبلاغ عنها أدناه تتعامل مع هذه القيود. استخدمت هذه الدراسة الوسم التلقائي للكائنات. وهذا ممكن باستخدام تقنيه معالجه الصور المعروفة باسم العلامات الدلالية ، حيث يتم تعيين كل بيكسل في كل اطار من الفيديو علي تسميه تشير إلى فئة كائن. يتم استخدام التعلم الألى لاشتقاق مصنفات بكسل لكل فئة كائن من الاهتمام. توفر هذه المصنفات تسميه احتماليه لكل بيكسل (المعروفة بالإمكانات الاحاديه) ، والتي يتم صقلها بعد ذلك في عمليه تحسين لاحقه لتحقيق الناتج النهائي المسمي. هذه مصنفات تعلم حدود القرارات الاحصائيه بين كل فئة من فئات الكائنات في مساحة المعالم المستخرجة من الصورة ، بما في ذلك الملمس ، والرسم البياني لاتجاات الحواف ، وقيم ألوان RGB ، وإحداثيات الصورة التي تم تطبيعها. ويتم تنفيذ تقنيه مناسبه لهذا الأمر في مربع أدوات التعلم اله داروين10 ويرد أدناه.
Protocol
Representative Results
Discussion
بشكل عام ، في حزم البرمجيات القياسية لتحليل بيانات تتبع العين ، يتم استخدام ناقل الحركة المتوسطة. حتى بالنسبة للصورة الثابتة المفردة ، لا يمكن قياس حجم المتجه بسهوله. وعلاوة علي ذلك ، بما في ذلك جميع AOIs في صوره وحساب الكميات النسبية من AOIs شاقه. يكاد يكون من المستحيل القيام بذلك يدويا علي ال?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
وكان هذا العمل مدعوما ماليا من قبل مدينه ملبورن وجزئيا من قبل ARC موانئ دبي 150103135. ونود ان نشكر ايامونن فنيسي علي مشورته ونهجه التعاوني. وبفضل خاص لمساعدي الباحث ايزابيل جانيكي وإيثان تشن الذين ساعدوا أيضا في جمع وتحليل هذه البيانات. تبقي كافة الأخطاء المؤلفين.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
