Combiner les données de suivi des yeux avec une analyse du contenu vidéo à partir de Free-visualisation d’une vidéo d’une promenade dans un environnement de parc urbain
Summary
L’objectif du protocole est de détailler Comment collecter des données vidéo à utiliser en laboratoire; Comment enregistrer les données de suivi oculaire des participants qui regardent les données et comment analyser efficacement le contenu des vidéos qu’ils cherchaient à utiliser une technique d’apprentissage automatique.
Abstract
Comme les individus vivent de plus en plus dans les villes, les méthodes pour étudier leurs mouvements quotidiens et les données qui peuvent être collectées devient important et précieux. L’informatique de suivi des yeux est connue pour se connecter à une gamme de sentiments, les conditions de santé, les États mentaux et les actions. Mais parce que la vision est le résultat de mouvements oculaires constants, taquiner ce qui est important de ce qui est le bruit est complexe et les données intensives. En outre, un défi important consiste à contrôler ce que les gens regardent par rapport à ce qui leur est présenté.
Ce qui suit présente une méthodologie pour combiner et analyser le suivi des yeux sur une vidéo d’une scène naturelle et complexe avec une technique d’apprentissage automatique pour analyser le contenu de la vidéo. Dans le protocole, nous nous concentrons sur l’analyse des données à partir de vidéos filmées, comment une vidéo peut être mieux utilisé pour enregistrer les données de suivi oculaire des participants, et surtout comment le contenu de la vidéo peut être analysé et combiné avec les données de suivi des yeux. Nous présentons un bref résumé des résultats et une discussion sur le potentiel de la méthode pour d’autres études dans des environnements complexes.
Introduction
Nos expériences quotidiennes d’environnements urbains ont un impact considérable sur notre santé et notre bien-être. Notre bien-être peut dépendre de la quantité d’espaces verts que nous avons vue et de l’expérience1,2,3, et ces vues peuvent être quantifiées à l’aide de l’équipement de suivi des yeux pour guider la prise de décision sur la conception du parc. Cependant, un problème survient avec le volume des données de suivi des yeux qui est générée et qui rend le sens de ces données. Comme l’équipement pour l’enregistrement des données de regard dans un laboratoire ou un environnement naturel devient plus facile à utiliser et plus puissant, les chercheurs doivent examiner comment nous pouvons collecter et analyser les données validement pour aider à des questions de prise de décision.
Jusqu’à présent, une grande partie de la recherche sur le suivi des yeux a utilisé des photographies dans un cadre de sondage ou de laboratoire4. Bien que cette méthodologie permette une grande reproductibilité et un contrôle sur les résultats, elle ne peut pas tirer parti des dernières avancées dans la technologie de suivi des yeux qui incluent l’utilisation de la vidéo et portable mobile Eye-trackers. En outre, nous affirons que l’acte de marche et de détente est nécessairement dynamique, surtout lorsqu’il est orienté vers une tâche telle que le orientation5. Par conséquent, une compréhension entièrement scientifique de ces paramètres devrait avoir lieu en dehors du laboratoire. Cependant, pour le moment, le suivi des yeux dans un cadre naturaliste de la vie réelle rend la comparaison de l’expérience entre les sujets très difficile. Par exemple, si nous voulions comparer si un répondant regarde les arbres plus qu’un autre, comment pourrions-nous contrôler le fait que leur point de vue serait en constante évolution par rapport à d’autres ou que leur tête pourrait avoir tourné. Une analyse détaillée dans ces conditions est presque impossible avec les techniques d’analyse actuelles. Nous soutenons qu’il est important de contrôler les zones d’observation à la disposition de la personne étudiée et, dans l’analyse, de pouvoir tenir compte de la scène totale qui est visualisée à un moment donné.
Il existe un ensemble de théories reliant les niveaux de stress et les perceptions de la sécurité aux vues paysagères et aux mesures bien évoluées du stress6,7. Il y a également eu une augmentation rapide de la sophistication de l’équipement de suivi oculaire pour mesurer le regard8. Le suivi des yeux est important parce que les mouvements oculaires involontaires peuvent être reliés de manière plus fiable à la préférence, au stress et à d’autres mesures traditionnelles que les enquêtes et les tests physiologiques intrusifs tels que les niveaux de cortisol salivaire. L’objectif de cette recherche est de développer des outils qui permettent une mesure plus précise des données de suivi oculaire appliquées à des contextes plus naturalistes, afin de fournir des preuves supplémentaires ou de réfuter les théories du paysage de longue date qui ont éclairé la conception du parc pour Décennies.
Le but de ce projet est de développer et de tester une nouvelle technique d’analyse qui peut générer des données pertinentes de suivi des yeux pour différentes vidéos de simulations de promenade de parc. Notre travail rapporté ici et ailleurs9 représente un point à mi-chemin entre le cadre naturaliste d’un système de suivi des yeux entièrement mobile et les études de photo en laboratoire mentionnées ci-dessus. En particulier, nous nous concentrons sur l’utilisation de vidéos comme matériau de stimulation, en explorant comment ce matériel peut être utilisé pour tester la quantité de fascination que les différents parcs génèrent dans la ville de Melbourne. Notre travail est basé sur l’hypothèse que l’analyse détaillée des vidéos est une étape nécessaire pour violer avant d’entreprendre une évaluation plus complète et plus naturaliste du potentiel des parcs pour fournir la restauration du stress.
Dans cette étude, nous avons employé un Eye-Tracker de bureau avec des vidéos de promenades dans les parcs urbains et a demandé aux participants d’imaginer qu’ils prenaient une promenade relaxante à travers un parc. Nous décrivons une méthode permettant de prévoir le temps que les participants ont passé à examiner différents objets pour être comparables entre les parcs. Les études de bureau sont généralement plus faciles à contrôler par rapport aux études mobiles et permettent une analyse comparative de chaque sujet.
Le logiciel standard de suivi des yeux utilise un outil de zone d’intérêt manuel dans lequel un opérateur peut tracer manuellement des limites autour des objets d’intérêt dans chaque scène. Cela permet de compter le temps que les participants ont passé à examiner différents objets pour être automatiquement comptés. Pour les données vidéo, ce processus est intensif en main-d’œuvre et soumis à la subjectivité et à l’erreur de l’opérateur. Dans les versions ultérieures du logiciel d’analyse de suivi des yeux, AOIs peut automatiquement suivre les objets à travers les trames quand ils sont de la même taille dans la vidéo. Il s’agit d’une amélioration, cependant, ce n’est destiné à être utilisé pour un petit nombre de stimuli dans chaque image et chaque image doit être vérifiée et confirmée.
L’étiquetage manuel des objets dans une image est commun et pris en charge par le logiciel d’édition d’images tel que GNU Image Manipulation Program (GIMP). Etant donné que 1 s produit 30 trames ou images, l’étiquetage manuel des vidéos n’est pas pratique. En outre, l’étiquetage AOI en dessinant des polygones vectoriels autour du bord d’objets complexes tels que les auvents d’arbres est très long. Enfin, bien qu’il soit possible de calculer la taille des objets dans un champ de vision à l’aide de l’étiquetage vectoriel, cette fonctionnalité n’est pas disponible actuellement.
La méthode que nous rapmettons ci-dessous traite de ces limitations. Cette étude a utilisé l’étiquetage automatique des objets. Ceci est possible à l’aide d’une technique de traitement d’image connue sous le nom d’étiquetage sémantique, dans laquelle chaque pixel de chaque image de la vidéo reçoit une étiquette indiquant une classe d’objet. L’apprentissage automatique est utilisé pour dériver des classificateurs de pixel pour chaque classe d’objet d’intérêt. Ces classificateurs fournissent une étiquette probabiliste pour chaque pixel (connu sous le nom de potentiels unaires), qui sont ensuite affinées dans un processus d’optimisation ultérieur pour obtenir la sortie étiquetée finale. Ces classificateurs apprennent les limites de décision statistique entre chaque classe d’objet dans l’espace des entités extraites de l’image, y compris la texture, l’histogramme des orientations de périphérie, les valeurs de couleur RVB et les coordonnées d’image normalisées. Une technique appropriée pour cela est implémentée dans la boîte à outils de machine learning de DARWIN10 et est décrite ci-dessous.
Protocol
Representative Results
Discussion
Généralement, dans les progiciels standard pour l’analyse des données de suivi oculaire, un vecteur AOI est utilisé. Même pour une seule image fixe, la taille du vecteur ne peut pas être facilement mesurée. En outre, y compris tous les AOIs dans une image et le calcul des quantités relatives d’AOIs est laborieux. Il est presque impossible de le faire manuellement sur une vidéo sans une technique d’apprentissage machine telle que celle décrite. Il s’agit d’une déclaration relativement simple qui dédu…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Ce travail a été financé financièrement par la ville de Melbourne et en partie par l’ARC DP 150103135. Nous aimerions remercier Eamonn Fennessy pour son Conseil et son approche collaborative. Avec des remerciements particuliers aux assistants chercheurs Isabelle Janecki et Ethan Chen qui ont également aidé à collecter et à analyser ces données. Toutes les erreurs demeurent les auteurs.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
