Combinando los datos de seguimiento ocular con un análisis de contenido de vídeo de la visualización gratuita de un vídeo de un paseo en un entorno de parque urbano
Summary
El objetivo del protocolo es detallar cómo recoger los datos de vídeo para su uso en el laboratorio; Cómo registrar los datos de seguimiento ocular de los participantes que analizan los datos y cómo analizar eficientemente el contenido de los videos que estaban buscando utilizando una técnica de aprendizaje automático.
Abstract
A medida que las personas viven cada vez más en las ciudades, los métodos para estudiar sus movimientos cotidianos y los datos que se pueden recopilar se vuelven importantes y valiosos. Se sabe que la informática de seguimiento ocular se conecta a una variedad de sentimientos, condiciones de salud, Estados mentales y acciones. Pero debido a que la visión es el resultado de movimientos oculares constantes, burlarse de lo que es importante de lo que es el ruido es complejo y consume muchos datos. Además, un desafío importante es el control de lo que la gente mira en comparación con lo que se les presenta.
A continuación se presenta una metodología para combinar y analizar el seguimiento ocular en un vídeo de una escena natural y compleja con una técnica de aprendizaje automático para analizar el contenido del vídeo. En el protocolo nos centramos en el análisis de datos de vídeos filmados, cómo se puede utilizar mejor un vídeo para registrar los datos de seguimiento ocular de los participantes y, lo que es más importante, cómo se puede analizar el contenido del vídeo y combinarlo con los datos de seguimiento ocular. Presentamos un breve resumen de los resultados y un análisis del potencial del método para estudios posteriores en entornos complejos.
Introduction
Nuestras experiencias cotidianas de ambientes urbanos impactan enormemente en nuestra salud y bienestar. Nuestro bienestar puede depender de la cantidad de espacios verdes que vemos y experimentamos1,2,3, y estas vistas se pueden cuantificar utilizando equipos de seguimiento ocular para guiar la toma de decisiones sobre el diseño de parques. Sin embargo, surge un problema con el volumen de datos de seguimiento ocular que se genera y que hace sentido de estos datos. Como el equipo para la grabación de datos de mirada en un laboratorio o entorno natural se vuelve más fácil de usar y más potente, los investigadores deben considerar cómo podemos recopilar y analizar datos válidamente para ayudar con las preguntas de toma de decisiones.
Hasta ahora, una gran cantidad de investigación de seguimiento ocular ha utilizado fotografías en una encuesta o configuración de laboratorio4. Si bien esta metodología permite una gran cantidad de reproducibilidad y control sobre los resultados, es incapaz de tomar ventaja de los últimos avances en la tecnología de seguimiento ocular que incluyen el uso de vídeo y Wearables móviles rastreadores de ojos. Además, argumentaremos que el acto de caminar y relajarse es necesariamente dinámico, especialmente cuando se orienta hacia una tarea como el señalización5. Por lo tanto, una comprensión totalmente científica de estos ajustes debe tener lugar fuera del laboratorio. Sin embargo, por el momento, el seguimiento ocular en un entorno naturalista de la vida real hace que comparar la experiencia entre sujetos sea muy difícil. Por ejemplo, si quisiéramos comparar si un encuestado mira los árboles más que otro, ¿cómo podríamos controlar por el hecho de que su punto de vista estaría cambiando constantemente en comparación con otros o que su cabeza podría haber cambiado. El análisis detallado en estas condiciones es casi imposible con las técnicas de análisis actuales. Argumentábamos que es importante controlar las áreas de visualización disponibles para el individuo que se estudia y en el análisis para poder tener en cuenta la escena total que se está viendo en un momento determinado.
Hay un conjunto de teorías que vinculan los niveles de estrés y las percepciones de seguridad a las vistas del paisaje y las medidas bien evolucionados del estrés6,7. También ha habido un rápido aumento en la sofisticación de los equipos de seguimiento ocular para medir la mirada8. El seguimiento ocular es importante porque los movimientos oculares involuntarios pueden estar conectados de forma más fiable a las preferencias, el estrés y otras medidas tradicionales que las encuestas y las pruebas fisiológicas intrusivas, como los niveles de cortisol salival. El objetivo de esta investigación es desarrollar herramientas que permitan una medición más precisa de los datos de seguimiento ocular aplicados a entornos más naturalistas, a fin de proporcionar más evidencia o refutar teorías del paisaje de larga data que han informado el diseño del parque para Décadas.
El objetivo de este proyecto es desarrollar y probar una novedosa técnica de análisis que pueda generar datos de seguimiento ocular relevantes para diferentes videos de simulaciones de paseo en el parque. Nuestro trabajo reportado aquí y en otros lugares9 representa un punto medio entre la configuración naturalista de un sistema de seguimiento ocular completamente móvil y los estudios fotográficos basados en el laboratorio mencionados anteriormente. En particular, nos concentramos en el uso de videos como material de estímulo, explorando cómo este material puede ser utilizado para probar la cantidad de fascinación que los diferentes parques generan en la ciudad de Melbourne. Nuestro trabajo se basa en la suposición de que el análisis detallado de los videos es un paso necesario para romper antes de emprender una evaluación más completa y naturalista del potencial de los parques para proporcionar restauración del estrés.
En este estudio, empleamos un rastreador de ojos de escritorio con videos de caminatas a través de parques urbanos y pedimos a los participantes que se imaginen que estaban tomando un relajante paseo por un parque. Describimos un método para permitir la cantidad de tiempo que los participantes pasaron mirando diferentes objetos para ser comparables entre los parques. Los estudios de escritorio son generalmente más fáciles de controlar en comparación con los estudios de ET móviles y permiten el análisis comparativo de cada asignatura.
El software de seguimiento ocular estándar utiliza una herramienta de área de interés manual en la que un operador puede dibujar manualmente los límites alrededor de los objetos de interés en cada escena. Esto permite la cantidad de tiempo que los participantes pasaron mirando a diferentes objetos para ser contados automáticamente. Para los datos de vídeo, este proceso es intensivo en mano de obra y está sujeto a la subjetividad y error del operador. En versiones posteriores del software de análisis de seguimiento ocular, los AOIs pueden rastrear automáticamente objetos entre fotogramas cuando tienen el mismo tamaño en el vídeo. Esto es una mejora, sin embargo, esto sólo está destinado a ser utilizado para un pequeño número de estímulos en cada imagen y cada imagen debe ser comprobado y confirmado.
El etiquetado manual de objetos en una imagen es común y está soportado por un software de edición de imágenes como GNU Image Manipulprogram (GIMP). Dado que 1 s produce 30 fotogramas o imágenes, el etiquetado manual de los vídeos es poco práctico. Además, el etiquetado de AOI dibujando polígonos vectoriales alrededor del borde de objetos complejos, como los toldos de árboles, consume mucho tiempo. Por último, aunque es posible calcular el tamaño de los objetos en un campo de visión mediante el etiquetado vectorial, esta característica no está disponible actualmente.
El método que se informa a continuación se ocupa de estas limitaciones. Este estudio empleó el etiquetado automático de objetos. Esto es posible utilizando una técnica de procesamiento de imágenes conocida como etiquetado semántico, en la que cada píxel de cada fotograma del vídeo tiene asignada una etiqueta que indica una clase de objeto. El aprendizaje automático se utiliza para derivar clasificadores de píxeles para cada clase de objeto de interés. Estos clasificadores proporcionan una etiqueta probabilística para cada píxel (conocido como potencialidades unarias), que luego se refinan en un proceso de optimización posterior para lograr la salida etiquetada final. Estos clasificadores aprenden los límites de las decisiones estadísticas entre cada clase de objeto en el espacio de las entidades extraídas de la imagen, incluida la textura, el histograma de las orientaciones de borde, los valores de color RGB y las coordenadas de imagen normalizadas. Una técnica apropiada para esto se implementa en la caja de herramientas de aprendizaje máquina de DARWIN10 y se describe a continuación.
Protocol
Representative Results
Discussion
En general, en los paquetes de software estándar para el análisis de los datos de seguimiento ocular, se utiliza un vector AOI. Incluso para una sola imagen fija, el tamaño del vector no se puede medir fácilmente. Además, incluir todos los AOIs en una imagen y calcular las cantidades relativas de AOIs es laborioso. Es casi imposible hacer esto manualmente en un video sin una técnica de aprendizaje automático como el descrito. Esta fue una declaración relativamente simple que infiera una situación de visualizaci?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Este trabajo fue apoyado financieramente por la ciudad de Melbourne y parcialmente por ARC DP 150103135. Nos gustaría agradecer a Eamonn Fennessy por su Consejo y enfoque colaborativo. Con especial agradecimiento a los asistentes investigadores Isabelle Janecki y Ethan Chen quienes también ayudaron a recopilar y analizar estos datos. Todos los errores siguen siendo los autores.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
