Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano
Summary
O objetivo do protocolo é detalhar como coletar dados de vídeo para uso em laboratório; como gravar dados de rastreamento de olhos dos participantes olhando para os dados e como analisar eficientemente o conteúdo dos vídeos que eles estavam olhando para usar uma técnica de aprendizado de máquina.
Abstract
Como os indivíduos vivem cada vez mais nas cidades, os métodos para estudar seus movimentos diários e os dados que podem ser recolhidos tornam-se importantes e valiosos. Olho-Tracking informática são conhecidos para se conectar a uma gama de sentimentos, condições de saúde, Estados mentais e ações. Mas porque a visão é o resultado de constantes movimentos oculares, provocando o que é importante do que é o ruído é complexo e intensivo de dados. Além disso, um desafio significativo é controlar o que as pessoas olham em comparação com o que lhes é apresentado.
A seguir, apresentamos uma metodologia para combinar e analisar o rastreamento dos olhos em um vídeo de uma cena natural e complexa com uma técnica de aprendizado de máquina para analisar o conteúdo do vídeo. No protocolo, nos concentramos em analisar dados de vídeos filmados, como um vídeo pode ser melhor usado para registrar os dados de rastreamento dos participantes, e importante como o conteúdo do vídeo pode ser analisado e combinado com os dados de rastreamento de olhos. Apresentamos um breve resumo dos resultados e uma discussão sobre o potencial do método para estudos posteriores em ambientes complexos.
Introduction
Nossas experiências diárias de vida de ambientes urbanos impactam muito em nossa saúde e bem-estar. Nosso bem-estar pode depender da quantidade de espaços verdes que vemos e experimentamos1,2,3, e essas visões podem ser quantificadas usando equipamentos de rastreamento de olhos para orientar a tomada de decisão sobre o design do parque. No entanto, surge um problema com o volume de dados de rastreamento de olho que é gerado e que faz sentido desses dados. Como o equipamento para gravar dados do olhar em um laboratório ou ambiente natural torna-se mais fácil de usar e mais poderoso, os pesquisadores precisam considerar como podemos coletar e analisar dados validamente para ajudar com questões de tomada de decisão.
Até agora, uma grande quantidade de pesquisa de rastreamento de olho usou fotografias em uma pesquisa ou configuração de laboratório4. Embora esta metodologia permite uma grande quantidade de reprodutibilidade e controle sobre os resultados, é incapaz de tirar proveito dos últimos avanços na tecnologia de rastreamento de olho que incluem o uso de vídeo e wearable Eye-trackers móveis. Além disso, argumentamos que o ato de caminhar e relaxar é necessariamente dinâmico, especialmente quando orientado para uma tarefa como a wayfinding5. Conseqüentemente uma compreensão inteiramente científica destas configurações deve ocorrer fora do laboratório. No entanto, no momento, o rastreamento dos olhos em um cenário naturalista da vida real faz comparando a experiência entre os assuntos muito difícil. Por exemplo, se quiséssemos comparar se um entrevistado Olha para árvores mais do que outro, como poderíamos controlar para o fato de seu ponto de vista seria constantemente mudando em comparação com os outros ou que sua cabeça poderia ter virado. A análise detalhada nestas circunstâncias é quase impossível com técnicas atuais da análise. Nós argumentamos que é importante controlar as áreas de visualização disponíveis para o indivíduo que está sendo estudado e na análise para ser capaz de explicar a cena total que está sendo visto em qualquer um ponto no tempo.
Há um conjunto de teorias que ligam os níveis de estresse e as percepções de segurança às visões da paisagem e medidas bem evoluídas de estresse6,7. Houve também um rápido aumento na sofisticação do equipamento de rastreamento ocular para medir o olhar8. O rastreamento ocular é importante porque os movimentos oculares involuntários podem ser conectados de forma mais confiável à preferência, estresse e outras medidas tradicionais do que pesquisas e testes fisiológicos intrusivos, como níveis de cortisol salivares. O objetivo desta pesquisa é desenvolver ferramentas que permitam uma medição mais precisa dos dados de rastreamento dos olhos aplicados a ambientes mais naturalistas, de modo a fornecer mais evidências para ou refutar teorias de longa data que tenham informado o design do parque para Décadas.
O objetivo deste projeto é desenvolver e testar uma nova técnica de análise que possa gerar dados relevantes de rastreamento de olho para diferentes vídeos de simulações de caminhada no parque. Nosso trabalho relatado aqui e em outros lugares9 representa um ponto de meio caminho entre o cenário naturalista de um sistema de rastreamento de olho totalmente móvel e os estudos de fotografia baseados em laboratório referidos acima. Em particular, nos concentramos em usar vídeos como o material de estímulo, explorando como este material pode ser usado para testar a quantidade de fascínio que diferentes parques geram na cidade de Melbourne. Nosso trabalho é baseado no pressuposto de que a análise detalhada dos vídeos é um passo necessário para romper antes de empreender uma avaliação mais completa, mais naturalista do potencial dos parques para fornecer a restauração do stress.
Neste estudo, empregamos um desktop Eye-Tracker com vídeos de passeios através de parques urbanos e pediu aos participantes para imaginar que eles estavam fazendo um passeio relaxante através de um parque. Descrevemos um método para permitir a quantidade de tempo que os participantes gastaram observando diferentes objetos para serem comparáveis entre os parques. Os estudos do desktop são geralmente mais fáceis de controlar comparados aos estudos móveis do ET e permitem a análise comparativa de cada assunto.
O software de rastreamento de olhos padrão usa uma ferramenta de área de interesse manual na qual um operador pode desenhar manualmente limites em torno de objetos de interesse em cada cena. Isso permite que a quantidade de tempo que os participantes gasto observando objetos diferentes sejam contados automaticamente. Para os dados de vídeo, esse processo é trabalhoso e sujeito a subjetividade e erro do operador. Em versões posteriores do software de análise de rastreamento de olho, AOIs pode rastrear automaticamente objetos entre quadros quando eles são do mesmo tamanho no vídeo. Esta é uma melhoria, entretanto, esta é pretendida somente ser usada para um número pequeno de estímulos em cada imagem e cada imagem deve ser verific e confirmado.
A rotulagem manual de objetos em uma imagem é comum e suportada por software de edição de imagem, como o GNU Image manipulação Program (GIMP). Dado que 1 s produz 30 frames ou imagens, a rotulagem manual dos vídeos é impraticável. Além disso, a rotulagem AOI desenhando polígonos vetoriais em torno da borda de objetos complexos, como as coberturas de árvores, é muito demorado. Finalmente, embora seja concebìvel possível calcular o tamanho dos objetos em um campo de visão usando a rotulagem do vetor, esta característica não está atualmente disponível.
O método que nós relatamos abaixo lida com estas limitações. Este estudo empregou a rotulagem automática de objetos. Isso é possível usando uma técnica de processamento de imagem conhecida como rotulagem semântica, na qual cada pixel em cada quadro do vídeo é atribuído a um rótulo que indica uma classe de objeto. O aprendizado de máquina é usado para derivar classificadores de pixel para cada classe de objeto de interesse. Esses classificadores fornecem um rótulo probabilístico para cada pixel (conhecido como potenciais unários), que são então refinados em um processo de otimização subsequente para alcançar a saída rotulada final. Esses classificadores aprendem limites de decisão estatística entre cada classe de objeto no espaço de recursos extraídos da imagem, incluindo textura, histograma de orientações de borda, valores de cor RGB e as coordenadas de imagem normalizadas. Uma técnica apropriada para isso é implementada na caixa de ferramentas de aprendizado de máquina DARWIN10 e é descrita abaixo.
Protocol
Representative Results
Discussion
Geralmente, em pacotes de software padrão para analisar dados de rastreamento de olhos, um vetor AOI é usado. Mesmo para uma única imagem imóvel, o tamanho do vetor não pode ser facilmente medido. Além disso, incluindo todos os AOIs em uma imagem e calculando as quantidades relativas de AOIs é trabalhoso. É quase impossível fazer isso manualmente em um vídeo sem uma técnica de aprendizado de máquina, como a descrita. Esta foi uma declaração relativamente simples que infere uma situação de visualização g…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Este trabalho foi apoiado financeiramente pela cidade de Melbourne e parcialmente pela ARC DP 150103135. Gostaríamos de agradecer a Eamonn Fennessy pelo seu aconselhamento e abordagem colaborativa. Com agradecimentos especiais aos assistentes do investigador Isabelle janecki e Ethan Chen quem igualmente ajudou a coletar e analisar estes dados. Todos os erros permanecem os autores.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
