Combinare i dati di tracciamento degli occhi con un'analisi dei contenuti video da Free-visualizzazione di un video di una passeggiata in un ambiente parco urbano
Summary
L’obiettivo del protocollo è quello di dettaglio come raccogliere i dati video per l’uso in laboratorio; come registrare i dati Eye-Tracking dei partecipanti guardando i dati e come analizzare in modo efficiente il contenuto dei video che stavano guardando utilizzando una tecnica di apprendimento automatico.
Abstract
Come individui sempre più vivono in città, metodi per studiare i loro movimenti quotidiani e i dati che possono essere raccolti diventa importante e prezioso. Gli Eye-Tracking informatici sono conosciuti per connettersi a una serie di sentimenti, condizioni di salute, stati mentali e azioni. Ma poiché la visione è il risultato di continui movimenti oculari, prendere in giro ciò che è importante da ciò che è il rumore è complesso e intensivo di dati. Inoltre, una sfida significativa sta controllando ciò che le persone guardano rispetto a ciò che gli viene presentato.
Di seguito viene presentata una metodologia per combinare e analizzare gli eye-tracking su un video di una scena naturale e complessa con una tecnica di machine learning per l’analisi del contenuto del video. Nel protocollo ci concentriamo sull’analisi dei dati da video girati, come un video può essere utilizzato al meglio per registrare i dati degli occhi dei partecipanti, e soprattutto come il contenuto del video può essere analizzato e combinato con i dati di tracciamento degli occhi. Presentiamo un breve riassunto dei risultati e una discussione del potenziale del metodo per ulteriori studi in ambienti complessi.
Introduction
Le nostre esperienze quotidiane vissute negli ambienti urbani influiscono notevolmente sulla nostra salute e sul nostro benessere. Il nostro benessere può dipendere dalla quantità di spazi verdi che vediamo e sperimentiamo1,2,3, e queste viste possono essere quantificate utilizzando attrezzature Eye-Tracking per guidare il processo decisionale su Park Design. Tuttavia, si verifica un problema con il volume di dati di rilevamento degli occhi che viene generato e che dà un senso di questi dati. Poiché l’apparecchiatura per la registrazione dei dati dello sguardo in un laboratorio o in un ambiente naturale diventa più facile da usare e più potente, i ricercatori devono considerare come possiamo raccogliere e analizzare i dati validamente per aiutare con le domande decisionali.
Finora, una grande quantità di ricerca Eye Tracking ha usato fotografie in un sondaggio o impostazione di laboratorio4. Sebbene questa metodologia consenta una grande quantità di riproducibilità e controllo sui risultati, non è in grado di trarre vantaggio degli ultimi progressi nella tecnologia Eye-tracking che includono l’uso di video e Wearable eye-tracker mobili. Inoltre, vorremmo sostenere che l’atto di camminare e di rilassarsi è necessariamente dinamico soprattutto quando orientato verso un compito come segnaletica5. Pertanto, una conoscenza pienamente scientifica di queste impostazioni dovrebbe avvenire al di fuori del laboratorio. Tuttavia, al momento, l’Eye-Tracking in un ambiente naturalistico reale rende il confronto dell’esperienza tra soggetti molto difficile. Per esempio, se volevamo confrontare se un rispondente Guarda gli alberi più di un altro, come possiamo controllare per il fatto che il loro punto di vista sarebbe in continua evoluzione rispetto ad altri o che la loro testa potrebbe essersi trasformata. L’analisi dettagliata in queste condizioni è quasi impossibile con le tecniche di analisi attuali. Vorremmo sostenere che è importante controllare le aree di visualizzazione disponibili per l’individuo in fase di studio e nell’analisi per essere in grado di tenere conto della scena totale visualizzata in qualsiasi momento.
Ci sono una serie di teorie che collegano i livelli di stress e le percezioni di sicurezza alle viste panoramiche e alle misure ben evolute dello stress6,7. C’è stato anche un rapido aumento della sofisticazione delle attrezzature Eye-Tracking per misurare lo sguardo8. L’Eye-Tracking è importante perché i movimenti involontari degli occhi possono essere collegati in modo più affidabile alle preferenze, allo stress e ad altre misure tradizionali rispetto ai sondaggi e ai test fisiologici intrusivi, come i livelli di cortisolo salivare. L’obiettivo di questa ricerca è quello di sviluppare strumenti che consentano una misurazione più precisa dei dati di tracciamento degli occhi applicati a contesti più naturalistici, in modo da fornire ulteriori prove o confutare le teorie paesaggistiche di lunga data che hanno informato la progettazione del parco per Decenni.
Lo scopo di questo progetto è quello di sviluppare e testare una nuova tecnica di analisi in grado di generare dati di tracciamento degli occhi rilevanti per diversi video di simulazioni di camminata del parco. Il nostro lavoro riportato qui e altrove9 rappresenta un punto a metà strada tra l’impostazione naturalistica di un sistema di tracciamento degli occhi completamente mobile e gli studi fotografici basati su laboratorio di cui sopra. In particolare, ci concentriamo sull’utilizzo di video come materiale di stimolo, esplorando come questo materiale può essere utilizzato per testare la quantità di fascino che i diversi parchi generano nella città di Melbourne. Il nostro lavoro si basa sul presupposto che un’analisi dettagliata dei video sia un passo necessario per violare prima di intraprendere una valutazione più completa e più naturalistica del potenziale dei parchi per fornire il restauro dallo stress.
In questo studio, abbiamo impiegato un eye-tracker desktop con video di passeggiate attraverso parchi urbani e ha chiesto ai partecipanti di immaginare che stavano facendo una passeggiata rilassante attraverso un parco. Descriviamo un metodo per consentire la quantità di tempo che i partecipanti hanno speso a guardare diversi oggetti per essere comparabili tra i parchi. Gli studi sul desktop sono generalmente più facili da controllare rispetto agli studi ET mobili e consentono l’analisi comparativa di ogni soggetto.
Il software di tracciamento degli occhi standard utilizza uno strumento di area di interesse manuale in cui un operatore può disegnare manualmente i contorni intorno agli oggetti di interesse in ogni scena. In questo modo la quantità di tempo che i partecipanti hanno speso a guardare diversi oggetti da conteggiare automaticamente. Per i dati video, questo processo è intensivo di manodopera e soggetto a soggettività e errore dell’operatore. Nelle versioni successive del software di analisi Eye-Tracking, AOIs può monitorare automaticamente gli oggetti tra i fotogrammi quando sono della stessa dimensione nel video. Questo è un miglioramento, tuttavia, questo è destinato solo per essere utilizzato per un piccolo numero di stimoli in ogni immagine e ogni immagine deve essere verificata e confermata.
L’etichettatura manuale degli oggetti in un’immagine è comune e supportata da software di editing di immagini come il programma di manipolazione delle immagini GNU (GIMP). Dato che 1 s produce 30 fotogrammi o immagini, l’etichettatura manuale dei video è poco pratica. Inoltre, l’etichettatura AOI disegnando poligoni vettoriali attorno al bordo di oggetti complessi come le tettine degli alberi richiede molto tempo. Infine, sebbene sia plausibilmente possibile calcolare la dimensione degli oggetti in un campo visivo utilizzando l’etichettatura vettoriale, questa funzione non è attualmente disponibile.
Il metodo che riportiamo qui di seguito si occupa di queste limitazioni. Questo studio ha impiegato l’etichettatura automatica degli oggetti. Questo è possibile utilizzando una tecnica di elaborazione delle immagini nota come etichettatura semantica, in cui ogni pixel in ogni fotogramma del video viene assegnata un’etichetta che indica una classe di oggetti. L’apprendimento automatico viene utilizzato per derivare i classificatori di pixel per ogni classe di oggetti di interesse. Questi classificatori forniscono un’etichetta probabilistica per ogni pixel (noti come potenziali unari), che vengono poi perfezionati in un successivo processo di ottimizzazione per ottenere l’output finale etichettato. Questi classificatori imparano i confini delle decisioni statistiche tra ciascuna classe di oggetti nello spazio delle feature estratte dall’immagine, tra cui texture, istogramma degli orientamenti dei bordi, valori di colore RGB e le coordinate dell’immagine normalizzata. Una tecnica appropriata per questo è implementata nella cassetta degli attrezzi di DARWIN Machine Learning10 ed è descritta di seguito.
Protocol
Representative Results
Discussion
Generalmente, nei pacchetti software standard per l’analisi dei dati di tracciamento oculare, viene utilizzato un vettore AOI. Anche per una singola immagine fissa, la dimensione del vettore non può essere facilmente misurata. Inoltre, includendo tutti gli AOIs in un’immagine e calcolando le relative quantità di AOIs è laborioso. È quasi impossibile farlo manualmente su un video senza una tecnica di apprendimento automatico come quella descritta. Questa è stata una dichiarazione relativamente semplice che deduce una…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Questo lavoro è stato sostenuto finanziariamente dalla città di Melbourne e parzialmente da ARC DP 150103135. Vorremmo ringraziare Eamonn Fennessy per il suo Consiglio e l’approccio collaborativo. Con un ringraziamento speciale agli assistenti di ricercatore Isabelle Janecki e Ethan Chen che hanno anche contribuito a raccogliere e analizzare questi dati. Tutti gli errori restano gli autori.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
