Het combineren van Eye-tracking gegevens met een analyse van de video-inhoud van Free-viewing een video van een wandeling in een stedelijk park omgeving
Summary
Het protocol heeft tot doel in detail te beschrijven hoe videogegevens kunnen worden verzameld voor gebruik in het laboratorium; Hoe te registreren eye-tracking gegevens van de deelnemers te kijken naar de gegevens en hoe efficiënt analyseren van de inhoud van de Video’s die ze zochten met behulp van een machine leren techniek.
Abstract
Als individuen steeds meer leven in steden, methoden om hun dagelijkse bewegingen en de gegevens die kunnen worden verzameld studie wordt belangrijk en waardevol. Eye-tracking informatica is bekend om verbinding te maken met een scala van gevoelens, gezondheids-omstandigheden, mentale toestanden en acties. Maar omdat visie is het resultaat van constante Eye-bewegingen, plagen uit wat belangrijk is van wat is lawaai is complex en data-intensieve. Bovendien, een belangrijke uitdaging is de controle voor wat mensen kijken in vergelijking met wat wordt gepresenteerd aan hen.
Het volgende presenteert een methodologie voor het combineren en analyseren van Eye-tracking op een video van een natuurlijke en complexe scène met een machine learning techniek voor het analyseren van de inhoud van de video. In het protocol richten we ons op het analyseren van gegevens van gefilmde Video’s, hoe een video kan het best worden gebruikt om de deelnemers ‘ Eye-trackingdata record, en belangrijker hoe de inhoud van de video kan worden geanalyseerd en gecombineerd met de eye-tracking gegevens. We presenteren een korte samenvatting van de resultaten en een bespreking van de mogelijkheden van de methode voor verdere studies in complexe omgevingen.
Introduction
Onze dagelijkse geleefde ervaringen van stedelijke milieu’s hebben grote invloed op onze gezondheid en welzijn. Ons welzijn kan afhangen van de hoeveelheid groene ruimtes die we bekijken en ervaring1,2,3, en deze standpunten kunnen worden gekwantificeerd met behulp van Eye-tracking apparatuur te begeleiden besluitvorming over Park design. Echter, een probleem ontstaat met het volume van de eye tracking gegevens die wordt gegenereerd en het maken van de zin van deze gegevens. Aangezien de apparatuur voor het opnemen van gegevens blik in een Lab of natuurlijke omgeving wordt gemakkelijker te gebruiken en krachtiger, onderzoekers moeten nagaan hoe we kunnen verzamelen en analyseren van gegevens geldig om te helpen met de besluitvorming vragen.
Tot nu toe heeft een groot deel van Eye tracking onderzoek gebruikt Foto’s in een enquête of laboratorium instelling4. Hoewel deze methodologie zorgt voor een groot deel van de reproduceerbaarheid en controle over de resultaten, is het niet in staat om te profiteren van de nieuwste ontwikkelingen in de eye-tracking technologie die het gebruik van video en draagbare mobiele Eye-trackers omvatten. Voorts zouden wij debatteren dat de handeling van het lopen en het ontspannen noodzakelijk dynamisch is in het bijzonder wanneer georiënteerd naar een taak zoals bewegwijzering5. Daarom zou een volledig wetenschappelijk begrip van deze montages buiten het laboratorium moeten plaatsvinden. Echter, op het moment, eye-tracking in een Real-Life naturalistische setting maakt het vergelijken van de ervaring tussen de onderwerpen erg moeilijk. Bijvoorbeeld, als we wilden vergelijken of een respondent kijkt naar bomen meer dan een ander, hoe kunnen we de controle voor het feit dat hun standpunt zou voortdurend veranderen in vergelijking met anderen of dat hun hoofd zou kunnen hebben gedraaid. Gedetailleerde analyse in deze omstandigheden is bijna onmogelijk met de huidige analysetechnieken. We beweren dat het belangrijk is om de controle van de gebieden die beschikbaar zijn voor het individu wordt bestudeerd en in de analyse te kunnen om rekening te houden voor de totale scène wordt bekeken op een bepaald punt in de tijd.
Er zijn een reeks theorieën die spanningsniveaus en waarnemingen van veiligheid verbinden aan landschaps meningen en goed-geëvolueerde maatregelen van spanning6,7. Er is ook een snelle toename van de verfijning van de eye-tracking apparatuur te meten blik8. Eye-tracking is belangrijk omdat onvrijwillige Eye-bewegingen kunnen meer betrouwbaar worden aangesloten op de voorkeur, stress en andere traditionele maatregelen dan enquêtes en opdringerige, fysiologische tests zoals speeksel cortisol niveaus. Het doel van dit onderzoek is het ontwikkelen van tools die een nauwkeuriger meting van de eye-tracking gegevens toegepast op meer naturalistische instellingen mogelijk te maken, om zo verder bewijs voor of te weerleggen langdurige landschaps theorieën die hebben geïnformeerd Park design voor Decennia.
Het doel van dit project is het ontwikkelen en testen van een nieuwe analysetechniek die relevante eye-tracking gegevens kan genereren voor verschillende Video’s van Park Walk simulaties. Ons werk gerapporteerd hier en elders9 is een halverwege punt tussen de naturalistische setting van een volledig mobiele eye-tracking systeem en het lab-based foto studies hierboven genoemde. In het bijzonder concentreren we ons op het gebruik van Video’s als stimulans materiaal, het verkennen van hoe dit materiaal kan worden gebruikt om het bedrag van de fascinatie die verschillende parken te genereren in de stad Melbourne te testen. Ons werk is gebaseerd op de veronderstelling dat een gedetailleerde analyse van de Video’s is een noodzakelijke stap in de strijd vóór de onderneming een vollere, meer naturalistische beoordeling van het potentieel van parken om herstel te bieden van stress.
In deze studie, werkten we een desktop Eye-Tracker met Video’s van wandelingen door stedelijke parken en vroeg de deelnemers voor te stellen dat ze een ontspannende wandeling door een park te nemen. We beschrijven een methode om de hoeveelheid tijd die de deelnemers besteed aan het kijken naar verschillende objecten te vergelijken tussen de parken mogelijk te maken. Desktop studies zijn over het algemeen gemakkelijker te controleren in vergelijking met mobiele ET studies en laat vergelijkende analyse van elk onderwerp.
Standaard eye-tracking software maakt gebruik van een handleiding gebied van belang tool waarin een exploitant kan handmatig te trekken grenzen rond voorwerpen van belang in elke scène. Hierdoor kan de hoeveelheid tijd die deelnemers besteed aan het bekijken van verschillende objecten automatisch worden geteld. Voor videogegevens, is dit proces arbeidsintensief en onderworpen aan exploitant subjectiviteit en fout. In latere versies van Eye-tracking analyse software, Aoi’s kan automatisch track objecten over frames als ze dezelfde grootte in de video. Dit is een verbetering, echter, dit is alleen bedoeld om te worden gebruikt voor een klein aantal stimuli in elk beeld en elk beeld moet worden gecontroleerd en bevestigd.
Handmatige etikettering van objecten in een afbeelding komt vaak voor en wordt ondersteund door beeldbewerkingssoftware zoals GNU Image manipulatie Program (GIMP). Gezien het dat 1 s produceert 30 frames of beelden, de handmatige etikettering van Video’s is onpraktisch. Bovendien is het etiketteren van de kenmerkende door vector veelhoeken rond de rand van complexe voorwerpen zoals boom luifels zeer tijdrovend. Tot slot, hoewel het denkbaar is om de grootte van objecten te berekenen in een gezichtsveld met behulp van vector-etikettering, is deze functie momenteel niet beschikbaar.
De methode die wij rapporteren hieronder behandelt deze beperkingen. Deze studie werkte automatische etikettering van voorwerpen. Dit is mogelijk met behulp van een beeldverwerkings techniek bekend als semantische etikettering, waarbij elke pixel in elk frame van de video is een label met vermelding van een objectklasse toegewezen. Machine learning wordt gebruikt voor het afleiden van pixel classificaties voor elke objectklasse van belang. Deze classificaties bieden een waarschijnlijkheids label voor elke pixel (bekend als unaire potentialen), die vervolgens worden verfijnd in een latere optimalisatie proces om de uiteindelijke label output te bereiken. Deze classificaties leren statistische beslissings grenzen tussen elke objectklassen in de ruimte van functies die uit de afbeelding worden geëxtraheerd, zoals textuur, histogram van rand oriëntaties, RGB-kleurwaarden en de genormaliseerde afbeeldings coördinaten. Een geschikte techniek hiervoor is geïmplementeerd in de DARWIN machine learning Toolbox10 en wordt hieronder beschreven.
Protocol
Representative Results
Discussion
In het algemeen, in standaard softwarepakketten voor het analyseren van Eye-tracking gegevens, een vector wordt gebruikt. Zelfs voor een enkel stilstaand beeld, kan de grootte van de vector niet gemakkelijk worden gemeten. Bovendien, met inbegrip van alle Aoi’s in een afbeelding en de berekening van de relatieve hoeveelheden van Aoi’s is moeizaam. Het is bijna onmogelijk om dit handmatig te doen op een video zonder een machine leren techniek zoals beschreven. Dit was een relatief eenvoudige verklaring dat een gratis kijk…
Declarações
The authors have nothing to disclose.
Acknowledgements
Dit werk werd financieel gesteund door de stad van Melbourne en gedeeltelijk door ARC DP 150103135. We willen Eamonn Fennessy bedanken voor zijn advies en samenwerking. Met speciale dank aan onderzoeker assistenten Isabelle Janecki en Ethan Chen, die ook hielp verzamelen en analyseren van deze gegevens. Alle fouten blijven de auteurs.
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
Referências
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
