Die Kombination von Eye-Tracking-Daten mit einer Analyse von Video-Inhalten aus dem Free-Viewing eines Videos von einem Walk in einer urbanen Park-Umgebung

Summary

Ziel des Protokolls ist es, detailliert darzulegen, wie Videodaten für den Einsatz im Labor gesammelt werden können; Wie man die Daten der Teilnehmer, die sich die Daten ansehen, aufzeichnet und wie man den Inhalt der Videos, die sie mit Hilfe einer maschinellen Lerntechnik betrachten, effizient analysiert.

Abstract

Da Individuen zunehmend in Städten leben, werden Methoden, um ihre Alltagsbewegungen zu studieren, und die Daten, die gesammelt werden können, werden wichtig und wertvoll. Eye-Tracking Informatiker sind dafür bekannt, dass sie sich mit einer Reihe von Gefühlen, gesundheitlichen Bedingungen, psychischen Zuständen und Handlungen verbinden. Aber weil das Sehen das Ergebnis ständiger Augenbewegungen ist, ist das Ausreißen des Wichtiges aus dem, was Lärm ist, komplex und datenintensiv. Darüber hinaus besteht die Kontrolle darüber, was die Menschen im Vergleich zu dem, was ihnen präsentiert wird, zu kontrollieren.

Im Folgenden finden Sie eine Methodik zur Kombination und Analyse von Eye-Tracking auf einem Video einer natürlichen und komplexen Szene mit einer maschinellen Lerntechnik zur Analyse des Inhalts des Videos. Im Protokoll geht es um die Analyse von Daten von gefilmten Videos, wie ein Video am besten verwendet werden kann, um die Eye-Tracking-Daten der Teilnehmer aufzuzeichnen, und wie der Inhalt des Videos analysiert und mit den Eye-Tracking-Daten kombiniert werden kann. Wir präsentieren eine kurze Zusammenfassung der Ergebnisse und eine Diskussion über das Potenzial der Methode für weitere Studien in komplexen Umgebungen.

Introduction

Unsere täglichen Erfahrungen in urbanen Umgebungen haben großen Einfluss auf unsere Gesundheit und unser Wohlbefinden. Unser Wohlbefinden kann von der Menge der Grünflächen abhängen, die wir^1,2^,3sehen und erleben, und diese Ansichten können mit Hilfe von Eye-Tracking-Geräten quantifiziert werden, um die Entscheidungsfindung über das Parkdesign zu bestimmen. Ein Problem stellt sich jedoch mit dem Umfang der Eye-Tracking-Daten, die generiert werden und die für diese Daten sinnvoll sind. Da die Geräte zur Erfassung von Blickdaten in einem Labor oder in einer natürlichen Umgebung einfacher zu bedienen und leistungsfähiger werden, müssen die Forscher überlegen, wie wir Daten wirksam sammeln und analysieren können, um bei Entscheidungsfragen zu helfen.

Bisher hat eine große Menge Eye-Tracking-Recherchen Fotos in einer Befragung oder Laboreinstellung⁴verwendet. Diese Methodik ermöglicht zwar eine große Reproduzierbarkeit und Kontrolle über die Ergebnisse, ist aber nicht in der Lage, die neuesten Fortschritte in der Eye-Tracking-Technologie zu nutzen, zu der der Einsatz von Video und tragbaren mobilen Eye-Trackern gehört. Darüber hinaus würden wir argumentieren, dass der Akt des Gehens und Entspannens notwendigerweise dynamisch ist, besonders wenn er sich an einer Aufgabe wie der Wegeunterstellung⁵orientiert. Daher sollte ein vollständig wissenschaftliches Verständnis dieser Einstellungen außerhalb des Labors stattfinden. Im Moment jedoch macht die Eye-Tracking in einem realen naturalistischen Rahmen den Vergleich der Erfahrungen zwischen den Themen sehr schwierig. Wenn wir zum Beispiel vergleichen wollten, ob ein Befragter mehr als ein anderer auf Bäume schaut, wie könnten wir dann kontrollieren, dass sich ihr Standpunkt im Vergleich zu anderen ständig ändern würde oder dass sich ihr Kopf gewendet hätte. Eine detaillierte Analyse unter diesen Bedingungen ist mit aktuellen Analysetechniken nahezu unmöglich. Wir würden argumentieren, dass es wichtig ist, die Sichtbereiche zu kontrollieren, die dem untersuchten Individuum zur Verfügung stehen, und in der Analyse in der Lage zu sein, die Gesamtszene, die zu einem bestimmten Zeitpunkt betrachtet wird, zu berücksichtigen.

Es gibt eine Reihe von Theorien, die Stresslevel und Sicherheitswahrnehmungen mit Landschaftsansichten und gutentwickelten Messgrößen von Stress 6,7^verbinden. Es gab auch einen rasanten Anstieg der Raffinesse der Eye-Tracking-Geräte, um den Blick⁸zu messen. Eye-Tracking ist wichtig, weil unfreiwillige Augenbewegungen zuverlässiger mit Präferenz, Stress und anderen traditionellen Messungen verbunden sein können als Umfragen und aufdringliche, physiologische Tests wie Speichelkortisolspiegel. Ziel dieser Forschung ist es, Werkzeuge zu entwickeln, die eine präzisere Messung von Eye-Tracking-Daten ermöglichen, die auf naturalistischere Umgebungen angewendet werden, um weitere Beweise für langjährige Landschaftstheorien zu liefern oder zu widerlegen, die die Gestaltung des Parks informiert haben. Jahrzehnten.

Ziel des Projektes ist es, eine neuartige Analysetechnik zu entwickeln und zu testen, die für verschiedene Videos von Park-Walking-Simulationen relevante Eye-Tracking-Daten generieren kann. Unsere Arbeit, die hier und anderswo berichtet wird⁹ , stellt einen halben Punkt zwischen der naturalistischen Einstellung eines vollmobilen Eye-Tracking-Systems und den oben erwähnten labbasierten Fotostudien dar. Wir konzentrieren uns vor allem darauf, Videos als Reizstoff zu verwenden und zu untersuchen, wie dieses Material genutzt werden kann, um die Faszination zu testen, die verschiedene Parks in der Stadt Melbourne erzeugen. Unsere Arbeit basiert auf der Annahme, dass eine detaillierte Analyse von Videos ein notwendiger Schritt ist, um zu brechen, bevor wir eine umfassendere, naturalistischere Bewertung des Potenzials von Parks, um Wiederherstellung von Stress zu ermöglichen.

In dieser Studie haben wir einen Desktop-Eye-Tracker mit Videos von Spaziergängen durch Stadtparks eingesetzt und die Teilnehmer gebeten, sich vorzustellen, dass sie einen entspannten Spaziergang durch einen Park machen. Wir beschreiben eine Methode, mit der die Zeit, die die Teilnehmer damit verbrachten, verschiedene Objekte zu betrachten, zwischen Parks vergleichbar ist. Desktopstudien sind im Vergleich zu mobilen ET-Studien in der Regel leichter zu kontrollieren und erlauben eine vergleichende Analyse der einzelnen Fäbanten.

Die Standard-Eye-Tracking-Software verwendet ein manuelles Tool, in dem ein Bediener manuell Grenzen um Objekte ziehen kann, die für jede Szene von Interesse sind. So kann automatisch gezählt werden, wie viel Zeit die Teilnehmer damit verbrachten, verschiedene Objekte zu betrachten. Bei Videodaten ist dieser Prozess arbeitsintensiv und unterliegt der Subjektivität und dem Irrtum des Betreibers. In späteren Versionen der Eye-Tracking-Analyse-Software können AOIs Objekte automatisch über Frames verfolgen, wenn sie im Video die gleiche Größe haben. Das ist eine Verbesserung, aber dies ist nur für eine kleine Anzahl von Reizen in jedem Bild gedacht und jedes Bild muss überprüft und bestätigt werden.

Die manuelle Kennzeichnung von Objekten in einem Bild ist üblich und wird durch Bildbearbeitungssoftware wie GNU Image Manipulation Program (GIMP) unterstützt. Da 1 s 30 Bilder oder Bilder produziert, ist die manuelle Kennzeichnung von Videos unpraktisch. Darüber hinaus ist die AOI-Kennzeichnung durch das Zeichnen von Vektorpolygonen am Rand komplexer Objekte wie Baumkronen sehr zeitaufwendig. Schließlich ist es zwar denkbar, die Größe von Objekten in einem Sichtfeld mit Vektorkennzeichnung zu berechnen, aber diese Funktion ist derzeit nicht verfügbar.

Die Methode, über die wir unten berichten, befasst sich mit diesen Einschränkungen. In dieser Studie wurde die automatische Kennzeichnung von Objekten verwendet. Möglich wird dies mit einer Bildbearbeitungstechnik, die als semantische Beschriftung bekannt ist, bei der jedem Pixel in jedem Rahmen des Videos ein Etikett zugewiesen wird, das eine Objektklasse anzeigt. Maschinelles Lernen wird verwendet, um Pixelklassiker für jede Objektklasse von Interesse abzuleiten. Diese Klassifizierer bieten für jedes Pixel (als unary Potentials bekannt) ein probabilistisches Etikett, das dann in einem anschließenden Optimierungsprozess verfeinert wird, um die Endbeschriftung zu erreichen. Diese Klassifikatoren lernen statistische Entscheidungsgrenzen zwischen den einzelnen Objektklassen im Raum der aus dem Bild gewonnenen Funktionen, einschließlich Textur, Histogramm der Kantenorientierung, RGB-Farbwerte und die normalisierten Bildkoordinaten. Eine entsprechende Technik dafür ist in der DARWIN-Maschinenlernwerkskaufstelle¹⁰ implementiert und wird im Folgenden beschrieben.

Protocol

Die Ethikkommission der Australischen Katholischen Universität hat für dieses Projekt eine ethische Genehmigung erteilt-die Zustimmungsnummer #201500036E. Dies sorgte dafür, dass von allen Teilnehmern eine informierte Einwilligung eingeholt wurde und alle Teilnehmer freiwillig teilnahmen und die Daten der Teilnehmer anonym und vertraulich blieben. Darüber hinaus wurde die Genehmigung aufgrund der Methode und der Ausrüstung nach den australischen Normen Sicherheitsvorschriften erteilt. 1. Fi…

Representative Results

Abbildung 1 und Abbildung 2 zeigen das Ergebnis, dass alle Eye-Tracking-Daten für das gesamte Video über alle Teilnehmer hinweg erfasst werden und eine Wärmekarte erstellt wird; Dies ist der Standard-Ansatz, der in Eye-Tracking-Softwarepaketen verfügbar ist. Durch den Vergleich von Abbildung 1 und Abbildung 2 lässt sich feststellen, dass im Durchschnitt die Teilnehmer links und rechts auf der x-Koordinate de…

Discussion

In der Regel wird in Standard-Softwarepaketen zur Analyse von Eye-Tracking-Daten ein Vektor AOI verwendet. Auch für ein einzelnes Standbild lässt sich die Größe des Vektors nicht einfach messen. Darüber hinaus ist es mühsam, alle AOIs in ein Bild aufzunehmen und die relativen Mengen von AOIs zu berechnen. Es ist fast unmöglich, dies manuell auf einem Video zu tun, ohne eine maschinelle Lerntechnik, wie sie beschrieben wird. Das war eine relativ einfache Aussage, die eine kostenlose Betrachtungssituation einfügt. …

Materials

12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker