Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden

Summary

Die visuelle Welt Paradigma überwacht Teilnehmer Augenbewegungen im visuellen Arbeitsbereich anhören oder eine gesprochene Sprache. Dieses Paradigma kann verwendet werden, um die Online-Verarbeitung einer breiten Palette von Psycholinguistische Fragen, einschließlich semantisch komplexe Anweisungen, wie z. B. disjunktive Aussagen zu untersuchen.

Abstract

Eine typische Eyetracking-Studie mit dem Paradigma der visuellen Welt, Teilnehmer Augenbewegungen auf Objekte oder Bilder im visuellen Arbeitsbereich sind über eine Eye-Tracker aufgezeichnet, wie die Teilnehmer produziert oder begreift eine gesprochene Sprache beschreibt das gleichzeitige visuelle Welt. Dieses Paradigma hat hohe Vielseitigkeit, wie es in den unterschiedlichsten Bevölkerungsgruppen, einschließlich derjenigen, die nicht lesen und/oder wer kann nicht offen geben ihre Verhaltensreaktionen wie preliterate Kinder und ältere Erwachsene Patienten, verwendet werden kann. Noch wichtiger ist, das Paradigma ist extrem empfindlich gegenüber feinkörnige Manipulationen des Sprachsignals, und es kann verwendet werden, um die Online-Verarbeitung von die meisten Themen im Sprachverständnis auf mehreren Ebenen, wie z. B. die feinkörnige akustische phonetische studieren Funktionen, die Eigenschaften der Wörter und sprachlichen Strukturen. Das Protokoll in diesem Artikel beschriebenen veranschaulicht, wie eine typische Bildwelt Eyetracking-Studie durchgeführt wird, anhand eines Beispiels zeigen, wie die Online-Verarbeitung von einige semantisch komplexen Anweisungen mit dem Paradigma der visuellen Welt erkundet werden kann.

Introduction

Gesprochene Sprache ist eine schnelle und kontinuierliche Informationsfluss, die sofort verschwindet. Es ist eine Herausforderung, experimentell zu diesem zeitlichen studieren, Sprachsignal sehr schnell ändern. Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma können verwendet werden, um diese Herausforderung zu meistern. In eine typische Eyetracking-Studie mit dem Paradigma der visuellen Welt werden Teilnehmer Augenbewegungen, Bilder in einer Anzeige oder reale Objekte in einem visuellen Arbeitsbereich überwacht, wie sie hören oder produzieren, gesprochenen Sprache, die Darstellung der Inhalte der visuellen Welt^{1 ,2,3,4}. Die grundlegende Logik oder die Verknüpfung Hypothese hinter diesem Paradigma ist, dass zu begreifen oder Planung einer Äußerung (offen oder verdeckt) visuelle Aufmerksamkeit der Teilnehmer auf ein bestimmtes Objekt in der visuellen Welt verlagern wird. Diese Verschiebung der Aufmerksamkeit haben eine hohe Wahrscheinlichkeit, sakkadische Augenbewegungen die besuchte Gegend in der Fovea Vision bringen zu initiieren. Mit diesem Paradigma wollen Forscher bestimmen, an welchem zeitlichen Punkt in Bezug auf einige akustische Wahrzeichen in das Sprachsignal eine Verlagerung der visuellen Aufmerksamkeit des Teilnehmers auftritt, gemessen an einem sakkadische Augenbewegungen auf ein Objekt oder ein Bild in der visuellen Welt. Wann und wo sakkadische Augenbewegungen in Bezug auf das Sprachsignal gestartet werden werden verwendet, um die Online-Sprachverarbeitung ableiten. Die visuelle Welt Paradigma kann verwendet werden, um die gesprochene Sprache verstehen^1,2 und Produktion^5,6zu studieren. Dieser methodische Artikel konzentriert sich auf Verständnis Studien. In einer Studie Verständnis mit der Bildwelt Paradigma, Teilnehmer Auge Bewegungen auf die visuelle Anzeige überwacht werden, während sie die gesprochenen Äußerungen über die visuelle Darstellung sprechen hören.

Verschiedenen Eye-Tracking-Systeme wurden in der Geschichte entwickelt. Die einfachste, kostengünstigste und mobilste System ist nur eine normale Videokamera, die ein Bild des Teilnehmers Augen erfasst. Augenbewegungen werden dann manuell durch Frame-by-Frame-Prüfung der video-Aufnahme kodiert. Jedoch die Sampling-Rate von solchen Eye-Trackers ist relativ gering, und die Codierung Verfahren ist zeitaufwendig. So nutzt eine moderne kommerzielle Eye-tracking System normalerweise optische Sensoren messen die Orientierung des Auges in seiner Umlaufbahn^7,8,9. Um zu verstehen, wie ein zeitgenössische kommerzielle Eyetracking-System funktioniert, sollten folgende Punkte beachtet werden. Erstens, um die Richtung der fovealen Vision, einen Infrarot-Illuminator korrekt Messen (normalerweise mit der Wellenlänge um 780-880 nm) wird normalerweise gelegt entlang oder aus der optischen Achse der Kamera, so dass das Bild des Schülers unterscheidbar heller oder dunkler als die umliegenden Iris. Das Bild des Schülers oder der Schülerin Hornhaut Reflexion (normalerweise das erste Purkinje-Bild) wird dann zur Berechnung der Orientierung des Auges in seiner Umlaufbahn. Zweitens ist der Blick-Standort in der visuellen Welt tatsächlich hängt nicht nur von der Auge-Orientierung in Bezug auf den Kopf, sondern auch auf die Ausrichtung des Kopfes in Bezug auf die visuelle Welt. Um genau den Blick aus dem Auge Ausrichtung ableiten, die Lichtquelle und die Kamera des Eye-Trackers sind in Bezug auf Teilnehmer Kopf (Head mounted Eye-Tracker) befestigt oder in Bezug auf die visuelle Welt fixiert sind (Tabelle montiert oder Remote Eye-Tracker). Drittens: die Teilnehmer Kopf Ausrichtung entweder in Bezug auf die visuelle Welt korrigiert werden muss oder rechnerisch kompensiert werden, wenn Teilnehmer Kopf frei beweglich ist. Wenn ein remote Eye-Tracker in einem Kopf-frei-zu-Move-Modus verwendet wird, wird die Teilnehmer Kopfposition in der Regel aufgezeichnet, indem ein kleiner Aufkleber auf Teilnehmer Stirn. Die Ausrichtung des Kopfes wird dann rechnerisch vom Auge Ausrichtung zu den Blick-Speicherort in der visuellen Welt abrufen subtrahiert. Viertens sind eine Kalibrierung und einen Validierungsprozess dann verpflichtet, die Orientierung des Auges den Blicken der Berücksichtigung der visuellen Welt abbilden. Bei der Kalibrierung sind Teilnehmer Fixierung Samples von bekannten Zielpunkte aufgenommen, um die rohe Auge Datenzuordnung, um die Position in der visuellen Welt bestaunen. In den Validierungsprozess präsentieren sich die Teilnehmer mit der gleichen Zielpunkte wie die Kalibrierung. Die Differenz zwischen der berechneten Fixierung Position aus die kalibrierten Ergebnisse und die aktuelle Position des fixierten Ziel der visuellen Welt werden dann verwendet, um die Genauigkeit der Kalibrierung zu beurteilen. Um die Genauigkeit des Zuordnungsprozesses noch einmal zu bestätigen, ein Drift-Scheck gilt normalerweise auf jeden Versuch, wo ein einzelnes Fixierung Ziel Teilnehmer um die Differenz zwischen der berechneten Fixierung-Position und der tatsächlichen Position des Messen vorgestellt wird die Aktuelles Ziel.

Die primären Daten einer visuellen Welt-Studie ist ein Stream Blick Standorte der visuellen Welt, aufgenommen in die Sampling-Rate des Eye-Trackers, über der gesamten oder eines Teils der Studie Dauer bis hin. Die abhängige Variable verwendet in einer visuellen Welt-Studie ist in der Regel der Anteil der Proben, dass Teilnehmer Fixierungen an bestimmten räumlichen Bereich der visuellen Welt in einem bestimmten Zeitfenster befinden. Um die Daten zu analysieren, muss ein Zeitfenster zunächst ausgewählt werden, oft als Perioden von Interesse. Das Zeitfenster beträgt in der Regel Zeit gesperrt, um die Präsentation von einigen sprachlichen Veranstaltungen im auditiven Input. Darüber hinaus ist die visuelle Welt mussten auch in mehreren Regionen von Interesse (ROIs), aufgeteilt jeweils mit einem oder mehreren Objekten zugeordnet ist. Eine solche Region enthält das Objekt, das richtige Verständnis der gesprochenen Sprache entspricht und somit nennt man oft den Zielbereich. Eine typische Methode, die Daten zu visualisieren ist ein Anteil der Fixierung Grundstück, wo bei jedem Lagerplatz in einem Zeitfenster, der Anteil der Proben mit einem Blick die einzelnen Regionen von Interesse sind, gemittelt über Teilnehmer und Gegenstände.

Mit einer visuellen Welt Studie gewonnenen Daten, verschiedene Forschungsfragen beantwortet werden können: eine) auf den grobkörnigen Ebene sind Teilnehmer Augenbewegungen der visuellen Welt von verschiedenen auditiven sprachlichen Input betroffen? (b) wenn es eine Wirkung, was ist die Flugbahn des Effekts im Laufe des Prozesses? Ist es einen linearen Effekt oder High-Order-Effekt? und c) eine Wirkung, dann auf die feinkörnige, wann ist der früheste zeitliche Punkt wo solche Wirkung entsteht und wie lange dauert dieser Effekt letzten?

Um die Ergebnisse statistisch zu analysieren, sollten folgende Punkte beachtet werden. Erstens ist die Antwortvariable, d.h.Anteile der Fixierungen, oben und unten (zwischen 0 und 1) begrenzt einer multinomialen Verteilung anstatt einer Normalverteilung folgen. Traditionelle statistischen Methoden basierend auf Normalverteilung wie t-Test, ANOVA und lineare Modelle (gemischt-Effekt)¹⁰, können nicht von nun an direkt genutzt werden, bis die Proportionen auf ungebundene Variablen wie z. B. mit umgewandelt wurden empirischen Logit Formel¹¹ oder mit unbegrenzten abhängigen Variablen wie z. B. euklidische Entfernung¹²ersetzt worden. Statistische Methoden, die nicht erfordern, dass die Annahme der Normalverteilung, so verallgemeinerte lineare Modelle (gemischt-Effekt)¹³ können auch verwendet werden. Zweitens muss eine Variable für die Zeitreihen zur Erkundung der wechselnden Flugbahn des beobachteten Effekts in das Modell aufgenommen werden. Diese Zeitreihen Variable ist ursprünglich der Eye-Tracker der Probenahmestellen auf den Ausbruch der Sprache Eingang neu ausgerichtet. Da die wechselnden Flugbahn in der Regel nicht linear ist, wird eine höhere Ordnung Polynomfunktion der Zeitreihen-normalerweise in die (verallgemeinerte) linear (gemischt-Effekt) Modell, d.h.Wachstum Kurve Analysen¹⁴hinzugefügt. Darüber hinaus Endpositionen Auge in die aktuelle Aufnahmepunkt hängt stark vorherige Bemusterung Punkt(e) vor allem, wenn die Aufnahmefrequenz hoch, wodurch das Problem der Autokorrelation. Um die Autokorrelation zwischen den benachbarten Messpunkte zu reduzieren, sind die Originaldaten oft nach unten in die Stichprobe einbezogenen oder gebinnten. In den letzten Jahren nutzten die generalisierte additive Wirkung gemischte Modelle (GAMM) auch gegen die Referenzpositionen Fehler^12,15,16. Die Breite der Lagerplätze variiert zwischen den verschiedenen Studien, die von mehreren Millisekunden bis hin zu mehreren hundert Millisekunden. Die schmalste bin können, eine Studie wählen wird durch die Sampling-Rate von der Eye-Tracker in der speziellen Studie verwendeten eingeschränkt. Zum Beispiel wenn eine Eye-Tracker eine Sampling-Rate von 500 Hz hat, kann nicht dann die Breite des Zeitfensters kleiner als 2 ms = 1000/500 sein. Drittens, wenn eine statistische Analyse wiederholt zu jeder Zeit bin der Perioden von Interesse angewendet wird, induziert der familywise Fehler aus diesen Mehrfachvergleiche beseitigt werden sollten. Wie zuvor beschrieben, informiert die Flugbahn Analyse den Forscher, ob die Wirkung auf die grobe Körnung Ebene beobachtet linear in Bezug auf die Veränderung der Zeit, ist aber nicht angezeigt wird, wenn der beobachtete Effekt beginnt zu entstehen, und wie lange die beobachteten der Effekt hält. Um die zeitliche Lage bestimmen, wann der beobachtete Unterschied beginnt auseinander, und um herauszufinden, die zeitliche Dauer, die die beobachtete Wirkung hält, hat eine statistische Auswertung zu jeder Zeit bin wiederholt angewendet werden. Diese Mehrfachvergleiche führen wir den sogenannten familywise Fehler, egal welche statistischen Methode verwendet wird. Die familywise Fehler wird traditionell mit Bonferroni Anpassung¹⁷korrigiert. Vor kurzem wurde eine Methode namens Nichtparametrische Permutationstest ursprünglich in Neuroimaging eingereicht¹⁸ auf die visuelle Wort Paradigma¹⁹ zu steuern für den familywise Fehler angewendet.

Das Verständnis für einige gesprochene Sprache von TeilnehmerInnen Augenbewegungen der visuellen Welt ableiten wollen Forscher mit dem Paradigma der visuellen Welt. Um die Gültigkeit dieser Abzug zu gewährleisten, sollten andere Faktoren, die möglicherweise Einfluss auf die Augenbewegungen werden entweder ausgeschlossen oder gesteuert. Die folgenden zwei Faktoren gehören zu den gebräuchlichsten, die berücksichtigt werden müssen. Der erste Faktor beinhaltet einige systematische Muster in Teilnehmer erklärende Fixierungen unabhängig von der Sprache eingeben, wie z. B. die Tendenz, in der oberen linken Quadrat der visuellen Welt und bewegliche Augen in horizontaler Richtung wird einfacher als in fixieren vertikaler Richtung etc.^12,20 , um sicherzustellen, dass die beobachteten Fixierung Muster beziehen sich auf die Objekte, die nicht zu den räumlichen Orten, wo sich die Gegenstände befinden, die räumliche Position eines Objekts ausgeglichen werden sollte in verschiedenen Studien oder über andere Teilnehmer. Der zweite Faktor, der Teilnehmer Augenbewegungen auswirken kann ist die grundlegende Bild Eigenschaften der Objekte in der visuellen Welt, wie z. B. Helligkeit Kontrast, Farbe und Edge Ausrichtung, unter anderem²¹. Um dieses Potenzial verwirrende zu diagnostizieren, die visuelle Darstellung wird normalerweise dargestellt, vor dem Beginn der gesprochenen Sprache oder vor dem Beginn der kritischen akustischen Markierung der gesprochenen Sprache, für ca. 1000 ms den zeitlichen Zeitraum vom Beginn des der Testbild zum Ausbruch von Test Audio, die Sprache eingeben oder die Disambiguierung Punkt der Sprache Eingang hat noch nicht gehört. Keinen Unterschied zwischen unterschiedlichen Bedingungen beobachtet sollte zu anderen Störfaktoren wie die visuelle Anzeige schlechthin, anstatt die Sprache Eingang abgeleitet werden. Von nun an bereitstellen Augenbewegungen beobachtet in dieser Vorschau einer Basis zur Bestimmung der Wirkung von den sprachlichen Input. Diese Vorschauzeitraum kann auch Teilnehmer mit der optischen Anzeige vertraut zu machen und die systematische Vorspannung des erklärenden Fixierungen reduzieren, wenn die gesprochene Sprache präsentiert wird.

Um zu veranschaulichen, wie eine typische Eyetracking-Studie mit dem visuellen Welt Paradigma durchgeführt wird, beschreibt das folgende Protokoll ein Experiment adaptiert von L. Zhan¹⁷ , die Online-Verarbeitung von semantisch komplexe Aussagen, d. h. zu erkunden disjunktive Aussagen (S1 oder S2), konjunktive Aussagen (S1 und S2) und aber-Aussagen (S1, aber nicht-S2). In gewöhnlichen Konservierung sind die Informationen, die einige Äußerungen zum Ausdruck gebrachten wirklich stärker als seine wörtliche Bedeutung. Disjunktive Aussagen wie Xiaoming Box enthält eine Kuh oder ein Hahn sind solche Äusserungen. Logisch, die disjunktive Aussage ist wahr, solange die zwei Disjuncts Xiaoming Box enthält eine Kuh und Xiaoming Box enthält einen Hahn nicht beide sind falsch. Daher ist die disjunktive Aussage wahr, wenn die zwei Disjuncts beide True sind wo ist die entsprechende konjunktive Aussage Xiaoming Box enthält eine Kuh und ein Hahn auch wahr. Im gewöhnlichen Gespräch, jedoch hören, dass die disjunktive Aussage oft deutet darauf hin, dass die entsprechende konjunktive Aussage falsch ist (skalare Implicature); und schlägt vor, dass die Wahrheitswerte der beiden Disjuncts durch den Lautsprecher (Unwissenheit Inferenz) unbekannt sind. Konten in der Literatur unterscheiden sich in ob zwei Schlüsse grammatische oder pragmatische Prozesse^{22,23,24,25,26 sind}. Das Experiment zeigt, wie die visuelle Welt Paradigma verwendet werden kann, zwischen diesen Konten durch die Erforschung der Online-Verarbeitung von drei komplexe Anweisungen erledigt.

Protocol

Alle Probanden müssen fundierten schriftlichen Zustimmung vor der Verabreichung der experimentelle Protokolle geben. Alle Verfahren, Einverständniserklärungen und experimentelles Protokoll wurden von der Ethikkommission der Forschung von der Beijing Language and Culture University angenommen. Hinweis: Eine Verständnis-Studie mit dem visuellen Welt Paradigma normalerweise besteht aus den folgenden Schritten: Einführung der theoretischen Probleme, erkundet zu werden; Bilden Sie ein experime…

Representative Results

In Abbildung 4sind Teilnehmer Verhaltensreaktionen zusammengefasst. Wie wir bereits erwähnt, ist die richtige Antwort auf eine konjunktive Erklärung (S1 und S2) großen Feld Öffnen, z. B. Box A in Abbildung 1. Die richtige Antwort auf eine aber-Anweisung (S1 aber nicht S2) ist das kleine Feld Öffnen, enthält das erste genannten Tier wie Box D in Abbildung 1. Kritisch, …

Discussion

Um eine visuelle Welt Studie durchzuführen, gibt es einige wichtige Schritte zu folgen. Erstens wollen die Forscher die Interpretation der auditiv präsentiert Sprache über Teilnehmer Augenbewegungen der visuellen Welt abzuleiten. Von nun an sollte bei der Gestaltung des Layouts von visuellen Reizen, die Eigenschaften der Augenbewegungen in eine natürliche Aufgabe, die Teilnehmer Augenbewegungen betreffen gesteuert werden. Die Wirkung der gesprochenen Sprache auf Teilnehmer Augenbewegungen kann dann erkannt werden. Zw…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics