Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal

Summary

De visuele wereld paradigma bewaakt deelnemers oogbewegingen in de visuele werkruimte als ze beluisteren of een gesproken taal te spreken. Dit paradigma kan worden gebruikt om te onderzoeken van de online verwerking van een breed scala aan psycholinguïstisch vragen, met inbegrip van semantisch complexe verklaringen, zoals de verklaringen van de disjunctieve.

Abstract

In een typische eye tracking studie met behulp van de visuele wereld paradigma, deelnemers oog bewegingen op objecten of afbeeldingen in de visuele werkruimte worden vastgelegd via een oog-tracker als de deelnemer produceert of omhelst een gesproken taal beschrijven de gelijktijdige visuele wereld. Dit paradigma heeft hoge veelzijdigheid, als het kan worden gebruikt in een breed scala van de bevolking, met inbegrip van degenen die niet kunnen lezen en/of die niet openlijk geven hun gedrags reacties, zoals ongeletterd kinderen, oudere volwassenen en patiënten. Nog belangrijker, het paradigma is zeer gevoelig voor fijnkorrelige manipulaties van het signaal van de toespraak, en het kan worden gebruikt voor het bestuderen van de online verwerking van de meeste onderwerpen in taalbegrip op meerdere niveaus, zoals de fijnkorrelige akoestische fonetische functies, de eigenschappen van de woorden en de taalkundige structuren. Het protocol beschreven in dit artikel ziet u hoe een typische visuele wereld eye tracking studie wordt uitgevoerd, met een voorbeeld waaruit blijkt hoe de online verwerking van sommige semantisch complexe instructies kan worden onderzocht met de visuele wereld paradigma.

Introduction

Gesproken taal is een snelle, continue informatiestroom, die meteen verdwijnt. Het is een uitdaging om experimenteel studeren dit temporele, snel wijzigen toespraak signaal. Oogbewegingen die worden opgenomen in de visuele wereld paradigma kunnen worden gebruikt om te overwinnen van deze uitdaging. In een typische eye tracking studie met behulp van de visuele wereld paradigma, worden oogbewegingen deelnemers foto’s in een weergave of reële objecten in een visuele werkruimte gecontroleerd als ze naar luisteren, of produceren, gesproken taal beeltenis van de inhoud van de visuele wereld^{1 ,2,3,4}. De fundamentele logica, of de koppeling hypothese, achter dit paradigma is dat begrijpen of een uiting van plan zal (openlijk of heimelijk) deelnemers visuele aandacht verschuiven naar een bepaald object in de visuele wereld. Deze verschuiving van de aandacht zal hebben een hoge waarschijnlijkheid tot een saccadic oog beweging het bezochte gebied om in te brengen de foveal visie. Met dit paradigma willen de onderzoekers bepalen op welk temporele punt, met betrekking tot sommige akoestische landmark in het signaal van de toespraak, een verschuiving in de visuele aandacht van de deelnemer optreedt, zoals gemeten door een saccadic oog beweging naar een object of een afbeelding in de visuele wereld. Waar en wanneer saccadic oogbewegingen worden gelanceerd in verband met de toespraak signaal worden vervolgens gebruikt om de online taalverwerking afleiden. De visuele wereld paradigma kan worden gebruikt om zowel de gesproken taal begrip^1,2 en de productie^5,6te studeren. Deze methodologische artikel zal zich richten op begrip studies. In een studie van het begrip met behulp van de visuele wereld paradigma, deelnemers oog bewegingen op de visuele weergave worden gecontroleerd als ze luisteren naar de gesproken uitingen over de visuele weergave.

Verschillende eye tracking-systemen zijn ontworpen in de geschiedenis. De eenvoudigste, goedkoopste en meest draagbaar systeem is gewoon een normale videocamera, die een beeld van de ogen van de deelnemer registreert. Oogbewegingen worden vervolgens handmatig gecodeerd door middel van onderzoek van de frame-voor-frame van de video-opname. Echter de samplefrequentie voor zo’n een oog-tracker is relatief laag, en de codering procedure is tijdrovend. Dus, een hedendaagse commerciële eye tracking systeem normaal gebruikt optische sensoren voor het meten van de richting van het oog in zijn baan^7,8,9. Om te begrijpen hoe een moderne commerciële eye-tracking systeem werkt, moeten de volgende punten worden beschouwd. Eerste, voor het correct meten van de richting van de foveal visie en een infrarood verlichter (normaal met de golflengte rond 780-880 nm) normaal wordt gelegd langs of uit de optische as van de camera, waardoor de opname van de leerling distinguishably helderder of donkerder dan de omliggende iris. Het beeld van de leerling en/of de leerling hoornvlies reflectie (normaal gesproken de eerste Purkinje afbeelding) wordt vervolgens gebruikt voor het berekenen van de oriëntatie van het oog in zijn baan. Ten tweede, de locatie van de blik in de visuele wereld is eigenlijk afhankelijk zijn, niet alleen op het oog-oriëntatie ten opzichte van het hoofd, maar ook over de hoofd richting met betrekking tot de visuele wereld. Om nauwkeurig het afleiden van de blik van de verwijzing van de oriëntatie van het oog, de lichtbron en de camera van de oog-trackers worden opgelost met betrekking tot de deelnemers hoofd (hoofd gemonteerde oog-trackers) of zijn vastgesteld met betrekking tot de visuele wereld (tabel gemonteerde of afstand oog-trackers). Ten derde, de deelnemers hoofd geaardheid moet ofwel worden vastgesteld met betrekking tot de visuele wereld of rekenkundig worden gecompenseerd als hoofd van de deelnemers vrij om te bewegen. Wanneer een externe oog-tracker wordt gebruikt in de modus van een hoofd-gratis-te verplaatsen, is meestal de deelnemers hoofd standpunt opgenomen door het plaatsen van een kleine sticker op het voorhoofd van de deelnemers. De afdrukstand van de hoofd wordt vervolgens computationeel afgetrokken van de oog-oriëntatie voor het ophalen van de locatie van de blik in de visuele wereld. Ten vierde, een kalibratie- en een validatieprocedure dienen vervolgens toewijzen van de oriëntatie van het oog aan de blik van de verwijzing in de visuele wereld. In het kalibratieproces, deelnemers fixatie monsters van bekende doel punten vastgelegd, zodat de ruwe oog kaartgegevens om de blik van de positie in de visuele wereld. In het validatieproces, deelnemers gepresenteerd met dezelfde doelstelling punten als het kalibratieproces. Het verschil tussen de positie van de berekende fixatie van de gekalibreerde resultaten en de werkelijke positie van de doelmap voor gefixeerd in de visuele wereld bestaande worden vervolgens gebruikt om te beoordelen van de nauwkeurigheid van de kalibratie. Om te verder bevestigen de juistheid van het toewijzingsproces, een controle drift is normaal van toepassing voor elk afzonderlijk experiment, waar een interne fixatie doelwit wordt aangeboden aan de deelnemers voor het meten van het verschil tussen de berekende fixatie positie en de werkelijke positie van de huidige doelstelling.

De primaire gegevens van een visuele wereld studie is een stroom van blik locaties in de visuele wereld opgenomen in de samplefrequentie voor de oog-tracker, variërend over het geheel of een deel van de duur van de proef. De afhankelijke variabele gebruikt in de studie van een visuele wereld is doorgaans het aantal monsters dat deelnemers vastleggingen op bepaalde ruimtelijke regio in de visuele wereld over een bepaalde tijdsinterval liggen. Om de gegevens te analyseren, moet een tijd-venster ten eerste worden geselecteerd, vaak aangeduid als perioden van belang. Het tijdsinterval is meestal tijd vergrendeld aan de presentatie van bepaalde taalkundige gebeurtenissen in de auditieve input. Bovendien is de visuele wereld ook nodig om te splitsen in verschillende regio’s van belang (ROIs), die gekoppeld aan een of meer objecten is. Één dergelijke regio bevat de object dat overeenkomt met het juiste begrip van de gesproken taal, en dus heet vaak het doelgebied. Een typische manier om te visualiseren van gegevens is een complot van de aandeel-voor-fixatie, waar op elke opslaglocatie in een venster van de tijd, het aantal monsters met een blik aan elk gebied van belang zijn gemiddeld over deelnemers en items.

Met behulp van de gegevens die zijn verkregen uit een studie van de visuele wereld, verschillende onderzoeksvragen kunnen worden beantwoord: een) op het niveau van grof-korrel, zijn deelnemers oogbewegingen in de visuele wereld beïnvloed door verschillende auditieve taalkundige input? b) als er een effect, wat is het traject van het effect in de loop van het proces? Is het een lineaire effect of Eersterangs effect? en c) als er een effect, dan op het niveau van de fine-korrel, wanneer is het vroegste temporele punt waar dergelijk effect naar voren komt en hoe lang duurt dit effect laatste?

Om de resultaten statistisch te analyseren, moeten de volgende punten worden beschouwd. Ten eerste, de reactie variabele, d.w.z., verhoudingen van vastleggingen, is zowel onder als boven begrensd (tussen 0 en 1), die zullen volgen een multinomiale verdeling in plaats van een normale verdeling. Voortaan, kunnen niet traditionele statistische methoden op basis van normale verdeling zoals t-test, ANOVA en lineaire modellen (gemengd-effect)¹⁰, rechtstreeks worden gebruikt, totdat de verhoudingen zijn getransformeerd naar onbegrensde variabelen zoals met empirische logit formule¹¹ of onbegrensd afhankelijke variabelen zoals de Euclidische afstand¹²zijn vervangen. Statistische technieken die vereisen niet dat de veronderstelling van normaalverdeling dergelijke veralgemeende lineaire modellen (gemengd-effect)¹³ kunnen ook worden gebruikt. Ten tweede, voor het verkennen van het veranderende traject van de waargenomen effecten, een variabele ter aanduiding van de tijd-serie heeft om in het model worden toegevoegd. Deze variabele tijd-serie is oorspronkelijk de oog-tracker de monsternemingspunten verlegde aan het begin van de taal invoeren. Aangezien het veranderende traject meestal niet lineair is, is normaal gesproken een eersterangs polynomiale functie van de tijd-serie in de (algemene) lineair (gemengd-effect) model, dat wil zeggengroei curve analyses¹⁴toegevoegd. Bovendien deelnemers oog posities in het huidige monsterpunt is sterk afhankelijk van vorige bemonstering punt, vooral wanneer de opname frequentie is hoog, wat resulteert in het probleem van de autocorrelatiefunctie. Verklein de autocorrelatie tussen de aangrenzende meetpunten en zijn oorspronkelijke gegevens vaak neer in de steekproef opgenomen of weggegooid. In de afgelopen jaren zijn ook de modellen van de veralgemeende additieve gemengd effect (GAMM) gebruikt om aan te pakken van de autocorrelated fouten^12,15,16. De breedte van opslaglocaties varieert tussen verschillende onderzoeken, variërend van enkele milliseconden tot enkele honderd milliseconden. De smalste bin die een studie kunt kiezen wordt beperkt door de samplefrequentie voor de eye tracker gebruikt in de specifieke studie. Bijvoorbeeld, als een eye tracker een sampling-frequentie van 500 Hz heeft, mag vervolgens de breedte van het venster van de tijd niet kleiner zijn dan 2 ms = 1000/500. Ten derde, wanneer een statistische analyse herhaaldelijk op elke opslaglocatie van de tijd van de periodes van belang toegepast wordt, de familywise fout veroorzaakte daaruit die meerdere vergelijkingen moeten worden aangepakt. Zoals we eerder beschreven, de analyse van het traject informeert de onderzoeker of het effect waargenomen op het niveau van grof-korrel is lineair met betrekking tot het wijzigen van de tijd, maar toont niet wanneer het waargenomen effect begint te ontstaan en hoe lang de waargenomen effect duurt. De temporele om positie te bepalen wanneer het geobserveerde verschil begint te wijken, en om erachter te komen de duur van de tijdelijke periode die duurt van de waargenomen effecten, heeft een statistische analyse herhaaldelijk worden toegepast op elke opslaglocatie van de tijd. Deze meerdere vergelijkingen zal introduceren op de zogenaamde familywise fout, ongeacht welke statistische methode wordt gebruikt. De familywise fout wordt traditioneel gecorrigeerd met Bonferroni aanpassing¹⁷. Onlangs, een methode genaamd niet-parametrische permutatie test oorspronkelijk gebruikt in neuroimaging geplaatst¹⁸ is vereffend met de visuele woord paradigma¹⁹ te controleren voor de familywise fout.

Onderzoekers met behulp van de visuele wereld paradigma willen afleiden van het begrijpen van een gesproken taal van deelnemers oogbewegingen in de visuele wereld. Om ervoor te zorgen de geldigheid van deze aftrek, moeten andere factoren die mogelijk invloed hebben op de oogbewegingen worden uitgesloten of gecontroleerd. De volgende twee factoren behoren tot de gemeenschappelijke regels die moeten worden overwogen. De eerste factor betreft enkele systematische patronen in deelnemers verklarende vastleggingen onafhankelijk van de taal invoeren, zoals de neiging om te fixeren op de linksboven quadrat van de visuele wereld, en de bewegende ogen in de horizontale richting wordt eenvoudiger dan in de verticale richting, etc.^12,20 om ervoor te zorgen dat de waargenomen fixatie patronen zijn gerelateerd aan de objecten, niet naar de ruimtelijke locaties waar de objecten zich bevinden, de ruimtelijke positie van een object moeten worden gecompenseerd via verschillende proeven of via verschillende deelnemers. De tweede factor die van invloed kan zijn op de deelnemers oogbewegingen is de basisinstallatiekopie kenmerken van de objecten in de visuele wereld, zoals luminantie contrast, kleur en edge oriëntatie, o.a.²¹. Om te diagnosticeren van dit potentieel storende, de visuele weergave wordt normaal gepresenteerd voorafgaand aan het begin van de gesproken taal of vóór het begin van de kritische akoestische markering van de gesproken taal, voor ongeveer 1000 ms. tijdens de tijdelijke periode vanaf het begin van de Testafbeelding aan het begin van de test-audio, de taal invoeren of het doorverwijspagina punt van de taal ingang heeft nog niet gehoord. Geen verschil waargenomen tussen verschillende omstandigheden moet worden afgeleid naar andere storende factoren zoals de visuele weergave per se, in plaats van de taal invoeren. Voortaan, bieden oogbewegingen waargenomen in deze preview periode een basislijn voor het bepalen van het effect van de taalkundige input. Deze preview periode kunt ook deelnemers krijgen vertrouwd gemaakt met de visuele weergave, en de systematische vertekening van de verklarende vastleggingen verminderen wanneer de gesproken taal wordt gepresenteerd.

Om te illustreren hoe een typische eye tracking studie met behulp van de visuele wereld paradigma wordt uitgevoerd, beschrijft het volgende protocol een experiment aangepast van L. Zhan¹⁷ tot het verkennen van de online verwerking van semantisch complexe verklaringen, dat wil zeggen, Disjunctieve verklaringen (S1 of S2), conjunctieve instructies (S1 en S2) en maar-verklaringen (S1 maar niet-S2). In gewone instandhouding is de informatie die is uitgedrukt door sommige uitingen eigenlijk sterker dan de letterlijke betekenis. Disjunctieve verklaringen zoals Xiaoming van vak bevat een koe of een haan zijn dergelijke uitingen. Logisch, de disjunctieve bewering klopt zolang de twee disjuncts van Xiaoming vak bevat een koe en Xiaoming van vak een haan niet beide zijn onwaar. De disjunctieve bewering klopt dus, wanneer de twee disjuncts beide true zijn, waar de overeenkomstige conjunctieve instructie Xiaoming van vak bevat een koe en een haan ook waar is. In gewone gesprek, echter horen dat de disjunctieve instructie vaak suggereert dat de overeenkomstige conjunctieve instructie onwaar is (scalaire Implicatuur); en stelt dat de waarden van de waarheid van de twee disjuncts onbekend door de spreker (onwetendheid gevolgtrekking zijn). Rekeningen in de literatuur verschillen in of twee gevolgtrekkingen grammaticale of pragmatische processen^{22,23,24,25,26 zijn}. Het experiment ziet u hoe de visuele wereld paradigma te berechten tussen deze rekeningen, door het verkennen van de online verwerking van drie complexe instructies kan worden gebruikt.

Protocol

Alle onderwerpen moeten geven geïnformeerde schriftelijke toestemming vóór de administratie van de experimentele protocollen. Alle procedures, toestemmingsformulieren, en de experimentele protocol werden goedgekeurd door de ethische commissie van onderzoek van de Beijing taal en cultuur-Universiteit. Opmerking: Een begrip studie met behulp van de visuele wereld paradigma normaliter bestaat uit de volgende stappen uit: voeren de theoretische problemen worden onderzocht; Vormen van een experi…

Representative Results

Deelnemers gedrags reacties worden samengevat in Figuur 4. Zoals we eerder beschreven, is het juiste antwoord op een conjunctieve verklaring (S1 en S2) het grote open vak, zoals vak A in Figuur 1. Het juiste antwoord op een maar-verklaring (S1 maar niet S2) is het open vakje met de eerste genoemde dier, zoals vak D in Figuur 1. Kritisch, welke vak de disjunctieve verklaring…

Discussion

Als u wilt een visuele wereld onderzoek, zijn er verschillende kritische stappen te volgen. Eerst, willen onderzoekers afleiden van de interpretatie van de auditorily gepresenteerd taal via deelnemers oogbewegingen in de visuele wereld. Voortaan moeten bij het ontwerpen van de lay-out van de visuele stimuli, de eigenschappen van oogbewegingen in een natuurlijke taak die potentieel deelnemers oogbewegingen beïnvloeden worden gecontroleerd. Het effect van de gesproken taal op deelnemers oogbewegingen kan vervolgens worden…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics