Med ögonrörelser registreras i den visuella värld paradigmen att utforska Online bearbetning av talat språk

Summary

Den visuella värld paradigmen övervakar deltagarnas ögonrörelser i arbetsytan visuella som de lyssnar på eller talar ett talat språk. Detta paradigm kan användas för att undersöka online bearbetning av en mängd Psykolingvistiska frågor, inklusive semantiskt komplexa uttalanden, såsom Disjunktiv uttalanden.

Abstract

I en typisk eyetracking studie med den visuella värld paradigmen, deltagarnas ögon rörelser till objekt eller bilder i arbetsytan visuella registreras via en eye-tracker som deltagaren producerar eller begriper ett talat språk som beskriver den samtidiga visuellt världen. Detta paradigm har hög flexibilitet, eftersom den kan användas i ett brett utbud av befolkningar, inklusive de som inte kan läsa eller som inte öppet ge deras beteendemässiga svaren, till exempel preliterate barn och äldre vuxna patienter. Viktigare, paradigm är extremt känslig för finkornigt manipulationer av tal signalen, och det kan användas för att studera online bearbetning av de flesta ämnen i språkförståelse på flera nivåer, som de finkornigt akustiska fonetiska funktioner, egenskaper för ord och språkliga strukturer. Protokollet beskrivs i denna artikel visar hur en typisk visuella världen eyetracking studie genomförs, med ett exempel som visar hur online bearbetning av vissa semantiskt komplexa uttalanden kan utforskas med den visuella värld paradigmen.

Introduction

Talspråket är en snabb, pågående informationsflöde, som försvinner direkt. Det är en utmaning att experimentellt studera detta timliga, snabbt ändra tal signal. Ögonrörelser registreras i den visuella värld paradigmen kan användas för att övervinna denna utmaning. I en typisk eyetracking studie med den visuella värld paradigmen, övervakas deltagarnas ögonrörelser till bilder i en display eller riktiga objekt i en visuell arbetsyta de lyssna på, eller producera, talat språk skildrar innehållet i den visuella världen^{1 ,2,3,4}. Den grundläggande logiken, eller länka hypotesen, bakom detta paradigm är att begripa eller planerar en utterance kommer att (öppet eller dolt) skifta deltagarnas visuell uppmärksamhet till ett visst objekt i den visuella världen. Denna uppmärksamhet Skift kommer att ha en hög sannolikhet att inleda en saccadic ögonrörelser för att få området deltog i foveal visionen. Med detta paradigm tänker forskare bestämma vid vilken temporal punkt, med avseende på vissa akustisk landmärke i tal-signalen, uppstår en förändring i deltagarens visuell uppmärksamhet, mätt som en saccadic ögonrörelser till ett objekt eller en bild i visuellt världen. När och var saccadic ögonrörelser lanseras i förhållande till tal signalen används sedan för att härleda online språk bearbetningen. Den visuella värld paradigmen kan användas för att studera både talspråk läsförståelse^1,2 och produktion^5,6. Denna metodologiska artikel kommer att fokusera på läsförståelse studier. I en förståelse studie använder den visuella värld paradigmen, deltagarnas ögat rörelser på visuella displayen övervakas som de lyssnar på de muntliga yttranden talar om visuella displayen.

Olika eye tracking system har utformats i historia. Det enklaste, billigaste och mest portabla system är bara en vanlig videokamera, som registrerar en bild av deltagarens ögon. Ögonrörelser kodas sedan manuellt genom bildruta-för-bildruta granskning av videoinspelning. Men samplingsfrekvensen för sådan en eye-tracker är relativt låg och kodning förfarandet är tidskrävande. Således, en samtida kommersiella eye tracking system normalt använder optiska sensorer mäta orientering i ögat i dess omloppsbana^7,8,9. För att förstå hur en modern kommersiella eye-tracking-systemet fungerar, bör följande punkter beaktas. Första att korrekt mäta riktningen av foveal visionen, en IR illuminator (normalt med våglängden runt 780-880 nm) läggs normalt längs eller inaktivera den optiska axeln av kameran, att göra bilden av eleven distinguishably ljusare eller mörkare än omgivande iris. Bilden av eleven och/eller elev hornhinnans reflektion (normalt den första bilden i Purkinje) används för att beräkna orientering i ögat i omloppsbanan. Andra är platsen blick i den visuella världen faktiskt inte bara på ögat orientering med avseende på huvudet utan också på huvudet orientering med avseende på den visuella världen. För att korrekt härleda blick av hänseende från ögat orientering, ljuskällan och kameran i ögat-trackers korrigeras med avseende på deltagarnas huvud (huvud-monterad öga-trackers) eller korrigeras med avseende på den visuella världen (tabell monterade eller avlägsna ögat-trackers). För det tredje, deltagarnas huvud läggning antingen måste fastställas med avseende på den visuella världen eller kompenseras beräkningsmässigt om deltagarnas huvud är gratis att flytta. När en fjärransluten eye-tracker används i en huvud-gratis-till-flytta-läge, registreras vanligtvis deltagarnas skrivhuvudets position genom att placera en liten klisterlapp på deltagarnas panna. Huvud orienteringen då subtraheras beräkningsmässigt från ögat orientering att hämta platsen blick i den visuella världen. För det fjärde en kalibrering och en valideringsprocess sedan krävs för att mappa orienteringen av ögat till blick för beaktande i den visuella världen. I kalibreringsprocessen registreras deltagarnas fixering prov från kända målpunkter för att mappa den rå ögat data för att blicka position i den visuella världen. I valideringsprocessen presenteras deltagare med samma målpunkter som kalibreringen. Skillnaden mellan den beräknade fixering positionen från kalibrerad resultaten och den faktiska fixerade målet i den visuella världen används sedan för att bedöma riktigheten av kalibreringen. För att ytterligare bekräfta riktigheten av mappningsprocessen, en drift check appliceras normalt på varje rättegång, där ett enda fixering mål presenteras för deltagarna att mäta skillnaden mellan den beräknade fixering samt den faktiska positionen i den Nuvarande målvärde.

Den primära datan av en visuell värld studie är en ström av blick platser i den visuella världen inspelad på samplingsfrekvensen av eye-tracker, sträcker sig över hela eller delar av rättegången varaktighet. Den beroende variabeln används i en visuell värld studie är vanligtvis andelen av prover att deltagarnas upptagningar är belägna på vissa rumsliga region i den visuella världen över en viss tidsramen. För att analysera data, har ett tidsfönster för det första att väljas, ofta kallad perioder av intresse. Tidsramen är vanligtvis tid-låst till presentationen av vissa språkliga händelser i auditiv indata. Dessutom behövs också den visuella världen att delas upp i flera regioner av intresse (ROIs), som alla är associerade med ett eller flera objekt. En sådan region innehåller objektet motsvarar den rätta förståelsen av talat språk, och kallas därför ofta målområdet. Ett typiskt sätt att visualisera data är en del-av-fixering tomt, där på varje lagerplats i en tidsramen, andelen prover med en look till varje region av intresse är i genomsnitt över deltagare och objekt.

Med hjälp av data som erhållits från en visuell värld studie, kan olika forskningsfrågor besvaras: en) på den grova korn nivån, är deltagarnas ögonrörelser i den visuella världen påverkas av olika auditiv språklig input? (b) om det finns en effekt, vad är banan för effekten under rättegången? Är det en linjär effekt eller högsta effekt? och c) om det finns en effekt, sedan på den finkorniga nivån, när är den tidigaste temporal punkten där sådan verkan framträder och hur lång tid denna effekt sista?

För att statistiskt analysera resultaten, bör följande punkter beaktas. Först avgränsas svar variabeln, dvsandelen upptagningar, både under och över (mellan 0 och 1), som kommer att följa en multinomial distribution i stället för en normalfördelning. Hädanefter, kan inte traditionella statistiska metoder baserade på normalfördelning som t-test, ANOVA och linjär (blandat-effekt) modeller¹⁰, utnyttjas direkt tills proportionerna har förvandlats till gränslösa variabler såsom med empiriska logit formel¹¹ eller har ersatts med gränslösa beroende variabler såsom euklidiska avståndet¹². Statistiska tekniker som inte kräver antagandet av normal fördelning sådan generaliserade linjära modeller (blandat-effekt)¹³ kan också användas. Andra för att utforska ändra banan för den observerade effekten, har en variabel som betecknar tidsserien som ska läggas in i modellen. Denna tidsserie variabel är ursprungligen eye-tracker provtagningspunkter uträtad till uppkomsten av det språk som ingång. Eftersom den föränderliga banan vanligtvis inte är linjär, läggs normalt en hög ordningens polynom funktion av tid-serien i (generaliserad) linjär (blandat-effekt) modellen, dvstillväxt kurva analyser¹⁴. Deltagarnas eye positioner i den aktuella provpunkten är dessutom starkt beroende av föregående provtagning (s), särskilt när inspelning frekvensen är hög, vilket resulterar i problemet med autokorrelation. För att minska autokorrelation mellan intilliggande provtagningspunkter, är ursprungliga data ofta ner ingick i urvalet eller binned. Under de senaste åren har de generaliserade tilläggseffekterna blanda modellerna (GAMM) också använts att ta itu med de autocorrelated fel^12,15,16. Bredden på lagerplatser varierar mellan olika studier, alltifrån flera millisekunder till flera hundra millisekunder. Den smalaste bin en studie kan välja begränsas av samplingsfrekvens av eye tracker används i särskilda studien. Exempelvis om en eye-tracker har en samplingsfrekvens på 500 Hz, då bredden på tidsfönstret får inte vara mindre än 2 ms = 1000/500. För det tredje när en statistisk analys används upprepade gånger i varje tid bin av perioder av intresse, familywise felet inducerad från dessa multipla jämförelser bör åtgärdas. Som vi beskrivit tidigare, bana analysen informerar forskaren om att effekten som observerats på grova korn nivå är linjär med avseende på ändring av tiden, men visar inte när den observerade effekten börjar uppstå och hur länge den observerade effekten varar. För att avgöra den tidsmässiga ställning när den observerade skillnaden börjar att avvika och att räkna ut längden på tidsmässiga perioden som den observerade effekten varar, har en statistisk analys tillämpas flera gånger på varje tid bin. Dessa multipla jämförelser kommer att införa den så kallade familywise fel, oavsett vilken statistisk metod som används. Familywise felet korrigeras traditionellt med Bonferroni justering¹⁷. Nyligen, en metod som kallas icke-parametriska permutation test ursprungligen används i neuroimaging arkiverat¹⁸ har tillämpats till visuella ordet paradigm¹⁹ till kontrollen för familywise felet.

Forskare som använder den visuella värld paradigmen tänker sluta förståelsen av vissa talat språk från deltagarnas ögonrörelser i den visuella världen. För att säkerställa giltigheten av detta avdrag, bör andra faktorer som eventuellt påverka ögonrörelser vara antingen utesluta eller kontrolleras. Följande två faktorer är bland de vanligaste som måste beaktas. Den första faktorn innebär några systematiska mönster i deltagarnas förklarande upptagningar oberoende av språket ingång, till exempel en tendens att fixera på övre vänstra quadrat av visuella värld och rörliga ögon i horisontell riktning är lättare än i vertikal riktning, etc.^12,20 , för att se till att de observerade fixering mönsterna är relaterade till objekt, inte till de rumsliga platser där objekten är belägna, rumsliga positionerna för ett objekt bör balanseras på olika prövningar eller flera olika deltagare. Den andra faktorn som kan påverka deltagarnas ögonrörelser är funktionerna grundläggande bild av objekten i den visuella världen, t ex luminans kontrast, färg och edge orientering, bland annat²¹. För att diagnostisera denna potential confounding, visuella displayen presenteras normalt före uppkomsten av det talade språket eller före uppkomsten av den kritiska akustisk markören för talspråket, för ca 1000 ms. under tidsmässiga perioden från början av den testbild på uppkomsten av testet ljud, språket ingång eller den svenskspråkiga punkten av språket ingång har inte hörts ännu. Någon skillnad mellan olika förhållanden bör härledas till andra störfaktorer såsom visuella displayen i sig, snarare än det språk som ingång. Hädanefter, erbjuder ögonrörelser som observerats i detta förhandsversionsperioden en originalplan för effekten av språklig input. Detta förhandsversionsperioden kan också deltagarna att bekanta med visuell display, och att minska den systematiska bias av de förklarande upptagningarna när det talade språket presenteras.

För att illustrera hur en typisk eyetracking-studie med den visuella värld paradigmen bedrivs, beskriver följande protokoll ett experiment som anpassas från L. Zhan¹⁷ att utforska online bearbetning av semantiskt komplexa uttalanden, dvs. Disjunktiv uttalanden (S1 eller S2), konjunktiv uttalanden (S1 och S2) och men-uttalanden (S1 men inte-S2). I vanliga bevarande är den informationen som uttryckts av vissa yttranden faktiskt starkare än dess bokstavliga innebörd. Disjunktiv uttalanden som Xiaoming’s box innehåller en ko eller en tupp är sådana uttalanden. Logiskt, Disjunktiv uttalandet är sant så länge som de två disjuncts Xiaoming’s box innehåller en ko och Xiaoming’s box innehåller en tupp inte är båda falska. Därför är Disjunktiv uttalandet sant när de två disjuncts är både sant, där uttrycket motsvarande konjunktiv Xiaoming’s box innehåller en ko och en tupp också är sant. I vanlig konversation, dock höra uttrycket Disjunktiv ofta föreslår att motsvarande konjunktiv påståendet är falskt (skalär implikatur); och föreslår att sanningen värdena för de två disjuncts är okända talare (okunnighet slutledning). Konton i litteraturen skiljer sig i huruvida två slutsatser är grammatiska eller pragmatisk processer^{22,23,24,25,26}. Experimentet visar hur den visuella värld paradigmen kan användas att döma mellan dessa konton, genom att utforska online bearbetning av tre komplexa uttalanden.

Protocol

Alla ämnen måste ge informerat samtycke före administrering av de experimentella protokoll. Alla procedurer, samtycke former och experimentella protokollet godkändes av en forskningsetisk kommitté av Peking språk och kultur universitet. Obs: En förståelse studie använder den visuella värld paradigmen normalt består av följande steg: införa de teoretiska problem att utforskas; Bilda en experimentell design; Förbereda de visuella och auditiva stimuli; Rama in det teoretiska problem…

Representative Results

Deltagarnas beteendemässiga Svaren sammanfattas i figur 4. Som vi beskrivit tidigare, är rätta svar på en konjunktiv uttalande (S1 och S2) den stora öppna rutan, såsom fält A i figur 1. Rätt svar till en men-uttalande (S1 men inte S2) är små öppna rutan som innehåller den första nämnda djuret, såsom Box D i figur 1. Kritiskt, som rutan väljs på Disjunktiv m…

Discussion

För att genomföra en visuell värld, finns det flera kritiska steg att följa. Först, forskare tänker sluta sig till tolkningen av auditorily presenterade språket via deltagarnas ögonrörelser i den visuella världen. Hädanefter, i utforma layouten för de visuella stimuli, bör egenskaperna för ögonrörelser i en naturlig aktivitet som potentiellt påverkar deltagarnas ögonrörelser kontrolleras. Effekten av det talade språket på deltagarnas ögonrörelser kan då kännas. Andra, akustiska signaler i talspr?…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics