Ved hjælp af øjenbevægelser registreres i den visuelle verden paradigme at udforske Online behandling af talesprog

Summary

Den visuelle verden paradigme overvåger deltagernes øjenbevægelser i arbejdsområdet visuelle de lytte til eller tale et talesprog. Dette paradigme kan bruges til at undersøge online behandling af en bred vifte af psycholinguistic spørgsmål, herunder semantisk komplekse erklæringer, såsom disjunktiv erklæringer.

Abstract

I en typisk eyetracking undersøgelse ved hjælp af visuelle verden paradigme, deltagernes øje bevægelser til objekter eller billeder i arbejdsområdet visuelle registreres via en øje tracker, som deltageren producerer eller begriber et sprog der beskriver den samtidige visuelle verden. Dette paradigme har høje alsidighed, så det kan bruges i en bred vifte af befolkningsgrupper, herunder dem, der ikke kan læse og/eller der åbenlyst ikke kan give deres adfærdsmæssige reaktioner, som preliterate børn, ældre voksne og patienter. Endnu vigtigere, paradigme er ekstremt følsomme over for finkornet manipulationer af tale-signal, og det kan bruges til at studere online behandling af de fleste emner i sprogforståelse på flere niveauer, såsom den finkornet akustisk fonetiske funktioner, egenskaber af ord, og de sproglige strukturer. Den protokol, der er beskrevet i denne artikel illustrerer, hvordan en typisk visuelle verden eyetracking studie er gennemført, med et eksempel på hvordan online behandling af nogle semantisk komplekse sætninger kan udforskes med den visuelle verden paradigme.

Introduction

Talesprog er en hurtig, igangværende informationsstrøm, som forsvinder lige bortrejst. Det er en udfordring at eksperimentelt studere denne timelige, hurtigt ændre tale signal. Øjenbevægelser registreres i den visuelle verden paradigme kan bruges til at overvinde denne udfordring. I en typisk eyetracking undersøgelse ved hjælp af visuelle verden paradigme, overvåges deltagernes øjenbevægelser til billeder på en skærm eller til virkelige objekter i en visual arbejdsområde de lytte til, eller producere, talesprog skildrer indholdet af den visuelle verden^{1 ,2,3,4}. Den grundlæggende logik eller forbinder hypotesen bag dette paradigme er at begribe eller planlægger en ytring vil (åbenlyst eller skjult) Skift deltagernes visuel opmærksomhed til et bestemt objekt i den visuelle verden. Denne opmærksomhed skift vil have stor sandsynlighed for at indlede en saccadic øje bevægelse for at bringe området deltog i den foveal vision. Med dette paradigme, forskere har til hensigt at bestemme på hvilket tidsmæssige punkt med hensyn til nogle akustiske vartegn i tale signal, et skift i deltagerens visuel opmærksomhed opstår, som målt ved en saccadic øjenbevægelser til et objekt eller et billede i visuelle verden. Hvornår og hvor saccadic øjenbevægelser er lanceret i forbindelse med indlæg signalet bruges derefter til at udlede online sprogbehandling. Den visuelle verden paradigme kan bruges til at studere både talesprog forståelse^1,2 og produktion^5,6. Dette metodologiske artikel vil fokusere på forståelse undersøgelser. I en forståelse undersøgelse ved hjælp af visuelle verden paradigme, deltagernes øje bevægelser på den visuelle display overvåges som de lytter til de talte ytringer taler om den visuelle display.

Forskellige eye tracking systemer er blevet designet i historie. Den enkleste, billigste og mest bærbare system er bare en normal video kamera, der registrerer et billede af deltagerens øjne. Øjenbevægelser er derefter manuelt kodet via frame-by-frame undersøgelse af videooptagelsen. Dog samplingfrekvensen af sådan en øje-tracker er relativt lav, og den kodning procedure er tidskrævende. Således, en moderne kommercielle eye tracking system normalt bruger optiske sensorer måler retningen af øjet i sin bane^7,8,9. For at forstå, hvordan en moderne kommercielle eye-tracking systemet fungerer, bør følgende punkter overvejes. Første, der korrekt måler retningen af den foveal vision, en infrarød illuminator (normalt med bølgelængde omkring 780-880 nm) er normalt lagt langs eller fra den optiske akse af kameraet, gør billedet af eleven distinguishably lysere eller mørkere end den omkringliggende iris. Billede af eleven og/eller elev hornhinde refleksion (normalt den første Purkinje billede) bruges derefter til at beregne orientering af øjet i sin bane. Andet er blik placering i den visuelle verden faktisk betinget af ikke kun øje orientering med hensyn til lederen, men også den hoved orientering med hensyn til den visuelle verden. Du kan præcist udlede blik for henvisning fra øjet orientering, lyskilden og kamera af eye-trackers enten er fastsat med hensyn til deltagernes hovedet (head-monteret øje-trackers) eller er fastsat med hensyn til den visuelle verden (tabel-monteret eller Remote øje-bane). For det tredje deltagernes hoved orientering skal enten være fastgjort med hensyn til den visuelle verden eller kompenseres beregningsmæssigt hvis deltagernes hoved er gratis at flytte. Når en fjernbetjening øje-tracker bruges i et hoved, der gratis at flyttetilstand, indspillet deltagernes hovedets stilling typisk ved at placere en lille mærkat på deltagernes pande. Den hoved orientering er derefter beregningsmæssigt trækkes fra øjet orientering at hente blik placering i den visuelle verden. For det fjerde er en kalibrering og en valideringsproces så forpligtet til kort orientering af øjet blik af henvisning i den visuelle verden. I kalibreringsprocessen registreres deltagernes fiksering prøver fra kendte mål point for at kortdata rå øje for at stirre position i den visuelle verden. I valideringsprocessen præsenteres deltagerne med de samme mål point som kalibreringsprocessen. Forskellen mellem den beregnede fiksering holdning fra de kalibrerede resultater og af det fikserede mål position i den visuelle verden bruges derefter til at bedømme nøjagtigheden af kalibreringen. Du kan yderligere bekræfte nøjagtigheden af tilknytningsprocessen, afdrift kontrol anvendes normalt hvert forsøg, hvor et enkelt fiksering mål er præsenteret for deltagerne til at måle forskellen mellem den beregnede fiksering holdning og den faktiske placering af den nuværende mål.

De primære data af en visuel verden undersøgelse er en strøm af blik steder i visuel verden, indspillet i øjet-tracker, spænder over hele eller dele af den retssag varighed samplefrekvensen. Den afhængige variabel bruges i en visuel verden undersøgelse er typisk andelen af prøver, deltagernes filmoptagelse er beliggende på visse geografiske region i den visuelle verden over en vis tidsvindue. For at analysere data, har et tidsvindue for det første skal udvælges, ofte omtales som perioder af interesse. Tidsvinduet er typisk tid låst til en præsentation af nogle sproglige begivenheder i den auditive input. Endvidere er den visuelle verden også behov for at opdele i flere regioner af interesse (ROIs), som hver er forbundet med et eller flere objekter. En sådan region indeholder objektet svarende til den korrekte forståelse af det talte sprog, og derfor kaldes ofte målområdet. En typisk måde at visualisere dataene er en del af fiksering plot, hvor på hver placering i et tidsvindue, andelen af prøver med et kig til hvert område af interesse er i gennemsnit på tværs af deltagerne og elementer.

Ved hjælp af oplysningerne fra en visuel verden undersøgelse, forskellige forskningsspørgsmål kan besvares: en) på foderkorn niveau, er deltagernes øjenbevægelser i den visuelle verden ramt af forskellige auditive sproglige input? b) Hvis der er en effekt, hvad er banen af effekten i løbet af retssagen? Er det en lineær virkning eller høje effekt? og c) Hvis der er en effekt, så på nobel-korn niveau, Hvornår er det tidligste tidsmæssige punkt hvor sådan en effekt opstår og hvor lang tid tager denne effekt sidste?

For statistisk at analysere resultaterne, bør følgende punkter overvejes. Første afgrænses respons variabel, dvsproportioner fjernsynsforetagender, både under og over (mellem 0 og 1), som vil følge en returnerer multinomial distribution i stedet for en normal fordeling. Fremover, kan ikke traditionelle statistiske metoder baseret på normal fordeling som t-test, ANOVA og lineær (blandet-effekt) modeller¹⁰, udnyttes direkte indtil proportioner er blevet omdannet til ubegrænsede variabler såsom med empiriske logit formel¹¹ eller er blevet erstattet med ubegrænsede afhængige variabler såsom euklidisk afstand¹². Statistiske teknikker, som ikke kræver antagelsen af normalfordelingen sådanne generaliserede lineære (blandet-effekt) modeller¹³ kan også bruges. Andet for at udforske skiftende bane af den observerede effekt, har en variabel betegner tidsserien tilføjes i modellen. Denne tidsserier variabel er oprindeligt øje-tracker prøveudtagningssteder udrettet til udbrud af sproget input. Da de skiftende bane ikke er typisk lineær, tilføjede en høj-ordre polynomium funktion af tidsserien normalt i (generel) lineær (blandet-effekt) modellen, dvs.vækst kurve analyser¹⁴. Derudover deltagernes øje positioner i det aktuelle indsamlingspunkt er meget afhængig forrige prøvetagning point (s), især når optagelse frekvensen er høj, resulterer i problemet med autokorrelation. For at reducere autokorrelation mellem de tilstødende prøveudtagningssteder, er oprindelige data ofte ned-samplede eller arkiveret lodret. I de seneste år, har generaliseret tilsætningsstof blandet effekt modeller (GAMM) også været brugt til at tackle autocorrelated fejl^12,15,16. Bredde over placeringer varierer blandt forskellige undersøgelser, lige fra flere millisekunder til flere hundrede millisekunder. Den smalleste bin en undersøgelse kan vælge er begrænset af samplefrekvensen øje tracker anvendes i den konkrete undersøgelse. For eksempel, hvis en øje tracker har en samplingfrekvens på 500 Hz, kan ikke så bredden af tidsvinduet være mindre end 2 ms = 1000/500. For det tredje, når en statistisk analyse anvendes gentagne gange til hver tid placering af perioder med interesse, den familywise fejl induceret fra disse flere sammenligninger skal tackles. Som vi beskrev tidligere, bane analyse informerer forskeren om effekten observeres på foderkorn niveau er lineære med hensyn til ændring af tiden, men viser ikke hvornår den observerede effekt begynder at dukke op og hvordan længe den observerede effekten varer. For at bestemme den tidsmæssige placering, når den observerede forskel begynder at afvige, og at finde ud af varigheden af den tidsmæssige periode, at den observerede effekt varer, har en statistik analyse anvendes gentagne gange til hver tid bin. Disse flere sammenligninger vil indføre de såkaldte familywise fejl, uanset hvilken statistisk metode er brugt. Den familywise fejl er traditionelt korrigeret med Bonferroni justering¹⁷. For nylig, en metode, der kaldes ikke-parametrisk permutation test oprindeligt brugt i neuroimaging gemt¹⁸ er blevet anvendt til visuelle ordet paradigme¹⁹ til kontrol for den familywise fejl.

Forskere ved hjælp af visuelle verden paradigme agter at udlede forståelsen af nogle talesprog fra deltagernes øjenbevægelser i den visuelle verden. For at sikre gyldigheden af dette fradrag, skal andre faktorer, der muligvis påvirke øjenbevægelser enten udelukkes eller kontrollerede. De følgende to faktorer er blandt de almindelige, der skal overvejes. Den første faktor indebærer nogle systematiske mønstre i deltagernes forklarende fjernsynsforetagender uafhængig af sproget input, såsom tendens til at fiksere på øverste venstre quadrat visuel verden, og flytter øjnene i den vandrette retning er lettere end i den lodrette retning, etc.^12,20 for at sikre, at de observerede fiksering mønstre er relateret til objekterne, ikke til den rumlige steder hvor objekterne er beliggende, de rumlige positioner af et objekt skal vejes på tværs af forskellige forsøg eller på tværs af forskellige deltagere. Den anden faktor, der kan påvirke deltagernes øjenbevægelser er funktionerne grundlæggende billede af objekter i visuelle verden, såsom luminans kontrast, farve og kant orientering, blandt andre²¹. For at diagnosticere denne konfunderende potentiale, den visuelle display er normalt præsenteret før igangsættelsen af det talte sprog eller før igangsættelsen af den kritiske akustiske markør af talesprog, for omkring 1000 ms for tidsmæssige perioden fra starten af den test billede til udbrud af test lyden, sproget input eller flertydig punkt af sproget input er ikke blevet hørt endnu. Nogen forskel mellem forskellige betingelser bør udledes til andre forstyrrende faktorer såsom den visuelle display i sig selv, i stedet for det sprog, input. Fremover, danner øjenbevægelser observeret i dette preview periode en baseline for fastsættelsen af effekten af den sproglige input. Dette preview periode giver også mulighed for deltagerne at få fortrolig med den visuelle display og reducere den systematiske bias af den forklarende optagelse når det talte sprog er præsenteret.

For at illustrere, hvordan en typisk eyetracking undersøgelse ved hjælp af visuelle verden paradigme er gennemført, beskriver følgende protokol et eksperiment, tilpasset fra L. Zhan¹⁷ at udforske online behandling af semantisk komplekse sætninger, dvs. disjunktiv erklæringer (S1 eller S2), conjunctive sætninger (S1 og S2) og men-sætninger (S1 men ikke-S2). I almindelige bevarelse er de oplysninger, der er udtrykt af nogle ytringer faktisk stærkere end sin bogstavelige betydning. Disjunktiv udsagn som Xiaoming’s box indeholder en ko eller en hane er sådanne udtalelser. Logisk, sætningen disjunktiv er sandt, så længe de to disjuncts Xiaoming’s box indeholder en ko og Xiaoming’s box indeholder en hane ikke er både falsk. Sætningen disjunktiv er derfor rigtigt, når de to disjuncts er begge sande, hvor den tilsvarende conjunctive sætning Xiaoming’s box indeholder en ko og en hane er også sandt. I almindelig samtale, dog høre den disjunktiv erklæring ofte tyder på, at den tilsvarende conjunctive sætning er falsk (skalar Implikatur); og antyder, at sandheden værdierne af de to disjuncts er ukendt af højttaler (uvidenhed inferens). Konti i litteraturen forskellige om to slutninger er grammatiske eller pragmatisk processer^{22,23,24,25,26}. Forsøget viser, hvordan den visuelle verden paradigme kan bruges til at træffe afgørelse i sagen mellem disse konti ved at udforske online behandling af tre komplekse sætninger.

Protocol

Alle fag skal give informeret skriftligt samtykke før administration af de eksperimentelle protokoller. Alle procedurer, samtykke former og eksperimenterende protokollen blev godkendt af en videnskabsetisk komité af Beijing sprog og kultur Universitet. Bemærk: En forståelse undersøgelse ved hjælp af visuelle verden paradigme normalt består af følgende trin: indføre de teoretiske problemer skal undersøges; Danne en eksperimenterende design; Forberede de visuelle og auditive stimuli; R…

Representative Results

Deltagernes adfærdsmæssige reaktioner er sammenfattet i figur 4. Som vi beskrev tidligere, er det korrekte svar til en conjunctive sætning (S1 og S2) den store åben kasse, som rubrik A i figur 1. Det rigtige svar på et men-erklæring (S1 men ikke S2) er små åbne kassen med det første nævnte dyr, såsom Box D i figur 1. Kritisk, som boksen er valgt at sætningen dis…

Discussion

For at foretage en visuel verden, er der flere vigtige skridt til at følge. Første gang, forskere har til hensigt at udlede fortolkningen af auditorily præsenteres sprog via deltagernes øjenbevægelser i den visuelle verden. Fremover, i at designe layout af de visuelle stimuli, bør egenskaberne af øjenbevægelser i en naturlig opgave, der potentielt kan påvirker deltagernes øjenbevægelser kontrolleres. Effekten af det talte sprog på deltagernes øjenbevægelser kan derefter blive anerkendt. Andet, akustiske sig…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics