Øyebevegelser registrert i visuell verden paradigmet å utforske Online behandling av språk

Summary

Visuell verden paradigmet overvåker deltakernes øyebevegelser i visuelle arbeidsområdet mens de lytter til eller snakker et talespråk. Dette paradigmet kan brukes til å undersøke online behandling av en rekke psycholinguistic spørsmål, inkludert semantisk komplekse setninger som disjunktiv uttalelser.

Abstract

I en typisk eye tracking studie bruker visuell verden paradigmet, deltakernes øye bevegelser til objekter eller bilder i visuelle arbeidsområdet registreres via et øye-sporing som deltakeren produserer eller forstår et språk som beskriver den samtidige visuelle verden. Dette paradigmet har høy allsidighet, som det kan brukes i en rekke befolkninger, inkludert de som ikke kan lese og/eller som kan ikke åpenlyst gi atferdsdata svar, som preliterate barn, eldre voksne og pasienter. Enda viktigere, paradigmet er svært følsom for finkornet manipulasjoner av tale, og det kan brukes å studere online behandling av de fleste emner i språk forståelse på flere nivåer, for eksempel finkornet akustisk fonetisk funksjoner, egenskaper for ord og de lingvistiske strukturene. Protokollen beskrevet i denne artikkelen illustrerer hvordan en typisk visuell verden eye tracking studie gjennomført, med et eksempel viser hvordan online behandling av noen semantisk komplekse setninger kan utforskes med visuell verden paradigmet.

Introduction

Språk er en rask, pågående informasjonsflyt, som forsvinner umiddelbart. Det er en utfordring å eksperimentelt studere denne timelige, raskt endre tale signal. Øyebevegelser registrert i visuell verden paradigmet kan brukes til å mestre denne utfordringen. I en typisk eye tracking studie bruker visuell verden paradigmet, overvåkes deltakernes øyebevegelser bilder i en visning eller virkelige objekter i et visuelt arbeidsområde som de lytter til, eller produsere, språk som viser innholdet i den visuelle verden^{1 ,2,3,4}. Den grunnleggende logikken, eller knytte hypotesen bak dette paradigmet er at forstå eller planlegger en ytring (åpent eller skjult) flyttes deltakernes visuell oppmerksomhet til et bestemt objekt i visuelle verden. Denne oppmerksomhet Skift har en høy sannsynlighet for å starte en saccadic øyebevegelser for å bringe området gikk inn foveal visjon. Med dette paradigmet skal forskere bestemme hvilket timelige punkt, med hensyn til noen akustisk landemerke i talen signalet, oppstår et skifte i deltakerens visuell oppmerksomhet, målt ved en saccadic øyebevegelser til et objekt eller et bilde i visuelle verden. Når og hvor saccadic øyebevegelser er lansert i forhold til talen signalet brukes deretter utlede online omgangsspråk behandling. Visuell verden paradigmet kan brukes å studere både talespråk forståelse^1,2 og produksjon^5,6. Denne metodologiske artikkelen vil fokusere på forståelse studier. I en forståelse studie bruker visuell verden paradigmet, deltakernes øye bevegelser på visuell visning overvåkes mens de lytter til de talte ytringer snakker om visuell visning.

Ulike øye sporingssystemer er utformet i historien. Den enkleste, minst kostbare, og de fleste bærbare systemet er bare et vanlig videokamera, som registrerer et bilde av deltakernes øyne. Øyebevegelser er deretter manuelt kodet gjennom frame-by-frame undersøkelse av video-opptaket. Imidlertid samplingsfrekvensen for slik en øye-sporing er relativt lav, og koding prosedyren er tidkrevende. Således, en moderne kommersielle øye sporing systemet vanligvis bruker optiske sensorer måler retningen på øyet i sin bane^7,8,9. For å forstå hvordan en moderne kommersielle øye-sporing systemet fungerer, bør følgende punkter vurderes. Først, for å måle riktig retning foveal visjon, en infrarød illuminator (normalt med bølgelengde rundt 780-880 nm) er normalt lagt sammen eller den optiske aksen av kameraet, og bildet av eleven distinguishably lysere eller mørkere enn omkringliggende iris. Bildet av eleven og/eller elev hornhinnen refleksjon (normalt det første bildet Purkinje) brukes deretter til å beregne retningen på øyet i sin bane. Andre er blikk plasseringen i visuelle verden faktisk betinget ikke bare på øyet retningen med hensyn til hodet, men også på hodet retning når det gjelder visuell verden. Å nøyaktig antyde blikk av forbindelse fra øye retningen, lyskilden og kameraet av det øye-bane er løst med hensyn til deltakernes hode (leder-montert øye-bane) eller er løst med hensyn til visuelle verden (tabell-montert eller ekstern øye-bane). Tredje deltakernes hodet retning heller være faste forhold til visuelle verden eller kompenseres beregningsmessig hvis deltakernes hodet er gratis å flytte. Når en ekstern øye-sporing brukes i hodet-gratis-å-move modus, registreres vanligvis deltakernes stilling ved å plassere et lite klistremerke på deltakernes pannen. Hodet retningen trekkes deretter beregningsmessig fra øye retningen hente blikket plasseringen i visuelle verden. En kalibrering og en valideringsprosessen kreves fjerde deretter tilordne retningen på øyet med blikk for hensyn i visuelle verden. I kalibreringsprosessen registreres deltakernes fiksering prøver fra kjente mål poeng for å tilordne dataene til rå øye å stirre posisjon i visuelle verden. I valideringsprosessen presenteres deltakerne med samme mål poeng som kalibreringsprosessen. Forskjellen mellom beregnede fiksering posisjonen fra kalibrert resultatene og den faktiske posisjonen til fiksert målet i visuelle verden eksisterende brukes deretter til å bedømme nøyaktigheten av kalibreringen. For å ytterligere bekrefte nøyaktigheten av tilordningen, en drift sjekk brukes vanligvis ved hvert forsøk, der en enkelt fiksering mål er presentert for deltakerne å måle forskjellen mellom beregnede fiksering posisjon og den faktiske posisjonen til den gjeldende målet.

Primærdataene av en visuell verden studie er en strøm av blikk steder i visuelle verden innspilt med samplingsfrekvensen i øye-sporing, spenner over hele eller deler av rettssaken varighet. Den avhengige variabelen brukes i en visuell verden studie er vanligvis andelen prøver at deltakernes fixations ligger på visse romlige region i visuelle verden over en viss tidsvindu. Analysere dataene, har et tidsvindu først velges, ofte referert til som perioder av interesse. Tidsvinduet er vanligvis tid-låst til presentasjon av noen språklige hendelser i auditiv input. Videre er visuelle verden også nødvendig å dele inn i flere områder av interesse (ROIs), hver av dem er knyttet til ett eller flere objekter. En slik region inneholder objektet tilsvarer riktig forståelse av talespråket, og dermed kalles ofte målet. Vanlig måte å visualisere dataene er en del av fiksering plot, der på hver hylle i et tidsvindu, andelen av prøver med en se til områder av interesse er gjennomsnitt over deltakere og elementer.

Bruker data fra en visuell verden studie, ulike forskning spørsmål kan besvares: en) på grovkornet nivå, er deltakernes øyebevegelser i visuelle verden berørt av ulike auditiv språklige innspill? b) hvis det er en effekt, hva er banen effekt i løpet av rettssaken? Er det en lineær effekt eller signifikante effekt? og c) hvis det er en effekt, deretter på fin-korn nivå, når er det tidligste timelige punktet der slik effekt kommer og hvor lang tid dette siste?

Statistisk analysere resultatene, bør følgende punkter vurderes. Først grenser svar variabelen, dvsandelen fixations, både under og over (mellom 0 og 1), som vil følge en MULTINOMINELL distribusjon i stedet for en normalfordeling. Heretter, kan ikke tradisjonelle statistiske metoder basert på normal fordeling som t-test, ANOVA og lineære (blandet-effekt) modeller¹⁰, brukes direkte til proporsjonene har blitt forvandlet til ubegrenset variabler som med empirisk logit formel¹¹ eller erstattet med ubegrenset avhengig av variabler som euklidsk avstand¹². Statistiske teknikker som ikke krever forutsetning av normalfordeling slik generaliserte lineære (blandet-effekt) modeller¹³ kan også brukes. Andre for å utforske endre banen observert effekt, har en variabel angir tiden-serien legges inn i modellen. Denne tidsserier variabelen er opprinnelig øye-sporing sampling poeng realigned til utbruddet av språket inngang. Siden endre banen vanligvis ikke er lineær, legges vanligvis høye polynom funksjon av tiden-serien i (generalisert) lineær (blandet-effekt) modell, dvsvekst kurve analyser¹⁴. Videre deltakernes øyet stillinger i gjeldende prøvepunkt er svært avhengig av forrige utvalg datapunkt, spesielt når innspillingen frekvensen er høy, gir problemet autokorrelasjon. For å redusere autokorrelasjon mellom de tilstøtende prøvepunkter, er opprinnelige dataene ofte nedjustert eller binned. De siste årene, har generalisert additiv blandet effekt modeller (GAMM) også blitt brukt til å takle autocorrelated feil^12,15,16. Bredden på hyller varierer mellom forskjellige studier, mellom flere millisekunder flere hundre millisekunder. Smaleste hyllen en studie kan velge begrenses av samplingsfrekvensen i øye sporing brukes i bestemte studien. For eksempel hvis en øye-sporing har en samplingsfrekvens på 500 Hz, kan ikke deretter bredden på tidsvinduet være mindre enn 2 ms = 1000/500. Tredje Når en statistisk analyse brukes flere ganger hver gang hylle av perioder av interesse, familywise feilen indusert fra disse flere sammenligninger bør håndteres. Som vi beskrevet tidligere, bane analyse informerer forskeren om effekten observert på grovkornet nivå er lineær når det gjelder endring av tiden, men viser ikke når observert effekten begynner å dukke opp og hvor lenge de observerte effekten varer. For å avgjøre den timelige posisjonen når observert forskjellen begynner å divergere og finne ut varigheten av timelige perioden som observerte effekten varer, har en statistikken analyse skal brukes flere ganger hver gang hylle. Disse flere sammenligningene vil introdusere såkalte familywise feilen, uansett hva statistiske metoden brukes. Familywise feilen er tradisjonelt rettet med Bonferroni justering¹⁷. Nylig har en metode kalt parametriske permutasjon test opprinnelig brukt i neuroimaging arkivert¹⁸ er brukt visuell ordet paradigmet¹⁹ kontroll for familywise feil.

Forskerne bruker visual verden paradigmet hensikt å antyde forståelse av noen språk fra deltakernes øyebevegelser i visuelle verden. For å sikre gyldigheten av denne fradraget, bør andre faktorer som påvirker muligens øyebevegelser være enten utelukkes eller kontrollert. Følgende to faktorer er blant de vanligste som må vurderes. Den første faktoren innebærer noen systematisk mønstre i deltakernes forklarende fixations uavhengig av språket inngang, som tendensen til fixate på toppen til venstre quadrat visuell verden og bevegelige øyne i horisontal retning er lettere enn i den loddrette retningen, etc.^12,20 for å sikre at den observerte fiksering mønsteret er knyttet til objekter, ikke til de romlige stedene der objektene ligger, romlig plasseringen av et objekt skal være balansert over forskjellige studier eller på tvers av ulike deltakerne. Den andre faktoren som kan påvirke deltakernes øyebevegelser er de grunnleggende funksjonene av objektene i visuelle verden, deriblant lysstyrke kontrast, farge og kanten orientering, blant annet²¹. For å diagnostisere dette potensialet forvirrende, visuell visning er vanligvis presentert før utbruddet av talespråket eller før utbruddet av kritiske akustisk merket av talespråket, ca 1000 ms. i timelige perioden fra utbruddet av den testavbildningen starten på test lyd, språket input eller utmerkede poenget med språket input har ikke blitt hørt ennå. Noen forskjell observert mellom ulike forhold bør kunne utledes til andre forvirrende faktorer som visuelle visningen sådan, språket inngang. Heretter, være øyebevegelser observert i denne forhåndsvisningen perioden grunnlaget for å bestemme effekten av språklige innspill. Denne forhåndsvisningen perioden gir også deltakerne blir kjent med skjermvisningen og redusere den systematiske skjevheten av de forklarende fixations når talespråket presenteres.

For å illustrere hvordan en typisk eye tracking studie bruker visuell verden paradigmet er gjennomført, beskriver følgende protokollen et eksperiment tilpasset fra L. Zhan¹⁷ å utforske online behandling av semantisk komplekse uttalelser, dvs. disjunktiv uttalelser (S1 eller S2), konjunktiv setninger (S1 og S2) og men-setninger (S1 men ikke-S2). I vanlige bevaring er informasjonen uttrykt av noen ytringer faktisk sterkere enn betyr direkte oversatt. Disjunktiv setninger som Xiaomings inneholder en ku eller en hane er slike ytringer. Logisk, disjunktiv påstanden er sann som de to disjuncts Xiaomings inneholder en ku og Xiaomings inneholder en hane ikke er falske. Derfor er disjunktiv påstanden sann når de to disjuncts er både sant, hvor den tilsvarende konjunktiv setningen Xiaomings inneholder en ku og en hane er også sant. I vanlig samtale, men høre disjunktiv setningen ofte antyder at den tilsvarende konjunktiv setningen er USANN (skalar implicature); og antyder at sannheten verdiene i de to disjuncts er ukjent med høyttaler (uvitenhet slutning). Kontoer i litteraturen forskjellige om to slutninger er grammatisk eller pragmatisk^{22,23,24,25,26}. Eksperimentet viser hvordan visuell verden paradigmet kan brukes til å avgjøre imellom disse regnskapet, ved å utforske online behandling av tre komplekse setninger.

Protocol

Alle fag må gi informert skriftlig samtykke før administrasjonen av eksperimentelle protokoller. Alle prosedyrer, samtykke former og eksperimentelle protokollen ble godkjent av forskning etikk av Beijing språk og kultur University. Merk: En forståelse studie bruker visuell verden paradigmet normalt består av følgende trinn: presentere teoretisk problemene utforskes; Danne en eksperimentell design; Forberede visuelle og auditive stimuli; Ramme teoretisk problemet med hensyn til eksperimen…

Representative Results

Deltakernes atferdsdata svar oppsummeres i Figur 4. Som vi beskrev tidligere, er det riktige svaret et konjunktiv setningen (S1 og S2) store åpne-boksen, for eksempel boksen A i figur 1. Det riktige svaret en men-setningen (S1 men ikke S2) er den lille åpne boksen som inneholder den første nevnte dyr, for eksempel boks D i figur 1. Kritisk, som boksen er valgt i disjunkt…

Discussion

For å oppførsel en visuell verden studie, er det flere viktige trinn å følge. Først forskere har tenkt å utlede tolkning av auditorily presentert språket via deltakernes øyebevegelser i visuelle verden. Heretter kan utforme oppsettet for visuelle stimuli, bør egenskapene til øyebevegelser i en naturlig oppgave som potensielt kan påvirker deltakernes øyebevegelser kontrolleres. Effekten av muntlig språk på deltakernes øyebevegelser kan deretter bli gjenkjent. Andre, akustisk stikkordene i det nasjonale spr?…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics