Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata

Summary

Il paradigma del mondo visivo monitora i movimenti degli occhi dei partecipanti nell’area di lavoro visual come sono ascoltando o parlando una lingua parlata. Questo paradigma può essere utilizzato per indagare l’elaborazione online di una vasta gamma di domande psicolinguistiche, tra cui istruzioni, semanticamente complesse, ad esempio disgiuntiva.

Abstract

In un tipico occhio Studio utilizzando il paradigma del mondo visivo di rilevamento, dei partecipanti occhio movimenti agli oggetti o immagini nell’area di lavoro visual vengono registrate tramite eye tracker come il partecipante produce o comprende una lingua parlata che descrive il visual simultanee mondo. Questo paradigma ha elevata versatilità, come può essere utilizzato in una vasta gamma di popolazioni, compresi quelli che non sanno leggere e/o apertamente che non può dare loro risposte comportamentali, come i bambini del preliterate, adulti anziani e pazienti. Ancora più importante, il paradigma è estremamente sensibile alle manipolazioni grana del segnale vocale, e può essere utilizzato per studiare l’elaborazione in linea della maggior parte degli argomenti nella comprensione del linguaggio a più livelli, ad esempio la grana acustica fonetica caratteristiche, le proprietà delle parole e strutture linguistiche. Il protocollo descritto in questo articolo viene illustrato come viene condotto un occhio tipico mondo visual studio di monitoraggio, con un esempio che illustra come l’elaborazione online di alcune istruzioni semanticamente complesse può essere esplorata con il paradigma del mondo visivo.

Introduction

Lingua parlata è un flusso di informazioni veloce, in corso, che scomparirà subito. È una sfida per studiare sperimentalmente questo temporale, modificare rapidamente il segnale vocale. Movimenti di occhio registrati nel paradigma mondo visivo possono essere utilizzati per superare questa sfida. In un tipico occhio tracking studio utilizzando il paradigma del mondo visivo, movimenti degli occhi dei partecipanti a immagini in un display o a oggetti reali in un’area di lavoro visual vengono monitorati come ascoltare, o produrre, lingua parlata, raffigurante il contenuto del mondo visivo^{1 ,2,3,4}. La logica di base, o l’ipotesi di collegamento, dietro questo paradigma è che comprendere o pianificazione di un enunciato (apertamente o velatamente) sposterà il attenzione visiva dei partecipanti a un determinato oggetto nel mondo visivo. Questo spostamento di attenzione avrà un’alta probabilità di avviare un movimento di occhio saccadici per portare le frequentate in visione foveale. Con questo paradigma, i ricercatori intendono determinare a che punto temporale, rispetto a qualche punto di riferimento acustico del segnale vocale, si verifica uno spostamento di attenzione visiva del partecipante, come misurato da un movimento di occhio saccadici ad un oggetto o un’immagine in visual mondo. Quando e dove i movimenti oculari saccadici vengono lanciati in relazione il segnale vocale vengono quindi utilizzati per dedurre l’elaborazione online di lingua straniera. Il paradigma del mondo visivo può essere utilizzato per studiare la lingua parlata comprensione^1,2 e la produzione^5,6. Questo articolo metodologico si concentrerà sugli studi di comprensione. In uno studio di comprensione utilizzando il paradigma del mondo visivo, occhio dei partecipanti movimenti sul visual display vengono monitorati come ascoltano le espressioni vocali parlando la visuale del display.

Sistemi di tracciamento degli occhi diversi sono stati progettati nella storia. Il più semplice, meno costoso e più portatile sistema è solo una normale videocamera, che registra un’immagine degli occhi del partecipante. Movimenti oculari sono poi codificati manualmente attraverso l’esame di frame-by-frame di registrazione video. Tuttavia, la frequenza di campionamento di un eye-tracker è relativamente bassa, e la procedura di codificazione è che richiede tempo. Così, un occhio commerciale contemporaneo sistema di tracciamento normalmente utilizza sensori ottici di misura l’orientamento dell’occhio nella sua orbita^7,8,9. Per comprendere il funzionamento di un sistema di eye tracking commerciale contemporaneo, da considerare i seguenti punti. Primo, per misurare correttamente la direzione della visione fovea, un illuminatore ad infrarossi (normalmente con la lunghezza d’onda intorno 780-880 nm) è normalmente disposto lungo o fuori l’asse ottico della telecamera, rendendo l’immagine della pupilla distinguishably più luminoso o più scuro rispetto l’iride circostante. L’immagine della pupilla e/o del riflesso corneale pupilla (normalmente la prima immagine di Purkinje) viene quindi utilizzato per calcolare l’orientamento dell’occhio nella sua orbita. In secondo luogo, la posizione di sguardo nel mondo visivo è in realtà contingente non solo l’orientamento dell’occhio rispetto alla testa ma anche l’orientamento della testa rispetto al mondo visivo. Per dedurre con precisione lo sguardo di proposito dall’orientamento dell’occhio, la sorgente luminosa e la telecamera di eye-tracker sono fissi rispetto alla testa dei partecipanti (testa-montata eye-tracker) o sono fissi rispetto al mondo visual (da tavolo o remoto eye-tracker). In terzo luogo, orientamento della testa dei partecipanti deve essere fissato per quanto riguarda il mondo visivo o computazionalmente essere compensato se testa dei partecipanti è libero di muoversi. Quando un eye-tracker remoto viene utilizzato in una modalità di testa-free-a-move, posizione della testa dei partecipanti è in genere registrata inserendo un piccolo adesivo sulla fronte dei partecipanti. L’orientamento della testa informaticamente viene quindi sottratto dall’orientamento dell’occhio per recuperare la posizione di sguardo del mondo visivo. In quarto luogo, una calibrazione e un processo di validazione sono quindi necessaria per mappare l’orientamento dell’occhio allo sguardo di riguardo nel mondo visivo. Nel processo di calibrazione, campioni di fissazione dei partecipanti da punti di destinazione nota vengono registrati per mappare i dati raw occhio per lo sguardo di posizione del mondo visivo. Nel processo di convalida, i partecipanti sono presentati con gli stessi punti di destinazione come il processo di calibrazione. La differenza esistente tra la posizione di fissaggio calcolata dai risultati calibrati e la posizione effettiva dell’obiettivo fissato nel mondo visivo vengono quindi utilizzati per giudicare la precisione della calibrazione. Per riconfermare ulteriormente la precisione del processo di mappatura, un assegno di drift è normalmente applicato su ogni prova, dove un bersaglio singolo fissazione è presentato ai partecipanti per misurare la differenza tra la posizione calcolata la fissazione e l’effettiva posizione della destinazione corrente.

I dati primari di uno studio del mondo visivo sono un flusso delle posizioni di sguardo nel mondo visual registrato alla frequenza di campionamento di eye-tracking, che vanno oltre la totalità o parte della durata prova. La variabile dipendente utilizzata in uno studio del mondo visivo è in genere la percentuale di campioni che fissazioni dei partecipanti si trovano a certa regione spaziale del mondo visivo attraverso un certo intervallo di tempo. Per analizzare i dati, una finestra di tempo ha in primo luogo essere selezionati, spesso definito come periodi di interesse. La finestra di tempo è in genere tempo-bloccata alla presentazione di alcuni eventi linguistici nell’input uditivo. Inoltre, inoltre è necessario che il mondo visivo diviso in parecchie regioni di interesse (ROI), ognuno dei quali è associato a uno o più oggetti. Una tale regione contiene l’oggetto corrispondente per la corretta comprensione della lingua parlata e così è spesso chiamato l’area di destinazione. Un tipico modo di visualizzare i dati è un complotto di proporzione di fissazione, dove a ciascuna collocazione in una finestra di tempo, la percentuale di campioni con uno sguardo a ogni area di interesse sono media tra i partecipanti e gli elementi.

Utilizzando i dati ottenuti da uno studio del mondo visivo, ricerca diverse domande possono trovare risposta: un) al livello di grana grossa, sono movimenti oculari dei partecipanti nel mondo visual interessati da diversi input linguistico uditivi? b) se c’è un effetto, che cosa è la traiettoria dell’effetto nel corso del processo? È un effetto lineare o un effetto di ordine elevato? e c) se c’è un effetto, quindi il livello di grana fine, quando è il primo punto temporale dove emerge un tale effetto e quanto dura questo effetto ultimo?

Per analizzare statisticamente i risultati, si devono considerare i seguenti punti. In primo luogo, la variabile di risposta, cioè, le proporzioni delle fissazioni, è sia sotto e sopra delimitata (tra 0 e 1), cui seguirà una distribuzione multinomiale, piuttosto che una distribuzione normale. D’ora in poi, tradizionali metodi statistici basati sulla distribuzione normale come il t-test, ANOVA e modelli lineari (misto-effetto)¹⁰, non possono essere direttamente utilizzati fino a quando le proporzioni sono state trasformate a unbounded variabili come ad esempio con formula empirica logit¹¹ o sono stati sostituiti con unbounded variabili dipendenti come distanza euclidea¹². Utilizzabile anche tecniche statistiche che non richiedono che l’assunzione di una distribuzione normale tale generalizzato modelli lineari (misto-effetto)¹³ . In secondo luogo, per esplorare la traiettoria mutevole degli effetti osservati, una variabile che indica il tempo-serie dovrà essere aggiunto al modello. Questa variabile di serie temporali è originariamente il eye-tracker di riallineati all’insorgenza della lingua di input i punti di campionamento. Poiché la traiettoria cambia in genere non è lineare, una funzione polinomiale di ordine superiore della serie tempo normalmente viene aggiunto il () modello lineare generalizzato (misto-effetto), vale a dire, crescita curva analisi¹⁴. Inoltre, posizioni dell’occhio dei partecipanti nel punto di campionamento corrente è fortemente dipendente dalle precedenti punti di campionamento, soprattutto quando la frequenza di registrazione è elevata, causando il problema di autocorrelazione. Per ridurre l’autocorrelazione tra i punti di campionamento adiacenti, dati originali sono spesso giù-campionamento o binned. Negli ultimi anni, i modelli effetto misto additivo generalizzato (GAMM) sono stati utilizzati anche per affrontare l’autocorrelazione errori^12,15,16. La larghezza dei bidoni varia tra gli studi differenti, che vanno da alcuni millisecondi a diverse centinaia millisecondi. Il bidone più stretto che possibile scegliere uno studio limitato la frequenza di campionamento dell’inseguitore dell’occhio utilizzato nello studio specifico. Ad esempio, se eye tracker ha una frequenza di campionamento di 500 Hz, quindi la larghezza della finestra temporale non può essere minore di 2 ms = 1000/500. In terzo luogo, quando un’analisi statistica più volte viene applicata a ciascuna collocazione di tempo dei periodi di interesse, l’errore familywise indotta da questi che confronti multipli dovrebbero essere affrontati. Come abbiamo descritto in precedenza, l’analisi della traiettoria informa il ricercatore se l’effetto osservato al livello di granularità grossolana è lineare rispetto al cambiamento del tempo, ma non viene visualizzato quando l’effetto osservato comincia ad emergere e come lungo l’osservato effetto dura. Per determinare la posizione temporale quando la differenza osservata inizia a divergere e di capire la durata del periodo temporale che dura l’effetto osservato, un’analisi statistica deve essere applicato ripetutamente per ogni scomparto di tempo. Questi confronti multipli introdurrà il cosiddetto errore familywise, non importa quale metodo statistico è utilizzato. Tradizionalmente viene corretto l’errore familywise con Bonferroni regolazione¹⁷. Recentemente, un metodo denominato test non parametrici permutazione originariamente utilizzato in neuroimaging archiviato¹⁸ è stato applicato al visual parola paradigma¹⁹ al controllo dell’errore familywise.

I ricercatori utilizzando il paradigma del mondo visivo intendono dedurre la comprensione di una lingua parlata da movimenti oculari dei partecipanti nel mondo visivo. Per garantire la validità di questa deduzione, altri fattori che possibilmente influenzano i movimenti dell’occhio dovrebbero essere escluso o controllati. I due fattori seguenti sono tra i comuni che devono essere considerati. Il primo fattore coinvolge alcuni modelli sistematici in fissazioni esplicative dei partecipanti indipendente dalla lingua di input, ad esempio la tendenza a fissare lo sguardo in alto a sinistra quadrat del mondo visivo e muovendo gli occhi in direzione orizzontale, essendo più facile che in direzione verticale, ecc.^12,20 per assicurarsi che i modelli osservati fissazione sono relative agli oggetti, non nelle posizioni spaziali dove si trovano gli oggetti, le posizioni spaziali di un oggetto dovrebbero essere controbilanciate in diversi studi clinici o attraverso diversi partecipanti. Il secondo fattore che potrebbe influenzare i movimenti degli occhi dei partecipanti è le caratteristiche di immagine di base degli oggetti del mondo visivo, come orientamento di bordo, il colore e il contrasto di luminanza, tra gli altri²¹. Per diagnosticare questo potenziale confondimento, la visualizzazione è normalmente presentata prima dell’inizio della lingua parlata o prima dell’inizio dell’indicatore acustico critico della lingua parlata, per circa 1000 ms. durante il periodo temporale dall’inizio della immagine di prova per l’insorgenza dell’audio di prova, la lingua di input o il punto di chiarimento delle ambiguità della lingua di input non è stato ancora ascoltato. Qualsiasi differenza osservata tra diverse condizioni dovrebbe essere dedotto per altri fattori di confusione come il visual display per sé, piuttosto che la lingua di input. D’ora in poi, movimenti oculari osservati in questo periodo di anteprima forniscono una linea di base per determinare l’effetto dell’input linguistico. Questo periodo di anteprima consente inoltre ai partecipanti di familiarizzare con la visualizzazione e per ridurre il bias sistematico delle fissazioni esplicative quando la lingua parlata è presentata.

Per illustrare come si svolge un tipico eye-tracking studio utilizzando il paradigma del mondo visivo, il seguente protocollo descrive un esperimento adattato da L. Zhan¹⁷ a esplorare l’elaborazione online di istruzioni semanticamente complesse, vale a dire, istruzioni disgiuntive (S1 o S2), dichiarazioni congiuntive (S1 e S2) e ma-istruzioni (S1 ma non-S2). In conservazione ordinaria, le informazioni espresse da alcune espressioni sono in realtà più forte del suo significato letterale. Disgiuntive dichiarazioni come casella di Xiaoming contiene una mucca o un gallo sono tali espressioni. Logicamente, l’istruzione disgiuntiva è true, purché le due suddivisioni casella di Xiaoming contiene una mucca e casella di Xiaoming contiene un gallo non sono entrambi false. Di conseguenza, l’istruzione disgiuntiva è vero quando le due suddivisioni sono entrambe true, dove l’istruzione congiuntiva corrispondente casella di Xiaoming contiene una mucca e un gallo è anche vero. Nella conversazione ordinaria, tuttavia, sentendo che l’istruzione disgiuntiva spesso suggerisce che la congiuntiva rendiconto è falsa (implicature scalari); e suggerisce che i valori di verità delle due suddivisioni sono sconosciuti all’altoparlante (inferenza di ignoranza). Conti nella letteratura differiscono in se due inferenze siano processi grammaticali o pragmatico^{22,23,24,25,26}. L’esperimento dimostra come il paradigma del mondo visivo può essere utilizzato per giudicare tra questi conti, esplorando l’elaborazione online di tre istruzioni complesse.

Protocol

Tutti i soggetti devono dare consenso informato scritto prima della gestione dei protocolli sperimentali. Tutte le procedure, moduli di consenso e il protocollo sperimentale sono stati approvati dal comitato etico di ricerca di la Beijing Language and Culture University. Nota: Uno studio di comprensione utilizzando il paradigma del mondo visivo normalmente prevede i passaggi seguenti: introdurre i problemi teorici di essere esplorato; Formare un disegno sperimentale; Preparare gli stimoli visi…

Representative Results

Le risposte del comportamento dei partecipanti sono riassunti nella Figura 4. Come abbiamo descritto in precedenza, la risposta corretta a una dichiarazione congiunta (S1 e S2) è la grande scatola aperta, ad esempio Box A nella Figura 1. La risposta corretta a una ma-istruzione (S1 ma non S2) è la piccola scatola aperta contenente il primo animale accennato, come casella D nella F…

Discussion

Per condurre uno studio di mondo visivo, ci sono diversi passaggi critici da seguire. In primo luogo, i ricercatori intendono dedurre l’interpretazione del linguaggio uditivamente presentato tramite movimenti oculari dei partecipanti nel mondo visivo. D’ora in poi, nella progettazione del layout di stimoli visivi, le proprietà dei movimenti oculari in un’attività naturale che potenzialmente influenzano movimenti oculari dei partecipanti dovrebbero essere controllate. L’effetto della lingua parlata sui movimenti di occh…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics