Utilizar movimientos oculares registrados en el paradigma de mundo Visual para explorar el procesamiento en línea del lenguaje hablado

Summary

El paradigma de mundo visual controla movimientos oculares de los participantes en el espacio de trabajo visual que están escuchando o hablando una lengua hablada. Este paradigma puede utilizarse para investigar el procesamiento en línea de una amplia gama de preguntas psicolingüísticas, incluyendo instrucciones semánticamente complejas, como disyuntiva.

Abstract

En un ojo típico utilizando el paradigma de mundo visual estudio de seguimiento, los participantes ojo movimientos a los objetos o imágenes en el espacio de trabajo visual se registran por medio de un rastreador de ojos como el participante produce o comprende una lengua hablada describiendo el visual simultánea mundo. Este paradigma tiene gran versatilidad, que puede ser utilizado en una amplia gama de poblaciones, los que no pueden leer o que no dan abiertamente sus respuestas conductuales, tales como preliterate niños, adultos mayores y pacientes incluidos. Lo más importante, el paradigma es extremadamente sensible a manipulaciones de la señal de discurso de grano fino, y puede ser utilizado para estudiar el procesamiento en línea de la mayoría de los temas en la comprensión del lenguaje en múltiples niveles, como el grano fino acústica fonética características, las propiedades de las palabras y las estructuras lingüísticas. El protocolo descrito en este artículo ilustra cómo un ojo típico mundo visual estudio de seguimiento se lleva a cabo, con un ejemplo que muestra cómo el procesamiento en línea de algunas declaraciones semánticamente complejos puede ser explorado con el paradigma de mundo visual.

Introduction

Lengua hablada es un flujo de información rápido y continuo, que desaparece enseguida. Es un reto estudiar experimentalmente este temporal, cambiar rápidamente la señal de discurso. Movimientos oculares registrados en el paradigma de mundo visual se pueden utilizar para superar este desafío. En un ojo típico seguimiento estudio utilizando el paradigma de mundo visual, movimientos oculares de los participantes a los cuadros en una exhibición o a objetos reales en un espacio de trabajo visual se controlan como escucha, o produce, lengua hablada que representa el contenido del mundo visual^{1 ,2,3,4}. La lógica básica, o la hipótesis de vinculación, detrás de este paradigma es que comprender o planificación de una elocución (abiertamente o secretamente) cambiarán la atención visual de los participantes hacia un cierto objeto del mundo visual. Este cambio de atención tendrá una alta probabilidad de iniciar un movimiento de ojo sacádicos para incorporar el área asistió a la visión foveal. Con este paradigma, los investigadores pretenden determinar en qué momento temporal, con respecto a alguna señal acústica en fonía, se produce un cambio en la atención visual del participante, según lo medido por un movimiento de ojo sacádicos a un objeto o una imagen en visual mundo. Cuándo y dónde se inician movimientos de ojo sacádicos en relación con la señal de voz se utilizan para deducir el procesamiento del lenguaje en línea. El paradigma del mundo visual se puede utilizar para estudiar el lenguaje hablado comprensión^1,2 y producción^5,6. Este artículo metodológico se centrará en los estudios de comprensión. En un estudio de comprensión utilizando el paradigma de mundo visual, ojo los participantes vigilan movimientos en la pantalla visual mientras escuchan las elocuciones habladas hablando sobre la presentación visual.

Sistemas de seguimiento de ojo diferentes han sido diseñados en la historia. El más simple, menos costoso y más portátil el sistema es sólo es una normal de la cámara de video, que registra una imagen de los ojos del participante. Movimientos de los ojos luego se codifican manualmente a través del examen de fotograma a fotograma de la grabación de vídeo. Sin embargo, la tasa de muestreo de tal un eye-tracker es relativamente baja, y el procedimiento de codificación es desperdiciador de tiempo. Así, un ojo comercial contemporáneo sistema de seguimiento normalmente utiliza sensores ópticos miden la orientación del ojo en su órbita^7,8,9. Para entender cómo funciona un sistema de seguimiento de ojo comercial contemporáneo, se deben considerar los siguientes puntos. Primero, para medir correctamente la dirección de la visión foveal, un iluminador infrarrojo (normalmente con la longitud de onda alrededor 780-880 nm) normalmente se coloca a lo largo o apagar el eje óptico de la cámara, haciendo la imagen de la pupila distinguible más brillante o más oscuro que del iris circundante. La imagen de la pupila o de la reflexión corneal de la pupila (normalmente la primera imagen de Purkinje) entonces se utiliza para calcular la orientación del ojo en su órbita. En segundo lugar, la ubicación de la mirada en el mundo visual es en realidad contingente no sólo en la orientación del ojo con respecto a la cabeza sino también en la orientación principal en relación con el mundo visual. Para deducir con exactitud la mirada del sentido de la orientación del ojo, la fuente de luz y la cámara de los eye-trackers son fijos con respecto a la cabeza de los participantes (montado en la cabeza eye-trackers) o son fijos en relación con el mundo visual (montada en mesa o ojo remotos-trackers). En tercer lugar, orientación principal de los participantes debe fijarse bien en relación con el mundo visual o cómputo compensarse si la cabeza de los participantes es libre para moverse. Cuando se utiliza un eye-tracker remoto en forma de cabeza-libre-a-move, posición de la cabeza los participantes normalmente se registra colocando una pegatina pequeña en frente de los participantes. La orientación principal de cómputo entonces se resta de la orientación del ojo para recuperar la ubicación de la mirada en el mundo visual. En cuarto lugar, una calibración y un proceso de validación se requieren entonces para asignar la orientación del ojo a la mirada de respeto en el mundo visual. En el proceso de calibración, muestras de la fijación de los participantes desde los puntos de destino conocido se registran para los datos crudos ojos para contemplar la posición en el mundo visual. En el proceso de validación, los participantes se presentan con los mismos puntos de destino como el proceso de calibración. La diferencia existente entre la posición computada la fijación de los resultados calibrados y la posición real del objetivo determinada en el mundo visual se utilizan para juzgar la exactitud de la calibración. Para confirmar aún más la precisión del proceso de asignación, un control de deriva se aplica normalmente en cada ensayo, donde un objetivo de fijación solo se presenta a los participantes para medir la diferencia entre la posición computada la fijación y la posición real de la objetivo actual.

Los datos primarios de un estudio de mundo visual están una secuencia de localizaciones de la mirada en el mundo visual en la frecuencia de muestreo de la eye-tracker, que se extienden sobre la totalidad o parte de la duración del ensayo. La variable dependiente utilizada en el estudio de un mundo visual es típicamente la proporción de muestras que fijaciones de los participantes se encuentran en cierta región espacial en el mundo visual a través de un cierto intervalo de tiempo. Para analizar los datos, una ventana de tiempo tiene en primer lugar ser seleccionado, refiere a menudo como períodos de interés. La ventana de tiempo es generalmente tiempo-bloqueada a la presentación de algunos eventos lingüísticos en la entrada auditiva. Además, el mundo visual también es necesario dividir en varias regiones de interés (ROIs), cada una de ellas está asociada a uno o más objetos. Una de estas regiones contiene el objeto correspondiente a la correcta comprensión de la lengua hablada y así se denomina la zona de destino. Una manera típica para visualizar los datos es un complot de parte de la fijación, donde en cada compartimiento en una ventana de tiempo, la proporción de muestras con una mirada a cada región de interés son un promedio de los participantes y elementos.

¿Utilizando los datos obtenidos de un estudio de mundo visual, se pueden contestar preguntas de investigación diferentes: a) en el nivel de grano grueso, son movimientos del ojo de los participantes en el mundo visual afectados por la entrada lingüística auditiva diferente? b) si hay un efecto, ¿cuál es la trayectoria del efecto en el transcurso del juicio? ¿Es un efecto lineal o efecto de orden superior? y c) si hay un efecto, entonces en el nivel de grano fino, cuando es el primer punto temporal donde surge ese efecto y este efecto ¿cuánto pasado?

Para analizar estadísticamente los resultados, se deben considerar los siguientes puntos. En primer lugar, la variable de respuesta, es decir, proporciones de las fijaciones, tanto abajo como arriba limita (entre 0 y 1), que seguirá una distribución multinomial, en lugar de una distribución normal. En adelante, métodos estadísticos tradicionales basados en la distribución normal como el t-test, ANOVA y modelos lineales (efecto de mezcla)¹⁰, no pueden directamente utilizar hasta las proporciones han sido transformadas a variables ilimitadas con fórmula empírica logit¹¹ o han sido reemplazados con ilimitada dependiente de variables como la distancia euclidiana¹². También pueden utilizar técnicas estadísticas que no requieran que la asunción de la distribución normal tal generalizada modelos lineales (efecto de mezcla)¹³ . En segundo lugar, para explorar la trayectoria cambiante del efecto observado, una variable que denota la serie de tiempo tiene que ser añadido en el modelo. Esta variable de series de tiempo es el eye-tracker de muestreo puntos realineados a la aparición de la lengua de la entrada. Puesto que la trayectoria cambiante suele ser no lineal, una función polinómica de orden superior de la serie de tiempo se agrega normalmente en el () modelo lineal generalizado (efecto de mezcla), es decir, de análisis de curva de crecimiento¹⁴. Además, posiciones del ojo de los participantes en el punto de muestreo es altamente dependiente de puntos de muestreo anterior, especialmente cuando la frecuencia de grabación es alta, lo que resulta en el problema de la autocorrelación. Para reducir la autocorrelación entre los puntos de muestreo adyacentes, datos originales son a menudo abajo-muestreado o desechado. En los últimos años, los modelos de efecto mixto aditivo generalizado (GAMM) han utilizado también para hacer frente a los errores de autocorrelated^12,15,16. El ancho de contenedores varía entre diversos estudios, que van desde varios milisegundos a varias centenas de milisegundos. El recipiente más estrecho que puede elegir un estudio está limitado por la frecuencia de muestreo del rastreador ocular utilizado en el estudio específico. Por ejemplo, si un perseguidor del ojo tiene una frecuencia de muestreo de 500 Hz, entonces el ancho de la ventana de tiempo no puede ser menor que 2 ms = 1000/500. En tercer lugar, cuando un análisis estadístico se aplica repetidamente a cada compartimiento de tiempo de los períodos de interés, el error del familywise inducida de éstos que deben acometerse las comparaciones múltiples. Como hemos descrito anteriormente, el análisis de trayectoria informa el investigador si el efecto observado en el nivel de grano grueso es lineal con respecto a los cambios del tiempo, pero no se presenta cuando el efecto observado comienza a surgir y cómo durante mucho tiempo observado efecto dura. Para determinar la posición temporal cuando la diferencia observada comienza a divergir y averiguar la duración del periodo temporal que dura el efecto observado, un análisis de la estadística debe ser aplicada repetidamente para cada compartimiento de tiempo. Estas comparaciones múltiples introducirá el supuesto error familywise, sin importar se utiliza qué método estadístico. Tradicionalmente se corrige el error del familywise con ajuste de Bonferroni¹⁷. Recientemente, se ha aplicado un método denominado prueba de permutación no paramétrico utilizado originalmente en Neuroimagen presentada¹⁸ a la palabra visual paradigma¹⁹ para controlar el error del familywise.

Los investigadores utilizando el paradigma de mundo visual pretenden inferir la comprensión de alguna lengua hablada de los movimientos de ojo de los participantes en el mundo visual. Para asegurar la validez de esta deducción, otros factores que posiblemente influyen en los movimientos del ojo deben descartar o controlar. Los siguientes dos factores están entre los más comunes que deben ser considerados. El primer factor involucra algunos patrones sistemáticos en fijaciones explicativo de los participantes independientemente de la lengua de entrada, como la tendencia a fijar en la parte superior izquierda quadrat del mundo visual y los ojos móviles en la dirección horizontal es más fácil que en la dirección vertical, etc.^12,20 para asegurarse de que los patrones de fijación observada se relacionan con los objetos, no a las ubicaciones espaciales donde están situados los objetos, las posiciones espaciales de un objeto deben ser contrapesadas a través de diferentes ensayos o a través de los diferentes participantes. El segundo factor que pudiera influir en los movimientos de ojo de los participantes es las características básicas de imágenes de los objetos del mundo visual, como orientación de contraste, color y borde la luminancia, entre otros²¹. Para diagnosticar esta potencial confusión, la presentación visual normalmente se presenta antes del inicio de la lengua hablada o antes de la aparición del marcador acústico crítico de la lengua hablada, para cerca de 1000 Sra. durante el período temporal del inicio de la imagen de prueba para el inicio del prueba de audio, el idioma de entrada o el punto de desambiguación de la lengua de entrada no se ha escuchado todavía. Cualquier diferencia observada entre diferentes condiciones debe deducirse a otros factores de confusión tales como la exhibición visual propiamente, más que el idioma de entrada. En adelante, observados en este período de escuchar los movimientos de ojo proporcionan una base para determinar el efecto de la entrada lingüística. Este período de escuchar también permite a los participantes a familiarizarse con la representación visual y a reducir el sesgo sistemático de las fijaciones explicativos cuando se presenta la lengua hablada.

Para ilustrar cómo se realiza un ojo típico seguimiento estudio utilizando el paradigma de mundo visual, el siguiente protocolo describe un experimento adaptado de L. Zhan¹⁷ para explorar el procesamiento en línea de instrucciones complejas semánticamente, es decir, declaraciones disyuntivas (S1 o S2), declaraciones de conjuntivas (S1 y S2) y-declaraciones (S1 pero no-S2). En la conservación ordinaria, la información expresada por algunas expresiones es realmente más fuerte que su significado literal. Disyuntiva como caja de Xiaoming contiene una vaca o un gallo son tales declaraciones. Lógicamente, la declaración disyuntiva es cierto como los dos disjuncts caja de Xiaoming contiene una vaca y caja de Xiaoming contiene un gallo no son ambos falsos. Por lo tanto, lo disyuntivo es verdadero cuando los dos disjuncts son ambos verdaderos, donde la instrucción conjunta correspondiente caja de Xiaoming contiene una vaca y un gallo también es cierto. En ordinaria conversación, sin embargo, la audiencia que la declaración disyuntiva a menudo sugiere que la instrucción conjunta correspondiente es falsa (Implicatura escalar); y sugiere que los valores de verdad de los dos disjuncts son desconocidos por el altavoz (inferencia de ignorancia). Cuentas en la literatura difieren en si los dos inferencias son procesos gramaticales o pragmáticas^{22,23,24,25,26}. El experimento muestra cómo el paradigma del mundo visual se puede utilizar para adjudicar entre estas cuentas, al explorar el procesamiento en línea de tres instrucciones complejas.

Protocol

Todos los temas deben dar consentimiento informado por escrito antes de la administración de los protocolos experimentales. El protocolo experimental, todos los procedimientos y formas de consentimiento fueron aprobados por el Comité de ética de investigación de la Beijing Universidad de lengua y cultura. Nota: Un estudio de comprensión utilizando el paradigma de mundo visual normalmente consta de los siguientes pasos: introducir los problemas teóricos a ser explorada; Formar un diseño …

Representative Results

Respuestas conductuales de los participantes se resumen en la figura 4. Como hemos descrito anteriormente, la respuesta correcta de una declaración conjunta (S1 y S2) es la gran caja abierta, como un cuadro en la figura 1. La respuesta correcta a un pero-declaración (S1 pero no S2) es la pequeña caja abierta que contiene el primer animal citado, como la caja de D en la figura 1</…

Discussion

Para llevar a cabo un estudio de mundo visual, hay varios pasos importantes a seguir. En primer lugar, los investigadores pretenden deducir la interpretación de la lengua presentada auditorily mediante movimientos oculares de los participantes en el mundo visual. En adelante, en el diseño de la disposición de los estímulos visuales, deben controlarse las propiedades de los movimientos del ojo en una tarea de natural que potencialmente afectan los movimientos de ojo de los participantes. Entonces se puede reconocer el…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics