Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada

Summary

O paradigma do mundo visual monitora os movimentos oculares dos participantes na área de trabalho visual, como eles estão ouvindo ou falando uma língua falada. Este paradigma pode ser usada para investigar o processamento on-line de uma vasta gama de questões linguísticas, incluindo instruções semanticamente complexas, tais como declarações disjuntiva.

Abstract

Em um típico olho rastreamento estudo utilizando o paradigma de mundo visual, dos participantes dos olhos movimentos de objetos ou fotos na área de trabalho visual são registradas através de um tracker do olho como o participante produz ou compreende uma língua falada, descrevendo o visual simultâneo mundo. Este paradigma tem grande versatilidade, como ele pode ser usado em uma ampla gama de populações, incluindo aqueles que não sabem ler e/ou quem abertamente não pode dar suas respostas comportamentais, tais como pré-letrados crianças, adultos idosos e doentes. Mais importante, o paradigma é extremamente sensível a manipulações grained fino do sinal de fala, e pode ser usada para estudar o processamento on-line da maioria dos tópicos na compreensão da linguagem em vários níveis, tais como o acústico grained fino fonético características, as propriedades das palavras e das estruturas linguísticas. O protocolo descrito neste artigo ilustra como um olho mundo visual típico estudo de rastreamento é conduzido, com um exemplo mostrando como o processamento on-line de algumas declarações semanticamente complexas pode ser explorado com o paradigma do mundo visual.

Introduction

Língua falada é um fluxo de informações rápido e contínuo, que desaparece imediatamente. É um desafio para estudar experimentalmente neste temporal, rapidamente mudar o sinal de fala. Movimentos oculares gravados no paradigma mundo visual podem ser usados para superar este desafio. Em um típico olho rastreamento estudo utilizando o paradigma de mundo visual, movimentos oculares dos participantes para fotos em uma exibição ou objetos reais em um espaço de trabalho visual são monitorados como eles ouvir, ou produzem, língua falada, representando o conteúdo do mundo visual^{1 ,2,3,4}. A lógica básica, ou a hipótese de vinculação, por trás desse paradigma é que compreender ou planejando um enunciado (abertamente ou dissimuladamente) mudará atenção visual dos participantes para um determinado objeto no mundo visual. Esta mudança de atenção terá uma alta probabilidade de iniciar um movimento ocular de sacádicos para trazer a área assistida para a visão central. Com este paradigma, os pesquisadores pretendem determinar em que momento temporal, com relação a algum Marco acústico no sinal de fala, ocorre uma mudança na atenção visual do participante, como medido por um movimento ocular de sacádicos para um objeto ou um retrato no visual mundo. Quando e onde os movimentos oculares sacádicos são lançados em relação ao sinal de discurso são usados para deduzir o processamento da linguagem on-line. O paradigma do mundo visual pode ser usado para estudar a língua falada compreensão^1,2 e a produção^5,6. Este artigo metodológico incidirá sobre estudos de compreensão. Em um estudo de compreensão utilizando o paradigma de mundo visual, olho dos participantes movimentos na tela visual são monitorados como eles escutam as declarações faladas, falando sobre a exibição visual.

Sistemas de rastreamento de olho diferentes foram projetados na história. O mais simples, menos caro e mais portátil sistema é apenas uma câmera de vídeo normal, que registra uma imagem dos olhos do participante. Movimentos oculares são então manualmente codificados através de exame do frame-por-frame da gravação do video. No entanto, a taxa de amostragem de tal um olho-tracker é relativamente baixa, e o processo de codificação é demorado. Assim, um olho comercial contemporâneo, sistema de rastreamento normalmente usa sensores ópticos, medindo a orientação do olho em sua órbita^7,8,9. Para entender como funciona um sistema de acompanhamento de olho comercial contemporâneo, os seguintes pontos devem ser considerados. Primeiro, a medir corretamente o sentido da visão central, um iluminador infravermelho (normalmente com o comprimento de onda em torno de 780-880 nm) é normalmente definido junto ou fora do eixo óptico da câmera, tornando a imagem da pupila distintamente mais clara ou mais escura do que a íris circundante. A imagem da pupila e/ou do reflexo corneal aluno (normalmente a primeira Purkinje imagem) é usada para calcular a orientação do olho em sua órbita. Em segundo lugar, a localização de olhar o mundo visual é realmente contingente não só sobre a orientação de olho no que diz respeito a cabeça, mas também sobre a orientação da cabeça em relação ao mundo visual. Para inferir com precisão o olhar de respeito da orientação do olho, a fonte de luz e a câmera do olho-trackers são fixos em relação a cabeça dos participantes (capacetes olho-trackers) ou são fixos em relação ao mundo visual (montado na mesa ou remotos olho-trackers). Em terceiro lugar, cabeça orientação dos participantes deve ser fixos em relação ao mundo visual ou computacionalmente ser compensada se a cabeça dos participantes é livre para se mover. Quando um olho-tracker remoto é usado em um modo de cabeça-livre-a-move, posição de cabeça dos participantes é gravada normalmente colocando um pequeno adesivo na testa dos participantes. A orientação da cabeça então é computacionalmente subtraída a orientação de olho para recuperar o local de olhar o mundo visual. Em quarto lugar, uma calibração e um processo de validação são então necessárias para mapear a orientação do olho para o olhar de respeito no mundo visual. No processo de calibração, registam-se amostras de fixação dos participantes de pontos de destino conhecido para mapear os dados brutos olho para olhar a posição do mundo visual. No processo de validação, os participantes são apresentados com os mesmos pontos de destino como o processo de calibração. A diferença existente entre a posição de fixação computadas nos resultados calibrado e a posição real do alvo fixado no mundo visual são usados para avaliar a exatidão da calibração. Para confirmar ainda mais a precisão do processo de mapeamento, uma seleção de tração é normalmente aplicada em cada tentativa, onde um destino único de fixação é apresentado aos participantes para medir a diferença entre a posição de fixação computadas e a posição real do destino atual.

Os dados primários de um estudo do mundo visual são um fluxo de locais de olhar o mundo visual gravado na taxa de amostragem do olho-controlador, variando sobre a totalidade ou parte da duração da julgamento. A variável dependente utilizada em um estudo do mundo visual é, normalmente, a proporção de amostras que fixações dos participantes estão situadas em determinada região espacial do mundo visual em uma determinada janela de tempo. Para analisar os dados, uma janela de tempo tem em primeiro lugar a ser selecionado, muitas vezes referida como períodos de interesse. A janela de tempo é geralmente tempo-bloqueado para a apresentação de alguns eventos linguísticos na entrada do auditório. Além disso, o mundo visual também é necessário dividir em várias regiões de interesse (ROIs), cada uma das quais é associada com um ou mais objetos. Uma tal região contém o objeto correspondente para a correta compreensão da língua falada e, portanto, é muitas vezes chamada a área-alvo. Uma maneira comum para visualizar os dados é uma trama de proporção-de-fixação, onde em cada bin em uma janela de tempo, a proporção de amostras com um olhar para cada região de interesse são em média entre os participantes e itens.

Usando os dados obtidos de um estudo do mundo visual, pesquisa de diferentes questões pode ser respondidas: um) sobre o nível de grãos grosseiros, são os movimentos oculares dos participantes no mundo visual afetado pela entrada linguística auditiva diferente? b) se houver um efeito, qual é a trajetória do efeito ao longo do julgamento? É um efeito linear ou um efeito de alto-ordem? e c) se existe um efeito, em seguida, sobre o nível de grão fino, quando é o mais antigo ponto temporal onde emerge tal efeito e quanto tempo dura este efeito último?

Para analisar estatisticamente os resultados, os seguintes pontos devem ser considerados. Primeiro, a variável de resposta, ou seja, proporções de fixações, tanto abaixo como acima limitada (entre 0 e 1), que seguirá uma distribuição multinomial, ao invés de uma distribuição normal. De agora em diante, métodos estatísticos tradicionais com base na distribuição normal como teste t, ANOVA e modelos lineares (efeito misturado)¹⁰, não podem ser diretamente utilizados até as proporções foram transformadas para ilimitado variáveis tais como com logit empírica fórmula¹¹ ou foram substituídos por ilimitado dependente de variáveis como distância euclidiana¹². Também podem ser usadas técnicas estatísticas que não exigem que o pressuposto de distribuição normal tão generalizada de modelos lineares (efeito misturado)¹³ . Em segundo lugar, para explorar a trajetória de mudança do efeito observado, uma variável que indicam a série de tempo tem a ser adicionado para o modelo. Essa variável de série temporal é, originalmente, o olho-tracker é realinhados ao aparecimento da linguagem de entrada os pontos de amostragem. Desde que a trajetória de mudança normalmente não é linear, uma função polinomial de ordem superior do tempo-série normalmente é adicionada para o (generalizado) (efeito misturado) modelo linear, ou seja, de análises de curva de crescimento¹⁴. Além disso, as posições de olho dos participantes no atual ponto de amostragem é altamente dependente pontos de amostragem anterior, especialmente quando a frequência de gravação é alta, resultando no problema da autocorrelação. Para reduzir a autocorrelação entre os pontos de amostragem adjacentes, dados originais são frequentemente incluídos na amostra para baixo ou binned. Nos últimos anos, os modelos de efeito misturado aditivo generalizada (GAMM) também utilizámos para combater a autocorrelated erros^12,15,16. A largura das caixas varia entre diferentes estudos, variando de vários milissegundos para várias centenas de milissegundos. O bin mais estreita, que um estudo pode escolher é limitada pela taxa de amostragem do controlador olho utilizado no estudo específico. Por exemplo, se um tracker do olho tem uma taxa de amostragem de 500 Hz, então a largura da janela de tempo não pode ser menor do que 2 ms = 1000/500. Em terceiro lugar, quando uma análise estatística é repetidamente aplicada a cada bin de tempo dos períodos de interesse, o erro do familywise induzido de estas que comparações múltiplas devem ser combatidas. Como descrevemos anteriormente, a análise da trajetória informa o pesquisador se o efeito observado sobre o nível de grãos grosseiros é linear em relação a mudança do tempo, mas não mostra os efeitos observados, quando começa a emergir e como tempo observado efeito dura. Para determinar a posição temporal quando a diferença observada começa a divergir e para descobrir a duração do período temporal que dura o efeito observado, uma análise estatística tem que ser aplicado repetidamente a bin cada vez. Estas comparações múltiplas introduzirá o so-called familywise erro, não importa qual método estatístico é usado. O erro do familywise tradicionalmente é corrigido com ajuste de Bonferroni¹⁷. Recentemente, um método chamado teste não paramétrico de permutação originalmente usado em neuroimagem arquivada¹⁸ foi aplicado ao visual da palavra paradigma¹⁹ de controle para o erro do familywise.

Os pesquisadores utilizando o paradigma de mundo visual pretendem inferir a compreensão de uma língua falada de movimentos dos olhos dos participantes do mundo visual. Para garantir a validade desta dedução, outros fatores que possivelmente influenciam os movimentos oculares devem ser descartados ou controlados. Os seguintes dois fatores estão entre os mais comuns que precisam ser considerados. O primeiro fator envolve alguns padrões sistemáticos em fixações de explicativas dos participantes independentes do idioma de entrada, tais como a tendência para se fixar na parte superior esquerda quadrat do mundo visual e os olhos se movendo na direção horizontal, sendo mais fácil do que em a direção vertical, etc.^12,20 para certificar-se que os padrões observados de fixação estão relacionados com os objetos, não para os locais espaciais, onde se encontram os objetos, as posições espaciais de um objeto devem ser contrabalançadas em ensaios diferentes ou diferentes participantes. O segundo fator que pode afetar os movimentos oculares dos participantes é as características básicas da imagem dos objetos do mundo visual, tais como orientação luminância, contraste, cor e borda, entre outros²¹. Para diagnosticar esse potencial confusão, a exibição visual é geralmente apresentada antes do início da língua falada, ou antes do início do marcador acústico crítico da língua falada, para cerca de 1000 MS. durante o período temporal desde o início da imagem de teste para o início da gravação de teste, o idioma de entrada ou o ponto de desambiguação do idioma de entrada ainda não foi ouvida. Qualquer diferença observada entre as diferentes condições deve ser deduzida de outros fatores de confusão como a exibição visual por si, em vez do idioma de entrada. Doravante, movimentos oculares observados neste período de visualização fornecem uma linha de base para determinar o efeito da entrada linguística. Este período de visualização também permite que os participantes para se familiarizar com a exibição visual e para reduzir o viés sistemático das fixações explicativas, quando a língua falada é apresentada.

Para ilustrar como um típico olho rastreamento estudo utilizando o paradigma de mundo visual é conduzido, o protocolo seguinte descreve um experimento adaptado de L. Zhan¹⁷ para explorar o processamento on-line de instruções semanticamente complexas, ou seja, declarações disjuntiva (S1 ou S2), declarações de conjuntivas (S1 e S2) e mas-declarações (S1 mas não-S2). Em conservação ordinária, as informações expressadas por algumas declarações são realmente mais fortes do que seu significado literal. Disjuntas declarações como caixa do Xiaoming contém uma vaca ou um galo são tais declarações. Logicamente, a instrução disjuntiva é verdade, enquanto as dois disjunções caixa do Xiaoming contém uma vaca e caixa do Xiaoming contém um galo não são ambos falsos. Portanto, a instrução disjuntiva é verdadeira quando as duas proposições são ambos verdadeiros, onde a instrução conjuntiva correspondente caixa do Xiaoming contém uma vaca e um galo também é verdade. Em comum conversa, no entanto, ouvindo que a instrução disjuntiva frequentemente sugere que a correspondente declaração de conjuntiva é false (implicature escalar); e sugere que os valores de verdade das duas proposições são desconhecidos pelo orador (inferência de ignorância). Difiram na literatura em se duas inferências são processos gramaticais ou pragmática^{22,23,24,25,26}. A experiência mostra como paradigma o mundo visual pode ser usado para julgar entre essas contas, explorando o processamento on-line de três instruções complexas.

Protocol

Todas as disciplinas devem dar consentimento informado por escrito antes da administração dos protocolos experimentais. Todos os procedimentos, formulários de consentimento e o protocolo experimental foram aprovados pelo Comitê de ética de pesquisa da língua de Pequim e da Universidade de cultura. Nota: Um estudo de compreensão utilizando o paradigma de mundo visual normalmente consiste das seguintes etapas: introduzir os problemas teóricos a ser explorado; Formam um desenho experiment…

Representative Results

Respostas comportamentais dos participantes estão resumidas na Figura 4. Como descrevemos anteriormente, a resposta correta para uma declaração de conjuntiva (S1 e S2) é a grande caixa aberta, tais como A caixa na Figura 1. A resposta correta para um mas-declaração (S1 mas não S2) é a pequena caixa aberta contendo o primeiro animal mencionado, tais como a caixa D na Figura 1…

Discussion

Para realizar um estudo do mundo visual, existem várias etapas essenciais a seguir. Primeiro, os pesquisadores pretendem deduzir a interpretação da língua inibirem apresentada através de movimentos dos olhos dos participantes do mundo visual. De agora em diante, em projetar o layout dos estímulos visuais, as propriedades dos movimentos oculares em uma tarefa natural que potencialmente afetam os movimentos oculares dos participantes devem ser controladas. Então pode ser reconhecido o efeito da língua falada em mov…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics