À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée

Summary

Le paradigme de l’univers visuel surveille les mouvements des yeux des participants dans l’espace de travail visuel car ils sont à l’écoute ou parlant une langue parlée. Ce paradigme peut servir à enquêter sur le traitement en ligne d’un large éventail de questions psycholinguistiques, y compris les instructions sémantiquement complexes, telles que les instructions disjonctives.

Abstract

Dans un typique oculométrique étude utilisant le paradigme de l’univers visuel, des participants des yeux les mouvements d’objets ou images dans l’espace de travail visuel sont enregistrées via un traqueur d’oeil comme le participant produit ou comprend un langage parlé décrivant le visuel simultané monde. Ce paradigme a grande polyvalence, car il peut être utilisé dans un large éventail de populations, y compris celles qui ne peuvent pas lire ou qui ne peuvent pas donner ouvertement leurs réponses comportementales, telles que les enfants illettrées, âgées et les patients. Plus important encore, le paradigme est extrêmement sensible aux manipulations à grain fin du signal de parole, et il peut être utilisé pour étudier le traitement en ligne de la plupart des sujets dans la compréhension de la langue à plusieurs niveaux, tels que l’acoustique à grains fins phonétique caractéristiques, les propriétés de mots et les structures linguistiques. Le protocole décrit dans cet article illustre comment une étude d’oculométrique univers visuel typique est réalisée, avec un exemple qui indique comment le traitement en ligne de certaines déclarations sémantiquement complexes peut être exploré avec le paradigme du monde visuel.

Introduction

La langue parlée est un flux d’informations rapide et continu, qui disparaît tout de suite. C’est un défi d’étudier expérimentalement ce temporelle, de changer rapidement le signal de parole. Mouvements oculaires enregistrées dans le paradigme de l’univers visuel peuvent être utilisés pour relever ce défi. Dans un typique oculométrique étude utilisant le paradigme de l’univers visuel, les mouvements des yeux des participants aux images sur un écran ou à des objets réels dans un espace de travail visual sont surveillés qu’ils écoutent, ou produisent, langue parlée en décrivant le contenu de l’univers visuel^{1 ,2,3,4}. La logique de base, ou l’hypothèse reliant, derrière ce paradigme est que comprendre ou qui prévoient un énoncé (ouvertement ou secrètement) passera attention visuelle des participants sur un certain objet dans l’univers visuel. Ce changement d’attention aura une probabilité élevée d’initier un mouvement par saccades des yeux pour amener la région fréquentée dans la vision fovéale. Avec ce paradigme, les chercheurs ont l’intention de déterminer à quel moment temporel, en ce qui concerne certains point de repère acoustique du signal de parole, un changement dans l’attention visuelle du participant se produit, tel que mesuré par un mouvement par saccades des yeux un objet ou une image dans le visuel monde. Quand et où les mouvements par saccades des yeux sont lancées en ce qui concerne le signal de parole sont ensuite utilisés pour déduire le traitement automatique des langues en ligne. Le paradigme de l’univers visuel peut être utilisé pour étudier la langue parlée compréhension^1,2 et la production^5,6. Cet article méthodologique se concentrera sur les études de compréhension. Dans une étude de la compréhension en utilisant le paradigme de l’univers visuel, les yeux des participants sur l’affichage visuel, les mouvements sont surveillés comme ils écoutent les paroles parlées parle l’affichage visuel.

Systèmes de suivi des yeux différents ont été conçus dans l’histoire. Le plus simple, moins coûteux et plus portable système est juste une caméra vidéo normale, qui enregistre une image des yeux du participant. Les mouvements oculaires sont ensuite manuellement codés par un examen de l’enregistrement vidéo image par image. Toutefois, le taux d’échantillonnage de tel un eye-tracker est relativement faible, et la procédure de codage prend du temps. Ainsi, un œil commercial contemporain normalement le système de suivi utilise des capteurs optiques de mesure l’orientation de le œil dans son orbite^7,8,9. Pour comprendre comment fonctionne un système de suivi oculaire commercial contemporain, on devraient considérer les points suivants. Premièrement, pour mesurer correctement la direction de la vision fovéale, un illuminateur infrarouge (normalement avec la longueur d’onde autour de 780-880 nm) est normalement posée le long ou hors de l’axe optique de la caméra, ce qui rend l’image de la pupille distinguishably plus ou moins clairs que l’iris environnantes. L’image de l’élève ou du reflet cornéen (normalement la première image Purkinje) élève est ensuite utilisée pour calculer l’orientation de le œil dans son orbite. En second lieu, l’emplacement du regard dans l’univers visuel est en fait subordonnée non seulement sur l’orientation de l’oeil en ce qui concerne la tête, mais aussi sur l’orientation de tête en ce qui concerne l’univers visuel. Pour en déduire exactement le regard du respect de l’orientation de l’oeil, la source lumineuse et la caméra de l’oeil-trackers sont fixés en ce qui concerne la tête des participants (visiocasques eye-Tracker) ou ont été fixés en ce qui concerne l’univers visuel (monté sur table ou distance œil-trackers). Troisièmement, orientation tête des participants doit être attachée à l’égard de l’univers visuel ou être indemnisée par le calcul si la tête des participants est libre de ses mouvements. Quand un eye-tracker distant est utilisé dans un mode de tête-libre-à-coup, position de la tête des participants est généralement enregistrée en plaçant un petit autocollant sur le front des participants. L’orientation de la tête est ensuite par le calcul soustrait de l’orientation de l’oeil pour récupérer l’emplacement du regard dans l’univers visuel. Quatrièmement, un étalonnage et un processus de validation sont alors tenus pour mapper l’orientation de l’oeil au regard du respect dans le monde visuel. Dans le processus d’étalonnage, échantillons de fixation des participants provenant de points cibles connues sont enregistrées pour mapper les données brutes oeil pour contempler la position dans l’univers visuel. Dans le processus de validation, les participants sont présentent les mêmes points de la cible que le processus d’étalonnage. La différence existant entre la position de fixation calculée d’après les résultats étalonnés et la position réelle de l’objectif fixé dans l’univers visuel sont ensuite utilisés pour juger de la précision de l’étalonnage. De plus confirmer l’exactitude du processus de mappage, à une vérification de la dérive est normalement appliquée sur chaque procès, où une cible de fixation unique est présentée aux participants de mesurer la différence entre la position de la fixation et la position réelle de la cible actuelle.

Les données primaires d’une étude de l’univers visuel sont un ruisseau de regard lieux dans l’univers visuel enregistré à la fréquence d’échantillonnage de l’eye-tracker, s’étendant sur tout ou partie de la durée du procès. La variable dépendante, utilisée dans une étude de l’univers visuel est généralement la proportion des échantillons que les fixations des participants sont placées certaine région spatiale dans l’univers visuel à travers une fenêtre de temps certain. Pour analyser les données, une fenêtre de temps a tout d’abord d’être choisi, souvent appelées périodes d’intérêt. La durée de validité est généralement temps fermée à la présentation de certains événements linguistiques dans l’entrée auditive. En outre, l’univers visuel est également nécessaire de diviser en plusieurs zones d’intérêt (ROIs), dont chacun est associé à un ou plusieurs objets. Une telle région contient l’objet correspondant à la bonne compréhension de la langue parlée et donc est souvent appelée la zone cible. Une façon typique de visualiser les données est une parcelle de proportion-de-fixation, où à chaque emplacement dans une fenêtre de temps, la proportion des échantillons avec un coup d’oeil à chacune des régions d’intérêt sont en moyenne à travers les participants et les éléments.

En utilisant les données provenant d’une étude de l’univers visuel, recherche différentes questions peuvent être répondues : un) sur le niveau de céréales secondaires, sont des mouvements oculaires des participants dans l’univers visuel touchés par différentes entrées linguistiques auditives ? b) si il y a un effet, quelle est la trajectoire de l’effet au cours du procès ? Est-ce un effet linéaire ou ordre élevé ? et c) s’il y a un effet, puis sur le niveau de grain fin, quelle est le plus ancien point temporel où émerge un tel effet et combien cet effet en dernier ?

Pour analyser statistiquement les résultats, les points suivants devraient être considérés. Tout d’abord, la variable de réponse, c’est-à-dire, des proportions de fixations, est aussi bien inférieures et supérieures délimitée (entre 0 et 1), qui suivra une distribution multinomiale plutôt qu’une distribution normale. Désormais, des méthodes statistiques traditionnelles, basés sur une distribution normale comme t-test, analyse de la variance et des modèles linéaires (effet mélangé)¹⁰, ne peuvent pas être directement utilisés jusqu’à ce que les proportions ont été transformées aux variables illimitées comme avec formule empirique logit¹¹ ou ont été remplacés par unbounded variables dépendantes telles que la distance euclidienne¹². Techniques statistiques qui ne nécessitent pas que l’hypothèse d’une distribution normale telle généralisée des modèles linéaires (effet mélangé)¹³ peuvent également être utilisés. En second lieu, afin d’étudier la trajectoire changeante de l’effet observé, une variable indiquant la série chronologique doit être ajouté dans le modèle. Cette variable de série chronologique est à l’origine l’eye-tracker de points remises à l’apparition de la langue d’entrée de prélèvement. Puisque la trajectoire changeante en général n’est pas linéaire, une fonction polynomiale d’ordre élevé de la série chronologique est généralement incorporée dans le () modèle linéaire généralisé (effet mélangé), c’est-à-direla croissance courbe analyses¹⁴. En outre, postes oeil des participants dans le point d’échantillonnage actuel dépend fortement précédents points d’échantillonnage, surtout lorsque la fréquence d’enregistrement est élevée, ce qui entraîne le problème de l’autocorrélation. Pour réduire l’autocorrélation entre les points d’échantillonnage adjacent, données d’origine sont souvent sous-échantillonnée ou jumelées. Ces dernières années, les modèles d’effets mixtes additif généralisé (GAMM) ont également servis pour s’attaquer à l’autocorrélation erreurs^12,15,16. La largeur des bacs varie selon les différentes études, allant de plusieurs millisecondes à plusieurs centaines de millisecondes. Le bac plus étroit que peut choisir une étude est limité par le taux d’échantillonnage du Traqueur oculaire utilisé dans l’étude spécifique. Par exemple, si un traqueur d’oeil a une fréquence d’échantillonnage de 500 Hz, alors la largeur de la fenêtre de temps ne peut pas être plus petite que 2 ms = 1000/500. Troisièmement, lorsqu’une analyse statistique est appliquée à plusieurs reprises à chaque emplacement de temps des périodes d’intérêt, l’erreur familywise induits à partir de ces que comparaisons multiples devraient être réglés. Comme nous avons décrit précédemment, l’analyse de la trajectoire informe le chercheur si l’effet observé sur le niveau de céréales secondaires est linéaire par rapport à l’évolution du temps, mais ne s’affiche ne pas lorsque l’effet observé commence à émerger et comment longtemps l’observé effet dure. Pour déterminer la position temporelle quand la différence observée commence à diverger et pour déterminer la durée de la période temporelle qui dure l’effet observé, une analyse statistique doit être appliqué à plusieurs reprises à chaque emplacement de temps. Ces comparaisons multiples introduira la dite erreur familywise, n’importe quelle méthode statistique est utilisée. Traditionnellement, l’erreur familywise est corrigée avec ajustement de Bonferroni¹⁷. Récemment, une méthode appelée test de permutation non paramétriques utilisé à l’origine en neuro-imagerie ont déposé¹⁸ a été appliquée au mot visual paradigm¹⁹ au contrôle de l’erreur familywise.

Chercheurs en utilisant le paradigme de l’univers visuel ont l’intention d’en déduire la compréhension d’une langue parlée de mouvements oculaires des participants dans l’univers visuel. Pour s’assurer de la validité de cette déduction, autres facteurs éventuellement influencer les mouvements des yeux devraient être écartées ou contrôlées. Les deux facteurs suivants sont parmi les plus communs qui doivent être prises en considération. Le premier facteur implique certaines tendances systématiques sur fixations explicatives des participants indépendants de la langue d’entrée, tels que la tendance à se focaliser sur la partie supérieure gauche de quadrat de l’univers visuel et les yeux mobiles dans le sens horizontal étant plus facile que dans la direction verticale, etc.^12,20 pour s’assurer que les modes de fixation observées sont liées aux objets, pas aux emplacements spatiales où se trouvent les objets, les positions spatiales d’un objet doivent être contrebalancées travers différents procès ou à travers les différents participants. Le deuxième facteur pouvant affecter les mouvements des yeux des participants est les caractéristiques de l’image de base des objets dans l’univers visuel, comme l’orientation de contraste, couleur et edge luminance, entre autres²¹. Pour diagnostiquer ce potentiel de confusion, l’affichage est normalement présenté avant l’apparition de la langue parlée ou avant l’apparition du marqueur acoustique critique de la langue parlée, pour environ 1000 m au cours de la période temporelle de l’apparition de la image de test pour le début de l’essai audio, la langue d’entrée ou le point de l’homonymie de la langue d’entrée n’a pas encore été entendu. Toute différence observée entre les différentes conditions devrait être déduite d’autres facteurs de confusion tels que l’affichage visuel en soi, plutôt que la langue d’entrée. Désormais, les mouvements oculaires observées dans cette période d’essai a fournir une base pour déterminer l’effet de l’apport linguistique. Cette période d’essai permet également aux participants de se familiariser avec l’affichage visuel et afin de réduire le biais systématique des fixations explicatives quand la langue parlée est présentée.

Pour illustrer comment une étude utilisant le paradigme de l’univers visuel d’oculométrique typique se déroule, le protocole suivant décrit une expérience adaptée de L. Zhan¹⁷ pour explorer le traitement en ligne des instructions sémantiquement complexes, c’est-à-dire, les déclarations disjonctives (S1 ou S2), déclarations conjonctive (S1 et S2) et mais-déclarations (S1 mais non-S2). Dans la conservation de l’ordinaire, les informations exprimées par certaines déclarations sont réellement plus fortes que son sens littéral. Disjonctives déclarations comme boîte de Xiaoming contient une vache ou un coq sont ces énoncés. Logiquement, l’instruction disjonctive est vraie tant que le disposera de deux boîte de Xiaoming contient une vache et boîte de Xiaoming un coq n’est pas tous les deux false. Par conséquent, l’instruction disjonctive est true lorsque la disposera de deux est les deux vrai, où l’instruction correspondante de conjonctive boîte de Xiaoming contient une vache et un coq est également vraie. Dans la conversation ordinaire, cependant, entendant que la déclaration disjonctive souvent suggère que l’instruction conjonctive correspondante a la valeur false (implicature scalaire) ; et suggère que les valeurs de vérité de la disposera de deux sont ignorées par l’orateur (inférence de l’ignorance). Comptes dans la littérature se distinguent par deux conclusions sont grammaticale ou pragmatique des processus^{22,23,24,25,26}. L’expérience montre comment le paradigme de l’univers visuel peut être utilisé pour trancher entre ces comptes, en explorant le traitement en ligne de trois instructions complexes.

Protocol

Tous les sujets doivent donner consentement éclairé avant l’administration des protocoles expérimentaux. Toutes les procédures, formulaires de consentement et le protocole expérimental ont été approuvées par le Comité d’éthique de recherche du Beijing Language and Culture University. Remarque : Une étude de la compréhension en utilisant le paradigme de l’univers visuel normalement se compose des étapes suivantes : introduire les problèmes théoriques à explorer ; Former…

Representative Results

Les réponses comportementales des participants sont résumées dans la Figure 4. Comme nous avons décrit précédemment, la bonne réponse à une déclaration conjointe (S1 et S2) est la grande boîte ouverte, comme la boîte A sur la Figure 1. La bonne réponse à un mais-déclaration (S1 mais pas S2) est la petite boîte ouverte contenant le premier animal mentionné, tels que boîte D sur la <stron…

Discussion

Pour effectuer une étude de l’univers visuel, il y a plusieurs étapes essentielles à suivre. Tout d’abord, les chercheurs ont l’intention d’en déduire l’interprétation de la langue audition présentée par l’intermédiaire de mouvements oculaires des participants dans l’univers visuel. Désormais, dans la conception de la présentation des stimuli visuels, les propriétés des mouvements des yeux dans une tâche naturelle qui pourrait affectent les mouvements des yeux des participants doivent être con…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics