С помощью движений глаз, записанная в парадигме визуальный мир для изучения оперативной обработки разговорного языка

Summary

Парадигма визуальный мир следит за участников движения глаз в рабочей области visual как они слушать или разговорным языком. Эта парадигма может использоваться для изучения оперативной обработки широкого круга Психолингвистические вопросов, в том числе семантически сложные операторы, например дизъюнктивной заявления.

Abstract

В типичной глаз отслеживания исследования с использованием парадигмы визуальный мир, участников глаз движений объектов или фотографии в рабочей области visual записываются через трекер глаз как участник производит или постигает разговорного языка описания параллельной визуальный мир. Эта парадигма имеет высокую универсальность, как он может использоваться в широком диапазоне населения, включая тех, кто не может читать или кто не может дать открыто их поведенческие реакции, например дописьменных детей, пожилых взрослых и пациентов. Что еще более важно парадигма является чрезвычайно чувствительны к мелкозернистого манипуляции речевого сигнала, и он может использоваться для изучения оперативной обработки большинства тем в понимании языка на нескольких уровнях, например мелкозернистого акустические фонетические характеристики, свойства слов и языковых конструкций. Протокол, описанные в этой статье иллюстрирует, как типичный визуальный мир глаз отслеживания исследования проводится, с пример, показывающий, как оперативной обработки некоторых семантически сложные операторы могут быть изучены с парадигмой визуальный мир.

Introduction

Разговорный язык является быстрый, текущей информации поток, который исчезает прямо сейчас. Это вызов для экспериментально изучения этой временной, быстро менять речевого сигнала. Движения глаз, записанная в парадигме визуальный мир может использоваться для преодоления этой проблемы. В типичной глаз отслеживания исследования с использованием парадигмы визуальный мир участников движения глаз для фотографии на дисплее или реальных объектов в рабочей области visual контролируются как они слушать, или производить, разговорный язык, изображающие содержимое визуальный мир^{1 ,2,3,4}. Основная логика, или увязки гипотеза, позади этой парадигмы является что Постигая или планирования высказывания (открыто или тайно) переместит визуального внимание участников на определенный объект в визуальный мир. Этот сдвиг внимания будет иметь высокую вероятность начать движение скачкообразных глаз для приведения области приняли участие в фовеальное зрение. С этой парадигмы исследователи намерены определить, в какой временной точке, в отношении некоторых акустических вехой в речевого сигнала, происходит сдвиг в участника визуального внимания, как измеряется движение скачкообразных глаз на объект или рисунок в visual мир. Когда и где движения скачкообразных глаз запускаются по отношению к речевого сигнала используются затем вывести онлайн языка обработки. Парадигма визуальный мир может использоваться для изучения разговорного языка понимание^1,2 и производство^5,6. Эта методологическая статья будет сосредоточена на понимание исследований. В исследовании понимание используя визуальный мир парадигмы, глаз участников, которые контролируются движениями на визуальное отображение, как они слушать разговорный высказываний, говоря о визуального отображения.

Другой глаз слежения системы были разработаны в истории. Простейших, наименее дорогостоящим и наиболее портативные системы это просто нормальное видео камеру, которая записывает изображение глазами участника. Движения глаз затем вручную закодированные через кадр за кадром Экспертиза видеозаписи. Однако частота таких глаз трекер является относительно низким, и процедура по кодирвоания отнимает много времени. Таким образом современного коммерческого айтрекинга системы обычно использует оптических датчиков, измерения ориентации глаз в свою орбиту^7,8,9. Чтобы понять, как работает современным коммерческой системы eye отслеживание, следует рассмотреть следующие моменты. Во-первых, правильно измерять направление фовеальное зрение, инфракрасный прожектор (обычно с длиной волны около 780-880 Нм) обычно укладывается вдоль или от оптической оси камеры, делая изображение ученик различимо ярче или темнее чем окружающие Ирис. Имидж учащегося или ученик роговицы отражения (обычно первое изображение Пуркинье) затем используется для вычисления ориентации глаза на ее орбите. Во-вторых взгляд расположение в визуальный мир на самом деле контингента, не только на глаз ориентации в отношении руководителя, но и на голову ориентацию в отношении визуальный мир. Точно вывести взгляд связи от глаз ориентации, источник света и камеры глаза трекеры устанавливаются в отношении участников начальник (руководитель монтируется глаз трекеры) или фиксированной связи визуальный мир (таблица смонтированы или удаленный глаз трекеры). В-третьих головы ориентации участников либо должны быть исправлены в отношении визуальный мир или вычислительно быть компенсированы, если голова участников свободно двигаться. Когда удаленный глаз трекер используется в режиме головы бесплатно к перемещение, участников головки обычно записывается, размещая небольшой стикер на лбу участников. Затем Главный ориентации вычислительно вычитается из глаз ориентации для получения расположения взгляд в визуальный мир. В-четвертых калибровки и проверки процесса затем требуется сопоставить ориентации глаз взглядом связи в визуальный мир. В процессе калибровки участников фиксации образцов из известных целевых точек записываются для сопоставления данных сырье глаз смотреть позиции в визуальный мир. В процессе проверки участники представлены с той же точки цели как процесс калибровки. Различия, существующие между вычисляемым фиксации позиции из калиброванного результатов и фактическое положение зацикленная цели в визуальный мир затем используются для судить о точности калибровки. Далее подтвердить точность процесса сопоставления, проверить дрейф обычно применяется в каждом испытании, где один фиксации целевой представлена участникам измерить разницу между позицией вычисляемых фиксации и фактическое положение Текущая цель.

Первичные данные исследования визуальный мир представляет собой поток взгляд места в визуальный мир, записанная на дискретизации глаз трекер, начиная за полностью или частично испытательный срок. Зависимой переменной, используемой в исследовании визуальный мир обычно является доля проб, что участников записей находятся в определенных пространственных региона в визуальный мир через определенный интервал времени. Для анализа данных, окно времени имеет прежде всего должен выбираться, часто упоминается как периоды интерес. Окно времени, обычно время-к морю для представления некоторых языковых событий во входной слуховые. Кроме того визуальный мир также необходимо разделить на несколько областей интереса (ROI), каждый из которых связан с одним или более объектами. Один такой регион содержит объект, соответствующий правильное понимание разговорного языка и таким образом часто называют целевой области. Типичный способ визуализации данных является доля фиксации сюжет, где в каждом бен в окно времени, доля проб с нетерпением для каждого региона интерес усредняются различных участников и элементов.

С помощью данных, полученных из исследования визуальный мир, различные исследовательские вопросы можно ответить:) на уровне кормового зерна, являются участниками движения глаз в визуальный мир, пострадавших от различных слуховой языкового ввода? b) если есть эффект, что такое траектория эффекта в течение судебного разбирательства? Это линейный эффект или эффект высок заказа? и c) если есть эффект, а затем на уровне мелкозернистая, при ранней временной точке, где такой эффект возникает и как долго длится этот эффект последний?

Статистически анализировать результаты, следует рассмотреть следующие моменты. Во-первых ответ переменной, т.е., пропорции фиксаций, ниже и выше граничит (между 0 и 1), который будет следовать МУЛЬТИНОМ распределения, а не нормального распределения. Отныне традиционные статистические методы, основанные на нормальное распределение t теста ANOVA и линейные модели (смешанные эффект)¹⁰, не могут быть использованы непосредственно до тех пор, пока пропорции были преобразованы в неограниченных переменных таких как с логит эмпирические формулы¹¹ или были заменены с неограниченной зависимые переменные например евклидово расстояние¹². Может также использоваться статистические методы, которые не требуют что предположении нормального распределения такие обобщенные линейные модели (смешанные эффект)¹³ . Во-вторых чтобы исследовать изменения траектории наблюдаемого эффекта, переменная, обозначающая время серия должна быть добавлена в модель. Эта переменная время серии является первоначально глаз трекер выборки точек, перестроены до наступления языка ввода. Поскольку изменение траектории обычно не является линейной, полиномиальной функции высокого порядка рядов обычно добавляется в (обобщенный) линейная (смешанные эффект) модель, то есть, рост кривой анализ¹⁴. Кроме того участников глаз позиции в текущей точки семплирования сильно зависит от предыдущей выборки точек, особенно когда частота записи высок, что приводит к проблеме автокорреляции. Чтобы уменьшить автокорреляции между прилегающих участков отбора проб, исходные данные часто являются вниз пробы или сегментированием. В последние годы обобщенные смешанного аддитивный эффект модели (GAMM) также использовались для решения autocorrelated ошибки^12,,1516. Ширина ячеек варьируется среди различных исследований, начиная от нескольких миллисекунд до нескольких сотен миллисекунд. Узкой бин, исследование можно выбрать ограничен дискретизации глаз отслеживания используется в конкретных исследования. Например если глаз трекер имеет дискретизации 500 Гц, то ширину окна времени не может быть меньше чем 2 мс = 1000/500. В-третьих когда неоднократно статистический анализ применяется каждый раз Бен периодов интерес, familywise ошибка индуцированной из них, которые должны решаться несколько сравнений. Как было описано ранее, анализ траектории сообщает исследователь ли эффект наблюдается на уровне крупногранулированных линейная относительно изменения времени, но не показывать, когда наблюдаемый эффект начинает проявляться и как долго наблюдаемых эффект длится. Чтобы определить временнoе положение, когда наблюдаемое различие начинает отклоняться и выяснить, временной период, что наблюдаемый эффект длится, статистический анализ должен применяться неоднократно каждый раз Бен. Эти множественные сравнения представит так называемые familywise ошибки, независимо от того, какой статистический метод используется. Бонферрони перестройки¹⁷традиционно Исправлена familywise ошибка. Недавно метод называется непараметрических перестановка тест, первоначально использовались в нейровизуализации, поданной¹⁸ был применен к визуального слово парадигма¹⁹ для контроля familywise ошибка.

Исследователи, используя визуальный мир парадигмы намерены вывести понимания некоторых разговорного языка от участников движения глаз в визуальный мир. Для обеспечения достоверности этот вычет, другие факторы, которые возможно влияние движения глаз должны быть исключать или под контролем. Среди распространенных, которые должны быть рассмотрены следующие два фактора. Первый фактор включает некоторые систематической в участников пояснительные записях независимо от языка ввода, например тенденция закрепится на верхний левый квадрат визуальный мир, и движущиеся глаза в горизонтальном направлении, что проще, чем в по вертикали,^12,и т.д.²⁰ чтобы убедиться, что наблюдаемые фиксации шаблоны связаны с объектами, не в пространственного расположения, где находятся объекты, пространственной позиции объекта должен быть сбалансирован через различные испытания или через различных участников. Второй фактор, который может повлиять на участников движения глаз есть основное изображение объектов в визуальный мир, такие как яркость контрастность, цвет и края ориентации, среди прочих²¹. Для диагностики этот потенциал смешанных, визуального отображения обычно представлен до начала разговорного языка или до наступления критического акустическая маркер разговорного языка, около 1000 г-жа временной период с начала еще не был услышан тестового изображения до начала тестирования аудио, язык ввода или точку значения языка ввода. Любая разница между различными условиями следует вывели другие смешанные факторы, такие как визуального отображения per se, а не язык ввода. Отныне движения глаз, в этот период просмотра служат основой для определения влияния языкового ввода. Этот предварительный период также позволяет участникам получить ознакомил с визуального отображения и уменьшить систематического смещения пояснительных фиксаций при предъявлении разговорного языка.

Чтобы проиллюстрировать, как проводится типичный глаз отслеживания исследования с использованием парадигмы визуальный мир, следующий протокол описывает эксперимент адаптировано из¹⁷ л Zhan исследовать оперативной обработки семантически сложных заявлений, т.е. дизъюнктивная заявления (S1 или S2), соединительной заявления (S1 и S2) и но-заявления (S1, но не S2). В обычных сохранения информация, выраженные некоторыми высказываниями на самом деле сильнее, чем его буквальное значение. Дизъюнктивная заявления как Сяомин поле содержит корову или петуха являются такие высказывания. Логически, дизъюнктивной утверждение верно, до тех пор, как два disjuncts Сяомин поле содержит корову и Сяомин поле содержит петуха не являются оба значение false. Таким образом дизъюнктивной утверждение верно, когда два disjuncts как true, где соответствующее заявление соединительной Сяомин поле содержит корову и петуха также верно. В обычный разговор, однако, услышав что дизъюнктивной заявление часто предполагает, что соответствующие соединительной заявление является ложным (скалярные импликатура); и свидетельствует о том, что правда двух disjuncts значений неизвестных диктором (вывод невежества). Счета в литературе различаются в том, являются ли два умозаключения грамматических или прагматической процессов^{22,23,24,25,26}. Эксперимент показывает, как визуальный мир парадигма может использоваться выносить между этими счетами, путем изучения оперативной обработки трех сложных инструкций.

Protocol

Все субъекты должны дать обоснованное письменное согласие перед администрацией экспериментальных протоколов. Все процедуры, формы согласия и экспериментальный протокол были одобрены Комитет по этике исследований Пекин языка и культуры университета. Примечание: Поним…

Representative Results

Поведенческие реакции участников приводится на рисунке 4. Как было описано ранее, правильный ответ на совместное заявление (S1 и S2) является большой открытой коробке, таких как окно на рисунке 1. Правильный ответ на но-заявление (…

Discussion

Для проведения исследования, визуальный мир, есть несколько важных шагов, чтобы следовать. Во-первых исследователи намерены вывести интерпретации вербально представленных языка через участников движения глаз в визуальный мир. Отныне в проектировании визуальных раздражителей, должны…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics