음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

Summary

그들은을 듣고는 또는 음성된 언어를 말하기로 시각적인 세계 패러다임 visual 작업 영역에서 참가자의 눈 움직임을 모니터링 합니다. 이 패러다임 조사 psycholinguistic 질문, 분리형 문과 같은 의미가 복잡 한 문을 포함 하 여 광범위의 온라인 처리를 사용할 수 있습니다.

Abstract

전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 참가자의 눈 움직임을 개체 또는 visual 작업 영역에서 그림 참가자 생산 또는 동시 시각을 설명 하는 음성된 언어를 이해는 눈 추적기를 통해 기록 됩니다. 세계입니다. 이 패러다임의 인구, 읽을 수 없습니다 또는 누구 공공연히 preliterate 어린이, 노인, 어른과 환자 같은 행동 그들의 응답을 줄 수 없는 포함 하 여 넓은 범위에서 사용할 수 있는 높은 다양성이 있다. 더 중요 한 것은, 패러다임의 음성 신호 잘 배어 든된 조작에 매우 민감한 이며 공부 언어 이해 잘 배어 든된 음향 소리 등 여러 수준에서 항목을 대부분의 온라인 처리를 사용할 수 있습니다. 기능, 단어, 속성 및 언어 구조 이 문서에서 설명 하는 프로토콜 어떻게 일반적인 시각 세계 눈 추적 연구 실시, 어떻게 어떤 의미가 복잡 한 문의 온라인 처리 시각적인 세계 패러다임으로 탐험 수 있습니다 보여 주는 예제와 함께 보여 줍니다.

Introduction

음성된 언어는 빠르고, 지속적인 정보 흐름을 바로 사라집니다. 실험적으로 시간 연구, 음성 신호를 빠르게 변경 하는 도전 이다. 이 문제를 극복 하기 위해 시각적인 세계 패러다임에 기록 된 안구의 움직임을 사용할 수 있습니다. 전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 그들은 듣고, 또는 생산, 음성된 언어 영상 세계^{1의 내용을 묘사한 참가자의 눈 움직임 디스플레이에서 사진 또는 visual 작업 영역에서 실제 개체는 모니터링 ,2,,34}. 기본적인 논리 또는 연결 가설,이 패러다임의 뒤에 이해 또는 계획 한 말 (공공연히 또는 은밀 하 게) 이동 합니다 시각적 세계에 특정 개체에 참가자의 시각적 주의 이다. 이 주의 변화 시야 비전으로 참석된 영역을가지고 saccadic 눈 운동 시작 하는 높은 확률을 가질 것 이다. 이 패러다임 연구 개체 또는 시각에 있는 그림에 saccadic 눈 운동에 의해 측정 된 음성 신호에서 일부 음향 랜드마크에 관하여 어떤 시간 시점에서 참가자의 시각적 관심에 변화 발생, 결정 하려는 세계입니다. 음성 신호에 관하여 saccadic 눈 운동 시작은 언제 그리고 어디 다음 온라인 언어 처리를 추론 하는 데 사용 됩니다. 시각적인 세계 패러다임 음성된 언어 이해^1,2 과 생산^5,6을 사용할 수 있습니다. 이 방법론 문서 이해 연구에 집중할 것 이다. 독 해 공부에 시각적인 세계 패러다임, 영상 디스플레이에 움직임은 그들이 말한 발언 영상 디스플레이 대 한 얘기를 들어 서 모니터링 참가자의 눈을 사용 하 여.

역사에서 다른 눈 추적 시스템 설계 되었습니다. 간단한, 가장 저렴 하 고 가장 휴대용 시스템은 그냥 일반 비디오 카메라, 참가자의 눈의 이미지를 기록 하. 안구의 움직임 다음 비디오 녹화의 프레임에 의해 심사를 통해 수동으로 코딩 됩니다. 그러나, 이러한 한 눈-추적의 샘플링 속도 상대적으로 낮은, 그리고 코딩 절차 시간이 소요 됩니다. 따라서, 현대 상업적인 눈 추적 시스템 일반적으로 그것의 궤도^7,,89눈의 방향을 측정 하는 광학 센서를 사용 합니다. 현대 상업적인 눈 추적 시스템의 작동 방식을 이해 하려면 다음 사항은 고려해 야 합니다. 먼저, 올바르게 시야 비전, 적외선 조명 기의 방향을 측정 (파장 주위와 일반적으로 780-880 nm) 따라 또는 distinguishably 밝은 또는 어두운 눈동자의 이미지를 만드는 카메라의 광 축에서 일반적으로 누워 주변의 아이리스 보다. 이미지의 눈동자 및 눈동자 각 막 반사 (일반적으로 첫 번째 Purkinje 이미지)의 다음 궤도에 눈의 방향을 계산 하는 데 사용 됩니다. 둘째, 영상 세계에 시선 위치는 시각적 세계에 관하여 머리 방향에 뿐만 아니라 머리에 관하여 눈 방향에 뿐만 아니라 실제로 파견. 정확 하 게 유추할 눈 방향에서 관계의 시선, 광원 및 카메라 눈 추적의 참가자의 머리 (눈 추적자 머리 탑재)에 대해 고정 또는 시각적 세계에 대해 고정 (테이블 장착 또는 원격 눈-추적)입니다. 셋째, 참가자의 머리 방향 중 영상 세계에 관하여 고정 해야 합니다 또는 참가자의 머리는 자유롭게 이동 하는 경우 보상 계산. 원격 눈 추적자 머리 무료-이동 모드에서 사용 될 때 참가자의 머리 위치는 일반적으로 참가자의이 마에 작은 스티커를 배치 하 여 기록 됩니다. 머리 방향 다음 계산 영상 세계의 시선 위치를 검색 하 눈 방향에서 뺍니다. 넷째, 교정과 검증 프로세스 다음 시각적 세계에서 관계의 시선 앞에 눈의 방향을 지도 하 요구 된다. 교정 과정에서 알려진된 대상 포인트에서 참가자의 고정 샘플 원시 눈 데이터 시선 시각적 세계에서 위치를에 기록 됩니다. 유효성 검사 프로세스에서 참가자 보정 과정으로 동일한 대상 포인트 되 게 됩니다. 보정된 결과에서 계산된 고정 위치와 영상 세계에 집착된 하는 대상의 실제 위치 사이 기존 하는 차이 다음 교정의 정확도 판단 하는 데 사용 됩니다. 추가 매핑 프로세스의 정확성을 재확인, 드리프트 검사 일반적으로 적용 되는 단일 고정 대상 계산된 고정 위치와 실제 위치 사이의 차이 측정 하는 참가자에 게 제공 됩니다, 각 재판에는 현재 대상입니다.

영상 세계 연구의 기본 데이터의 전체 또는 일부의 시험 기간에 이르기까지 눈 추적기의 샘플링 레이트에서 기록 영상 세계에 시선 위치 시내 이다. 영상 세계 연구에 사용 된 종속 변수는 일반적으로 특정 시간대에 걸쳐 참가자 fixations 영상 세계에 특정 공간 영역에 위치는 샘플의 비율. 데이터를 분석 하려면 시간 창은 첫째로 선택할 수 관심의 기간이 라고도 한다. 시간대는 일반적으로 시간 청각 입력에서 일부 언어 이벤트의 프레 젠 테이 션에 잠겨. 또한, 영상 세계의 관심사 (ROIs), 각각의 하나 이상의 개체와 연결 된 여러 영역으로 분할 하 또한 필요 합니다. 같은 지역 한 음성된 언어의 올바른 이해에 해당 하는 개체를 포함 하 고 따라서 대상 영역 이라고 자주. 데이터를 시각화 하는 일반적인 방법은 어디 시간 창에서 각 빈에 관심의 각 지역에 얼굴로 샘플 비율 평균 참가자 및 항목 고정 비율 계획입니다.

영상 세계 연구에서 얻은 데이터를 사용 하 여, 다양 한 연구 질문 응답 될 수 있다: a) 성긴 수준에 다른 청각 언어 입력에 의해 영향을 받는 영상 세계에 참가자의 눈 움직임은? b) 경우 효과, 재판의 과정을 통해 효과의 궤적을 무엇입니까? 그것은 선형 효과 또는 상위 효과? 그리고 c) 효과, 세부적인 수준에서 다음 경우 때 이며 초기 일시적인 포인트 같은 효과 나온다이 효과 얼마나 마지막?

결과 통계적으로 분석 하려면 다음 사항은 고려해 야 합니다. 첫째, 응답 변수, 즉, fixations의 비율은 아래와 위의 제한 (0과 1 사이)는 정규 분포 보다는 다항 분포를 따를 것 이다. 이제부터, 전통적인 통계적 방법 t 시험, ANOVA, 선형 (혼합 효과) 모델¹⁰, 등 정규 분포에 따라 수 없습니다 직접 활용 비율와 같은 무제한 변수를 변형 되었습니다 때까지 경험적 로짓 수식¹¹ 유클리드 거리¹²같은 종속 변수를 무제한으로 대체 되었습니다. 이러한 정규 분포의 가정을 일반화 선형 (혼합 효과) 모델¹³ 를 필요로 하지 않는 통계적 기법 또한 사용할 수 있습니다. 둘째, 관찰 된 효과의 변화 궤적을 탐구 하는 시계열을 나타내는 변수 모델에 추가할 수 있다. 이 시계열 변수는 원래 눈 추적자 입력 언어의 발병에 realigned 포인트 샘플링의. 이후 변화 궤적 일반적으로 선형 않다, 시간 시리즈의 높은 순서 다항식 함수 (일반화 된) 선형 (혼합 효과) 모델, 즉, 성장 곡선 분석¹⁴에 일반적으로 추가 됩니다. 또한, 현재 샘플링 포인트에서 참가자의 눈 위치는 매우 의존 이전 샘플링 포인트, 녹음 주파수가 높은 경우에 특히 자기 상관의 문제에서 발생 합니다. 인접 한 샘플링 포인트 사이의 상관을 줄이기 위해, 원본 데이터는 종종 다운 샘플링 또는 범주화 된. 최근 몇 년 동안, 일반적인된 첨가제 혼합된 효과 모델 (GAMM) 또한 autocorrelated 오류^12,,1516를 해결 하기 위해 사용 되었습니다. 쓰레기통의 폭 몇 밀리초에서 몇 백 밀리초 까지의 다른 연구 마다 다릅니다. 연구를 선택할 수 있습니다 하는 좁은 빈의 눈 추적자 특정 연구에 사용 된 샘플링 속도 의해 제한 됩니다. 예를 들어 눈 추적자는 500 Hz의 샘플링 속도 하는 경우 다음 시간 창의 너비 보다 2 ms = 1000/500 작을 수 없습니다. 셋째, 통계 분석은 반복적으로에 적용 하면 각 시간 빈 관심의 기간, familywise 오류 여러 비교를 태 클 한다 이들에서 유도 한다. 우리가 앞에서 설명한, 궤적 분석 알리고 연구원 성긴 수준에 관찰 하는 효과 시간의 변화에 관하여 선형 인지 관찰된 효과 등장 하기 시작 하는 때 표시 되지 않습니다 하지만 얼마나 오래 관찰 효과 지속. 관찰 된 차이 갈리는, 일시적인 기간 관찰 된 효과 지속 기간을 파악 하 고 시작할 때 임시 위치를 결정, 통계 분석 각 시간 빈에 반복적으로 적용할 수 있다. 이러한 여러 비교 통계 방법을 사용 하 든 소위 familywise 오류를 소개 합니다. Familywise 오류는 Bonferroni 조정¹⁷전통적으로 수정 되었습니다. 최근에, 원래 neuroimaging¹⁸ 에 신청에서 사용 하는 비패라메트릭 순열 테스트 라는 메서드 familywise 오류에 대 한 제어를 시각적 단어 패러다임¹⁹ 에 적용 되었습니다.

연구원은 시각적인 세계 패러다임을 사용 하 여 시각적 세계에 참가자의 눈 움직임에서 음성된 언어의 이해를 유추 하고자 합니다. 이 공제의 유효성을 보장 하기 위해, 아마도 안구의 움직임에 영향을 주는 다른 요인 배제 하거나 제어 되어야 한다. 다음 두 가지 요소를 고려해 야 할 일반적인 것 들 중입니다. 첫 번째 요인은 포함 한다 참가자 들 설명 fixations 입력에 보다 쉽게 되 고 수평 한 방향에서의 시각적 세계, 그리고 움직이는 눈 quadrat를 왼쪽 상단에 흥분 하는 경향이 같은 언어에 어떤 체계적인 패턴을 수직 방향, 관찰된 고정 패턴 개체에 관련 된, 아니라 개체 위치는 공간 위치에 개체의 공간적 위치 한다 counterbalanced 될 다는 것을 확인 하는 등^12,20 다른 실험에서 또는 다른 참가자 간에. 참가자의 눈 움직임에 영향을 미칠 수 있습니다 두 번째 요소는 다른 사람의 사이에서 휘도 대비, 색상 및 가장자리 방향 등 시각적 세계에서 개체의 기본 이미지 기능²¹. 진단 하려면이 잠재적인 혼란, 시각적 디스플레이 제시 일반적으로 말한 언어의 발병 이전 또는 발병의 임시 기간 동안 약 1000 씨에 대 한 음성된 언어의 중요 한 음향 표시의 발병 전에 테스트 이미지 테스트 오디오, 입력 언어 또는 입력 언어의 동음이의 포인트의 발병에는 아직 듣고 되어 있다. 다른 조건 사이 관찰 하는 어떤 다름 든 지 입력 하는 언어 보다 시각적 디스플레이 등 다른 혼동 요인 라기보다, 추론 한다. 이제부터,이 미리 보기 기간에 관찰 하는 눈 움직임 언어 입력의 효과 결정 하기 위한 기준을 제공 합니다. 이 미리 보기 기간 참가자를 얻을 시각적 디스플레이 익숙하게 하 고 말한 언어 제시 설명 fixations의 체계적인 바이어스를 줄일 수 있습니다.

전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여 실시 하는 방법을 설명 하기 위해 다음 프로토콜 L. Zhan¹⁷ 의미상으로 복잡 한 계산, 즉, 의 온라인 처리를 탐험에서 적응 하는 실험을 설명 합니다. 분리형 문 (S1 또는 S2), 접속 어 문 (S1 및 S2), 그리고 만-문 (S1 하지만 하지 S2). 일반 절약, 일부 발언에 의해 표현 된 정보에서는 실제로 그것의 문자 적 의미 보다 더 강한입니다. Xiaoming의 상자 포함 암소 또는 수 탉 처럼 분리형 문은 같은 발언입니다. 논리적으로, 분리형 문이 사실이 두 disjuncts Xiaoming의 상자 포함 암소와 Xiaoming의 상자 포함 수 탉은 모두 거짓. 따라서, 분리형 문을 두 disjuncts는 모두 true Xiaoming의 상자는 암소와 수 탉을 포함 하는 해당 접속 어 문이 사실이 또한 사실 이다. 그러나 일반 대화에서, 분리형 문을 자주 나왔다 해당 접속 어 문이 잘못 듣고 (스칼라 implicature); 두 개의 disjuncts의 진리 값 (무지 유추) 스피커에 의해 알려지지 않은 것을 암시 한다. 문학에서 계정 두 추론 문법 또는 실용적인 프로세스^{22,23,,2425,26}인지에 차이가 있습니다. 실험 3 개의 복잡 한 계산의 온라인 처리를 탐색 하 여 이러한 계정 간에 판결에 시각적인 세계 패러다임을 사용 하는 방법을 보여 줍니다.

Protocol

모든 과목은 실험 프로토콜의 관리 전에 정보 서 면된 동의 주어 야 한다. 모든 절차, 동의 형태, 및 실험 프로토콜 베이징 언어와 문화 대학 연구 윤리 위원회에 의해 승인 되었다. 참고: 일반적으로 시각적인 세계 패러다임을 사용 하 여 이해 연구는 다음 단계로 구성 됩니다: 탐험; 이론적인 문제 소개 형성 된 실험적인 디자인; 준비 하는 시각 및 청각 자극; 실험 디자인에 관…

Representative Results

참가자의 행동 응답 그림 4에 요약 되어 있습니다. 우리가 앞에서 설명한, 접속 어 문 (S1 및 S2)에 대 한 올바른 응답 상자 A 그림1과 같은 큰 열기 상자입니다. 하지만올바른 응답-문 (S1 하지만 하지 S2) 작은 열기 상자 상자 D 그림 1에서 같이 첫 번째 언급 한 동물을 포함 하는. 비판적, 분…

Discussion

시각적 세계 연구를 실시, 따라 몇 가지 중요 한 단계가 있다. 첫째, 연구원은 시각적 세계에 참가자의 눈 움직임을 통해 청각적 표시 언어의 해석으로 추정할 것입니다. 이제부터, 시각적 자극의 레이아웃 디자인, 자연 작업 참가자의 눈 움직임에 영향을 줄 눈 움직임의 속성을 제어 한다. 참가자의 눈 움직임에 말한 언어의 효과 다음 인식할 수 있습니다. 음성된 언어에서 두 번째, 음향 신호는 과…

Materials

Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics