Summary

באמצעות תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי לחקור את עיבוד מקוון של השפה המדוברת

Published: October 13, 2018
doi:

Summary

הפרדיגמה העולם הויזואלי עוקב אחר תנועות עיניים של המשתתפים בסביבת העבודה חזותיים כפי שהם מאזינים או מדבר שפה מדוברת. פרדיגמה זו יכול לשמש כדי לחקור את עיבוד מקוון של מגוון רחב של שאלות psycholinguistic, כולל הצהרות סמנטי מורכבים, כגון מאמר משפטי.

Abstract

ב בלש טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, המשתתפים עין תנועות על אובייקטים או תמונות בסביבת העבודה החזותי של נרשמים באמצעות גשש העין המשתתף מייצרת או מקיף את שפה מדוברת המתארת את visual בו-זמניות העולם. פרדיגמה זו יש רב-תכליתיות, ניתן להשתמש במגוון רחב של אוכלוסיות, כולל אלה שלא יודעים לקרוא ו/או מי יכול לתת בגלוי שלהם תגובות התנהגותיות, כגון preliterate ילדים, מבוגרים קשישים ו חולים. חשוב מכך, הדפוס הוא רגיש מאוד מניפולציות בסדר אחרים של אות הדיבור, זה יכול לשמש כדי לחקור את עיבוד מקוון של רוב נושאים בהבנת השפה ברמות מרובות, כגון פונטי הגיטרה האקוסטית אחרים בסדר כולל את המאפיינים של מילים, המבנים הלשוניים. הפרוטוקול המתואר במאמר זה ממחיש כיצד מתנהל יש עין העולם הויזואלי טיפוסי מעקב במחקר, עם דוגמה מציג כיצד ניתן לסייר עיבוד מקוון של כמה אמירות מורכבות סמנטי עם הפרדיגמה העולם הויזואלי.

Introduction

השפה המדוברת היא זרימה מידע מהיר, מתמשך, הנעלמת מיד. זה אתגר השפעול ללמוד זה זמני, לשנות במהירות את אות דיבור. תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי יכול לשמש כדי להתגבר על האתגר הזה. בעין טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, תנועות עיניים של המשתתפים תמונות תצוגה או אובייקטים אמיתיים בסביבת עבודה חזותיים מנוטרים להקשיב, או להפיק, השפה המדוברת המתארים את התוכן של העולם החזותי1 ,2,3,4. הלוגיקה הבסיסית, או ההנחה המקשרים, מאחורי תפיסה זו הוא כי בדיוק או תכנון של האמירה (בגלוי או בחשאי) יעבור תשומת לב המשתתפים לאובייקט מסוים בעולם החזותי. שינוי זה תשומת הלב תהיה הסתברות גבוהה ליזום תנועה העין saccadic להכניס את האזור השתתפו חזון foveal. עם הפרדיגמה הזו, מתכוונים החוקרים לקבוע באיזה שלב זמני, לגבי איזה ציון אקוסטית אות הדיבור, מתרחש מפנה תשומת לב ויזואלית של המשתתף, כפי שנמדד ע י תנועה saccadic העין לאובייקט או תמונה חזותית העולם. מתי ואיפה תנועות עיניים saccadic הם השיקה ביחס אות הדיבור משמשות לאחר מכן להסיק את עיבוד שפה באינטרנט. הפרדיגמה העולם הויזואלי ניתן ללמוד שפה מדוברת הבנה1,2 והן הפקה5,6. המאמר מתודולוגי יתמקדו הלימודים בהבנת הנקרא. מחקר הבנת הנקרא באמצעות הפרדיגמה העולם הויזואלי, העין של המשתתפים תנועות התצוגה החזותית מנוטרים כפי הם מקשיבים מבעים המדוברת מדבר על התצוגה החזותית.

מערכות מעקב עיניים שונות עוצבו בהיסטוריה. הפשוטה ביותר, לפחות יקר, הכי נייד מערכת היא פשוט רגילה מצלמת וידאו, אשר רשומות תמונה של העיניים של המשתתף. תנועות עיניים ואז מוצפנים באופן ידני באמצעות מסגרת בחינת הקלטת וידאו. עם זאת, קצב הדגימה של כזה עין-גשש היא נמוכה יחסית, ההליך קידוד זה זמן רב. לפיכך, יש עין מסחרית עכשווי מערכת מעקב בדרך כלל משתמשת חיישנים אופטיים מדידת הכיוון של העין שלו במסלול7,8,9. כדי להבין איך עובדת מערכת עקיבה מסחרי עכשווי, יש לשקול את הנקודות הבאות. ראשית, למדוד בצורה נכונה את הכיוון של חזון foveal, מאייר אינפרא-אדום (בדרך כלל עם הגל סביב 780-880 ננומטר) מונח בדרך כלל לאורך או לבטל את הציר האופטי של המצלמה, שהופך את התמונה של התלמיד distinguishably בהיר יותר או כהה יותר מאשר הקשתית שמסביב. התמונה של התלמיד ו/או של תלמיד הקרנית ההשתקפות (בדרך כלל התמונה הראשונה של Purkinje) משמש לאחר מכן כדי לחשב את הכיוון של העין במסלולו. שנית, המיקום ההתבוננות בעולם החזותי נמדדת למעשה לא רק על הכיוון עין לגבי הראש, אלא גם כיוון הראש ביחס העולם החזותי. להסיק במדויק מבטו של כבוד מן הכיוון העין, מקור האור של המצלמה של העין-עוקבים או קבועים ביחס לראש של המשתתפים (רכוב ראש העין-הגששים) או קבועים ביחס העולם החזותי (רכוב טבלה או מרחוק עין-הגששים). שלישית, כיוון הראש המשתתפים יש לתקן גם ביחס העולם החזותי או שהמפתחות לתשלום אם הראש של המשתתפים הוא לנוע בחופשיות. כאשר העין-גשש מרחוק משמשת במצב ראש-חינם-כדי-סע, העמדה בראש המשתתפים מתועד בדרך כלל על-ידי הצבת מדבקה קטנה על המצח של המשתתפים. כיוון הראש ואז יופחת שהמפתחות מן הכיוון העין לאחזר את המיקום ההתבוננות בעולם החזותי. רביעית, כיול, תהליך אימות נדרשים ואז כדי למפות את הכיוון של העין מבטו של כבוד בעולם החזותי. תהליך הכיול, קיבוע דגימות של המשתתפים נקודות יעד ידוע נרשמים כדי למפות את הנתונים העין raw להתבונן בעולם החזותי. בתהליך האימות, המשתתפים מוצגים עם אותן נקודות יעד כמו תהליך כיול. ההבדל הקיים בין תנוחת קיבוע מחושב מתוצאות מכוילת של מיקומו המעשי של המטרה מקובעים בעולם החזותי משמשות לאחר מכן לשפוט את הדיוק של הכיול. בהמשך מומלץ מאוד לאשר את הדיוק של תהליך המיפוי, המחאה להיסחף בדרך כלל חלה בכל ניסוי, שבו מטרה קיבוע יחיד הוא הציג למשתתפים כדי למדוד את ההבדל בין תנוחת קיבוע מחושב של מיקומו המעשי של . המטרה הנוכחית.

הנתונים העיקריים של מחקר העולם הויזואלי הוא זרם של המבט מיקומים בעולם החזותי הקליט בקצב דגימה של העין-המעקב, החל על כל או על חלק המשך המשפט. המשתנה התלוי השתמשו במחקר העולם הויזואלי הוא בדרך כלל הפרופורציה של דגימות הקיבועים של המשתתפים ממוקמים על אזור מסויים מרחבי העולם חזותית על פני חלון זמן מסוים. כדי לנתח את הנתונים, חלון זמן יש ראשית להיבחר, המכונה לעתים קרובות תקופות ריבית. חלון הזמן הוא בדרך כלל זמן נעול על המצגת של כמה אירועים הלשוני קלט שמיעתי. יתר על כן, העולם החזותי נחוץ גם כדי לפצל במספר אזורים מעניינים (ROIs), שכל אחד מהם מזוהה עם אובייקט אחד או יותר. אזור אחד כזה מכילה את האובייקט המתאים ההבנה הנכונה של השפה המדוברת, כך לעיתים קרובות נקרא אזור היעד. שיטה נפוצה כדי להמחיש את הנתונים היא מזימה פרופורציה-של-קיבוע, איפה לכל סל בחלון הזמן, חלקם של דגימות עם מראה על כל אזור בעל עניין הם בממוצע על פני המשתתפים ופריטים.

באמצעות הנתונים שהושגו ממחקר העולם הויזואלי, שאלות המחקר שונים יכולה לקבל מענה:) ברובד גס-דגן, הן תנועות עיניים של המשתתפים בעולם החזותי מושפע הקלט שמיעתי לשוני? b) אם יש אפקט, מהו המסלול של האפקט במהלך המשפט? זה אפקט ליניארי או אפקט גבוהים? ו- c) אם יש השפעה, ואז על רמת הקנס-דגן, כאשר היא נקודת טמפורלית המוקדם שבו מתגלה אפקט כזה ועושה כמה זמן את האפקט הזה האחרון?

מבחינה סטטיסטית לניתוח התוצאות, יש לשקול את הנקודות הבאות. ראשית, התגובה המשתנה, כלומר, הפרופורציות של הקיבועים, גם מתחת וגם מעל תחומה (בין 0 ל-1), אשר יעברו על התפלגות המולטינום ולא בהתפלגות רגילה. מעתה ואילך, שיטות סטטיסטיות מסורתי המבוסס על התפלגות נורמלית כגון מבחן t, ANOVA מודלים ליניאריים (מעורב-אפקט)10, לא יכול להיות ישירות מנוצל עד הפכו את הפרופורציות למשתני מאוגדות כגון עם נוסחה אמפירית logit11 או הוחלפו מאוגדות התלוי משתנים כגון מרחק אוקלידי12. ניתן להשתמש גם טכניקות סטטיסטיות שאינם מצריכים שההנחה של התפלגות נורמלית כזה מוכללת מודלים ליניאריים (מעורב-אפקט)13 . שנית, על מנת לחקור את המסלול משתנה של האפקט הנצפה, משתנה המציין את הזמן-הסדרה יש להוסיף לתוך המודל. משתנה זה הזמן-סדרת הוא במקור העין-המעקב של דגימה נקודות יושרו תחילתה של שפת קלט. כיוון המסלול משתנה בדרך כלל אינו ליניארי, פונקציה פולינום מסדר גבוה של סדרת ה הזמן-בדרך כלל נוסף לתוך (כללית) (מעורב-אפקט) המודל הוא ליניארי, כלומר, ניתוחים עקומת גדילה14. יתר על כן, העין בתפקידים של המשתתפים נקודת הדגימה הנוכחית תלויה מאוד נקודות הדגימה הקודמת, במיוחד כאשר תדירות ההקלטה הוא גבוה, והתוצאה היא הבעיה של autocorrelation. כדי להפחית את autocorrelation בין נקודות דגימה סמוכים, הנתונים המקוריים הם לעתים קרובות שנדגמו למטה או נשברתי. בשנים האחרונות, הדגמים מוכללת מוספים אפקט מעורב (GAMM) גם שימשו כדי להתמודד עם ה autocorrelated שגיאות12,15,16. הרוחב של סלים משתנה בין מחקרים שונים, ועד כמה מאות מילי שניות מספר אלפיות השניה. סל הצר שמחקר ניתן לבחור הוא מוגבל על ידי קצב הדגימה של רכיב המעקב העין השתמשו במחקר מסוים. לדוגמה, אם גשש העין יש קצב הדגימה של 500 הרץ, ואז מרוחב חלון הזמן לא יכולה להיות קטנה מ- 2 ms = 1000/500. שלישית, כאשר ניתוח סטטיסטי מוחל שוב ושוב כל הזמן סל של התקופות עניין, השגיאה familywise המושרה אלה שצריכה להיות מטופלת השוואות מרובות. כפי שהסברנו קודם לכן, מסלול הירי מודיע החוקר אם ההשפעה נצפתה רמה גס-תבואה הוא ליניארי לגבי שינוי של הזמן, אך אינם מציגים כאשר האפקט הנצפה מתחיל להסתמן וכיצד זמן שנצפו האפקט נמשך. כדי לקבוע את מיקום זמני כאשר ההבדל שנצפה מתחיל לסטות, וכדי להבין את משך התקופה זמני שנמשך האפקט הנצפה, ניתוחים סטטיסטיים כולל שיוחל שוב ושוב לכל סל זמן. השוואות מרובות אלה תציג את השגיאה familywise כביכול, לא משנה באיזו שיטה סטטיסטית משמש. השגיאה familywise היא תתוקן באופן מסורתי עם התאמה Bonferroni17. לאחרונה, שיטה הנקראת מבחן תמורה nonparametric שימשו במקור דימות מוחי הגיש18 הוחלה על הפרדיגמה המילה חזותי19 כדי לשלוט על השגיאה familywise.

חוקרים באמצעות הפרדיגמה העולם הויזואלי מתכוונים להסיק ההבנה של השפה המדוברת חלק מן המשתתפים תנועות עיניים בעולם החזותי. כדי להבטיח את תוקפו של התהליך הזה, גורמים אחרים המשפיעים על תנועות עיניים ואולי עליך להיות שללה או נשלט. שני הגורמים הבאים הם בין אלה נפוצים צריכים לקחת בחשבון. הגורם הראשון כרוך כמה דפוסים שיטתית הסבר הקיבועים של המשתתפים עצמאית של שפת קלט, כגון נטייה להתקבע על החלק העליון השאיר תתהלכו של העולם הויזואלי, והעיניים נע בכיוון אופקי לכך קל יותר מאשר ב- הכיוון האנכי,12,ועוד20 כדי לוודא כי הדפוסים שנצפו קיבוע קשורים לאובייקטים, שלא למיקומים מרחבית היכן ממוקמים העצמים, העמדות המרחבי של אובייקט צריך להיות אוזנו פני ניסויים שונים או על פני משתתפים שונים. הגורם השני העלולות להשפיע על תנועות עיניים של המשתתפים הוא תכונות התמונה הבסיסית של האובייקטים בעולם חזותיים, כגון כיוון ניגודיות, צבע, קצוות בוהק, בין היתר21. כדי לאבחן את פוטנציאל זה מבלבלים, התצוגה החזותית בדרך כלל מוצג לפני תחילתה של שפה מדוברת או לפני תחילתה של הסמן אקוסטית קריטי של השפה המדוברת, של גברת כ-1000 במהלך תקופת טמפורלית מראשית תמונת בדיקה תחילתה של מבחן השמע, את שפת הקלט או הנקודה פירושונים של שפת קלט היה עדיין לא שמע. כל הבדל שנצפה בין מצבים שונים צריך להסיק לגורמים מבלבלים אחרים כגון התצוגה החזותית כשלעצמה, ולא שפת קלט. מעתה ואילך, תנועות עיניים נצפתה בתקופה זו תצוגה מקדימה מספקים בסיס לקביעת השפעת הקלט הלשוני. תקופה זו התצוגה המקדימה מאפשר גם משתתפים כדי לקבל היכרות עם התצוגה החזותית, וכדי להפחית את האפליה השיטתית של הקיבועים הסבר כאשר השפה המדוברת מוצג.

כדי להמחיש כיצד מתנהל בעין טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, הפרוטוקול הבא מתאר ניסוי מקורי ל’ Zhan17 לחקור את עיבוד מקוון של דוחות מורכבים סמנטי, קרי, מאמר משפטי (S1 או S2) הצהרות conjunctive (S1, S2), אבל-הצהרות (S1 אבל לא-S2). בשימור רגילים, המידע לידי מבעים כמה הוא יותר חזק מהמשמעות המילולית שלה. מאמר משפטי כמו של Xiaoming מהטורים פרה או תרנגול הם מבעים כזה. מבחינה הגיונית, המשפט מאמר זה נכון כל עוד disjuncts שני התיבה של Xiaoming מכילה פרה , התיבה של Xiaoming מכילה תרנגול אינם שניהם כוזבים. לפיכך, המשפט מאמר נכון כאשר disjuncts שני שניהם נכונים, איפה ההצהרה conjunctive המקביל של Xiaoming מהטורים פרה ו תרנגול הוא גם נכון. בשיחה רגילה, עם זאת, שמיעת שהמשפט מאמר לעתים קרובות מרמז כי ההצהרה conjunctive המתאים. שקר (implicature שיטתית); מציע כי ערכי האמת שני disjuncts הם מוכרים על ידי הרמקול (בורות מסקנה). חשבונות בספרות נבדלים מסקנות שני תהליכים דקדוקית או פרגמטי22,23,24,25,26. הניסוי מראה כיצד ניתן להשתמש הפרדיגמה העולם הויזואלי לדון בין חשבונות אלה, על-ידי חקירת עיבוד מקוון של שלוש הצהרות מורכבים.

Protocol

כל הנושאים חייב לתת הסכמה בכתב מושכלת לפני המינהל של הפרוטוקולים ניסיוני. כל ההליכים, טופסי הסכמה, את נסיוני אושרו על-ידי ועדת האתיקה במחקר של בייג’ין לשפה, תרבות באוניברסיטה. הערה: מחקר הבנת הנקרא באמצעות הפרדיגמה העולם החזותי בדרך כלל מורכב מהשלבים הבאים: להציג את הבעיות ת?…

Representative Results

תגובות התנהגותיות של המשתתפים מסוכמות באיור4. כפי שהסברנו קודם לכן, התגובה הנכונה כדי הצהרה conjunctive (S1, S2) הוא בתיבת פתוח גדול, כגון תיבת A באיור1. התגובה הנכונה אבל-משפט (S1 אבל לא S2) היא התיבה פתוח המכיל החיה שהוזכרו קודם, כגון תי?…

Discussion

לערוך מחקר העולם הויזואלי, ישנם מספר שלבים קריטיים לעקוב. ראשית, חוקרים מתכוונים להסיק את הפרשנות של השפה auditorily שהוצגו באמצעות תנועות עיניים של המשתתפים בכל העולם החזותי. מעתה ואילך, לעצב את הפריסה של גירויים חזותיים, המאפיינים של תנועות עיניים במשימה טבעיים שעלולים להשפיע על תנועות עיני?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

מחקר זה נתמך על ידי קרן המדע של בייג’ין לשפה ואוניברסיטת התרבותית תחת המימון למחקר יסוד האוניברסיטאות סנטרל (אישור מספר 15YJ050003).

Materials

Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K., de Groot, A. M. B., Hagoort, P. . Research methods in psycholinguistics and the neurobiology of language: A practical guide. , (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. . Eye-tracking: A guide for applied linguistics research. , (2018).
  9. Duchowski, A. . Eye tracking methodology: Theory and practice. , (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing ‘visual world’ eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S., Speelman, D., Heylen, K., Geeraerts, D. . Mixed-Effects Regression Models in Linguistics. 4, 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. Dahan, D., Tanenhaus, M. K., Salverda, A. P., van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. . Eye movements: A window on mind and brain. , 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P., Cole, P., Morgan, J. L. Vol. 3 Speech Acts. Syntax and semantics. , 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D., Sauerland, U., Stateva, P. . Presupposition and Implicature in Compositional Semantics. , 71-120 (2007).
  26. Meyer, M. C. . Ignorance and grammar. , (2013).
  27. SR Research Ltd. . SR Research Experiment Builder User Manual (Version 2.1.140). , (2017).
  28. SR Research Ltd. . EyeLink® 1000 Plus Technical Specifications. , (2017).
  29. SR Research Ltd. . EyeLink-1000-Plus-Brochure. , (2017).
  30. SR Research Ltd. . EyeLink® 1000 Plus User Manual (Version 1.0.12). , (2017).
  31. SR Research Ltd. . EyeLink® Data Viewer User’s Manual (Version 3.1.97). , (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children’s use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children’s online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children’s on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children’s on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C., Trueswell, J. C., Tanenhaus, M. K. . Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. , (2005).

Play Video

Cite This Article
Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

View Video