Summary

Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

Published: October 13, 2018
doi:

Summary

Dinlerken veya konuşulan bir dil konuşan görsel dünya paradigma katılımcıların göz hareketleri görsel çalışma alanında izler. Bu paradigma psycholinguistic sorular, ayırt edici deyimi gibi anlam olarak karmaşık ifadeler de dahil olmak üzere çok çeşitli çevrimiçi işlenmesi araştırmak için kullanılabilir.

Abstract

Görsel Dünya paradigması kullanarak çalışma izleme tipik bir göz hareketleri nesnelere katılımcıların göz veya katılımcı üretir veya eş zamanlı görsel açıklayan bir konuşulan dil kavrar gibi resimler görsel çalışma alanındaki bir göz izci ile kaydedilir Dünya. Bu paradigma yüksek çok yönlülük, nüfus, okuyamıyorum ve/veya kim açıktan açığa preliterate çocuk, yaşlı yetişkinler ve hastalar gibi davranışsal yanıt veremem de dahil olmak üzere geniş bir alanda kullanılabilir vardır. Daha da önemlisi, konuşma sinyali ince taneli manipülasyonlar için son derece hassas bir örnektir ve en ince taneli akustik fonetik gibi birden çok düzeyde dil anlama konularında çevrimiçi işlenmesi eğitim için kullanılabilir Özellikleri, kelime özelliklerini ve dilsel yapıları. Bu makalede açıklanan protokol nasıl çalışma izleme tipik görsel dünya göz, nasıl bazı anlam olarak karmaşık ifadeleri çevrimiçi işlenmesi görsel dünya paradigma ile keşfedilmeyi olabilir gösteren bir örnek ile yürütülen göstermektedir.

Introduction

Hemen kaybolur bir hızlı, sürekli bilgi akışı konuşulan dildir. Deneysel olarak bu geçici çalışma, konuşma sinyali hızla değiştirmek için bir mücadeledir. Göz hareketleri görsel dünya paradigmada kaydedilen bu zorluğu aşmak için kullanılabilir. Onlar dinlemek, ya da üretmek, konuşulan dil görsel dünya1 içeriğini gösteren görsel dünya paradigması kullanarak çalışma izleme tipik bir gözüne katılımcıların göz hareketleri resimleri bir görüntüleme veya görsel çalışma alanındaki gerçek nesneler için izlenir ,2,3,4. Temel mantığı veya Bu paradigma arkasında bağlama hipotez kavrama veya bir söyleyiş planlama (açıktan veya gizlice) katılımcıların görsel dikkat görsel dünyanın belirli bir nesneye kayacak var. Bu dikkat değişim katılımlı alanı foveal vizyon getirmek için sakkadik göz hareketleri başlatmak için yüksek bir olasılık var. Bu paradigma ile araştırmacılar konuşma sinyalinde akustik bazı simgesel yapı ile ilgili olarak zamansal hangi noktada katılımcının görsel dikkat bir kayma oluşur, bir nesneye veya bir resimde görsel sakkadik göz hareketleri tarafından ölçülen belirlemek niyetinde Dünya. Ne zaman ve nerede sakkadik göz hareketleri ile ilgili olarak konuşma sinyal piyasaya sürüldü sonra online dil işleme anlamak için kullanılır. Görsel Dünya paradigma konuşulan dil anlama1,2 ve üretim5,6çalışma için kullanılabilir. Metodolojik Bu makalede anlama çalışmaları üzerinde durulacak. Bir anlama çalışmada katılımcıların göz görsel görüntü hakkında konuşuyor söylenen sözler için dinlerken görsel ekran hareketleri izlenir görsel dünya paradigması kullanarak.

Farklı göz izleme sistemleri tarihinin tasarladık. Basit, sadece normal video katılımcının gözleri bir görüntü kayıtları kamera, en ucuz ve en taşınabilir sistemidir. Göz hareketleri video kaydı kare kare incelenmesi el ile kodlanmıştır. Ancak, böyle bir göz-izci örnekleme oranı nispeten düşüktür ve kodlama zaman alıcı bir işlemdir. Böylece, çağdaş bir ticari göz izleme sistemi normalde optik sensörler gözlerinin içine onun yörünge7,8,9yönünü ölçme kullanır. Çağdaş ticari göz izleme sisteminin nasıl işlediğini anlamak için aşağıdaki hususlar dikkate alınmalıdır. İlk doğru foveal vizyon, bir kızılötesi ışığı yönünü ölçmek için (normal dalga boyu ile 780-880 nm) normalde boyunca veya distinguishably daha parlak veya daha koyu hale getirir öğrencinin kameranın optik eksen kapalı yatırılır çevreleyen Iris. Öğrencinin ve/veya öğrenci kornea yansıma (normalde ilk Purkinje görüntü) görüntü daha sonra gözlerinin içine onun yörüngesinde yönünü hesaplamak için kullanılır. İkinci olarak, görsel dünyanın bakışları yeri sadece göz yönelimi ile ilgili baş aynı zamanda baş yönelimi ile ilgili görsel dünya aslında şartlı olduğunu. Doğru bir şekilde konuda göz yönlendirme üzerinden bakışları anlaması için ışık kaynağı ve kameranın göz-izci ve katılımcıların kafa (başa takılan göz-izci) ile ilgili olarak sabit veya görsel dünya ile ilgili olarak sabit (tablo monte edilmiş veya Uzaktan göz-izci). Üçüncü olarak, katılımcıların baş yönlendirme ile ilgili görsel dünya da düzeltilmesi gereken veya katılımcıların kafasını serbest ise hesaplama açısından telafi edilebilir. Uzaktan göz İzleyicisi’ni bir baş-ücretsiz-için-taşı modunda kullanıldığında, katılımcıların pozisyonu genellikle katılımcıların alnında küçük bir etiket koyarak kaydedilir. Baş yönlendirme hesaplama açısından görsel dünyanın bakışları yeri almak için göz yönünü dan çıkarılır. Dördüncü olarak, bir kalibrasyon ve doğrulama işlemi sonra göz yönünü görsel dünya bağlamda bakışları eşleştirmek için gereklidir. Kalibrasyon sürecinde katılımcıların fiksasyon örnekleri bilinen hedef noktalarından harita konum görsel dünyanın gözünü dikmek için ham göz veri kaydedilir. Doğrulama işleminde katılımcılar aynı hedef noktaları kalibrasyon işlemi olarak sunulur. Kalibre edilmiş sonuçları hesaplanan fiksasyon konumdan ve görsel dünyanın saplantısı hedefinin konumu gerçek arasında var olan fark sonra kalibrasyon doğruluğunu yargılamak için kullanılır. Daha fazla eşleme işlemi doğruluğunu onaylamak için bir drift onay normalde nerede bir tek fiksasyon hedef sunulan hesaplanan fiksasyon konumu ve gerçek konumunu arasındaki fark ölçmek katılımcılara her denemedeki uygulanır geçerli hedef.

Bir görsel dünya çalışmanın birincil veri göz izci tamamını veya kısmını deneme süresi içinde değişen, örnekleme hızında kaydedilen görsel dünya yerlerde bakışları akışıdır. Bağımlı değişken bir görsel dünya çalışmada kullanılan genellikle katılımcıların tespitlerin görsel dünya kayma belirli bölgede, belirli bir zaman penceresi arasında bulunmaktadır örnekleri oranıdır. Verileri çözümlemek için bir zaman penceresi ilk olarak seçilecek, genellikle faiz dönemi adlandırılan vardır. Zaman penceresi işitsel girişi dile ait bazı olayları tanıtımı için genellikle zaman-kilitli. Ayrıca, görsel dünya da ilgi (ROIs), her biri bir veya daha fazla nesne ile ilişkili çeşitli bölgelere bölmek için gereklidir. Böyle bir bölge için konuşulan dil, anlama doğru karşılık gelen nesne içerir ve böylece sık sık hedef alan denir. Verileri görselleştirmek için tipik bir şekilde nerede bir zaman penceresi her bin, örnekleri ilgi her bölgesine bir bakışla oranı ortalama katılımcılar ve öğeleri arasında bir fiksasyon oran komplodur.

Bir görsel dünya çalışma alınan verileri kullanarak, farklı araştırma sorularını yanıtladı: bir) katılımcıların göz hareketleri görsel dünyanın farklı işitsel dil girişi tarafından etkilenen kaba Gren .bilgili misin? b) bir etkisi ise, duruşma boyunca etkisi yörünge nedir? Bir doğrusal veya yüksek sıralı efektini mi? ve c) bir etkisi ince gren seviyesi, daha sonra ise ne zaman erken zamansal noktası nerede böyle bir etkisi ortaya çıkar ve bu etkisi ne kadar sürer son?

İstatistiksel sonuçları analiz etmek için aşağıdaki noktaları dikkate alınmalıdır. İlk olarak, yanıt değişken, yani, oranlarını tespitlerin, altında ve üstünde (0 ile 1 arasında), hangi bir normal dağılım yerine Multinom dağılımı takip edecek sınırlıdır. Oranlar gibi sınırsız değişkenlerle dönüşmüşlerdir kadar Şu andan itibaren normal dağılım doğrusal (karışık-etkisi) modelleri10, t-testi ve ANOVA gibi temel geleneksel istatistiksel yöntemler doğrudan kullanılmak olamaz ampirik logit formül11 veya Öklid uzaklığı12gibi sınırsız bağımlı değişkenler ile yerini almış. Normal dağılım bu tür varsayımı Genelleştirilmiş Doğrusal (karışık-etkisi) modelleri13 gerektirmeyen istatistiksel teknikler de kullanılabilir. İkinci olarak, gözlenen etkisi değişen yörüngesini keşfetmek için modele eklenecek zaman serileri ifade eden bir değişken vardır. Bu zaman serileri aslında göz-izci değişkendir giriş dili başlangıcı için realigned puan örnekleme’nın. Değişen yörünge genellikle doğrusal olmadığına göre bir yüksek dereceden polinom işlev serisi zaman normalde (genel) doğrusal (karışık-etkisi) modeli, yani, büyüme eğrisi analizleri14eklenir. Ayrıca, katılımcıların göz pozisyonlar geçerli örnekleme noktasını önceki örnekleme noktalarının üzerinde son derece bağımlı özellikle zaman kayıt sıklığı yüksek, otokorelasyon sorun kaynaklanan. Otokorelasyon bitişik örnekleme noktaları arasında azaltmak için özgün verileri kez aşağı örnek veya dönüştüm. Son yıllarda, genelleştirilmiş katkı karma etkisi modelleri (GAMM) da autocorrelated hataları12,15,16mücadele için kullanılmıştır. Depo gözleri genişliğini birkaç milisaniye için birkaç yüz milisaniye arasında değişen farklı çalışmalar arasında değişir. Bir çalışma seçebilirsiniz en dar bin örnekleme oranı belirli çalışmada kullanılan göz izci tarafından kısıtlanır. Bir göz izci 500 Hz örnekleme hızı varsa, örneğin, o zaman zaman pencerenin genişliğini 2 ms = 1000/500 daha küçük olamaz. Üçüncü olarak, istatistiksel çözümleme art arda faiz geçen süreler her zaman depo gözü uygulandığında, familywise hata birden fazla karşılaştırmalar ele alınması bunlardan indüklenen. Daha önce açıkladığımız gibi yörünge Analizi araştırmacı kaba Gren düzeyde gözlenen etkisi zaman, değiştirme ile ilgili doğrusal olup gözlenen etkisi ortaya çıkmaya başladığı göstermiyor ama nasıl bilgilendirir ve uzun gözlenen etkisi sürer. Gözlenen fark sapmak ve gözlenen etkisi sürer geçici süre süre anlamaya başlatıldığında geçici konumu belirlemek için art arda her zaman depo gözü için uygulanacak bir istatistik analiz vardır. Bu birden fazla karşılaştırmalar sözde familywise hata olursa olsun ne istatistik yöntemi kullanılır, tanıtacak. Familywise hata geleneksel Bonferroni düzeltmesi17ile giderilmiştir. Son zamanlarda, başlangıçta kullanılan18 under nörogörüntüleme parametrik olmayan permütasyon testi adı verilen bir yöntem familywise hata için denetime görsel kelime paradigma19 uygulandı.

Araştırmacılar görsel dünya paradigması kullanarak katılımcıların göz hareketleri görsel dünyanın bazı konuşulan dil anlayışı çıkarmak niyetinde. Bu indirimi geçerliliğini sağlamak için muhtemelen göz hareketleri etkileyen diğer faktörler ekarte veya kontrollü. Aşağıdaki iki dikkat edilmesi gereken ortak olanlar arasında etmenlerdir. İlk faktör katılımcıların açıklayıcı tespitlerin bağımsız üst içinde daha kolay olmak yatay yönde quadrat görsel dünya ve hareketli gözleri soldaki bağlayacaktın eğilimi gibi giriş dilinin sistematik bazı desenler içerir dikey yön, vb12,20 gözlenen fiksasyon desen nesneleri ile ilgili, değil nerede nesneleri bulunmaktadır uzamsal konumları için bir nesne mekansal konumlarını karşı dengeli emin olmak için farklı denemeler veya farklı katılımcılar. Katılımcıların göz hareketleri etkileyen ikinci faktör parlaklık kontrast, renk ve kenar yönlendirme, diğerleri arasında gibi görsel dünyanın içindeki nesneler temel görüntü özelliklerinden olan21. Bu potansiyel karıştırıcı tanılamak için görsel ekran normalde konuşulan dil başlangıcı öncesinde veya konuşulan dil, kritik akustik işaretin başlangıcından zamansal döneminde yaklaşık 1000 Bayan için başlangıcı öncesinde sunulur Sınama görüntüsü test ses, giriş dil ve anlam ayrımı noktası giriş dilinin başlangıcı için henüz duymamıştır. Farklı koşullar arasında gözlenen herhangi bir fark karıştırıcı diğer faktörler gibi görsel ekran başına, giriş dili yerine çıkarılabilir. Şu andan itibaren bu önizleme dönemde gözlenen göz hareketleri dilsel giriş etkisini belirlemek için bir temel sağlar. Bu önizleme dönemi aynı zamanda katılımcılar görsel göstermek ile tanımaya ve konuşulan dil sunulduğunda açıklayıcı tespitlerin sistematik önyargı azaltmak için sağlar.

Tipik bir göz görsel dünya paradigması kullanarak çalışma izleme nasıl yapılır göstermek için aşağıdaki protokolünü açıklar anlam olarak karmaşık ifadeler, Yani, çevrimiçi işlenmesi keşfetmek için L. Zhan17 uyarlanmış bir deney ayırt edici ifadeler (S1 veya S2), Birleşik bildirimleri (S1 ve S2) ve ama-ifadeleri (S1 ama değil-S2). Sıradan koruma bazı sözler tarafından ifade edilen bilgi aslında onun gerçek anlamı daha güçlüdür. Bir inek veya bir horoz Xiaoming’ın kutusu içerir gibi ayırt edici ifadeler böyle sözler vardır. İki disjuncts bir inek Xiaoming’ın kutusu içerir ve bir horoz Xiaoming’ın kutusu içerir her ikisi are değil sürece mantıksal olarak, ayırt edici ifade doğrudur yanlış. Bu nedenle, iki disjuncts ilgili Birleşik deyiminde bir inek ve bir horoz Xiaoming’ın kutusu içerir da gerçek olduğu her ikisi de true olduğunda ayırt edici ifade doğrudur. Genellikle ayırt edici deyim karşılık gelen Birleşik deyimi yanlış olduğunu göstermektedir işitme normal konuşma, ancak, (skaler implicature); ve iki disjuncts gerçek değerini hoparlör (cehalet çıkarımı) tarafından bilinmeyen olduğunu göstermektedir. Literatürde hesapları iki çıkarımlar gramer veya pragmatik işlemleri22,23,24,25,26olup içinde farklı. Deneme görsel dünya paradigma çevrimiçi işleme karmaşık deyimleri keşfetmek tarafından bu hesaplar arasında hakemlik için nasıl kullanılabileceğini gösterir.

Protocol

Tüm konular deneysel protokoller yönetim önce bilinçli yazılı izni vermeniz gerekir. Tüm yordamlar, rıza formları ve Deneysel protokol Pekin dil ve Kültür Üniversitesi Araştırma Etik Komitesi tarafından kabul edildi. Not: normalde görsel dünya paradigması kullanarak bir anlama çalışma aşağıdaki adımlardan oluşur: keşfedilmeyi; teorik sorunlar tanıtmak Bir deneysel tasarım form; Görsel ve işitsel uyaranlara hazırlamak; Deneysel tasarım ile ilgili teorik sorun ç…

Representative Results

Katılımcıların davranışsal yanıt-e doğru Şekil 4′ te özetlenmiştir. Daha önce açıkladığımız gibi doğru (S1 ve S2) Birleşik bir deyim kutusu A Şekil 1′ deki gibi büyük Aç kutusuna yanıttır. Bir amadoğru yanıt-(S1 ama değil S2) ifadedir küçük açık kutu kutu D Şekil 1′ deki gibi ilk bahsedilen hayvan içeren. Eleştirel, hangi kutuda ayırt e…

Discussion

Bir görsel dünya çalışma yapmak için izlenmesi gereken birkaç kritik adım vardır. İlk olarak, araştırmacılar auditorily sunulan dil yolu ile katılımcıların göz hareketleri görsel dünyanın yorumlanması anlamak niyetinde. Şu andan itibaren görsel uyaranlara düzenini tasarlarken, potansiyel tesir katılımcıların göz hareketleri göz hareketleri doğal bir görev özelliklerini kontrol edilmelidir. Konuşulan dil etkisi katılımcıların göz hareketleri sonra kabul edilebilir. Konuşulan dil ik…

Divulgazioni

The authors have nothing to disclose.

Acknowledgements

Bu araştırma bilim Vakfı Pekin dil ve Kültür Üniversitesi Merkez üniversiteler (onay numarası 15YJ050003) için temel araştırma fonu tarafından desteklenmiştir.

Materials

Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

Riferimenti

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K., de Groot, A. M. B., Hagoort, P. . Research methods in psycholinguistics and the neurobiology of language: A practical guide. , (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. . Eye-tracking: A guide for applied linguistics research. , (2018).
  9. Duchowski, A. . Eye tracking methodology: Theory and practice. , (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing ‘visual world’ eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S., Speelman, D., Heylen, K., Geeraerts, D. . Mixed-Effects Regression Models in Linguistics. 4, 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. Dahan, D., Tanenhaus, M. K., Salverda, A. P., van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. . Eye movements: A window on mind and brain. , 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P., Cole, P., Morgan, J. L. Vol. 3 Speech Acts. Syntax and semantics. , 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D., Sauerland, U., Stateva, P. . Presupposition and Implicature in Compositional Semantics. , 71-120 (2007).
  26. Meyer, M. C. . Ignorance and grammar. , (2013).
  27. SR Research Ltd. . SR Research Experiment Builder User Manual (Version 2.1.140). , (2017).
  28. SR Research Ltd. . EyeLink® 1000 Plus Technical Specifications. , (2017).
  29. SR Research Ltd. . EyeLink-1000-Plus-Brochure. , (2017).
  30. SR Research Ltd. . EyeLink® 1000 Plus User Manual (Version 1.0.12). , (2017).
  31. SR Research Ltd. . EyeLink® Data Viewer User’s Manual (Version 3.1.97). , (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children’s use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children’s online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children’s on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children’s on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C., Trueswell, J. C., Tanenhaus, M. K. . Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. , (2005).
check_url/it/58086?article_type=t

Play Video

Citazione di questo articolo
Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

View Video