С помощью электроэнцефалографии измерений и записи видео высокого качества для анализа визуальное восприятие медиа-контента
Summary
Мы представляем обнаружение, сбор и анализ eyeblink ставок во время просмотра содержимого мультимедиа.
Abstract
Эта статья исследует метод для выявления различий в визуальное восприятие в организме человека. Метод, используемый основан на психологических (или «познавательного») функции eyeblinks. Участники eyeblinks обнаружены и приобрела во время просмотра видео, специально созданный для расследования. Обнаружение и приобретение eyeblinks осуществляется с помощью беспроводного устройства 20-канальный электроэнцефалографических (ЭЭГ). Международная, которые следуют системы 10-20 для размещения электрода. High-definition (HD) видео камера используется для записи выражения лица участников, для целей контраст. Вместо ранее существовавших медиа-контента, была создана цель сделал видео контента, следующие конкретные критерии, представляющих интерес для расследования, с стимулы позволяет исследователям управлять точные параметры интерес. В противном случае результаты могут быть загрязнены с неконтролируемых переменных. Синхронизация представления видео раздражителей с ЭЭГ записи необходимо сделать в миллисекундах. Анализ собранных данных осуществляется с надежным программным обеспечением для работы с большой матрицы. Статистически значимых различий в eyeblink стоимость связанных с СМИ профессионализации и стиль редактирования находятся с сообщил экспериментальных процедур.
Introduction
Цель этого метода
Этот метод предлагает двойной протокол для обнаружения eyeblinks. Цель заключается в том, анализировать визуальное восприятие зрителей медиа-контента, специально созданных для этого расследования, с помощью записи ЭЭГ и систем записи HD-видео.
Обоснование разработки и/или использование этого метода
Каждый eyeblink скрывает визуальные поток для 150-400 мс1,2. Мигает имеет физиологические3,4,5 и7 функций психологической6,. Связь между внимание и eyeblink ставка была изучена и доказано в8различных исследований. Более высокий уровень внимания уменьшается скорость eyeblink и по данным предыдущих исследований, люди делят механизм для контроля времени мигает, что ищет лучший момент, чтобы избежать потери важных визуальной информации9. Таким образом анализируя поведение eyeblink зрителей, когда наблюдая экраны могут предоставить информацию относительно уровня внимания средств массовой информации содержание.
Одним из методов для обнаружения спонтанное eyeblink ставка является запись электрической активности с помощью электродов ЭЭГ. Eyeblinks могут быть легко обнаружены в префронтальной и электроокулограммой электроды подключены к системе записи ЭЭГ. В большинстве анализа ЭЭГ eyeblinks, считаются артефактов. По этой причине многие пакеты программного обеспечения, предназначенные для анализа данных ЭЭГ у eyeblink детекторы10. Преимущество использования ЭЭГ для обнаружения eyeblinks является высоким временным разрешением (порядка миллисекунд) и возможность регистрации мозга последствия различных повествования и отрубов в кино, синхронизируются с этими eyeblinks – вопрос открыт для дальнейшего исследование. Запись участников лица с HD-камеры также может быть полезным для целей сопоставления и контраст9.
Преимущества по сравнению с альтернативными методами с ссылками на соответствующие исследования
Существует несколько методов для подсчета глаз мигает. Некоторые выделенные инструментов для обнаружения мигает являются магнитных катушек, инфракрасный (ИК) лучи света, оптоэлектронные датчики движения с анализом движения глаз как eye отслеживание техники и несколько методов, основанных на биоэлектрических сигналов, например, Электроокулограмма (ЭОГ), электромиография (ЭМГ) и ЭЭГ. Еще более точным, но трудоемкий вариант вручную пересчитать мигает-покадровую запись видео11. Технологии сегодня могут быть классифицированы широко на две группы:) контакт бесплатная запись, которая включает в себя два условия, прямое обнаружение с помощью компьютерного зрения и автономные обнаружение с помощью глаз слежения и b) контакт на основе записи с помощью биологические сигналы через ЭОГ и ЭЭГ устройства12,13.
Глаз слежения система является широко используемой технологией, начиная от традиционных пассивных конструкций на основе образа до активного возле ИК-на основе подходов, главным образом используется сегодня с высоким разрешением камеры. Последний использует отражательные свойства зрачка под ИК подсветка14. Концепция, лежащая в основе современных методов eye отслеживание — ученик центра роговицы отражение (PCCR), который включает в себя камеры слежения центр зрачка, где свет отражается от роговицы. Однако есть отсутствие мерцания алгоритмы обнаружения опубликованных для eye отслеживание протоколов. Кроме того хотя различные модели глаз слежения на рынке обеспечивают Интегрированное программное обеспечение с обнаружение мерцания, исходный код не всегда обеспечивается производителями, что делает его трудно изменить или знаете, как алгоритмы работают12. Кроме того во время экспериментов с eye отслеживание есть события, которые вызывают потерю данных, например отслеживание задержки и значительных головы или взглядом движений. Область вокруг глаз очень мала в видео захваты, который является проблемой для расчета длительности мгновение, и которые иногда вводит различные виды артефактов15.
В этом эксперименте ЭЭГ и ЭОГ методы используются. ЭЭГ не используется обычно только для обнаружения eyeblinks. Однако анализ eyeblinks, записанный с ЭЭГ электродов является стандартной процедурой для изучения веко перемещений. Эта процедура позволяет исследователям получить информацию именно тогда, когда eyeblinks имели место. Наиболее распространенный шаблон сигнала для обнаружения мигает, что пик точек, представляющих ответы вертикального движения. Существует несколько пик обнаружения алгоритмы применимые к сырой ЭЭГ, время домен, или -частотное сигналов. Процессы идентификации пик, пик обнаружения, функция извлечения и классификации. Eyeblinks имеют значительное влияние на фронтальные каналы сигнала ЭЭГ. Как правило eyeblinks обнаруживаются в ЭЭГ, используя заранее определенной амплитуды порог16. Алгоритмы в анализ программного обеспечения, используемого в этом эксперименте основаны на сигналы стандартное отклонение и Среднее квадратическое (RMS) предварительно фильтрованного сигнала ЭЭГ; они являются открытым исходным кодом и доступна для научного сообщества17. Однако некоторые движения глаз, не связанных с eyeblinks может спровоцировать электрической активности, что может ввести в заблуждение. По этой причине второй метод – запись зрителей лица с HD видео камеры – позволяет исследователям матч eyeblinks, вручную пересчитать их. С такой двойной метод следователь достигает матрицы eyeblinks, которые могут легко анализироваться с статистических инструментов.
Таким образом предложенный метод выполняет триангуляции данных с двух различных источников для проверки обнаруженные eyeblinks. Этот метод основан на Накано et al. показания9 для подтверждения. В то же время она также позволяет исследователям собирать активность мозга и частот информацию для дальнейшего анализа. Эксперимент, описанные здесь является частью более широкого будущего расследования эффекты редактирования стиля сокращений на областях затылочной и префронтальной мозга.
Определить, является ли метод соответствующие для расследования
Этот экспериментальный протокол позволяет зрителям eyeblinks во время просмотра видео-контента быть изучены под три экспериментальных условиях. Во-первых, eyeblink ставка определяется при помощи двух дополнительных методов: ЭЭГ и записи HD видео. Здесь мы используем беспроводной ЭЭГ с 20 каналами. Во-вторых, конкретные стимулы, адаптированных к эксперименту создаются, чтобы исследователь может управлять все переменные визуального содержимого. Здесь были созданы три видео с же повествование, но различные видео редактирования стиля. Повествование состояла из человека, который вошел в комнату, сидел за столом, работала с тремя шариками, открыл ноутбук, посмотрел информацию в некоторых книгах, ввели что-то на ноутбуке, закрыл его, съел яблоко, посмотрел прямо в камеру и покинул комнату. Три видео раздражители последний 198 s каждый. Первый был один выстрел фильм; второй был отредактирован по классическим правилам голливудском стиле с 33 различных выстрелов; и третий был отредактирован, следуя правилам MTV-стиль с 79 выстрелов. Четвертый стимул был также представлен в котором повествование было идентичным, но формат был реальной представленности с актером вместо видео. Этот четвертый стимул-видео не использовался в первоначальное исследование различий редактирования стиля, но был использован в различных расследований для сравнения eyeblink показатель различия между реальной представленности и экранированные СМИ8. В-третьих, различные группы участников выбираются в зависимости от их предыдущего опыта в визуальный анализ видео. Цель заключается в том, чтобы определить различия в eyeblink тема групп, наблюдая же визуальные раздражители. В этом случае 40 предметов принял участие в расследовании. Половина из них были работники средств массовой информации (16 мужчин и 4 женщин; возраст 30-56 лет, средний возраст 44.15 ±7.15 лет) и остальные были профессионалы-медиа (15 мужчин и 5 женщин; возраст 28-56 лет, средний возраст 43,25 ± 8.59 лет). Работники средств массовой информации были выбраны с критерием более чем 6 лет опыта в принятии решений, связанных с СМИ редактирования в их повседневной работе.
Protocol
Representative Results
Discussion
Здесь описывается метод анализа визуальное восприятие медиа-контента с сделал цель создания видео. Многие другие исследования пытаются анализировать восприятие медиа-контента в описательных контекстах с уже существующих фильмов. Настоящий метод предлагает для создания визуального …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Настоящее исследование была поддержана испанского министерства экономики и конкурентоспособности (BFU2014-56692-R и BFU2017-82375-R) гранты.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
