利用脑电图测量和高质量视频记录分析媒体内容的视觉感知
Summary
我们在观看媒体内容的同时, 对上只是一眨眼率进行检测、获取和分析。
Abstract
本文探讨了一种检测人类视觉知觉差异的方法。所使用的方法是基于 eyeblinks 的心理 (或 “认知”) 功能。在观看专门为调查创建的视频时, 检测并获取参与者的 eyeblinks。在20通道脑电图 (EEG) 无线设备的帮助下, 对 eyeblinks 进行了检测和采集。国际10-20 系统为电极安置被跟随了。高清晰度 (HD) 摄像机用于记录参与者的面部表情, 以进行对比。除了使用预先存在的媒体内容之外, 还根据调查的特定标准创建了专门制作的视频内容, 并通过刺激使研究人员能够管理感兴趣的精确参数。否则, 结果可能被不受控制的变量所污染。视频刺激的呈现与脑电图记录的同步需要以毫秒为单位进行。对采集的数据进行分析, 用健壮的软件对大矩阵进行处理。与媒体专业化和编辑风格相关的上只是一眨眼率差异有统计学意义, 并与实验程序进行了比较。
Introduction
此方法的目的
该方法提出了一种检测 eyeblinks 的双协议。其目的是通过使用脑电图记录和高清视频记录系统, 分析观众对媒体内容的视觉感知, 专门为此次调查创建的。
这种方法的发展和/或使用背后的基本原理
每个上只是一眨眼隐藏 150-400毫秒1、2的可视流.闪烁有生理学的3,4,5和心理6,7函数。注意和上只是一眨眼率之间的联系已被研究和证明在不同的研究8。较高的注意力会降低上只是一眨眼率, 根据先前的研究, 人类共享一种机制来控制眨眼的时间, 搜索最佳时刻, 以避免丢失重要的视觉信息9。因此, 分析观众在观看屏幕时的上只是一眨眼行为, 可以提供有关媒体内容关注程度的信息。
一种检测自发性上只是一眨眼率的方法是利用脑电图电极记录电活动。Eyeblinks 可以很容易地检测到前额和 electrooculogram 电极连接到脑电图记录系统。在大多数脑电图分析中, eyeblinks 被认为是工件。因此, 为分析 EEG 数据而设计的许多软件包都有上只是一眨眼检测器10。使用 EEG 检测 eyeblinks 的优点是高时间分辨率 (以毫秒为单位), 以及在与那些 eyeblinks 同步的电影中记录不同叙事和切割的脑部效应的可能性-这是一个可以进一步研究。使用高清照相机录制参与者的脸部也可以用于匹配/对比目的9。
替代方法的优越性与相关研究的借鉴意义
有多种方法来计数眼睛眨眼。一些用于检测闪烁的专用仪器有磁性线圈、红外线 (IR) 光束、具有眼球运动分析的光电运动探测器, 如眼球跟踪技术, 以及基于生物电信号的几种技术,例如,electrooculography (EOG), 肌电图和脑电图。另一个更准确, 但耗时的选项是手动计数从框架帧视频录制11闪烁。今天的技术可以大致分为两组: a) 无接触录音, 包括两种方式, 直接眨眼检测使用计算机视觉和离线眨眼检测使用眼跟踪, b) 基于接触的记录使用通过 EOG 和脑电图设备的生物信号12,13。
眼球跟踪系统是一种广泛应用的技术, 从传统的基于图像的被动设计到目前主要用于高分辨率摄像机的主动近红外方法。后者利用红外光照下的瞳孔反射特性14。现代眼球追踪方法的概念是瞳孔中心角膜反射 (PCCR), 它涉及相机跟踪瞳孔的中心, 光线从角膜反射。然而, 目前还没有为眼球追踪协议发布的闪烁检测算法。此外, 虽然市场上不同的眼球跟踪模型提供了与闪烁检测相集成的软件, 但源代码并非总是由制造商提供, 因此很难修改或了解算法如何工作12。同时, 在眼球跟踪实验中, 还有导致数据丢失的事件, 例如跟踪延迟和显著的头部或凝视动作。在视频捕获中, 眼睛区域非常小, 这是计算眨眼持续时间的一个问题, 有时会引入各种类型的工件15。
本实验采用脑电图和 EOG 方法。脑电图通常不单独用于检测 eyeblinks。然而, 分析脑电电极记录的 eyeblinks 是研究眼睑移位的标准程序。这一过程使研究人员能够准确了解 eyeblinks 发生的时间。检测闪烁的最常见信号模式是峰值点, 表示垂直运动响应。有几种峰值检测算法适用于原始脑电图、时域或频域信号。峰值识别过程包括峰值检测、特征提取和分类。Eyeblinks 对脑电信号的额通道有相当大的影响。通常, 通过使用预先确定的振幅阈值16, 在 EEG 中检测到 eyeblinks。本实验所用分析软件中的算法基于信号的标准偏差和预滤波 EEG 信号的根均方根 (RMS);它们是开源的, 可供科学界17使用。然而, 一些不涉及 eyeblinks 的眼球运动可能会引起可能混淆的电活动。由于这个原因, 第二种方法-记录观众的脸与高清摄像机-允许研究员匹配 eyeblinks 通过手动计数。利用这种双重方法, 研究者实现了一个 eyeblinks 矩阵, 可以很容易地用统计工具进行分析。
因此, 所提出的方法使用两个不同的源进行数据三角化来验证检测到的 eyeblinks。此方法基于浩et指示9进行确认。同时, 它还使研究人员能够收集大脑活动和频带信息, 以便进一步分析。这里描述的实验是更广泛的未来调查的一部分, 对剪辑风格的削减影响枕和前额脑区。
确定方法是否适合调查
该实验协议使观众的 eyeblinks, 同时观看视频内容在三实验条件下进行研究。首先, 使用两种互补技术检测上只是一眨眼率: EEG 和录制的高清视频。在这里, 我们使用20频道的无线脑电图。其次, 建立适应实验的特定刺激, 使研究者能够管理视觉内容的所有变量。在这里, 三视频与相同的叙事, 但不同的视频编辑风格创建。这个故事包括一个走进房间的男人, 坐在办公桌前, 用三个球, 打开一台笔记本电脑, 在一些书上查到一些信息, 在笔记本电脑上打字, 关上它, 吃苹果, 直接看着相机, 离开房间。三视频刺激最后198s 每个。第一个是一拍的电影;第二个被编辑了根据古典好莱坞样式规则与33不同的射击;第三个是按照 MTV 风格的规则编辑的, 有79张照片。第四刺激也被提出在其中叙述是相同的, 但格式是真正的代表与演员而不是录影。这第四非视频刺激在最初的编辑风格差异的研究中没有使用, 但在不同的调查中用于比较实际表示法和屏蔽媒体8之间的上只是一眨眼率差异。第三, 不同的参与者组根据他们以前在视频分析中的专长进行选择。目的是确定不同的上只是一眨眼率的主题组观看相同的视觉刺激。在这种情况下, 40 名受试者参加了调查。其中半数为媒体专业人员 (16 男4女; 年龄30-56 岁, 平均年龄44.15 ±7.15 岁), 其余为非媒体专业人员 (15 名男性, 5 名女性; 年龄28-56 岁, 平均年龄43.25 岁)。选择媒体专业人员的标准是6年以上的工作经验, 在与媒体编辑相关的日常工作中作出决定。
Protocol
Representative Results
Discussion
本文介绍了一种利用目的视频制作分析媒体内容视觉感知的方法。许多其他的研究试图分析在叙事语境中的媒体内容与预先存在的电影的知觉。本方法建议根据感兴趣的标准来创建具有叙事结构的视觉内容, 并基于上只是一眨眼速率与查看者的注意9 相连接的建议。为此, 研究人员在观察媒体内容的同时, 在不同的条件下 (编辑风格和媒体专业化) 对参与者的 eyeblinks 进行了比较。</…
Disclosures
The authors have nothing to disclose.
Acknowledgements
本研究得到西班牙经济和竞争力部 (BFU2014-56692-R 和 BFU2017-82375-R) 赠款的支持。
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
