脳波測定と高品質のビデオ録画を使用して、メディア コンテンツの視覚認識を分析するため
Summary
メディア コンテンツを見ながら検出、取得と瞬目率の分析を紹介します。
Abstract
この記事は、人間の視覚認知の違いを検出する方法を説明します。使用するメソッドは、瞬目の心理 (または「認知」) の機能に基づいています。参加者の瞬目が検出され、具体的に調査のために作成したビデオを見ながら取得します。検出と瞬目の買収は、20 チャンネル脳波 (EEG) 無線デバイスの助けを借りて行われます。国際 10-20 法の電極配置が続きます。高精細 (HD) ビデオ カメラは、コントラストのため、参加者の表情を記録するために使用されます。既存メディアのコンテンツを使用する代わりに、刺激が目的の正確なパラメーターを管理する研究者を有効にすると、この調査のための興味の特定の条件を次目的のビデオ コンテンツを作成されています。それ以外の場合、結果は自由な変数を汚染できます。脳波ビデオ刺激のプレゼンテーションの同期は、ミリ秒単位で行う必要があります。収集したデータの解析は、大きな行列を操作するための堅牢なソフトウェアで実行されます。メディア専門職化と編集スタイルに関連する瞬目率に統計的有意差は、報告された実験手順で発見します。
Introduction
このメソッドの目的
このメソッドは、瞬目の検出、デュアル ・ プロトコルを提案する.目的は、具体的にこの調査のため脳波と HD ビデオ録画システムを使用して作成された、メディア コンテンツの視聴者の視覚を分析することです。
開発および/またはこのメソッドを使用しての背後にある理論的根拠
各瞬目 150-400 ms1,2の視覚的な流れを非表示にします。生理3,4、5と心理的な6,7機能があります点滅します。注意と瞬目率の間の接続は、勉強し、異なる研究8で証明されています。注目の高いレベルの瞬目率の減少し、以前の研究によると人間は重要な視覚情報9の損失を避けるために最高の瞬間を検索する点滅のタイミングを制御するためのメカニズムを共有します。したがって、メディア コンテンツに与えられた注目のレベルに関する情報を提供できる画面を見ているとき視聴者の瞬目行動を分析します。
自発性瞬目率を検出するための 1 つの方法は、電気的活動を記録する脳波電極を使用してです。瞬目は前頭前野によって容易に検出することができ、眼球電極は、脳波記録システムに接続されています。ほとんどの脳波解析で瞬目は成果物と見なされます。このため、脳波データを分析用に設計された多くのソフトウェア パッケージは瞬目検出器10をあります。瞬目の検出の脳波を使用する利点 (ミリ秒) の順に高い時間分解能と脳に及ぼす異なる物語を登録の可能性とそれらの瞬目と同期の映画でカット – 問題をさらに開く研究。HD カメラで参加者の顔を記録もマッチング/コントラストの目的9便利なできます。
関連する研究への参照で代替の方法上の利点
瞬きをカウントするための複数の方法があります。点滅を検出するためのいくつかの専用装置が磁気コイル、赤外線 (IR) 光ビーム、光運動検出器はアイトラッ キング技術と生体電気信号、例えば、に基づいていくつかのテクニックなどの眼球運動解析ジャイロ (EOG)、筋電図 (EMG) と脳波。別のより正確な時間がかかるオプションは手動でフレームでビデオ録画11から点滅を数えています。技術今日分類できます 2 つのグループに:) お問い合わせ-無料 2 つのモダリティ、コンピュータ ビジョンやアイトラッ キングを用いたオフラインまばたき検出を使用して直接まばたき検出を含む記録と b) 接触・ ベースを使用して録音生体信号を眼球運動、脳波デバイス12,13を介して。
アイトラッ キング システムは、伝統的なイメージ ベースのパッシブ デザインから主に高解像度のカメラで今日使用されるアクティブ近く-赤外線-ベースのアプローチに至るまで、広く使われている技術です。後者は、IR 照明14下にある瞳孔の反射特性を悪用します。現代の目追跡の方法の基礎となる概念である瞳孔中心角膜反射 (PCCR)、光が角膜から反射、瞳孔の中心を追跡カメラを含む。ただし、点滅検出アルゴリズムがアイトラッ キング プロトコルの公開されての欠如があります。また、市場の目追跡の異なるモデルは、まばたき検出と統合ソフトウェアを提供する、ソース コードがない常にメーカーから提供される、困難を変更または12のアルゴリズムの仕組みを知る。また、アイトラッ キング実験中に遅延と大きな頭の追跡など、データの損失を引き起こす、視線の動きイベントがあります。目の周りはビデオをキャプチャ、点滅のデュレーションを計算する問題である、さまざまな種類の成果物15時紹介で非常に小さい。
この実験では、脳波と眼球運動の方法を使用します。通常、脳波は瞬目を検出するだけでは使用されません。しかし、瞬目脳波電極で記録を分析はまぶた変位の研究のための標準的な手順です。この手順により、まさに瞬目が起こるしたときの情報を持っている研究者です。点滅を検出するための最も一般的な信号パターンは、垂直運動反応を表すピーク点のことです。いくつかピーク検出アルゴリズム生に適用可能な脳波、時間領域または周波数領域信号します。ピーク同定にかかわるプロセスは、ピーク検出、特徴抽出と分類。瞬目脳波信号の正面チャンネルでかなり効果があります。通常、瞬は、脳波で前もって決定された振幅しきい値16を使用して検出されます。この実験で使用する解析ソフトウェアのアルゴリズムは、信号の標準偏差と事前フィルター処理された脳波信号の二乗 (RMS) に基づいていますオープン ソースと科学界17に利用できます。ただし、瞬目が関与しないいくつかの目の動きは、混乱を招く可能性があります電気的活動を引き起こすことができます。そのため、2 番目のメソッドを – HD ビデオ カメラで視聴者の顔を記録 – できます手動でそれらをカウントすることにより瞬目を一致するように。このような二重方式、捜査官は、統計ツールを使用して分析することができます瞬目の行列を実現します。
したがって、提案手法は検出された瞬目を検証する 2 つの異なるソースでデータの三角形分割を実行します。このメソッドは、中野ら徴候9確認のために基づいています。同時に、さらなる分析のための脳の活動と周波数帯域の情報を収集する研究者も可能。 にします。ここで示した実験では、後頭部と前頭前野の脳の領域の編集スタイル カットの影響の広い将来調査の一部です。
かどうか、メソッドが調査のための適切な判断します。
この実験的プロトコルにより視聴者の瞬目、下 3 つの実験条件を検討するビデオ コンテンツを視聴しながら。まず、瞬目率が 2 つの相補的な技術を使用して検出された: 脳波および録画の HD ビデオ。ここでは、20 チャンネル無線脳波を使用します。第二に、特定の刺激実験に適応が作成されますので、研究者は視覚的なコンテンツのすべての変数を管理できます。ここでは、同じ物語が、異なるビデオ編集スタイルと 3 つの動画が作成されました。物語は、部屋に入った、机に座って、3 つのボールをジャグリングする、ノート パソコンを開いて、いくつかの書籍の情報を見た、ノート パソコンに何かを入力、それを閉じて、カメラを直接見て、リンゴを食べた、部屋を出て男から成っていた。3 つのビデオ刺激最後 198 s 各。初めてのワンショット映画;2 つ目は 33 別ショットと古典的なハリウッド スタイルの規則に従って編集されました。3 番目が 79 ショットで MTV スタイル規則を次に編集されました。第 4 刺激はまた物語は同じですが、発表されたが、形式は、ビデオではなく俳優の本当の表現。この 4 番目の非ビデオ刺激編集スタイルの相違点の初期研究で使用されませんでしたが、別の調査で使用された本当の表現とスクリーン メディア8の瞬目率の違いを比較します。参加者の第三に、別のグループは、ビデオの視覚的分析の前専門知識に応じて選択されます。目的は、同じ視覚刺激を見ている科目群の瞬目率の差を決定することです。この場合、40 人の被験者は、調査に参加をしました。それらの半分がメディアの専門家 (16 男女 4 名; 44.15 ±7.15 年の平均年齢の年齢 30-56 歳、) そして残りの非メディアの専門家 (男性 15 名, 女性 5 例; 年齢 28 56 年、平均年齢は 43.25 ± 8.59 年)。メディアの専門家は、メディアの編集、彼らの日常の仕事に関連する意思決定の経験 6 年以上の基準に選ばれました。
Protocol
Representative Results
Discussion
ビデオの作成を目的に作られたメディア コンテンツの視覚的知覚の解析手法を紹介します。他の多くの研究は、既存の映画と物語のコンテキスト内のメディア コンテンツの認識を分析しようとします。本法は関心の条件に続く物語の建設と視覚的なコンテンツを作成することを提案、提案に基づいてその瞬目率は視聴者の注意9に接続されています。そのため、研究は、メ?…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
本研究は、スペイン経済省と競争力 (BFU2014 56692 R と BFU2017-82375-R) 補助金によってサポートされています。
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
Riferimenti
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
