À l’aide de mesures d’électroencéphalographie et l’enregistrement vidéo de haute qualité pour l’analyse de la Perception visuelle du contenu multimédia
Summary
Nous présentons la détection, acquisition et analyse des taux d’eyeblink tout en regardant le contenu des médias.
Abstract
Cet article explore une méthode pour détecter des différences de perception visuelle chez l’homme. La méthode utilisée est basée sur la fonction psychologique (ou « cognitive ») d’eyeblinks. Eyeblinks des participants sont détectés et acquis tout en regardant les vidéos créées spécifiquement pour l’enquête. La détection et l’acquisition d’eyeblinks sont effectuées à l’aide d’un appareil sans fil de l’électroencéphalographique (EEG) de 20 canaux. L’international que 10-20 système de placement des électrodes est suivi. Une caméra de vidéo haute définition (HD) est utilisée pour enregistrer les expressions faciales des participants, à des fins de contraste. Au lieu d’utiliser les contenus préexistants multimédia, contenu vidéo but-rendu a été créé suite à des critères spécifiques d’intérêt pour la présente enquête, stimuli permettant aux chercheurs de gérer les paramètres précis d’intérêt. Dans le cas contraire, les résultats pourraient être contaminés par les variables incontrôlées. La synchronisation de la présentation de stimuli vidéo avec enregistrements EEG il faut faire en millisecondes. Analyse des données collectées est effectuée avec le logiciel robuste pour travailler avec des matrices de gros. Des différences statistiquement significatives dans eyeblink taux associés à la professionnalisation des médias et le style de modification sont retrouvent avec les procédures expérimentales rapportées.
Introduction
Le but de cette méthode
Cette méthode propose un double protocole de détection eyeblinks. Le but est d’analyser la perception visuelle des téléspectateurs du contenu de médias, créé spécifiquement pour cette enquête, à l’aide d’enregistrements d’EEG et de systèmes d’enregistrement vidéo HD.
Le raisonnement derrière le développement et/ou l’utilisation de cette méthode
Chaque eyeblink masque flux visuel pour 150-400 ms1,2. Clignotant a physiologique3,4,5 et psychologique6,7 fonctions. La connexion entre l’attention et eyeblink le taux a été étudiée et prouvée dans différentes études8. Un niveau plus élevé d’attention diminue eyeblink taux et selon des études antérieures, les humains ont un mécanisme pour contrôler le moment de clignotements qui cherche le meilleur moment éviter la perte des informations visuelles importantes9. Ainsi, analyser le comportement d’eyeblink de téléspectateurs quand je regarde les écrans pourrait fournir des informations concernant le niveau d’attention accordée aux contenus médias.
Une méthode pour la détection de taux eyeblink spontanée est en utilisant des électrodes de l’EEG pour enregistrer l’activité électrique. Eyeblinks peuvent facilement être détectés par préfrontal et electrooculogram électrodes reliées à un système d’enregistrement de l’EEG. Dans la plupart des analyses EEG, eyeblinks sont considérés comme objets façonnés. Pour cette raison, beaucoup de progiciels conçus pour analyser les données de l’EEG ont eyeblink détecteurs10. L’avantage d’utiliser EEG pour la détection des eyeblinks est la haute résolution temporelle (dans l’ordre des millisecondes) et la possibilité d’enregistrer les effets de cerveau de récits différents et des réductions dans les films synchronisés avec ceux eyeblinks – une question ouvert aux autres l’étude. Les visages des participants d’enregistrement avec une caméra HD peut être également utile pour correspondance/contraste des fins9.
Les avantages sur les méthodes alternatives avec des références à des études pertinentes
Il y a plusieurs méthodes pour compter les clignotements des yeux. Certains instruments consacrés pour détecter les clignotements sont des bobines magnétiques, rayons lumineux infrarouges (IR), détecteurs de mouvement optoélectroniques avec analyse du mouvement oculaires tels que les techniques de suivi du regard et plusieurs basé sur des signaux bioélectriques, par exemple, electrooculography (EOG), électromyographie (EMG) et l’EEG. Une autre option plus précise, mais beaucoup de temps compte manuellement clignote d’un enregistrement vidéo image par image11. Les technologies aujourd’hui peuvent être classés généralement en deux groupes : un) sans contact enregistrement qui comprend deux modalités, la détection de clignement direct à l’aide de la vision par ordinateur et détection de clignotement en mode hors connexion à l’aide d’oculométrie et b) contact-fonction d’enregistrement à l’aide signaux biologiques à EOG et EEG dispositifs12,13.
Le système de suivi du regard est une technologie largement utilisée, allant des dessins passives imageur traditionnels aux approches proche-infrarouge-based actives principalement utilisés aujourd’hui avec une caméra à haute résolution. Ce dernier exploite les propriétés réfléchissantes de la pupille sous IR illumination14. Le concept qui sous-tend les méthodes modernes d’oculométrie est élève Centre cornée réflexion (PCCR), qui implique une caméra suivi du centre de la pupille, où la lumière tient compte de la cornée. Cependant, il y a un manque d’algorithmes de détection de clignement publié pour les protocoles de suivi du regard. En outre, bien que les différents modèles d’oculométrie sur le marché fournissent des logiciels intégrés avec détection de clignement, le code source n’est pas toujours fourni par les fabricants, il est difficile de modifier ou de savoir comment les algorithmes fonctionnent12. Aussi, au cours d’expériences avec eye-tracking, il existe des événements qui causent la perte de données, tels que les retards et importante tête de suivi ou admirez les mouvements. Le contour des yeux est très faible dans les captures vidéo, qui est un problème pour le calcul de la durée d’un clin, et parfois, qui introduit différents types d’artefacts15.
Dans cette expérience, EEG et EOG méthodes sont utilisées. EEG n’est pas habituellement utilisé seul pour détecter les eyeblinks. Cependant, analyse eyeblinks enregistrée avec des électrodes EEG est une procédure standard pour l’étude des déplacements de la paupière. Cette procédure permet aux chercheurs de disposer d’informations d’exactement quelle eyeblinks avoir lieu. Le patron de signal plus fréquent de détection clignote est celui de points de pointe, représentant les réponses mouvement vertical. Il y a plusieurs PIC détection algorithmes applicables aux crus EEG, temporelle, ou fréquentiel des signaux. Processus impliqués dans l’identification des pics sont détection de crête, extraction de caractéristiques et classification. Eyeblinks ont un effet considérable sur les canaux frontaux du signal EEG. En général, eyeblinks sont détectés dans EEG en utilisant une amplitude pré-déterminé seuil16. Les algorithmes du logiciel d’analyse utilisé dans cette expérience sont basées sur l’écart-type des signaux et la moyenne quadratique (RMS) du signal EEG préfiltrée ; ils sont libres et disponibles à la communauté scientifique17. Toutefois, certains mouvements des yeux ne comportant ne pas d’eyeblinks peuvent provoquer une activité électrique qui peut être source de confuse. Pour cette raison, une deuxième méthode – enregistrement des visages des spectateurs avec un caméscope HD – permet aux chercheurs de correspondre eyeblinks par les compter manuellement. Avec une telle méthode de double, le chercheur réalise une matrice d’eyeblinks qui peuvent être analysés facilement avec des outils statistiques.
Par conséquent, la méthode proposée effectue une triangulation des données avec deux sources différentes pour valider l’eyeblinks détecté. Cette méthode est basée sur Nakano et coll. indications9 pour confirmation. Dans le même temps, il permet également aux chercheurs de recueillir de l’information-l’activité du cerveau et de la bande de fréquence pour une analyse ultérieure. L’expérience décrite ici fait partie d’une plus large enquête future sur les effets des coupes de style édition sur les zones occipitales et préfrontal du cerveau.
Déterminer que si la méthode est appropriée pour une enquête
Ce protocole expérimental permet aux eyeblinks de téléspectateurs alors que je regarde le contenu vidéo d’être étudié sous trois conditions expérimentales. Tout d’abord, les taux eyeblink est détecté à l’aide de deux techniques complémentaires : EEG et enregistré des vidéos HD. Ici, nous utilisons un EEG sans fil avec 20 chaînes. Deuxième stimuli spécifiques adaptés à l’expérience sont créés, pour que le chercheur peut gérer toutes les variables du contenu visuel. Ici, trois vidéos avec le même narratif mais différent montage vidéo style ont été créés. Le récit se composait d’un homme qui est entré dans une chambre, assis à un pupitre, jonglé avec trois balles, a ouvert un ordinateur portable, leva les informations dans certains livres, tapé quelque chose sur l’ordinateur portable, fermé il, mangé une pomme, regardée directement dans la caméra et quitte la salle. Les stimuli vidéo trois dernière 198 s chaque. Le premier était un film à partir d’un cliché ; le second a été modifié selon les règles classiques de style hollywoodien avec 33 différents plans ; et le troisième a été édité en respectant les règles de style MTV avec 79 coups. Un quatrième relance a également été présenté dans lequel le récit était identique, mais le format a été une vraie représentation avec un acteur au lieu d’une vidéo. Ce stimulus non vidéo quatrième ne servait pas dans une première étude des différences de style édition mais a été utilisé dans une enquête différente pour comparer eyeblink-différences entre la représentation réelle et filtré media8. Troisièmement, différents groupes de participants sont choisis selon leurs connaissances antérieures dans l’analyse visuelle des vidéos. Le but est de déterminer les différences de taux d’eyeblink de groupes de sujets, je regarde les mêmes stimuli visuels. Dans ce cas, 40 sujets ont participé à l’enquête. La moitié d’entre eux étaient des professionnels des médias (16 mâles et 4 femelles ; l’âge de 30 à 56 ans, avec une moyenne d’âge de 44,15 ±7.15 ans) et le reste étaient des professionnels hors-média (15 mâles et 5 femelles ; ans 28 à 56 ans, avec une moyenne d’âge de 43,25 ± 8,59). Les professionnels des médias ont été choisis avec le critère de plus de 6 ans d’expérience dans la prise de décisions liées à l’édition de médias dans leur travail quotidien.
Protocol
Representative Results
Discussion
Une méthode pour analyser la perception visuelle du contenu multimédia avec l’usage fait de création vidéo est décrite ici. De nombreuses autres études tentent d’analyser la perception du contenu multimédia dans des contextes narratifs avec films préexistants. La présente méthode propose la création de contenu visuel avec une construction narrative suivant les critères d’intérêt et repose sur l’idée que le taux d’eyeblink est relié à de l’attention du spectateur9. Pour…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
La présente étude a été soutenue par un ministère espagnol de l’économie et de subventions de la compétitivité (BFU2014-56692-R et BFU2017-82375-R).
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
Riferimenti
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
