Usando medições de Eletroencefalografia e gravação de vídeo de alta qualidade para analisar a percepção Visual de conteúdo de mídia
Summary
Apresentamos a detecção, aquisição e análise das taxas de eyeblink enquanto assiste o conteúdo de mídia.
Abstract
Este artigo explora um método para detectar diferenças na percepção visual nos seres humanos. O método utilizado baseia-se na função psicológica (ou “cognitiva”) do eyeblinks. Eyeblinks dos participantes são detectados e adquiriu enquanto assiste a vídeos criados especificamente para a investigação. A detecção e a aquisição de eyeblinks são realizadas com a ajuda de um dispositivo sem fio 20 canais eletroencefalográficos (EEG). O internacional que sistema 10-20 para a colocação do eletrodo é seguido. Uma câmara de vídeo alta definição (HD) é usada para registrar expressões faciais dos participantes, para fins de contraste. Em vez de usar o conteúdo de mídia pré-existente, conteúdo de vídeo efeito foi criado seguindo critérios específicos de interesse para esta investigação, com estímulos, possibilitando que os pesquisadores para gerenciar os parâmetros precisos de interesse. Caso contrário, os resultados podem estar contaminados com variáveis descontroladas. A sincronização da apresentação de estímulos de vídeo com gravações de EEG precisa ser feito em milissegundos. Análise dos dados coletados é realizada com software robusto para trabalhar com matrizes grandes. São encontradas diferenças estatisticamente significativas na taxa de eyeblink relacionada à profissionalização da mídia e o estilo de edição com os procedimentos experimentais relatados.
Introduction
A finalidade desse método
Este método propõe um protocolo duplo para a detecção de eyeblinks. O objetivo é analisar a percepção visual dos telespectadores de conteúdo de mídia, criado especificamente para esta investigação, por meio de sistemas de gravação de vídeo HD e gravações de EEG.
A lógica por trás do desenvolvimento e/ou o uso deste método
Cada eyeblink esconde fluxo visual para 150-400 ms1,2. Piscando tem fisiológicas3,4,5 e psicológico6,7 funções. A conexão entre a atenção e eyeblink taxa foi estudada e comprovada em diversos estudos8. Um maior nível de atenção diminui a taxa de eyeblink e de acordo com estudos anteriores, os seres humanos compartilham um mecanismo para controlar a temporização de intermitências que procura o melhor momento para evitar a perda de informação visual importante9. Assim, analisar o comportamento de eyeblink de telespectadores quando assistir telas poderia fornecer informações sobre o nível de atenção dado ao conteúdo de mídia.
Um método para a detecção de taxa eyeblink espontânea é por meio de eletrodos de EEG para registrar a atividade elétrica. Eyeblinks pode ser facilmente detectada por pré-frontal e eletrooculograma eletrodos conectem a um sistema de gravação de EEG. Na maioria das análises de EEG, eyeblinks são considerados artefatos. Por esta razão, muitos pacotes de software projetados para analisar dados de EEG tem eyeblink detectores10. A vantagem de usar o EEG para detectar eyeblinks é a alta resolução temporal (da ordem de milissegundos) e a possibilidade de registrar os efeitos de cérebro de diferentes narrativas e cortes nos filmes sincronizados com aqueles eyeblinks – uma questão aberta a mais estudo. Rostos dos participantes de gravação com uma câmera HD também pode ser útil para fins de correspondência/contraste9.
As vantagens sobre métodos alternativos com referências a estudos relevantes
Existem vários métodos para a contagem de piscadas de olho. Alguns instrumentos dedicados para a detecção de piscadas são bobinas magnéticas, feixes de luz (IR) infravermelhos, detectores de movimento optoeletrônicos com análise de movimento do olho tais como técnicas de acompanhamento de olho e várias técnicas com base em sinais bioelétricos, por exemplo, eletrooculografia (EOG), eletromiografia (EMG) e EEG. Outra opção mais precisa, mas demorada manualmente conta pisca de uma gravação de vídeo quadro-a-quadro11. As tecnologias de hoje podem ser classificadas em geral em dois grupos: um) sem contacto que inclui duas modalidades, a deteção de piscar direto usando visão computacional e a detecção de piscar off-line usando o olho de monitoramento de gravação e b) contato com base em gravação usando sinais biológicos EOG e EEG dispositivos12,13.
O sistema de acompanhamento de olho é uma tecnologia amplamente utilizada, desde a tradicionais baseada em imagem passiva em projetos para as ativas perto infravermelho-abordagens baseadas principalmente usadas hoje com uma câmera de alta resolução. Este último explora as propriedades reflexivas da pupila sob iluminação de IR14. O conceito subjacente a modernos métodos de acompanhamento de olho é aluno centro da córnea reflexão (PCCR), que envolve uma centro da pupila, onde a luz reflete de córnea de monitoramento de câmera. No entanto, há uma falta de algoritmos de detecção de piscar publicado para protocolos de acompanhamento de olho. Além disso, embora os modelos diferentes de olho no mercado de monitoramento fornecem software integrado com deteção de piscar, o código-fonte não é sempre fornecido pelos fabricantes, tornando difícil de modificar ou saber como os algoritmos trabalham12. Também, durante experimentos com olho de monitoramento, há eventos que causam perda de dados, tais como controle de atrasos e cabeça significativa ou olhar os movimentos. A área dos olhos é muito pequena em captura de vídeo, que é um problema para o cálculo da duração de piscar, e que às vezes apresenta vários tipos de artefatos15.
Neste experimento, são usados métodos de EEG e EOG. EEG não é geralmente usado para detectar eyeblinks. No entanto, analisando-eyeblinks gravado com eletrodos de EEG é um procedimento padrão para o estudo dos deslocamentos da pálpebra. Este procedimento permite que pesquisadores de ter informações de exatamente quando eyeblinks ocorrer. O padrão mais comum de sinal para a detecção de piscadas é o de pontos de pico, representando respostas de movimento vertical. Existem vários pico deteção algoritmos aplicáveis para raw EEG, domínio do tempo, ou sinais de frequência-domínio. Processos envolvidos na identificação de pico são detecção de pico, extração de características e classificação. Eyeblinks tem um efeito considerável sobre canais frontais do sinal EEG. Normalmente, eyeblinks são detectados em EEG utilizando uma amplitude pre-determinado limiar16. Os algoritmos do software de análise utilizado neste experimento baseiam-se no desvio-padrão dos sinais e o médio quadrático da (RMS) do sinal EEG pré-filtrada; Eles são código aberto e disponível para a comunidade científica,17. No entanto, alguns movimentos oculares não envolvendo eyeblinks podem provocar atividade elétrica que pode ser confusa. Por esse motivo, um segundo método – rostos dos telespectadores com uma câmera de vídeo HD de gravação – permite que pesquisadores de transferências eyeblinks contando-los manualmente. Com tal método duplo, o investigador alcança uma matriz de eyeblinks que podem ser facilmente analisados com ferramentas estatísticas.
Portanto, o método proposto executa uma triangulação de dados com duas diferentes fontes para validar o eyeblinks detectado. Este método baseia-se em Nakano et al indicações9 para confirmação. Ao mesmo tempo, ele também permite que os pesquisadores coletar informações de atividade cerebral e a banda de frequência para posterior análise. O experimento aqui descrito é parte de uma investigação futura mais ampla sobre os efeitos de edição-estilo cortes em áreas occipital e pré-frontal do cérebro.
Determinar que se o método é adequado para uma investigação
Este protocolo experimental permite eyeblinks dos telespectadores enquanto assistir conteúdos de vídeo para ser estudado sob três condições experimentais. Taxa de eyeblink é detectada pela primeira vez, usando duas técnicas complementares: EEG e vídeos HD gravados. Aqui, usamos um EEG sem fio com 20 canais. Estímulos específicos, segundo adaptados ao experimento são criados, para que o pesquisador pode gerenciar todas as variáveis do conteúdo visual. Aqui, três vídeos com o mesmo narrativo, mas diferente de edição de vídeo estilo foram criados. A narrativa consistia de um homem que entrou num quarto, sentou em uma mesa, juggled com três bolas, abriu um laptop, procurei informações em alguns livros, digitado alguma coisa no laptop, fechou, comeu uma maçã, olhada diretamente para a câmera e saiu da sala. Os três estímulos a última 198 s cada. O primeiro foi um filme One-shot; o segundo foi editado de acordo com as regras clássicas de Hollywood-estilo com 33 diferentes cenas; e o terceiro foi editado seguindo as regras de estilo MTV com 79 fotos. Um estímulo quarto foi também apresentado em que a narrativa era idêntica, mas o formato era uma representação real com um ator em vez de um vídeo. Este quarto vídeo não estímulo não foi usado em um estudo inicial das diferenças de estilo de edição, mas foi usado em uma investigação de diferente para comparar eyeblink-taxa diferenças entre representação real e mídia selecionados8. Em terceiros lugar, diferentes grupos de participantes são selecionados dependendo de sua experiência anterior em análise visual de vídeos. O objetivo é determinar diferenças nas taxas de eyeblink dos grupos de assunto, observando o mesmo estímulo visual. Neste caso, 40 sujeitos participaram no inquérito. Metade deles eram profissionais de mídia (16 machos e 4 fêmeas; idade 30-56 anos, com idade média de 44,15 anos ±7.15) e o resto eram profissionais não-mídia (15 machos e 5 fêmeas; idade 28-56 anos, com idade média de ± 43.25 8,59 anos). Profissionais de mídia foram escolhidos com o critério de mais de 6 anos de experiência na tomada de decisões relacionadas à edição de mídia no seu trabalho diário.
Protocol
Representative Results
Discussion
Um método para analisar a percepção visual de conteúdo de mídia com o efeito de criação de vídeo está descrito aqui. Muitos outros estudos tentam analisar a percepção do conteúdo de mídia em contextos narrativos com filmes pré-existente. O presente método propõe a criação de conteúdo visual com uma construção narrativa, seguindo os critérios de interesse e baseia-se a sugestão de que a taxa de eyeblink está ligada ao atenção9 do espectador. Por esse motivo, o estudo detec…
Disclosures
The authors have nothing to disclose.
Acknowledgements
O presente estudo foi apoiado por um Ministério da economia espanhola e competitividade (BFU2014-56692-R e R-BFU2017-82375) subvenções.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
