Utilizzando misure di elettroencefalografia e registrazione Video di alta qualità per l'analisi di percezione visiva del contenuto multimediale
Summary
Vi presentiamo il rilevamento, acquisizione e analisi dei tassi di eyeblink durante la visione di contenuti multimediali.
Abstract
Questo articolo Esplora un metodo per rilevare le differenze nella percezione visiva in esseri umani. Il metodo utilizzato è basato sulla funzione psicologica (o “cognitiva”) di ammiccamento dell’occhio. Ammiccamento dell’occhio dei partecipanti vengono rilevati e acquisito durante la visione di video appositamente creati per l’indagine. La rilevazione e l’acquisizione di ammiccamento dell’occhio sono effettuati con l’aiuto di un dispositivo 20 canali elettroencefalografiche (EEG) wireless. L’international che System di 10-20 per il posizionamento dell’elettrodo è seguito. Una telecamera di video ad alta definizione (HD) viene utilizzata per registrare le espressioni facciali dei partecipanti, per finalità di contrasto. Invece di utilizzare pre-esistente di contenuti multimediali, contenuti video appositamente sono stato creato seguendo criteri specifici di interesse per questa indagine, con stimoli consentendo i ricercatori di gestire i parametri precisi di interesse. In caso contrario, i risultati potrebbero essere contaminati con variabili incontrollate. La sincronizzazione della presentazione di stimoli dei video con le registrazioni di EEG deve essere fatto in millisecondi. Analisi dei dati raccolti viene effettuata con software robusto per lavorare con matrici di grande. Differenze statisticamente significative nel tasso di eyeblink legate alla professionalizzazione di media e di stile di modifica sono trovate con le procedure sperimentali segnalate.
Introduction
Lo scopo di questo metodo
Questo metodo propone un doppio protocollo per la rilevazione di ammiccamento dell’occhio. L’obiettivo è quello di analizzare la percezione visiva di visualizzatori di contenuto multimediale, creato appositamente per questa indagine, utilizzando sistemi di registrazione video HD e le registrazioni di EEG.
La spiegazione razionale dietro lo sviluppo e/o utilizzo di questo metodo
Ogni eyeblink nasconde flusso visivo per 150-400 ms1,2. Lampeggia significa che è fisiologica3,4,5 e psicologico6,7 funzioni. La connessione tra tasso di attenzione ed eyeblink è stata studiata e dimostrata in diversi studi8. Un maggiore livello di attenzione diminuisce eyeblink tasso e secondo studi precedenti, gli esseri umani condividono un meccanismo per controllare i tempi di lampeggi che cerca il momento migliore per evitare la perdita di informazioni visive importanti9. Così, analizzando eyeblink comportamento degli spettatori quando guardando schermi potrebbe fornire informazioni per quanto riguarda il livello di attenzione per i contenuti multimediali.
Un metodo per la rilevazione del tasso spontaneo eyeblink è utilizzando elettrodi EEG per registrare l’attività elettrica. Ammiccamento dell’occhio possa essere facilmente individuati da prefrontale ed electrooculogram elettrodi collegati ad un sistema di registrazione EEG. Nella maggior parte delle analisi EEG, ammiccamento dell’occhio è considerati artefatti. Per questo motivo, molti pacchetti di software progettati per l’analisi dei dati EEG hanno eyeblink rilevatori10. Il vantaggio dell’utilizzo di EEG per la rilevazione di ammiccamento dell’occhio è l’alta risoluzione temporale (nell’ordine di millisecondi) e la possibilità di registrare effetti cervello delle diverse narrazioni e tagli nei film sincronizzati con quelli ammiccamento dell’occhio – una questione aperta per ulteriori Studio. Registrazione volti dei partecipanti con una telecamera HD può essere anche utile per corrispondenza/contrasto scopi9.
I vantaggi rispetto ai metodi alternativi con riferimenti a studi pertinenti
Esistono diversi metodi per il conteggio degli occhi lampeggia. Alcuni strumenti dedicati per la rilevazione lampeggia sono bobine magnetiche, fasci di luce a infrarossi (IR), rilevatori di movimento optoelettronici con analisi del movimento dell’occhio come tecniche di eye tracking e diverse tecniche basate su segnali bioelettrici, ad es., elettrooculografia (EOG), elettromiografia (EMG) ed EEG. Un’altra opzione più precisa, ma che richiede tempo manualmente conta lampeggia da una registrazione video frame-by-frame11. Le tecnologie oggi possono essere classificate in due gruppi: a) contatto privo di registrazione che include due modalità, la rilevazione di lampeggio diretto utilizzando computer vision e rilevamento blink non in linea utilizzando eye tracking e b) contatto-base registrazione utilizzando segnali biologici attraverso EOG ed EEG dispositivi12,13.
Il sistema di eye tracking è una tecnologia ampiamente utilizzata, che vanno dal tradizionale design passivo basato su immagine agli approcci vicino-infrarosso-base attivi pricipalmente usati oggi con una fotocamera ad alta risoluzione. Quest’ultimo sfrutta le proprietà riflettenti della pupilla sotto illuminazione IR14. Il concetto alla base di metodi moderni di eye tracking è allievo centro corneale riflessione (PCCR), che coinvolge una fotocamera il centro della pupilla, dove la luce si riflette dalla cornea di verifica. Tuttavia, c’è una mancanza di algoritmi di rilevamento blink pubblicato per protocolli di eye tracking. Inoltre, anche se i diversi modelli di eye tracking sul mercato forniscono software integrato con blink detection, il codice sorgente non è sempre fornito dai produttori, che lo rende difficile da modificare o sapere come gli algoritmi di lavoro12. Inoltre, durante gli esperimenti con eye tracking ci sono eventi che causano perdita di dati, come il tracking ritardi e significativo testa o lo sguardo di movimenti. La zona degli occhi è molto piccola in cattura video, che è un problema per il calcolo della durata del batter, e che a volte presenta vari tipi di artefatti15.
In questo esperimento, vengono utilizzati metodi EEG ed EOG. EEG non è solitamente utilizzato da solo per rilevare ammiccamento dell’occhio. Tuttavia, analizzando ammiccamento dell’occhio registrato con elettrodi EEG è una procedura standard per lo studio degli spostamenti della palpebra. Questa procedura consente ai ricercatori di avere informazioni di esattamente quando ammiccamento dell’occhio si svolgono. Il modello più comune di segnale per la rilevazione lampeggia è quella dei punti di picco, che rappresenta le risposte di movimento verticale. Ci sono parecchi picco rilevamento algoritmi applicabili a crudo EEG, dominio del tempo, o segnali di frequenza-dominio. Processi coinvolti nella identificazione del picco sono rilevamento di picco, estrazione di caratteristiche e classificazione. Ammiccamento dell’occhio hanno un notevole effetto sui canali frontali del segnale EEG. In genere, ammiccamento dell’occhio è rilevati in EEG utilizzando una soglia di ampiezza pre-determinato16. Gli algoritmi del software di analisi utilizzati in questo esperimento si basano sulla deviazione standard dei segnali e quadratico medio (RMS) del segnale EEG pre-filtrato; sono open source e disponibile per la comunità scientifica17. Tuttavia, alcuni movimenti di occhio non comportino ammiccamento dell’occhio possono provocare l’attività elettrica che può essere fonte di confusione. Per questo motivo, un secondo metodo – registrazione facce degli spettatori con una videocamera HD – permette ai ricercatori di abbinare ammiccamento dell’occhio contando manualmente. Con tale metodo doppia, l’investigatore realizza una matrice di ammiccamento dell’occhio che possa essere facilmente analizzati con strumenti statistici.
Di conseguenza, il metodo proposto esegue una triangolazione di dati con due diverse fonti per convalidare l’ammiccamento dell’occhio rilevati. Questo metodo si basa su Nakano et al indicazioni9 per conferma. Allo stesso tempo, permette anche ai ricercatori di raccogliere informazioni di attività cerebrale e la banda di frequenza per ulteriori analisi. L’esperimento descritto qui è parte di una più ampia indagine futura gli effetti dei tagli di stile di editing su aree prefrontali e occipital del cervello.
Determinare che se il metodo è appropriato per un’indagine
Questo protocollo sperimentale consente ammiccamento dell’occhio degli spettatori, mentre la visione di contenuti video per essere studiato sotto tre condizioni sperimentali. In primo luogo, tasso di eyeblink viene rilevata utilizzando due tecniche complementari: EEG e video HD registrati. Qui, usiamo un EEG wireless con 20 canali. In secondo luogo, specifici stimoli adattati all’esperimento vengono creati, cosicché il ricercatore può gestire tutte le variabili del contenuto visivo. Qui, tre video con lo stesso stile di editing video narrativo, ma diverso sono stati creati. La narrazione ha consistito di un uomo che entrato in una stanza, seduti a una scrivania, manipolato con tre palle, aperto un computer portatile, visto le informazioni in alcuni libri, digitato qualcosa sul computer portatile, chiuso, mangiato una mela, visto direttamente nella fotocamera e uscì dalla stanza. Gli stimoli dei video tre ultimi 198 s ciascuno. Il primo era un film One-Shot; il secondo è stato modificato secondo le regole classiche di stile hollywoodiano con 33 diversi colpi; e il terzo è stato modificato seguendo le regole di MTV-stile con 79 colpi. Uno stimolo di quarto è stato anche presentato in cui la narrazione era identica, ma il formato è una rappresentazione reale con un attore invece di un video. Questo stimolo non video quarto non è stato utilizzato in uno studio iniziale delle differenze di stile di editing, ma è stato utilizzato in un’indagine per diversa per confrontare eyeblink-tasso differenze tra rappresentazione reale e schermato media8. In terzo luogo, diversi gruppi di partecipanti sono selezionati a seconda della loro precedente esperienza nell’analisi visiva dei video. Lo scopo è quello di determinare le differenze nei tassi di eyeblink di gruppi tematici guardando gli stessi stimoli visivi. In questo caso, 40 soggetti hanno preso parte all’inchiesta. Metà di loro erano professionisti dei media (16 maschi e 4 femmine; età 30-56 anni, con un’età media di 44,15 ±7.15 anni) e il resto erano professionisti non multimediale (15 maschi e 5 femmine; età 28-56 anni, con un’età media di ± 43.25 8,59 anni). Professionisti dei media sono stati scelti con il criterio di più di 6 anni di esperienza nel prendere le decisioni relative al editing di contenuti multimediali nel loro lavoro quotidiano.
Protocol
Representative Results
Discussion
Un metodo per analizzare la percezione visiva del contenuto multimediale con la creazione di video appositamente è descritto qui. Molti altri studi tentano di analizzare la percezione di contenuti multimediali in contesti narrativi con film pre-esistenti. Il presente metodo si propone di creare contenuti visivi con una costruzione narrativa seguendo i criteri di interesse e si basa sul suggerimento che il tasso di eyeblink è collegato al attenzione9 dello spettatore. Per questo motivo, lo studio…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Il presente studio è stato sostenuto da un Ministero spagnolo dell’economia e competitività (BFU2014-56692-R e BFU2017-82375-R) sovvenzioni.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
