Med hjälp av elektroencefalografi mätningar och hög kvalitet videoinspelning för att analysera visuell Perception av medieinnehåll
Summary
Vi presenterar upptäckt, förvärv och analys av Blink priser medan du tittar på medieinnehåll.
Abstract
Denna artikel undersöker en metod för att upptäcka skillnader i visuell perception hos människor. Den metod som används är baserad på ögonblink psykologiska (eller ”kognitiv”) funktion. Deltagarnas ögonblink upptäcks och förvärvade medan du tittar på videor specifikt skapade för utredning. Detektering och förvärvet av ögonblink utförs med hjälp av en 20 kanals elektroencefalografiska (EEG) trådlös enhet. Den internationella 10-20 system för elektrodplacering följs. En hög-definitionen (HD) videokamera används för att spela in deltagarnas ansiktsuttryck, för kontrast. I stället för befintligt medieinnehåll, har ändamålet gjort video innehåll skapats efter särskilda kriterier av intresse för denna undersökning, med stimuli för att möjliggöra för forskare att hantera de precisa parametrarna av intresse. Annars kan resultaten vara smittade med okontrollerad variabler. Synkroniseringen av presentationen av video stimuli med EEG inspelningar behöver göras i millisekunder. Analys av insamlade data utförs med robust programvara för att arbeta med stora matriser. Statistiskt signifikanta skillnader i Blink rate relaterade till media professionalisering och redigering stil finns de rapporterade experimentella rutiner.
Introduction
Syftet med denna metod
Denna metod föreslår en dubbel protokollstack för att upptäcka ögonblink. Syftet är att analysera tittarnas visuell perception av medieinnehåll, särskilt skapats för denna undersökning, med hjälp av EEG inspelningar och HD video inspelningen system.
Logiken bakom den utveckling eller användning av denna metod
Varje Blink döljer visuellt flöde för 150-400 ms1,2. Blinkande har fysiologiska3,4,5 och psykologiska6,7 funktioner. Anslutningen mellan uppmärksamhet och Blink har studerats och visat sig i olika studier8. En högre nivå av uppmärksamhet minskar Blink rate och enligt tidigare studier, människor dela en mekanism för att styra tidpunkten för blinkar som söker efter det bästa tillfället att undvika förlust av viktiga visuell information9. Således, analysera Blink beteende tittare när titta på skärmar kan ge information om nivån på uppmärksamhet ges till median innehållen.
En metod för att upptäcka spontana Blink ränta är med hjälp av EEG-elektroder för att registrera den elektriska aktiviteten. Ögonblink kan lätt upptäckas av prefrontala och electrooculogram elektroder anslutna till ett EEG registreringssystem. I de flesta EEG analyser betraktas ögonblink artefakter. Av denna anledning har många programvarupaket som utformats för att analysera EEG data Blink detektorer10. Fördelen med att använda EEG för att upptäcka ögonblink är temporal högupplöst (i storleksordningen millisekunder) och möjligheten att registrera hjärnans effekter av olika berättelser och nedskärningar i filmer som synkroniseras med de ögonblink – en fråga är öppna för ytterligare studie. Inspelning deltagarnas ansikten med en HD-kamera kan också vara användbart för matchande/kontrast ändamål9.
Fördelar jämfört med alternativa metoder med hänvisningar till relevanta studier
I området i närheten finns det flera metoder för inventering öga blinkar. Några särskilda instrument för att upptäcka blinkar är magnetiska spolar, infraröd (IR) ljusstrålar, optoelektroniska rörelsedetektorer med analyser av ögonrörelser som eye-tracking tekniker och flera tekniker som bygger på bioelektriska signaler, t.ex. electrooculography (EOG), elektromyografi (EMG) och EEG. Ett annat mer exakt, men tidskrävande alternativ räknar manuellt blinkar från en bildruta-för-bildruta videoinspelning11. Teknikerna kan idag klassificeras i huvudsak i två grupper: en) kontakt-gratis inspelning som inkluderar två modaliteter, den direkta Glimten upptäckten med datorseende och offline Glimten upptäckten med eye-tracking, och b) kontakt-baserade inspelning med biologiska signaler genom EOG och EEG enheter12,13.
Systemets eye-tracking är en allmänt använd teknik, alltifrån traditionella bildbaserade passiva mönster till aktiva nära-infraröd-baserade metoder som främst används idag med en högupplöst kamera. Den senare utnyttjar eleven under IR belysning14reflekterande egenskaper. Konceptet bakom moderna eye-tracking metoder är elev Center hornhinnans reflektion (PCCR), som innebär en kamera spårning i mitten av eleven, där ljuset reflekterar från hornhinnan. Dock finns det en brist på blink detekteringsalgoritmer publicerade för eye-tracking protokoll. Dessutom även om olika modeller av eye-tracking på marknaden ger integrerad programvara med glimten upptäckten, tillhandahålls källkoden inte alltid av tillverkare, vilket gör det svårt att ändra eller vet hur algoritmerna fungerar12. Det finns också under experiment med eye-tracking händelser som orsaka förlust av data, till exempel spåra förseningar och betydande huvud eller blicka rörelser. Området runt ögonen är mycket små i video fångar, vilket är ett problem för att beräkna varaktigheten för ett ögonblick, och som ibland inför olika typer av artefakter15.
I detta experiment används EEG och EOG metoder. EEG är inte vanligtvis används ensam för att upptäcka ögonblink. Analysera ögonblink registreras med EEG-elektroder är dock ett standardförfarande för studiet av ögonlocket förskjutningar. Detta förfarande gör det möjligt för forskare att få information om exakt när ögonblink äga rum. Det vanligaste signal mönstret för att upptäcka blinkar är peak punkter, som representerar vertikal rörelse svaren. Det finns flera peak detection algoritmer tillämpas på raw EEG, tid-domän, eller frekvensplanet signaler. Processer för peak identifiering är peak detection, funktionen utvinning och klassificering. Ögonblink har en avsevärd effekt på främre kanaler av EEG signalen. Vanligtvis upptäcks ögonblink in EEG med hjälp av en förutbestämd amplitud tröskel16. Algoritmer i analys programvara som används i detta experiment är baserade på de signaler standardavvikelse och kvadratiska medelvärdet (RMS) för pre filtrerade EEG signalen; de är öppen källkod och är tillgängliga för den vetenskapliga gemenskap17. Dock kan vissa ögonrörelser som inte inbegriper ögonblink framkalla elektriska aktivitet som kan vara förvirrande. Av den anledningen tillåter en andra metod – inspelning tittarnas ansikten med en HD-videokamera – forskare att matcha ögonblink genom manuellt räkna dem. Med en sådan metod som dubbel uppnår prövaren en matris av ögonblink som enkelt kan analyseras med statistiska verktyg.
Därför utför den föreslagna metoden en data triangulering med två olika källor att validera den upptäckta ögonblink. Denna metod är baserad på Nakano et al. indikationer9 för bekräftelse. Samtidigt gör det också forskare att samla in information om hjärnaktivitet och frekvens-bandet för vidare analys. De experiment som beskrivs här är en del av en bredare framtida undersökning av effekterna av redigering stil nedskärningar på skallbenet och prefrontala hjärnområden.
Avgöra huruvida metoden är lämplig för en undersökning
Detta experimentellt protokoll möjliggör tittarnas ögonblink samtidigt titta på videoinnehåll vara studerade under tre experimentella förhållanden. Först, blink kurs upptäcks med hjälp av två kompletterande tekniker: EEG och inspelade HD-videor. Här använder vi en trådlös EEG med 20 kanaler. Andra, specifika stimuli anpassas efter experimentet skapas, så att forskaren kan hantera alla variabler av det visuella innehållet. Här, skapades tre filmer med samma berättelse men olika video-redigering stil. Berättelsen bestod av en man som in i ett rum, satt vid ett skrivbord, jonglerade med tre bollar, öppnas en laptop, tittade upp information i några böcker, skrivit något på den bärbara datorn, stängde den, åt ett äpple, såg direkt i kameran, och lämnade rummet. De tre video stimuli senaste 198 s. Först var en one-shot film; andra var redigeras enligt klassisk Hollywood-stil regler med 33 olika skott; och tredje var redigeras efter MTV-style regler med 79 skott. En fjärde stimulans presenterades också där berättelsen var identiska, men formatet var en verklig representation med en skådespelare i stället för en video. Denna fjärde icke-video stimulans användes inte i en inledande studie av redigering stil skillnader men användes i en annan undersökning att jämföra Blink-differenser mellan verkliga representation och avskärmat media8. Tredje, olika grupper av deltagare väljs beroende på sina tidigare kunskaper i visuell analys av videor. Syftet är att fastställa skillnaderna i Blink ämne för titta på de samma visuella stimuli. I det här fallet deltog 40 individer i undersökningen. Hälften av dem var yrkesverksamma inom media (16 män och 4 kvinnor; ålder 30-56 år, med en medelålder på 44,15 ±7.15 år) och resten var icke-media-proffs (15 hanar och 5 tikar; år 28-56 år, med en genomsnittlig ålder av 43.25 ± 8.59). Yrkesverksamma inom media valdes med kriteriet om mer än 6 års erfarenhet av att göra beslut som rör media redigering i sitt dagliga arbete.
Protocol
Representative Results
Discussion
En metod för att analysera visuell perception av medieinnehåll med ändamålet gjort video skapande beskrivs här. Många andra studier försöker analysera föreställningen av medieinnehåll i berättande sammanhang med redan existerande filmer. Den nuvarande metoden föreslår att skapa visuellt innehåll med en berättande konstruktion efter kriterierna för intresse, och är baserad på förslaget att Blink ränta är ansluten till betraktarens uppmärksamhet9. Därför studien upptäcker d…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Föreliggande studie har stötts av en spanska ministeriet för ekonomi och konkurrenskraft (BFU2014-56692-R och BFU2017-82375-R) bidrag.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
