Ved hjælp af electroencefalografi målinger og videooptagelser i høj kvalitet til at analysere visuelle opfattelse af medieindhold
Summary
Vi præsenterer afsløring, tilegnelse og analyse af eyeblink priser mens du ser medieindholdet.
Abstract
Denne artikel undersøger en metode til at opdage forskelle i visuel perception i mennesker. Den anvendte metode er baseret på den psykologiske (eller “kognitiv”) funktion af eyeblinks. Deltagernes eyeblinks opdages og erhvervet mens du ser videoer specifikt skabt til undersøgelsen. Påvisning og erhvervelse af eyeblinks udføres ved hjælp af en 20-kanals electroencephalographic (EEG) trådløse enhed. Den internationale 10-20 system elektroden placering er fulgt. En high-definition (HD) videokamera bruges til at registrere deltagernes ansigtsudtryk, for kontrast formål. Stedet for at bruge allerede eksisterende medier indhold, har formål-made video indhold oprettet følgende specifikke kriterier af interesse for denne undersøgelse, med stimuli gør det muligt for forskere at styre de præcise parametre af interesse. Ellers kunne resultater være forurenet med ukontrolleret variabler. Synkronisering af præsentationen af video stimuli med EEG optagelser skal gøres i millisekunder. Analyse af indsamlede data er udført med robust software til at arbejde med store matricer. Statistisk signifikante forskelle i eyeblink sats relateret til media professionalisering og redigering stil er fundet med de rapporterede eksperimentelle procedurer.
Introduction
Formålet med denne metode
Denne metode foreslår en dobbelt protokol til påvisning af eyeblinks. Formålet er at analysere seernes visuelle opfattelse af medieindhold, specielt lavet til denne undersøgelse, ved hjælp af EEG optagelser og HD-videooptagelse systemer.
Rationalet bag udvikling og/eller anvendelse af denne metode
Hver eyeblink skjuler visuel flow for 150-400 ms1,2. Blinker har fysiologiske3,4,5 og psykologiske6,7 funktioner. Forbindelsen mellem opmærksomhed og eyeblink sats har været studerede og bevist i forskellige undersøgelser8. En højere grad af opmærksomhed nedsætter eyeblink hastighed og tidligere undersøgelser, mennesker deler en mekanisme til at kontrollere timing af blinker, der søger efter det bedste tidspunkt at undgå tab af vigtige visuel information9. Således, analysere eyeblink adfærd af seere, når du ser skærme kunne give oplysninger med hensyn til opmærksomhed, medieindhold.
En metode til påvisning af spontan eyeblink sats er ved hjælp af EEG elektroder til at optage den elektriske aktivitet. Eyeblinks kan nemt blive opdaget af præfrontal og electrooculogram elektroderne tilsluttes en EEG registreringssystem. I de fleste EEG analyser betragtes eyeblinks artefakter. Af denne grund har mange softwarepakker designet til at analysere EEG data eyeblink detektorer10. Fordelen ved at bruge EEG til påvisning af eyeblinks er den høje tidsmæssige opløsning (i størrelsesordenen millisekunder) og mulighed for at registrere hjernen virkninger af forskellige fortællinger og skærer i film synkroniseret med eyeblinks – et spørgsmål åbne for yderligere undersøgelse. Optagelse deltagernes ansigter med et HD kamera kan også være nyttigt for matchende/kontrast formål9.
Fordelene i forhold til Alternative metoder, med henvisninger til relevante undersøgelser
Der er flere metoder til optælling af øjet blinker. Nogle dedikerede instrumenter til påvisning af blinker er magnetiske spoler, infrarød (IR) lysstråler, optoelektroniske bevægelsesdetektorer med øje bevægelse analyse som eye-tracking teknikker, og flere teknikker baseret på bioelektriske signaler, f.eks. electrooculography (EOG), Elektromyografi (EMG) og EEG. En anden mulighed for mere nøjagtige, men tidskrævende manuelt tælle blinker fra en indramme af indramme video optagelse11. Teknologierne i dag kan inddeles groft i to grupper: en) kontakt-fri registrering, der omfatter to modaliteter, direkte glimt påvisning ved hjælp af computer vision og offline blink detection ved hjælp af eye-tracking, og b) kontakt-baserede optagelse ved hjælp af biologiske signaler gennem EOG og EEG enheder12,13.
Eye-tracking system er en udbredt teknologi, lige fra traditionelle image-baserede passiv design til de aktive nær-infrarød-baserede tilgange hovedsagelig anvendes i dag med en høj opløsning kamera. Sidstnævnte udnytter de reflekterende egenskaber af elev under IR belysning14. Konceptet bag moderne eye-tracking metoder er elev Center hornhinde refleksion (PCCR), som indebærer en kamera tracking center af eleven, hvor lys afspejler fra hornhinden. Dog mangler blink detection algoritmer offentliggjort for eye-tracking protokoller. Desuden, selv om de forskellige modeller af eye-tracking på markedet giver integreret software med blink detection, kildekoden er ikke altid leveres af fabrikanter, hvilket gør det vanskeligt at ændre eller vide, hvordan algoritmerne arbejde12. Der er også under eksperimenter med eye-tracking begivenheder, der medføre tab af data, såsom sporing af forsinkelser og betydelig hoved eller stirre bevægelser. Området omkring øjnene er meget lille i video fanger, som er et problem for beregning af varigheden af blink, og som undertiden introducerer forskellige typer artefakter15.
I dette eksperiment bruges EEG og EOG metoder. EEG er normalt ikke anvendes alene til at registrere eyeblinks. Men analysere eyeblinks indspillet med EEG elektroder er en standard procedure for undersøgelse af øjenlåget forskydninger. Denne fremgangsmåde gør det muligt for forskere at have oplysninger om præcis hvornår eyeblinks finde sted. Den mest almindelige signal mønster til påvisning af blinker er, at peak punkter, der repræsenterer lodret bevægelse svar. Der er flere peak påvisning algoritmer gælder for rå EEG, tid-domæne, eller frekvens-domæne signaler. Processerne i peak identifikation er peak påvisning, funktion udvinding og klassificering. Eyeblinks har en betydelig effekt på frontal kanaler af EEG-signalet. Typisk, eyeblinks registreres i EEG ved hjælp af et forudbestemt amplitude tærskel16. Algoritmer i analyse software anvendes i dette eksperiment er baseret på de signaler standardafvigelse og root mean square (RMS) af pre filtrerede EEG-signalet; de er open source og til rådighed for forskersamfundet17. Dog kan nogle øjenbevægelser, der ikke involverer eyeblinks provokere elektriske aktivitet, som kan være forvirrende. Derfor giver en anden metode – optagelse seernes ansigter med et HD-videokamera – forskere til at matche eyeblinks af manuelt tælle dem. Med sådan en dobbelt metode opnår investigator en matrix af eyeblinks, der nemt kan analyseres med statistiske værktøjer.
Derfor udfører den foreslåede metode en data triangulering med to forskellige kilder til at validere de fundne eyeblinks. Denne metode er baseret på Nakano et al. indikationer9 for bekræftelse. På samme tid sætter det også forskere til at indsamle oplysninger om hjerne-aktivitet og frekvensbånd for yderligere analyse. Eksperimentet beskrevet her er en del af en bredere fremtidige undersøgelse virkningerne af redigering stil nedskæringer på occipital og præfrontal hjernen områder.
Afgøre, om den metode er egnet til en undersøgelse
Denne forsøgsplan kan seernes eyeblinks, mens du ser video indhold til at være studerede under tre forsøgsbetingelser. Første, eyeblink sats er opdaget ved hjælp af to supplerende teknikker: EEG og registrerede HD videoer. Her bruger vi en trådløs EEG med 20 kanaler. Andet, bestemte stimuli tilpasset forsøget er lavet, således at forskeren kan administrere alle variabler af det visuelle indhold. Her, blev tre videoer med det samme narrative men forskellige video-redigering stil skabt. Narrative bestod af en mand, der angivet et værelse, sad ved et skrivebord, jongleret med tre bolde, åbnede en laptop, kiggede op oplysninger i nogle bøger, har skrevet noget på den bærbare computer, lukket det, spiste et æble, kiggede direkte ind i kameraet, og forlod værelset. De tre video stimuli seneste 198 s hver. Først var en one-shot film; andet var redigeret efter klassiske Hollywood-stil regler med 33 forskellige skud; og tredje blev redigeret efter MTV-stil regler med 79 skud. En fjerde stimulus blev også præsenteret som fortællingen var identisk, men formatet var en ægte repræsentation med en skuespiller i stedet for en video. Denne fjerde ikke-video stimulus blev ikke brugt i en indledende undersøgelse af redigering stil forskelle men blev brugt i en anden undersøgelse til at sammenligne eyeblink-differencer mellem virkelige repræsentation og screenet media8. Tredje, forskellige grupper af deltagere udvælges afhængigt af deres tidligere ekspertise i den visuelle analyse af videoer. Formålet er at bestemme forskellene i eyeblink satser af emnet grupper ser de samme visuelle stimuli. I dette tilfælde har 40 fag deltaget i undersøgelsen. Halvdelen af dem var mediefolk (16 hanner og 4 hunner; alder 30-56 år, med en gennemsnitsalder på 44.15 ±7.15 år) og resten var ikke-medier fagfolk (15 hanner og 5 hunner; alder 28-56 år, med en gennemsnitsalder på 43.25 ± 8.59 år). Mediefolk blev valgt med kriteriet om mere end 6 års erfaring i at træffe beslutninger vedrørende medier redigering i deres daglige arbejde.
Protocol
Representative Results
Discussion
En metode til at analysere visuelle opfattelse af medieindhold med formål-made video skabelse er beskrevet her. Mange andre undersøgelser forsøger at analysere opfattelsen af medieindhold i narrative sammenhænge med allerede eksisterende film. Den nuværende metode foreslår at oprette visuelle indhold med en narrative konstruktion efter kriterierne i interesse, og er baseret på forslaget om at eyeblink sats er forbundet til beskuerens opmærksomhed9. Derfor undersøgelsen registrerer deltage…
Declarações
The authors have nothing to disclose.
Acknowledgements
Den foreliggende undersøgelse er blevet støttet af en spansk Ministeriet for økonomi og konkurrenceevne (BFU2014-56692-R- og BFU2017-82375-R) tilskud.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
Referências
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
