Bruke Elektroencefalogram målinger og høykvalitets Video-opptak for å analysere visuelle oppfatningen av medieinnhold
Summary
Vi presenterer deteksjon, oppkjøp og analyse av eyeblink mens du ser medieinnhold.
Abstract
Denne artikkelen utforsker en metode for å oppdage forskjeller i visuell persepsjon hos mennesker. Metoden som brukes er basert på psykologiske (eller “kognitive”) funksjonen til eyeblinks. Deltakernes eyeblinks oppdages og kjøpt mens voktingsvideoer spesielt opprettet for etterforskningen. Gjenkjennings- og oppkjøp av eyeblinks utføres ved hjelp av en 20-kanals electroencephalographic (EEG) trådløs enhet. Internasjonalt 10-20 system for elektrodeplassering er fulgt. En høy-definisjon (HD) videokameraet brukes til å registrere deltakernes ansiktsuttrykk, for kontrast formål. I stedet for eksisterende medieinnhold, er spesiallaget videoinnhold opprettet etter bestemte kriterier av interesse for denne undersøkelsen, med stimuli slik at forskere til å administrere parametrene av interesse. Ellers kan resultatene være forurenset med ukontrollert variabler. Synkroniseringen av presentasjonen av video stimuli med EEG innspillinger må gjøres i millisekunder. Analyse av innsamlede data utføres med robust programvare for å arbeide med store matriser. Statistisk signifikante forskjeller i eyeblink rate media profesjonalisering og redigering stil finnes med rapporterte eksperimentelle prosedyrene.
Introduction
Formålet med denne metoden
Denne metoden foreslår en dual-protokollen for å oppdage eyeblinks. Målet er å analysere seere visuelle oppfatningen av medieinnhold, spesielt laget for denne undersøkelsen, ved hjelp av EEG innspillinger og HD-videoopptak systemer.
Begrunnelsen bak utviklingen og/eller bruk av denne metoden
Hver eyeblink skjuler visuelle flyt for 150-400 ms1,2. Blinker har fysiologiske3,4,5 og psykologiske6,7 funksjoner. Forbindelsen mellom oppmerksomhet og eyeblink har studert og påvist i forskjellige studier8. En høyere grad av oppmerksomhet avtar eyeblink hastighet og ifølge tidligere studier mennesker dele en mekanisme for å kontrollere timingen av blinker som søker etter de beste øyeblikket å unngå tap av viktige visuell informasjon9. Dermed analysere eyeblink oppførsel av seere når ser skjermer kan gi informasjon om nivået på oppmerksomhet til media innholdet.
En metode for å oppdage spontan eyeblink rate er ved hjelp av EEG elektroder registrere den elektriske aktiviteten. Eyeblinks kan lett bli oppdaget av prefrontal og electrooculogram elektroder koblet til en EEG innspillingssystem. I de fleste EEG analyser vurdert eyeblinks gjenstander. Derfor har mange programvarepakker designet for analyserer EEG eyeblink detektorer10. Fordelen med å bruke EEG for å oppdage eyeblinks den timelige høyoppløselig (i millisekunder) og muligheten for registrering hjernen effekten av ulike fortellinger og kutt i filmer synkronisert med de eyeblinks – noen åpen for videre studien. Opptak deltakernes ansikter med et HD-kamera kan også være nyttig for matchende/kontrast formål9.
Fordelene over alternativ metoder med henvisninger til relevante studier
Det finnes flere metoder for å telle øyet blinker. Noen dedikert instrumenter for å oppdage blinker er magnetiske spoler, infrarød (IR) lys bjelker, Optoelektronisk bevegelsesdetektorer øye bevegelse analyse som øye-sporing teknikker og flere teknikker basert på bioelektrisk signaler, f.eks electrooculography (EOG), Elektromyografi (EMG) og EEG. En annen mer nøyaktig, men tidkrevende alternativ teller manuelt blinker fra en ramme-for-bilde videoopptak11. Teknologiene i dag kan klassifiseres bredt i to grupper: a) kontakt uten registrering som inkluderer to modaliteter, direkte glimtet oppdagelsen bruke datamaskinen visjon og frakoblet blink detection bruke øye-sporing og b) kontakt-baserte opptak med biologiske signalene via EOG og EEG enheter12,13.
Øye-sporing systemet er en utbredt teknologi, alt fra tradisjonell bildebasert passiv design til de aktive nær-infrarød-baserte tilnærmingene hovedsakelig brukes i dag med en høy oppløsning kameraet. Sistnevnte utnytter reflekterende egenskapene til eleven under IR belysning14. Konseptet underliggende moderne øye-sporing metoder er elev Center hornhinnen refleksjon (PCCR), som innebærer et kamera sporing midten av elevene, der lyset reflekterer fra hornhinnen. Men er det en mangel på blink detection algoritmer publisert for øye-sporing protokoller. Videre, selv om ulike modeller for øye-sporing på markedet gir integrert programvare med glimtet oppdagelsen, kildekoden ikke alltid leveres av produsenter, gjør det vanskelig å endre eller vet hvordan algoritmer fungerer12. Også under eksperimenter med øye-sporing er det hendelser som forårsaker tap av data, for eksempel forsinkelser og betydelig hodet eller nyt bevegelser. Øyet området er svært liten i video fanger, som er et problem for å beregne varigheten for et øyeblikk, og som noen ganger introduserer ulike gjenstander15.
I dette eksperimentet brukes EEG og EOG metodene. EEG brukes vanligvis ikke alene for å oppdage eyeblinks. Analysere eyeblinks med EEG elektrodene er imidlertid en standard prosedyre for studiet av øyelokket forskyvninger. Denne fremgangsmåten gjør at forskerne å få informasjon om nøyaktig når eyeblinks finne sted. De vanligste signal mønster for å oppdage blinker er topp poeng, representing vertikal bevegelse svar. Det er flere topp oppdagelsen algoritmer gjelder rå EEG, gang-domene, eller frekvens-domene signaler. Prosesser i topp identifikasjon er topp gjenkjenning, egenskapsuttrekking og klassifisering. Eyeblinks har en betydelig effekt på frontal kanaler på EEG signalet. Vanligvis er eyeblinks oppdaget i EEG ved hjelp av en forhåndsbestemt amplituden terskelen16. Algoritmene analyseprogramvare brukes i dette eksperimentet er basert på de signalene standardavvik og root-betyr-torget (RMS) av pre filtrerte EEG signalet; de er åpen kildekode og er tilgjengelig for de vitenskapelige samfunn17. Men kan noen øyebevegelser ikke involverer eyeblinks provosere elektrisk aktivitet som kan være forvirrende. Derfor kan en annen metode – opptak seernes ansikter med et HD-videokamera – forskere å matche eyeblinks av manuelt opptelling. Med slik dobbel metode oppnår investigator en matrise av eyeblinks som lett kan analyseres med statistiske verktøy.
Derfor utfører den foreslåtte metoden en data triangulering med to ulike kilder til å validere den oppdaget eyeblinks. Denne metoden er basert på Nakano et al. indikasjoner9 for bekreftelse. Samtidig gjør det også forskere samle hjerneaktiviteten og frekvensbånd informasjon for videre analyse. Eksperimentet beskrevet her er del av en bredere fremtidige undersøkelse virkningene av redigering-stil kutt på occipital og prefrontal hjernen områder.
Fastslå om den metode er passer for etterforskning
Denne eksperimentelle protokollen lar seere eyeblinks mens å se videoinnhold skal studerte under tre eksperimentelle forhold. Først eyeblink rate oppdages ved hjelp av to utfyllende teknikker: EEG og registrert HD-videoer. Her, bruker vi en trådløs EEG med 20 kanaler. Andre, spesifikke stimuli tilpasset eksperimentet opprettes, slik at hun kan administrere alle variablene av det visuelle innholdet. Her ble tre videoer med samme fortellende men forskjellige videoredigering stil opprettet. Fortellingen besto av en mann som angitt et rom, satt på en pult, juggled med tre baller, åpnet en laptop, så informasjon i noen bøker, skrevet noe på laptop, lukket den, spiste et eple, så direkte inn i kameraet, og forlot rommet. Tre video stimuli siste 198 s hver. Først var en shot film; andre ble endret i henhold til klassisk Hollywood-stil regler med 33 forskjellige bilder; og tredje ble redigert MTV-stil regler med 79 skudd. En fjerde stimulans ble også presentert som fortellingen var identisk, men formatet ble en ekte representasjon med en skuespiller i stedet for en video. Denne fjerde enn videoinnstillinger stimulans ble ikke brukt i en innledende studie av redigering-stil forskjeller, men ble brukt i en annen undersøkelse sammenligne eyeblink-rate forskjellen mellom ekte representasjon og vist media8. Tredje, ulike grupper av deltakere er valgt avhengig av deres tidligere ekspertise innen visuell analyse av videoer. Formålet er å finne forskjeller i eyeblink priser av faget ser samme visuelle stimuli. I dette tilfellet deltok 40 fag i undersøkelsen. Halvparten av dem var media fagfolk (16 mannlige og 4 kvinnelige; alder 30-56 år, med en gjennomsnittsalder på 44.15 ±7.15 år) og resten var ikke-media fagfolk (15 menn, og 5 kvinner; alder 28-56 år, med en gjennomsnittsalder på 43.25 ± 8.59 år). Mediebransjen ble valgt med kriteriet for mer enn 6 år erfaring i beslutninger knyttet til medieredigering i deres daglige arbeid.
Protocol
Representative Results
Discussion
En metode for å analysere visuelle oppfatningen av medieinnhold med hensikt-laget video kreasjon er beskrevet her. Mange andre studier forsøke å analysere oppfatningen av medieinnhold i fortellende sammenhenger med eksisterende filmer. Metoden finnes foreslår å opprette visuelt innhold med en narrative konstruksjon etter kriteriene for interesse, og er basert på antydningen at eyeblink hastigheten er koblet til betrakterens oppmerksomhet9. Derfor studien oppdager deltakernes eyeblinks mens d…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Studien har blitt støttet av en spansk departementet for økonomi og konkurranseevne (BFU2014-56692-R og BFU2017-82375-R) tilskudd.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
