Met behulp van elektro-encefalografie metingen en hoge kwaliteit Video-opname voor het analyseren van visuele perceptie van Media-inhoud
Summary
Tijdens het kijken van de media-inhoud presenteren we detectie, acquisitie en analyse van eyeblink tarieven.
Abstract
Dit artikel bevat informatie over een methode voor het detecteren van de verschillen in visuele perceptie bij de mens. De gebruikte methode is gebaseerd op de psychologische (of “cognitieve”) functie van eyeblinks. Deelnemers eyeblinks ontdekt en verworven tijdens het kijken naar video’s speciaal gemaakt voor het onderzoek. De detectie en de verwerving van eyeblinks worden uitgevoerd met de hulp van een 20-kanaals electroencephalographic (EEG) draadloos apparaat. De internationale die 10-20 systeem voor de plaatsing van de elektrode wordt gevolgd. Een high-definition (HD)-videocamera wordt gebruikt voor het opnemen van deelnemers gezichtsuitdrukkingen, voor doeleinden van het contrast. In plaats van reeds bestaande media-inhoud, is doel-en-klare video-inhoud gemaakt van de volgende specifieke criteria van belang zijn voor dit onderzoek, prikkels waardoor onderzoekers voor het beheren van de precieze parameters van belang. Anders, resultaten met verontreinigd kunnen zijn ongecontroleerde variabelen. De synchronisatie van de presentatie van video stimuli met EEG opnames moet gedaan worden in milliseconden. Analyse van verzamelde gegevens wordt uitgevoerd met robuuste software voor het werken met grote matrices. Statistisch significante verschillen in eyeblink tarief met betrekking tot media professionalisering en bewerken stijl zijn gevonden met de gerapporteerde experimentele procedures.
Introduction
Het doel van deze methode
Deze methode stelt een dubbele protocol voor het opsporen van eyeblinks. Het doel is voor het analyseren van visuele perceptie van de kijkers van media-inhoud, speciaal gemaakt voor dit onderzoek, met behulp van EEG opnamen en HD video-opnamesystemen.
De grondgedachte achter de ontwikkeling en/of gebruik van deze methode
Elke eyeblink wordt verborgen visuele stroom voor 150-400 ms1,2. Knipperen heeft fysiologische3,4,5 en psychologische6,7 functies. Het verband tussen aandacht en eyeblink tarief is bestudeerd en bewezen in verschillende studies8. Een hoger niveau van aandacht vermindert eyeblink tarief en volgens eerdere studies, mensen delen een mechanisme voor de controle van de timing van knippert die zoekt naar het beste moment om te voorkomen dat het verlies van belangrijke visuele informatie9. Dus, het analyseren van eyeblink gedrag van kijkers wanneer schermen kijken zij informatie over het niveau van aandacht voor media-inhoud verstrekken kan.
Een methode voor het opsporen van spontane eyeblink tarief is met behulp van EEG elektroden om te registreren de elektrische activiteit. Eyeblinks kan gemakkelijk worden gedetecteerd door prefrontale en electrooculogram elektroden aangesloten op een EEG opname-systeem. In de meeste EEG analyses, eyeblinks worden beschouwd als artefacten. Om deze reden hebben vele softwarepakketten ontworpen voor het analyseren van de gegevens van de EEG eyeblink detectoren10. Het voordeel van het gebruik van EEG voor het opsporen van eyeblinks is de hoge temporele resolutie (in milliseconden) de volgorde en de mogelijkheid van het registreren van de effecten van de hersenen van verschillende verhalen en snijdt in films die zijn gesynchroniseerd met die eyeblinks – een kwestie openen om verdere studie. Opname van de gezichten van de deelnemers met een HD-camera kan ook nuttig zijn voor matching/contrast doeleinden9.
De voordelen ten opzichte van alternatieve methoden met verwijzingen naar relevante Studies
Er zijn meerdere methoden voor het tellen van oog knippert. Sommige speciale instrumenten voor het opsporen van knippert zijn magnetische spoelen, infrarood (IR) lichtstralen, opto-elektronische bewegingsmelders met oog bewegingsanalyse zoals eye-tracking-technieken en meerdere technieken op basis van bioelectrische signalen, bijvoorbeeld electrooculography (EOG), elektromyografie (EMG) en EEG. Een andere meer nauwkeurige, maar tijdrovende optie is handmatig tellen knippert van een frame-voor-frame videoopname11. De technologieën vandaag kunnen worden ingedeeld in grote lijnen in twee groepen: a) contactloos opnemen waarin twee modaliteiten, de directe knipperen opsporing met behulp van computervisie en off line knipperen opsporing met behulp van eye-tracking, en b) contact gebaseerde opname via biologische signalen via EOG en EEG apparaten12,13.
De eye-tracking systeem is een veel gebruikte technologie, variërend van traditionele beeld-gebaseerde passieve ontwerpen tot de actieve nabij-infrarood-gebaseerde benaderingen voornamelijk gebruikt vandaag met een hoge resolutie camera. De laatste maakt gebruik van de reflectie-eigenschappen van de leerling onder IR verlichting14. Het concept ten grondslag liggen aan de moderne methoden van eye-tracking is leerling Center hoornvlies reflectie (PCCR), waarbij een camera voor het bijhouden van het centrum van de pupil, waar licht van het hoornvlies weerspiegelt. Er is echter een gebrek aan blink detection algoritmen gepubliceerd voor eye-tracking protocollen. Bovendien, hoewel de verschillende modellen van eye-tracking op de markt geïntegreerde software met blink detection bieden, de broncode is niet altijd aangeboden door fabrikanten, waardoor het moeilijk te wijzigen of te weten hoe de algoritmen werken12. Ook tijdens experimenten met eye-tracking zijn er gebeurtenissen die leiden tot verlies van gegevens, zoals het bijhouden van vertragingen en belangrijke hoofd of blik bewegingen. De oogcontour is zeer klein in video opnamen, dat is een probleem voor de berekening van de duur van het knipperen, en die soms verschillende soorten artefacten15introduceert.
In dit experiment, worden EEG en EOG methoden gebruikt. EEG wordt meestal niet gebruikt om alleen op te sporen van eyeblinks. Echter, het analyseren van eyeblinks opgenomen met EEG elektroden is een standaardprocedure voor de studie van ooglid verplaatsingen. Deze procedure kan onderzoekers beschikken over informatie van precies wanneer eyeblinks plaatsvinden. Het meest voorkomende signaal patroon voor het opsporen van knippert is dat van piek punten, verticale beweging Reacties vertegenwoordigen. Er zijn verschillende peak detectie algoritmen toepassing op ruwe EEG, tijd-domein, of frequentiedomein signalen. Processen die betrokken zijn bij de identificatie van de piek zijn piek detectie, winning van functie en indeling. Eyeblinks hebben een aanzienlijke invloed op de frontale kanalen van het EEG signaal. Meestal worden eyeblinks gedetecteerd in EEG met behulp van een vooraf bepaalde amplitude drempel16. De algoritmen in de analysesoftware gebruikt in dit experiment zijn gebaseerd op de signalen standaarddeviatie en de root mean square (RMS) van het vooraf gefilterde EEG signaal; ze zijn open source en beschikbaar zijn voor de wetenschappelijke gemeenschap17. Echter, sommige oogbewegingen, waarbij er geen eyeblinks kunnen veroorzaken elektrische activiteit die verwarrend kan zijn. Om die reden kan een tweede methode – opname kijkers gezichten met een HD-videocamera – onderzoekers aan eyeblinks door ze handmatig te tellen. Met dergelijke dubbele methode behaalt de onderzoeker een matrix van eyeblinks die gemakkelijk kunnen worden geanalyseerd met statistische hulpmiddelen.
Dus de voorgestelde methode uitgevoerd een triangulatie gegevens met twee verschillende bronnen voor het valideren van de gedetecteerde eyeblinks. Deze methode is gebaseerd op Nakano et al. aanduidingen9 voor bevestiging. Op hetzelfde moment kan het ook onderzoekers-hersenactiviteit en frequentie-band verzamelen voor verdere analyse. Het experiment beschreven hier is onderdeel van een bredere toekomstige onderzoek naar de effecten van bewerken-stijl bezuinigingen op occipital en prefrontale hersengebieden.
Bepalen dat of de methode is passend voor een onderzoek
Terwijl kijken naar video-inhoud worden bestudeerd onder drie proefomstandigheden, kunnen deze experimentele protocol kijkers eyeblinks. Eerst, eyeblink tarief is opgespoord door middel van twee complementaire technieken: EEG en opgenomen HD-video’s. Hier, gebruiken wij een draadloze EEG met 20 kanalen. Tweede, specifieke prikkels aangepast aan het experiment worden gemaakt, zodat de onderzoeker alle variabelen van de visuele inhoud kunt beheren. Hier zijn drie video’s met dezelfde narratieve maar verschillende videobewerking stijl gemaakt. Het verhaal bestond uit een man die kwam in een kamer, zat aan een bureau, juggled met drie ballen, opende een laptop, informatie in sommige boeken opgezocht, iets getypt op de laptop, gesloten, at een appel, keek rechtstreeks in de camera, en verliet de kamer. De drie video stimuli laatste 198 s elke. De eerste was een one-shot film; de tweede was bewerkt volgens klassieke Hollywood-stijl regels met 33 verschillende opnamen; en de derde werd uitgegeven na MTV-stijlregels met 79 shots. Een vierde stimulans was ook gepresenteerd waarin het verhaal identiek was, maar het formaat was een echte vertegenwoordiging met een acteur in plaats van een video. Deze vierde stimulans van de niet-video werd niet gebruikt in een eerste studie van bewerken-stijl verschillen maar werd gebruikt in een ander onderzoek eyeblink-tarief verschillen tussen echte vertegenwoordiging en gescreend media8moeten worden vergeleken. Ten derde: verschillende groepen van deelnemers worden geselecteerd afhankelijk van hun vorige expertise in de visuele analyse van video’s. Het doel is om te bepalen van verschillen in eyeblink onderwerp groepen kijken naar de dezelfde visuele stimuli. In dit geval nam 40 proefpersonen deel aan het onderzoek. De helft van hen waren mediaprofessionals (16 reutjes en 4 teefjes; leeftijd 30-56 jaar, met een gemiddelde leeftijd van 44,15 ±7.15 jaar) en de rest waren niet-media professionals (15 mannetjes en 5 wijfjes; leeftijd 28-56 jaar, met een gemiddelde leeftijd van 43.25 ± 8.59 jaar). Mediaprofessionals werden gekozen met het criterium van meer dan 6 jaar ervaring in het maken van besluiten met betrekking tot het bewerken van de media in hun dagelijkse werk.
Protocol
Representative Results
Discussion
Een methode voor het analyseren van visuele perceptie van media-inhoud met de creatie van doel-en-klare video is hier beschreven. Veel andere studies proberen te analyseren van de perceptie van de media-inhoud in een narratieve context met reeds bestaande films. De huidige methode stelt voor maken van visuele inhoud met een narratieve constructie volgens de criteria van belang, en is gebaseerd op de suggestie dat eyeblink tarief is verbonden met9aandacht van de kijker. Om die reden de studie deeln…
Divulgations
The authors have nothing to disclose.
Acknowledgements
De huidige studie werd ondersteund door een Spaanse ministerie van economie en concurrentievermogen (BFU2014-56692-R en BFU2017-82375-R) subsidies.
Materials
| EEG Device | Neurolectrics | Enobio 20 EEG/EMG system | |
| Ag/AgCl Electrodes | Neuroelectrics | [NE022b] GelTrode | |
| Recording EEG software | Neuroelectrics | NicOffline software | |
| HD-video camera | Sony Corporation | Sony HDR-GW55VE | |
| Syringe | Monoject | Monoject 412, curved tip syringe, 50/box | |
| Saline electrode EMG gel | Signa-Gel | X32-204: Signa Gel | |
| Visual Stimuli Presentation Software | Paradigm Stimulus Presentation | Perception Research System Incorporated | |
| EEG software analysis | Centre National de la Recherche Scientifique and Montreal Neurological Institute | Brainstorm3 | |
| EEG software analysis | The MathWorks Inc. | MATLAB 2013b | |
| TV for video presentation | Panasonic Corporation | PanasonicTH- 42PZ70EA – 50" | |
| PC for presenting stimuli | MacBook Air | Year 2013, running Mac OSX Mountain Lion | |
| PC for recording stimuli | MacBook | Year 2009 running Windows 7 | With a bootcamp partition of the disk for providing Windows OS |
| Statistical Analysis | Systat Software Inc. | Sigmaplot 11.0 |
References
- Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
- VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267 (2017).
- Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
- Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
- Wiseman, R., Nakano, T. Blink and you’ll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873 (2016).
- Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
- Andreu-Sánchez, C., Martín-Pascual, M. &. #. 1. 9. 3. ;., Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
- Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Detect and remove artifacts. , (2015).
- Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
- Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
- Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
- Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
- Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings – Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
- Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
- Tadel, F., Bock, E., Mosher, J. C., Baillet, S. . Brainstorm3: Function process_evt_detect.m. , (2018).
- Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
- Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
- Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
- Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
- Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479 (2002).
- Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
- Murch, W. . In the blink of an eye: A perspective on film editing. , (1995).
- Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
- Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
- Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
- Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
- Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician’s brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
- Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).
