Protokoll for datainnsamling og analyse for automatiserte Facial Expression Analysis Teknologi og Temporal analyse for sensorisk evaluering
Summary
En protokoll for å fange og statistisk analyse av følelsesmessig reaksjon av en befolkning til å drikke og flytende matvarer i en sensorisk evaluering laboratorium ved hjelp av automatisert ansiktsuttrykk analyseprogramvare er beskrevet.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Automatisert ansiktsuttrykk analyse (Afea) er en potensiell analytisk verktøy for å karakterisere emosjonelle reaksjoner på drikkevarer og mat. Emosjonell analyse kan legge en ekstra dimensjon til eksisterende sensoriske vitenskap metoder, mat evalueringspraksis og hedonisk skala karakterer vanligvis brukes både i forskning og industri innstillinger. Emosjonell analyse kan gi en ekstra beregning som viser et mer nøyaktig svar på mat og drikke. Hedonic scoring kan omfatte deltaker skjevhet på grunn av manglende opptak reaksjoner 1.
Afea forskning har blitt brukt i mange forskningssøknader, inkludert dataspill, brukeratferd, utdanning / pedagogikk, og psykologistudier på empati og bedrag. De fleste mat-forbundet forskning har fokusert på å karakterisere følelsesmessig reaksjon på mat kvalitet og menneskelig atferd med mat. Med den siste trenden i å få innsikt i nærings atferd, en økende mengde litteratur rapporter bruker av Afeafor å karakterisere det menneskelige følelsesmessig reaksjon i forbindelse med matvarer, drikkevarer og luktstoffer 1-12.
Afea er avledet fra det Facial Handling Coding System (FACS). Ansikts handling kodesystem (FACS) diskriminerer ansikts bevegelser preget av handlingsenheter (AUS) på en 5-punkts intensitetsskalaen 13. Den FACS tilnærmingen krever trente gjennomgang eksperter, manuell koding, betydelig evaluering tid, og gir begrensede dataanalyse alternativer. Afea ble utviklet som en rask evaluering metode for å bestemme følelser. Afea programvare er avhengig av ansikts muskel bevegelse, ansikts databaser, og algoritmer for å karakterisere den følelsesmessige responsen 14-18. Den Afea programvaren som brukes i denne studien nådde en "FACS indeks over enighet på 0,67 i gjennomsnitt på både Warszawa Sett av emosjonelle ansiktsuttrykk Bilder (WSEFEP) og Amsterdam Dynamic Facial Expression Set (ADFES), som er nær en standardavtale på 0,70 for manuell koding "19 </sup>. Universal følelser inngår i analysen er glade (positiv), trist (negativ), kvalm (negativ), overrasket (positivt eller negativt), sint (negativ), redd (negativ) og nøytral hver på en egen skala fra 0-1 ( 0 = ikke uttrykt; 1 = fullt uttrykt) 20. I tillegg inneholder psykologi litteratur glad, overrasket og sint som "tilnærming" følelser (mot stimuli) og trist, redd, og kvalm som "abstinens" følelser (bort fra aversive stimuli) 21.
En begrensning av den nåværende afea programvare for å karakterisere følelser assosiert med matvarer er forstyrrelser fra ansiktsbevegelser i forbindelse med å tygge og svelge så vel som andre grovmotoriske bevegelser, som ekstrem hodebevegelser. Programvaren er rettet mot mindre ansikts muskel bevegelser, om posisjon og grad av bevegelse, basert på over 500 muskel punkter i ansiktet 16,17. Tygge bevegelser forstyrre klassifisering av uttrykk. denne grensenasjon kan rettes ved hjelp av flytende matvarer. Imidlertid kan andre metodeutfordringene også redusere video følsomhet og Afea analyse med datainnsamling miljø, teknologi, forsker instruksjoner, deltaker atferd, og deltaker attributter.
En standard metodikk har ikke blitt utviklet og verifisert for optimal videoopptak og dataanalyse ved hjelp Afea for emosjonell respons på mat og drikke i en sensorisk evaluering laboratorium setting. Mange aspekter kan påvirke videoopptak miljø blant annet belysning, skygge på grunn av belysning, deltaker retninger, deltaker atferd, deltaker høyde, samt, kamera høyde, kamera sportsfiske, og utstyrs innstillinger. Videre dataanalyse metoder er inkonsekvent og mangler en standard metodikk for vurdering av emosjonell respons. Her vil vi vise vår standard prosedyre for å fange emosjonelle data og bearbeiding av data inn i meningsfulle resultater ved hjelp av drikkevarer (smaksatt melk, unflavored melk og unflavored vann) for evaluering. Så vidt vi vet bare en fagfellevurdert publikasjon, fra vår lab gruppe, har benyttet tidsserier for tolking for følelser analyse 8; Imidlertid har metoden blitt oppdatert for vår presentert metode. Vårt mål er å utvikle en bedre og konsistent metodikk for å hjelpe med reproduserbarhet i en sensorisk evaluering laboratorium setting. For demonstrasjon, formålet med studien modellen er å vurdere om Afea kunne supplere tradisjonell hedonic aksept vurdering av smakstilsatt melk, unflavored melk og unflavored vann. Hensikten med denne videoen protokollen er å bidra til å etablere Afea metodikk, standard videoopptak kriteriene i en sensorisk evaluering laboratorium (sensorisk messe innstilling), og illustrerer en metode for tidsmessig emosjonelle data analyse av en befolkning.
Protocol
Representative Results
Discussion
Afea program i litteratur knyttet til mat og drikke er svært begrenset 1-11. Søknaden til mat er ny, og skaper en mulighet for å etablere metodikk og data tolkning. Arnade (2013) 7 funnet høy individuell variasjon blant enkelte følelsesmessig reaksjon på sjokolademelk og hvit melk kan bruke under kurven analyse og analyse av varians. Men selv med deltaker variabilitet, deltakere generert en lykkelig svar lengre mens trist og kvalm hadde kortere tid respons 7. I en separat studie me…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
