Protokoll för datainsamling och analys Applied till Automated Ansiktsuttryck analysteknik och Temporal Analys för sensorisk utvärdering
Summary
Ett protokoll för att fånga och statistiskt analysera känslomässig reaktion av en befolkning på drycker och flytande livsmedel i en sensorisk bedömning laboratorium som använder automatiserad ansiktsuttryck analysprogram beskrivs.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Automatiserad ansiktsuttryck analys (Afea) är en prospektiv analysverktyg för att karakterisera känslomässiga reaktioner på drycker och livsmedel. Emotionell analys kan lägga till en extra dimension till befintliga sensorik metoder, utvärderingsmetoder mat och hedonisk skala betyg typiskt användas både i forskning och industri inställningar. Emotionell analys skulle kunna ge ytterligare mått som visar en mer exakt svar på livsmedel och drycker. Hedonic scoring kan inkludera deltagare fördomar på grund av underlåtenhet att spela reaktioner 1.
Afea forskning har använts i många forskningsansökningar, inklusive dataspel, användarnas beteende, utbildning / pedagogik och psykologi studier på empati och bedrägeri. De flesta livsmedels tillhörande forskning har fokuserat på att karakterisera känslomässig reaktion på livsmedelskvalitet och mänskligt beteende med mat. Med den senaste trenden i att få insikter mat beteenden, en växande mängd litteraturrapporter användning av Afeaför att karakterisera den mänskliga känslomässig reaktion i samband med livsmedel, drycker och luktämnen 1-12.
Afea härleds från Facial Action kodifiering (FACS). Ansikts åtgärder kodsystem (FACS) diskriminerar ansiktsrörelser som kännetecknas av handlingsenheter (AUS) på en 5-gradig intensitetsskalan 13. FACS tillvägagångssätt kräver utbildade omdöme experter, manuell kodning, mycket tid utvärdering, och ger begränsade möjligheter dataanalys. Afea utvecklades som en snabb utvärdering metod för att bestämma känslor. Afea programvara bygger på ansiktsmuskelrörelser, ansikts databaser, och algoritmer för att karakterisera känslomässig reaktion 14-18. Den Afea programvara som används i denna studie nådde en "FACS index för överenskommelse av 0,67 i genomsnitt både Warszawa Set Of emotionella ansiktsuttryck Bilder (WSEFEP) och Amsterdam Dynamic Ansiktsuttryck Set (ADFES), som ligger nära ett standardavtal av 0,70 för manuell kodning "19 </sup>. Universella känslor som ingår i analysen är glad (positiv), ledsen (negativ), upprörda (negativ), överraskade (positiv eller negativ), arg (negativ), rädd (negativ) och neutral vardera på en separat skala från 0 till 1 ( 0 = inte uttryckt, en = fullt uttryck) 20. Dessutom innehåller psykologi litteratur glad, överraskad och arg som "metoden" känslor (mot stimuli) och ledsen, rädd, och upprörda som "tillbakadragande" känslor (bort från obehaglig stimuli) 21.
En begränsning av den nuvarande Afea programvara för att karakterisera känslor förknippade med livsmedel är störningar från ansiktsrörelser i samband med att tugga och svälja samt andra grovmotoriska rörelser, såsom extrema huvudrörelser. Programvaran riktar mindre ansiktsmuskelrörelser, som avser ställning och graden av rörelse, baserad på över 500 muskelpunkter i ansiktet 16,17. Tuggrörelser stör klassificering av uttryck. denna gränsation kan adresseras med flytande livsmedel. Emellertid kan andra metod utmaningar också minska video känslighet och Afea analys inklusive datainsamling miljö, teknik, forskare instruktioner, deltagare beteende och deltagare attribut.
En standardmetod har inte utvecklats och verifierats för optimal videoinspelning och dataanalys med hjälp av Afea för känslomässig reaktion på livsmedel och drycker i en sensorisk bedömning laboratoriemiljö. Många aspekter kan påverka videoinspelning miljö, inklusive belysning, skuggning på grund av belysning, deltagare riktningar, deltagare beteende, deltagare höjd, liksom, kamera höjd, kamera mete och inställningar utrustning. Dessutom dataanalys metoder är inkonsekvent och saknar en standardmetod för bedömning av känslomässig respons. Här kommer vi att visa vårt standardförfarande för att fånga emotionella uppgifter och bearbeta data till meningsfulla resultat med drycker (smaksatt mjölk, unflavored mjölk och unflavored vatten) för utvärdering. Såvitt vi vet bara en vetenskapligt granskad publikation från vårt labb grupp har utnyttjat tidsserier för tolkning av data för känslor analys 8; dock har metoden uppdaterats för vår presenterade metoden. Vårt mål är att utveckla en förbättrad och konsekvent metod för att hjälpa till med reproducerbarhet i en sensorisk bedömning laboratoriemiljö. För demonstration, är syftet med studien modell för att utvärdera om Afea skulle kunna komplettera traditionell hedonic acceptans bedömning av smaksatt mjölk, unflavored mjölk och unflavored vatten. Avsikten med den här videon protokoll är att bidra till att skapa Afea metodik, standardisera videoinspelnings kriterier i en sensorisk bedömning laboratorium (sensorisk monter inställning), och illustrerar en metod för tids emotionella dataanalys av en population.
Protocol
Representative Results
Discussion
Afea ansökan litteratur med anknytning till mat och dryck är mycket begränsad 1-11. Ansökan till mat är nytt, att skapa en möjlighet för att fastställa metod och tolkning av data. Arnade (2013) 7 hittade hög individuell variation bland individuella känslomässig reaktion på chokladmjölk och vit mjölk med hjälp område under kurvan analys och variansanalys. Men även med deltagare variabilitet deltagare genererade en lycklig svar längre medan ledsen och upprörda hade kortare svarstid…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
