Protocolo para Recolha de Dados e Análise Aplicada à Tecnologia Análise Expressão Facial automatizada e Análise Temporal de Avaliação Sensorial
Summary
Um protocolo para capturar e analisar estatisticamente resposta emocional de uma população de bebidas e alimentos liquefeitos em um laboratório de análise sensorial usando software de análise de expressão facial automatizado é descrito.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Automatizado análise da expressão facial (AFEA) é uma ferramenta analítica prospectivo para a caracterização de respostas emocionais à bebidas e alimentos. análise emocional pode adicionar uma dimensão extra para as metodologias existentes sensoriais ciência, práticas de avaliação de alimentos e ratings na escala hedônica normalmente usado tanto em ambientes de pesquisa e da indústria. análise emocional pode fornecer uma métrica adicional que revela uma resposta mais preciso para alimentos e bebidas. Pontuação hedônica podem incluir viés participante devido à falta de registo reações 1.
pesquisa AFEA tem sido utilizado em muitas aplicações de investigação, incluindo jogos de computador, o comportamento do usuário, Educação / pedagogia, e estudos de psicologia na empatia e engano. A maioria das pesquisas associadas a comida tem-se centrado na caracterização resposta emocional a qualidade dos alimentos e do comportamento humano com alimentos. Com a recente tendência na obtenção de insights sobre comportamentos alimentares, um corpo crescente de relatos na literatura usar de AFEApara caracterizar a resposta emocional humana associados com os alimentos, bebidas e Fragrância 1-12.
AFEA é derivado da Acção Sistema de Codificação Facial (FACS). O sistema de codificação ação facial (FACS) discrimina movimentos faciais caracterizadas por unidades de ação (AUS) em 5 pontos escala de intensidade 13. A abordagem FACS requer especialistas revisão treinados, codificação manual, tempo de avaliação significativo e fornece opções de análise de dados limitados. AFEA foi desenvolvido como um método de avaliação rápida para determinar emoções. AFEA software confia no movimento facial muscular, bancos de dados faciais e algoritmos para caracterizar a resposta emocional 14-18. O software AFEA utilizado neste estudo chegou a um "índice de FACS de concordância de 0,67, em média, tanto no conjunto de Varsóvia de Pictures expressão facial emocional (WSEFEP) e Amsterdão Expressão Facial dinâmico Set (ADFES), que está perto de um acordo padrão de 0,70 para codificação manual "19 </sup>. emoções universais incluídos na análise são felizes (positivo), triste (negativo), desgostoso (negativo), surpreendido (positiva ou negativa), raiva (negativo), medo (negativo) e neutra cada um em uma escala separada de 0-1 ( 0 = não expressa; 1 = totalmente expressa) 20. Além disso, a literatura de psicologia inclui feliz, surpreso e irritado como emoções "approach" (em direção a estímulos) e triste, assustado e revoltado como as emoções "retirada" (longe do estímulos aversivos) 21.
Uma limitação do software AFEA atual para a caracterização de emoções associadas com os alimentos é a interferência de movimentos faciais associadas a mastigação e deglutição, bem como outros movimentos de motor brutas, tais como os movimentos da cabeça extremas. O software tem como alvo pequenos movimentos faciais musculares, posição relativa e grau de movimento, com base em mais de 500 pontos musculares na face 16,17. movimentos de mastigação interferir com a classificação de expressões. este limiteção podem ser endereçados usando alimentos liquefeitos. No entanto, outros desafios metodologia também pode diminuir a sensibilidade de vídeo e análise AFEA incluindo o ambiente recolha de dados, tecnologia, instruções pesquisador, o comportamento participante e participante atributos.
A metodologia padrão não foi desenvolvido e verificado para captura de vídeo óptima e análise de dados usando AFEA de resposta emocional aos alimentos e bebidas em um ambiente de laboratório de avaliação sensorial. Muitos aspectos podem afetar o ambiente de captura de vídeo, incluindo iluminação, sombreamento, devido à iluminação, direções participantes, o comportamento dos participantes, altura participante, bem como, a altura da câmera, angulação da câmera e configurações de equipamentos. Além disso, as metodologias de análise de dados são inconsistentes e carecem de uma metodologia padrão para avaliar a resposta emocional. Aqui, vamos demonstrar o nosso procedimento operacional padrão para a captura de dados e processamento de dados emocionais em resultados significativos usando bebidas (leite aromatizado, leite sem sabor e água sem sabor) para avaliação. Para o nosso conhecimento apenas uma publicação revisada por pares, do nosso grupo de laboratório, utilizou séries temporais para a interpretação de dados para análise emoções 8; No entanto, o método tem sido actualizado para o nosso método apresentado. O nosso objectivo é desenvolver uma metodologia melhorada e consistente para ajudar com reprodutibilidade em um ambiente de laboratório de avaliação sensorial. Para demonstração, o objetivo do modelo de estudo é avaliar se AFEA poderia complementar a avaliação tradicional aceitabilidade hedônica de leite aromatizado, leite sem sabor e água sem sabor. A intenção deste protocolo de vídeo é ajudar a estabelecer metodologia AFEA, padronizar critérios de captura de vídeo em um laboratório de análise sensorial (configuração cabine sensorial), e ilustram um método para análise de dados emocional temporal de uma população.
Protocol
Representative Results
Discussion
AFEA aplicação na literatura relacionada com alimentos e bebidas é muito limitado 1-11. O pedido de alimentos é novo, criando uma oportunidade para o estabelecimento de metodologia e dados de interpretação. Arnade (2013) 7 encontrada grande variabilidade individual entre a resposta emocional individual ao leite com chocolate e leite branco com área sob a curva de análise e análise de variância. No entanto, mesmo com a variabilidade participante, os participantes gerou uma resposta feliz m…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
