관능 평가를위한 데이터 수집 및 자동화 표정 분석 기술에 대한 분석 응용 및 시간적 분석을위한 프로토콜
Summary
자동화 표정 분석 소프트웨어를 사용하여 관능 평가 실험실에서 음료 및 액상 식품에 인구의 감정적 반응을 캡처 및 통계적 분석을위한 프로토콜을 설명한다.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
자동 얼굴 표정 분석 (AFEA)는 음료 및 음식에 대한 감정적 인 반응을 특성화하기위한 전향 적 분석 도구입니다. 기존의 감각 과학 방법론, 식품 평가 사례 및 쾌락 규모의 평가에 여분의 차원을 추가 할 수 있습니다 감정적 인 분석은 일반적으로 연구 및 산업 설정에서 모두 사용했다. 감정 분석은 식품 및 음료에 대한 더 정확한 응답을 알 추가적인 측정을 제공 할 수있다. 반응 1을 기록 오류로 인해 쾌락 점수는 참가자 바이어스를 포함 할 수있다.
AFEA 연구는 컴퓨터 게임, 사용자 행동, 교육 / 교육학과 공감과기만에 심리학 연구 등 많은 연구 응용 프로그램에서 사용되어왔다. 대부분의 식품 관련 연구는 식품의 품질과 음식 인간 행동에 대한 감정적 반응의 특성에 초점을 맞추고있다. 음식의 행동에 대한 통찰력을 얻고있는 최근의 추세, 문학 보고서의 성장 몸은 AFEA의 사용식품, 음료 및 냄새 물질 1-12과 관련된 인간의 감정적 반응의 특성을합니다.
AFEA는 얼굴 액션 코딩 시스템 (FACS)에서 파생됩니다. 얼굴 동작 코딩 시스템 (FACS)를 5 점 강도 스케일 (13) 상에 작용 유닛 (AUS)을 특징으로 얼굴의 움직임을 구별한다. FACS 접근 방식은 훈련 된 리뷰 전문가, 수동 코딩, 중요한 평가 시간을 필요로하며, 제한된 데이터 분석 옵션을 제공합니다. AFEA 감정을 결정하기 위해 빠른 평가 방법으로 개발되었다. AFEA 소프트웨어는 감정적 반응 14-18의 특성을 얼굴 근육의 움직임, 얼굴 데이터베이스, 알고리즘에 의존합니다. 본 연구에 사용 된 AFEA 소프트웨어는 감정적 인 표정 사진의 바르샤바 세트 (WSEFEP)과 0.70의 표준 계약에 가까운 (ADFES) 설정 암스테르담 동적 얼굴 표정, 모두에서 평균 0.67 합의의 "FACS 지수에 도달 수동 코딩 "19 </sup>. 분석에 포함 보편적 인 감정은 1-0의 별도의 규모 (각 행복 (긍정적), (음) 슬픔, 혐오 (음), 놀란 (양 또는 음), 화가 (음), 무서워 (음) 및 중립 0 발현되지 = 1 = 완전) 20 표명했다. 또한, 심리학 문헌은 무서워하고, (멀리 혐오 자극에서) 21 "철수"감정으로 혐오, 행복 놀라게하고 화가 "접근"감정 등 (자극 방향)과 슬픈이 포함되어 있습니다.
식품과 관련된 감정을 특성화에 대한 현재 AFEA 소프트웨어 중 하나 제한은 씹는과 삼키는뿐만 아니라 극단적 인 머리의 움직임과 같은 다른 총 모터 동작과 관련된 안면 운동의 간섭이다. 이 소프트웨어는 얼굴 16, 17에 500 개 이상의 근육 포인트를 기준으로 작은 얼굴 근육의 움직임, 관련 위치 및 운동의 정도를 목표로하고있다. 씹는 운동 식의 분류를 방해합니다. 이 제한ATION은 액상 식품을 사용하여 해결 될 수있다. 그러나, 다른 방법의 어려움은 또한 데이터 수집 환경 기술 연구원 설명서, 참가자 행동 및 참가자 속성을 포함한 비디오 감도 AFEA 분석을 감소시킬 수있다.
표준 방법론을 개발하고 최적의 비디오 캡처 및 관능 평가 실험실 환경에서 음식과 음료에 대한 감정적 반응에 대한 AFEA를 사용하여 데이터 분석을 위해 확인되지 않았습니다. 여러 측면 조명 참가자 방향 참가자 동작 참가자 높이이며, 또한, 카메라 높이 카메라, 낚시 및 장치 설정으로 인한 그림자 조명을 포함하는 비디오 캡쳐 환경에 영향을 미칠 수있다. 또한, 데이터 분석 방법론은 상충하는 감정적 반응을 평가하는 표준 방법이 부족하다. 여기, 우리는 (음료를 사용하여 의미있는 결과로 감정적 인 데이터 처리 데이터를 캡처에 대한 우리의 표준 운영 절차를 시연 할 예정이다맛 우유, 평가 향이 우유와 향이 물). 우리의 지식 하나의 피어 검토 출판에, 우리의 실험실 그룹에서, 감정 분석 8 데이터 해석에 대한 시계열을 이용하고있다; 그러나,이 방법은 우리의 표시 방법에 대해 업데이트되었습니다. 우리의 목표는 관능 평가 실험실 설정에서 재현성을 돕는 개선 된 일관된 방법을 개발하는 것이다. 데모를 들어, 연구 모델의 목적은 AFEA는 맛 우유, 향이 우유와 향이 물 기존의 쾌락 수용 평가를 보완 할 수 있는지 평가하는 것입니다. 동영상 프로토콜의 목적은, AFEA 방법론을 확립 도와 관능 평가 실험실에서 비디오 캡쳐 조건 (감각 부스 설정) 표준화, 및 모집단의 시간적 감정 데이터 분석을위한 방법을 도시한다.
Protocol
Representative Results
Discussion
음식 및 음료에 관한 문헌에서 AFEA 응용 프로그램은 1-11 매우 제한되어있다. 음식이 응용 프로그램은 방법론과 데이터 해석을 설정하기위한 기회를 만드는 새로운 기능입니다. Arnade는 (2013) 7 초콜릿 우유와 곡선 분석 및 분산 분석에 따라 영역을 사용하여 흰 우유에 개인의 감정적 반응 중 높은 개인의 다양성을 발견했다. 슬프고 화나게 짧은 시간 응답 7 있었을 때 그러나…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
