פרוטוקול איסוף נתונים וניתוח יישומים לטכנולוגית ניתוח הבעות פנים אוטומטי ובזמן ניתוח להערכה חושית
Summary
פרוטוקול עבור לכידה סטטיסטית בניתוח תגובה רגשית של אוכלוסיית משקאות ומזונות מעובים במעבדת הערכה חושית באמצעות תוכנת ניתוח הבעת פנים אוטומטית מתואר.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
ניתוח הבעת פן אוטומטי (AFEA) הוא כלי אנליטי פוטנציאלי לאפיון מתגובות רגשיות משקאות ומזונות. ניתוח רגשי יכול להוסיף ממד נוסף מתודולוגיות מדע חושיות קיימות, שיטות הערכת מזון, ודירוגי מידה נהנתנית משמש בדרך כלל הוא במסגרות מחקר ותעשייה. ניתוח רגשי יכול לספק סטנדרטי כמדד נוסף חושף תגובה מדויקת יותר למזונות ומשקאות. ניקוד נהנתן עשוי לכלול הטיות משתתפים עקב אי להקליט תגובות 1.
מחקר AFEA כבר בשימוש ביישומים מחקר רבים, כולל משחקי מחשב, התנהגות המשתמש, חינוך / הוראה, ולימודי פסיכולוגיה על אמפתיה ומרמה. רוב מחקרי מזון קשור התמקד באפיון תגובה רגשית לאיכות מזון והתנהגות אנושית עם מזון. עם המגמה האחרונה צובר תובנה התנהגויות מזון, גוף הולך וגדל של דיווחים בספרות להשתמש של AFEAלאפיון התגובה הרגשית האנושית הקשורים מזונות, משקאות, ניחוחי 1-12.
AFEA נגזר מערכת Coding פעולה פנים (FACS). מערכת קידוד פעולת פנים (FACS) מפלה תנועות פנים מאופיינות יחידות פעולה (AUS) בסולם האינטנסיביות של 5 נקודות 13. גישת FACS דורשת מומחי סקירה מאומנים, קידוד ידני, זמן הערכה משמעותי, ומספקת אפשרויות ניתוח נתונים מוגבלות. AFEA פותח שיטת הערכה מהירה כדי לקבוע רגשות. AFEA תוכנה מסתמכת על תנועת שרירים בפנים, מסדי נתונים פנים, ואלגוריתמים לאפיין את התגובה הרגשית 14-18. התוכנה AFEA השתמשו במחקר זה הגיע "מדד FACS של הסכם של 0.67 בממוצע הן על ורשה סט של תמונות הבעות פנים רגשיות (WSEFEP) ואמסטרדם דינמי הבעת פנים הגדר (ADFES), המקורב הסכם רמת 0.70 עבור קידוד ידני "19 </sup>. רגשות אוניברסליים נכללו באנליזה שמחים (חיוביים), עצובים (שלילי), נגעל (שלילי), הפתיע (חיוביים או שליליים), כועס (שלילי), הפחיד (שליליים) וניטראליים כל בסולם נפרד של 0 עד 1 ( 0 = לא הביע; 1 = ביטוי מלא) 20. בנוסף, בספרות פסיכולוגיה כוללת שמחה, מופתע, וגם כעסו רגשות "גישה" (כלפי גירויים) ועצובה, מפוחד, נגעל כרגשות "נסיגה" (הרחק גירויים מרתיעים) 21.
מגבלה אחת של תוכנת AFEA הנוכחית לאפיון רגשות הקשורים מזון היא הפרעה מצד תנועות פנים הקשורים לעיסה ובליעה וכן, קיימים בקשות מוטוריקה גסות אחרות, כגון תנועות ראש קיצוניות. תוכנת מטרות תנועות שרירי פנים קטנות, עמדה המתייחס ומידת התנועה, המבוססות על למעלה מ 500 נקודות שרירים על פני 16,17. תנועות לעיסה להפריע סיווג ביטויים. מגבלה זוation ניתן לפנות באמצעות מזון נוזלי. עם זאת, אתגרים מתודולוגיה אחרים יכולים גם להפחית רגישות וידאו וניתוח AFEA כולל סביבת איסוף נתונים, טכנולוגיה, הוראות חוקרות, התנהגות משתתף משתתף תכונות.
מתודולוגיה סטנדרטית לא פותחה ומאומתת על לכידת וידאו אופטימלית וניתוח נתונים באמצעות AFEA לתגובה רגשית למזונות ומשקאות במעבדת הגדרת הערכה חושית. היבטים רבים יכולים להשפיע על הסביבה הלכידה וידאו כולל תאורה, הצללה עקב פגיעה ברק, כיוונים משתתפים, התנהגות משתתף, גובה משתתף, כמו גם, גובה מצלמה, לדוג מצלמה והגדרות ציוד. יתר על כן, מתודולוגיות ניתוח נתונים אינן עולות בקנה אחד וחוסר מתודולוגיה סטנדרטית להערכת תגובה רגשית. הנה, נדגים נוהל העבודה הרגיל שלנו עבור לכידת נתונים ועיבוד רגשי לתוך תוצאות משמעותיות באמצעות משקאות (חלב בטעמים, חלב unflavored ומי unflavored) להערכה. למיטב ידיעתנו רק פרסום ביקורת עמיתים אחד, מהקבוצה במעבדה שלנו, ניצל סדרת זמן נתונים לפרשנות לרגשות ניתוח 8; עם זאת, השיטה עודכנה עבור השיטה המוצגת שלנו. המטרה שלנו היא לפתח מתודולוגיה משופרת ועקבית כדי לעזור עם שחזור במעבדת הגדרת הערכה חושית. להדגמה, המטרה של מודל המחקר היא להעריך אם AFEA יכול להשלים הערכת קבילות נהנתנית מסורתית של חלב בטעמים, חלב unflavored ומי unflavored. הכוונה של הפרוטוקול בסרטון הזה היא לעזור להקים המתודולוגיה AFEA, לתקנן קריטריונים לכידים וידאו במעבדת הערכה חושית (הגדרה לתא חושית), וכן להדגים שיטה לניתוח נתונים זמני רגשי של אוכלוסייה.
Protocol
Representative Results
Discussion
AFEA יישום בספרות הקשורים מזון ומשקאות הוא מאוד מוגבל 1-11. היישום למזון חדש, יצירת הזדמנות להקמת פרשנות מתודולוגיה ונתונים. Arnade (2013) 7 מצאו השתנות פרט גבוהות בקרב תגובה רגשית פרט שוקו וחלב לבן באמצעות שטח מתחת הניתוח העקום והניתוח שונה. עם זאת, אפילו עם השתנות …
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
