Protokoll für die Datenerhebung und Analyse Applied zu Automatische Gesichtsausdruck Analysis Technologie und zeitliche Analyse für die sensorische Prüfung
Summary
Ein Protokoll für die Erfassung und statistischen Analyse emotionale Reaktion der Bevölkerung zu Getränken und verflüssigte Nahrungsmittel in einem sensorischen Laborauswertung mit automatisierten Gesichtsausdruck Analyse-Software beschrieben.
Abstract
We demonstrate a method for capturing emotional response to beverages and liquefied foods in a sensory evaluation laboratory using automated facial expression analysis (AFEA) software. Additionally, we demonstrate a method for extracting relevant emotional data output and plotting the emotional response of a population over a specified time frame. By time pairing each participant’s treatment response to a control stimulus (baseline), the overall emotional response over time and across multiple participants can be quantified. AFEA is a prospective analytical tool for assessing unbiased response to food and beverages. At present, most research has mainly focused on beverages. Methodologies and analyses have not yet been standardized for the application of AFEA to beverages and foods; however, a consistent standard methodology is needed. Optimizing video capture procedures and resulting video quality aids in a successful collection of emotional response to foods. Furthermore, the methodology of data analysis is novel for extracting the pertinent data relevant to the emotional response. The combinations of video capture optimization and data analysis will aid in standardizing the protocol for automated facial expression analysis and interpretation of emotional response data.
Introduction
Automatische Gesichtsausdruck Analyse (AFEA) ist eine prospektive analytisches Werkzeug zur Charakterisierung von emotionalen Reaktionen auf Getränke und Nahrungsmittel. Emotional-Analyse kann eine zusätzliche Dimension zu den bestehenden sensorischen Wissenschaft Methoden, Lebensmittel Bewertungspraktiken und hedonischen Skala Bewertungen hinzufügen typischerweise sowohl in der Forschung und der Industrie-Einstellungen verwendet. Emotional Analyse könnte eine zusätzliche Metrik zur Verfügung stellen, die eine genauere Reaktion auf Nahrungsmittel und Getränke zeigt. Hedonic Scoring können Teilnehmer Bias umfassen im Falle eines Defekts Reaktionen 1 aufzuzeichnen.
AFEA Forschung hat sich in vielen Forschungsanwendungen einschließlich Computerspiele, Benutzerverhalten, Erziehung / Pädagogik und Psychologie Studien über Empathie und Betrug verwendet. Die meisten Lebensmittel-assoziierte Forschung hat sich auf die Charakterisierung emotionale Reaktion auf die Lebensmittelqualität und das menschliche Verhalten mit Lebensmitteln konzentriert. Mit der jüngsten Entwicklung in Einblicke in Essen Verhalten gewinnen, eine wachsende Zahl von Literaturberichten Verwendung von AFEAfür die menschliche emotionale Reaktion mit Lebensmitteln assoziiert zu charakterisieren, Getränken und Riechstoffe 1-12.
AFEA wird aus dem Facial Action Coding System (FACS) abgeleitet. Die Facial Action Coding System (FACS) unterscheidet Gesichtsbewegungen gekennzeichnet durch Betätigungseinheiten (AUs) auf einer 5-Punkte – Intensitätsskala 13. Die FACS-Ansatz erfordert trainierte Überprüfung Experten, manuelle Codierung, die wesentlichen Bewertungszeit und liefert begrenzten Datenanalysemöglichkeiten. AFEA wurde als schnelle Auswertungsverfahren entwickelt Emotionen zu bestimmen. AFEA Software stützt sich auf Gesichtsmuskelbewegungen, Gesichts Datenbanken und Algorithmen , um die emotionale Reaktion 14-18 zu charakterisieren. Die AFEA Software in dieser Studie verwendeten erreichte einen "FACS Index der Vereinbarung von 0,67 im Durchschnitt sowohl an der Warschauer Set Emotionale Gesichtsausdruck Bilder (WSEFEP) und Amsterdam Dynamische Gesichtsausdruck Set (ADFES), die auf eine Standardvereinbarung von 0,70 nahe für manuelle Codierung "19 </sup>. Universal-Emotionen in die Analyse einbezogen sind glücklich (positiv), traurig (negativ), angewidert (negativ), überrascht (positiv oder negativ), wütend (negativ), Angst (negativ) und neutral jeweils auf einer separaten Skala von 0 bis 1 ( 0 = nicht ausgedrückt; 1 = vollständig ausgedrückt) 20. Darüber hinaus enthält der Psychologie Literatur glücklich, überrascht und wütend als "Ansatz" Emotionen ( in Richtung Reize) und traurig, ängstlich, und angewidert als "Rückzug" Emotionen (weg von aversiven Stimuli) 21.
Eine Einschränkung der aktuellen AFEA Software für Emotionen, die mit Lebensmitteln assoziiert zu charakterisieren ist Interferenz von Gesichtsbewegungen im Zusammenhang mit Kauen und sowie andere grobmotorischen Bewegungen, wie extreme Kopfbewegungen zu schlucken. Die Software richtet sich kleinere Gesichtsmuskelbewegungen, bezüglich Position und Bewegungsgrad, basierend auf über 500 Muskel Punkte auf dem Gesicht 16,17. Kaubewegungen stören Klassifizierung von Ausdrücken. Diese Grenzeation kann unter Verwendung von verflüssigtem Lebensmittel behandelt werden. Jedoch können auch andere Methodik Herausforderungen auch Video-Empfindlichkeit und AFEA Analyse einschließlich der Datenerfassung Umwelt, Technologie, Forscher Anweisungen, Teilnehmerverhalten und Teilnehmer Attribute verringern.
Eine Standardmethode ist für eine optimale Videoerfassung und Datenanalyse entwickelt und verifiziert mit AFEA für emotionale Reaktion auf Nahrungsmittel und Getränke in einer sensorischen Beurteilung Laborbedingungen nicht. Viele Aspekte können das Video-Capture-Umgebung einschließlich Beleuchtung beeinflussen, durch Abschattung zu Beleuchtung, Teilnehmer Richtungen, Teilnehmerverhalten, Teilnehmerhöhe, sowie die Kamerahöhe, Kamera Angeln und Geräteeinstellungen. Darüber hinaus sind die Datenanalyse-Methoden inkonsistent und fehlt nach einer Standardmethode für emotionale Reaktion zu beurteilen. Hier werden wir unser Standardverfahren für die Erfassung emotionaler Daten und Verarbeitung von Daten in aussagekräftige Ergebnisse zeigen, mit Getränken (aromatisierter Milch, unflavored Milch und geschmacksneutralen Wasser) für die Bewertung. Unseres Wissens nur ein Peer – Review – Publikation aus unserem Labor – Gruppe, hat für Emotionen Analyse 8 Zeitreihen für die Interpretation der Daten verwendet wird ; jedoch hat das Verfahren für unsere stellten Verfahrens aktualisiert. Unser Ziel ist es, eine verbesserte und einheitliche Methodik zu helfen, mit der Reproduzierbarkeit in einer sensorischen Beurteilung Laborumgebung zu entwickeln. Zur Demonstration ist es das Ziel der Studie Modell zu bewerten, wenn AFEA traditionelle hedonischen Verträglichkeitsprüfung von aromatisierter Milch, unflavored Milch und geschmacksneutralen Wasser ergänzen könnte. Die Absicht dieses Video-Protokoll ist zu helfen AFEA Methodik etablieren, Video-Capture-Kriterien in einer sensorischen Beurteilung Labor (sensorische Stand-Einstellung), und zeigen ein Verfahren zur zeitlichen emotionale Datenanalyse einer Population zu standardisieren.
Protocol
Representative Results
Discussion
AFEA Anwendung in der Literatur zu Lebensmitteln und Getränken im Zusammenhang sehr begrenzt 11.01. Die Anwendung auf Lebensmittel ist neu, eine Chance für die Festlegung Methodik und Interpretation der Daten zu schaffen. Arnade (2013) 7 gefunden hohe individuelle Variabilität zwischen den einzelnen emotionale Reaktion auf Schokolade Milch und weiße Milch unter der Kurvenanalyse und Varianzanalyse unter Verwendung von Bereich. Doch selbst mit Variabilität Teilnehmer erzielte Teilnehmer eine gl…
Disclosures
The authors have nothing to disclose.
Acknowledgements
This project was funded, in part, by ConAgra Foods (Omaha, NE, USA), the Virginia Agricultural Experiment Station, the Hatch Program of the National Institute of Food and Agriculture, U.S. Department of Agriculture, and the Virginia Tech Water INTERface Interdisciplinary Graduate Education Program.
Materials
| 2% Reduced Fat Milk | Kroger Brand, Cincinnati, OH or DZA Brands, LLC, Salisbury, NC | na | for solutions |
| Drinking Water | Kroger Brand, Cincinnati, OH | na | for solutions |
| Imitation Clear Vanilla Flavor | Kroger Brand, Cincinnati, OH | na | for solutions |
| Iodized Salt | Kroger Brand, Cincinnati, OH | na | for solutions |
| FaceReader 6 | Noldus Information Technology, Wageningen, The Netherlands | na | For Facial Analysis |
| Sensory Information Management System (SIMS) 2000 | Sensory Computer Systems, Berkeley Heights, NJ | Version 6 | For Sensory Data Capture |
| Rhapsody | Acuity Brands Lighting, Inc., Conyers, GA | For Environment Illumination | |
| R Version | R Core Team 2015 | 3.1.1 | For Statistical Analysis |
| Microsoft Office | Microsoft | na | For Statistical Analysis |
| JMP | Statistical Analysis Software (SAS) Version 9.2, SAS Institute, Cary, NC | na | For Statistical Analysis |
| Media Recorder 2.5 | Noldus Information Technology, Wageningen, The Netherlands | na | For capturing participants sensory evaluation |
| Axis M1054 Camera | Axis Communications, Lund, Sweden | na | |
| Beverage | na | Beverage or soft food for evaluation |
References
- De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods. Food Qual Prefer. 26 (2), 196-203 (2012).
- De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. ANS responses and facial expression differentiate between the taste of commercial breakfast drinks. PLoS ONE. 9 (4), 1-9 (2014).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Behavioural and physiological responses to two food odours. Appetite. 59 (2), 628 (2012).
- He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. Dynamics of autonomic nervous system responses and facial expressions to odors. Front Psychol. 5 (110), 1-8 (2014).
- Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology. Food Qual Prefer. 32 (2014), 167-172 (2013).
- Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. Facial expression and autonomous nervous system responses elicited by tasting different juices. Food Res Int. 64 (2014), 81-90 (2014).
- Arnade, E. A. . Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]. , 1-187 (2013).
- Leitch, K. A., Duncan, S. E., O’Keefe, S., Rudd, R., Gallagher, D. L. Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis. Food Res Int. 76, 283-292 (2015).
- Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. , (2014).
- Garcia-Burgos, D., Zamora, M. C. Facial affective reactions to bitter-tasting foods and body mass index in adults. Appetite. 71 (2013), 178-186 (2013).
- Garcia-Burgos, D., Zamora, M. C. Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours. Food Qual Prefer. 39 (2015), 73-81 (2015).
- Lewinski, P., Fransen, M. L., Tan, E. S. H. Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli. J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).
- Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , (1978).
- Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).
- Sung, K. K., Poggio, T. Example-based learning for view-based human face detection. IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).
- . . FaceReader 5™ Technical Specifications. , (2014).
- Cootes, T., Taylor, C. . Statistical models of appearance for computer vision: Technical report. , (2000).
- Bishop, C. M. . Neural networks for pattern recognition. , (1995).
- Lewinski, P., den Uyl, T. M., Butler, C. Automated facial coding: validation of basic emotions and FACS AUs in FaceReader. J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).
- Noldus Information Technology. . FaceReader Reference Manual Version 6. , (2014).
- Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. Models of brain asymmetry in emotional processing. Psychol Neurosci. 1 (1), 63-66 (2008).
- Costello, M., Clark, S., Clark, S., Costello, M., Drake, M., Bodyfelt, F. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). The sensory evaluation of dairy foods. , 551-560 (2009).
- Porcherot, C., et al. How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions. Food Qual Prefer. 21, 938-947 (2010).
- Warrenburg, S. Effects of fragrance on emotions: Moods and physiology. Chem. Senses. 30, i248-i249 (2005).
- Bredie, W. L. P., Tan, H. S. G., Wendin, K. A comparative study on facially expressed emotions in response to basic tastes. Chem. Percept. 7 (1), 1-9 (2014).
- Wendin, K., Allesen-Holm, B. H., Bredie, L. P. Do facial reactions add new dimensions to measuring sensory responses to basic tastes?. Food Qual Prefer. 22, 346-354 (2011).
- Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. Child Dev. 59 (6), 1555-1568 (1988).
- Rosenstein, D., Oster, H., P, E. k. m. a. n., E, R. o. s. e. n. b. e. r. g. Differential facial responses to four basic tastes in newborns. What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS). , 302-327 (1997).
- Rozin, P., Fallon, A. E. A perspective on disgust. Psychol. Rev. 94 (1), 23-41 (1987).
- Delarue, J., Blumenthal, D. Temporal aspects of consumer preferences. Curr. Opin. Food Sci. 3, 41-46 (2015).
- Sudre, J., Pineau, N., Loret, C., Marin, N. Comparison of methods to monitor liking of food during consumption. Food Qual Prefer. 24 (1), 179-189 (2012).
- Weiland, R., Ellgring, H., Macht, M. Gustofacial and olfactofacial responses in human adults. Chem. Senses. 35 (9), 841-853 (2010).
- Ekman, P., Cole, J. Universal and cultural differences in facial expressions of emotion. Nebraska symposium on motivation. , 207-283 (1971).
- Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. Facial and affective reactions to tastes and their modulation by sadness and joy. Physiol Behav. 89 (2), 261-269 (2006).
