Die vorliegende Arbeit stellt ein experimentelles Paradigma für einen Usability-Test vor, der subjektive und objektive Bewertungen kombiniert. Für die objektive Evaluation wurden Methoden der Neuro-Information-Systems (NeuroIS) verwendet, für die subjektive Evaluation ein Usability-Fragebogen und eine NASA-Task Load Index (NASA-TLX)-Skala.
In dieser Studie wird ein experimentelles Paradigma für einen Usability-Test neuer Technologien in einem Management-Informationssystem (MIS) vorgestellt. Der Usability-Test umfasste sowohl subjektive als auch objektive Bewertungen. Für die subjektive Bewertung wurden ein Usability-Fragebogen und eine NASA-TLX-Skala verwendet. Für die objektive Bewertung wurden Methoden der Neuro-Informations-Systeme (NeuroIS) eingesetzt. Aus der Perspektive von NeuroIS wurden in dieser Studie mobile fNIRS und Eye-Tracking-Brillen für multimodale Messungen verwendet, was das Problem der ökologischen Validität von kognitiven neurowissenschaftlichen Werkzeugen, die in realen Verhaltensexperimenten verwendet werden, löste. In dieser Studie wurde Augmented Reality (AR), die in das Internet der Dinge (IoT) integriert ist, als Versuchsobjekt verwendet. Vergleicht man die Unterschiede in den Neuroimaging-Daten, den physiologischen Daten, dem Usability-Fragebogen und den NASA-TLX-Skalendaten zwischen den beiden Informationssuchmodi (AR versus eine Website), so zeigte die Informationssuche mit AR eine höhere Effizienz und eine geringere kognitive Belastung im Vergleich zur Informationssuche mit einer Website während des Prozesses der Konsumentscheidung. Die Ergebnisse des Usability-Experiments zeigen, dass AR als aufstrebende Technologie im Einzelhandel das Kundenerlebnis effektiv verbessern und ihre Kaufabsicht steigern kann. Das experimentelle Paradigma, das in dieser Studie sowohl subjektive als auch objektive Bewertungen kombiniert, könnte auf einen Usability-Test für neue Technologien wie Augmented Reality, Virtual Reality, künstliche Intelligenz, tragbare Technologie, Robotik und Big Data angewendet werden. Es bietet eine praktische experimentelle Lösung für die Benutzererfahrung in Mensch-Computer-Interaktionen unter Einbeziehung neuer Technologien.
Sechs bahnbrechende Technologien, die mit Verbrauchern interagieren und in der Regel durch Augmented Reality, Virtual Reality, künstliche Intelligenz, tragbare Technologie, Robotik und Big Data repräsentiert werden, verändern viele theoretische Modelle des Verbraucherverhaltens1. Augmented Reality (AR) ist eine neue Technologie, die das Kundenerlebnis verbessern und die Kundenzufriedenheit verbessern könnte. Es überlagert Textinformationen, Bilder, Videos und andere virtuelle Gegenstände mit realen Szenarien, um Virtualität und Realität zu verschmelzen und so Informationen in der realen Welt durch Erklärung, Anleitung, Bewertung und Vorhersage zu verbessern2. AR bietet eine neue Art der Mensch-Computer-Interaktion, schafft ein immersives Einkaufserlebnis für Verbraucher und hat zur Entwicklung vieler Anwendungen geführt 3,4. Die Akzeptanz von AR-Diensten bei den Verbrauchern ist jedoch noch minimal, und viele Unternehmen sind daher vorsichtig, wenn es um die Einführung der AR-Technologiegeht 5,6. Das Technologieakzeptanzmodell (TAM) wird häufig verwendet, um das Akzeptanzverhalten neuer Informationstechnologien zu erklären und vorherzusagen 7,8. Laut TAM hängt die Einführungsabsicht einer neuen Technologie weitgehend von ihrer Benutzerfreundlichkeitab 9. Eine mögliche Erklärung für die langsame Verbraucherakzeptanz von AR-Diensten aus Sicht des TAM könnte sich daher auf die Benutzerfreundlichkeit der neuen Techniken beziehen, was die Notwendigkeit unterstreicht, die Benutzerfreundlichkeit von AR beim Einkaufen zu bewerten10,11.
Benutzerfreundlichkeit ist definiert als die Effektivität, Effizienz und Zufriedenheit beim Erreichen bestimmter Ziele in einem bestimmten Kontext durch bestimmte Benutzer12. Derzeit gibt es zwei Hauptmethoden zur Bewertung der Benutzerfreundlichkeit: subjektive und objektive Bewertungen13. Subjektive Einschätzungen beruhen hauptsächlich auf Selbstberichtsmethoden mit Hilfe von Fragebögen und Skalen. In Anlehnung an diese Forschungslinie enthielt der in dieser Studie verwendete Fragebogen fünf Merkmale, die mit dem Informationssuchmodus verbunden sind, um ein Ziel zu erreichen: (1) Effizienz, (2) Benutzerfreundlichkeit, (3) Einprägsamkeit (leicht zu merken), (4) Zufriedenheit (der Informationssuchmodus ist komfortabel und angenehm) und (5) Generalisierbarkeit auf andere Objekte14,15,16. Darüber hinaus ist die kognitive Belastung, die die Belastung beim Ausführen einer bestimmten Aufgabe für das kognitive System eines Lernendendarstellt 17, ein weiterer zentraler Indikator für die Benutzerfreundlichkeit18,19. Daher wurde in dieser Studie zusätzlich der NASA Task Load Index (NASA-TLX)13,20 als subjektive Metrik verwendet, um die kognitive Belastung beim Einkaufen mit AR im Vergleich zum Einkaufen mit Website-Diensten zu messen. Es ist bemerkenswert, dass Selbstberichtsmethoden auf der Fähigkeit und Bereitschaft von Individuen beruhen, ihre Einstellungen und/oder früheren Verhaltensweisen genau zu berichten21, was die Möglichkeit einer falschen Berichterstattung, Untererfassung oder Voreingenommenheit offen lässt. Somit könnten objektive Messungen eine wertvolle Ergänzung zu traditionellen subjektiven Methoden darstellen22.
Methoden der Neuro-Information-Systeme (NeuroIS) werden zur objektiven Bewertung der AR-Usability eingesetzt. NeuroIS, das von Dimoka et al. auf der ICIS-Konferenz 2007 geprägt wurde, findet im Bereich der Informationssysteme (IS) zunehmend Beachtung23. NeuroIS nutzt Theorien und Werkzeuge der kognitiven Neurowissenschaften, um die Entwicklung, Akzeptanz und Auswirkungen von IS-Technologien besser zu verstehen24,25. Bis heute werden kognitive neurowissenschaftliche Instrumente wie die funktionelle Magnetresonanztomographie (fMRT), das Elektroenzephalogramm (EEG), die Positronenemissions-Computertomographie, die Magnetenzephalographie (MEG) und die funktionelle Nahinfrarotspektroskopie (fNIRS) häufig in NeuroIS-Studien eingesetzt26,27. Dimoka und Davis verwendeten beispielsweise fMRT, um die Aktivierungen der Probanden zu messen, wenn sie mit der Website interagierten, und zeigten, dass die wahrgenommene Benutzerfreundlichkeit die Aktivierung im präfrontalen Kortex (PFC) beeinflusste28. In ähnlicher Weise fanden Moridis et al. mit Hilfe des EEG heraus, dass frontale Asymmetrie eng mit der Nützlichkeit zusammenhängt29. Diese Ergebnisse deuten darauf hin, dass der PFC eine Schlüsselrolle bei der Benutzerfreundlichkeit spielen kann.
Obwohl in früheren NeuroIS-Studien Erfolge erzielt wurden, hatten die in diesen Studien verwendeten Paradigmen die Körperbewegungen von Probanden mit geringer ökologischer Validität eingeschränkt, was ihre theoretischen und praktischen Beiträge einschränkte. Die Interaktion mit Technologien wie AR beim Einkaufen erfordert freie Körperbewegungen, und Subjektbeschränkungen beeinträchtigen das Verbrauchererlebnis erheblich, wie in He et al.22 erörtert. Daher werden bildgebende Verfahren des Gehirns mit hoher ökologischer Validität für einen Usability-Test von Informationssystemen benötigt. In dieser Hinsicht hat fNIRS einzigartige technische Vorteile: Bei fNIRS-Experimenten können sich die Probanden bis zu einem gewissen Grad frei bewegen30 . In früheren Studien wurde beispielsweise die Gehirnaktivierung von Probanden bei verschiedenen Outdoor-Aktivitäten wie Radfahren mit tragbarem fNIRS31 gemessen. Darüber hinaus ist fNIRS kostengünstig und ermöglicht die Messung von Hirnaktivierungen über lange Zeiträume32. In dieser Studie wurde fNIRS verwendet, um den Grad der kognitiven Belastung der Probanden bei der Nutzung der Einkaufsdienste von AR im Vergleich zu einer Website objektiv zu messen.
Eye-Tracking war in den letzten Jahren eine wertvolle psychophysiologische Technik zur Erfassung der visuellen Aufmerksamkeit der Nutzer während eines Usability-Tests33 und wurde auch in NeuroIS-Studienhäufig eingesetzt 34. Die Technik stützt sich auf die Auge-Geist-Hypothese, die davon ausgeht, dass der Fokus des Beobachters dorthin geht, wohin die Aufmerksamkeit gerichtet ist, dass die visuelle Aufmerksamkeit den mentalen Prozess darstellt und dass Muster der visuellen Aufmerksamkeit menschliche kognitive Strategien widerspiegeln35,36,37. Im Bereich der AR-Forschung stellten Yang et al. mithilfe von Eye-Tracking fest, dass AR-Werbung die Einstellung der Verbraucher gegenüber der Werbung verbessert, indem sie ihre Neugier und Aufmerksamkeit steigert38. In der aktuellen Studie wurde Eye-Tracking verwendet, um die Aufmerksamkeit der Probanden zu messen, einschließlich Parametern wie der Gesamtfixationsdauer, der durchschnittlichen Fixationsdauer, der Fixationshäufigkeit, der Sakkadenfrequenz, der durchschnittlichen Sakkadendauer und der durchschnittlichen Scanpfadlänge.
Zusammenfassend schlägt diese Studie eine Usability-Testmethode vor, die subjektive und objektive Bewertungen am Beispiel von AR-Anwendungen kombiniert. Zur subjektiven Bewertung wurden ein Usability-Fragebogen und eine NASA-TLX-Skala verwendet, für die objektive Bewertung multimodale Messungen, die fNIRS und Eye-Tracking kombinierten39,40.
Versuchsplanung
Experimentalmaterialien: Um einen realen Einkaufskontext zu simulieren, wurde in einem Labor ein Produktregal gebaut und zwei verschiedene Mineralwassermarken als Versuchsmaterialien in das Regal gestellt. Als lebensnotwendiges Gut wurde Mineralwasser ausgewählt, da die Teilnehmer bei subjektiven Bewertungen aufgrund ihres beruflichen Hintergrunds, ihres Geschlechts und ihrer Kauffähigkeit keine Voreingenommenheit aufweisen würden. Der Preis, die Kapazität und die Bekanntheit der Marken wurden kontrolliert (siehe Materialtabelle), um die Interferenz irrelevanter Variablen zu eliminieren.
Der Usability-Test umfasste zwei Bedingungen: eine Smartphone-basierte AR-Anwendung (ergänzende Abbildung 1) und eine Website (ergänzende Abbildung 2). Die AR-Anwendung wurde auf Basis einer AR-Engine programmiert. Die Website wurde mit Python entwickelt, basierend auf Bootstrap für das Frontend und Flask für das Backend. Die AR-Anwendung und die Website wurden auf einem Smartphone ausgeführt und durchsucht. Unter den beiden verschiedenen Mineralwassermarken wurde eine als experimentelles Material im AR-Zustand und die andere im Website-Zustand verwendet.
Experimentelle Aufgaben: Die Teilnehmer wurden gebeten, vier Informationssuchaufgaben durchzuführen, die sich aus IoT-Anwendungskontexten ableiteten: die Qualität des Wassers, die Lagertemperatur, die passende Ernährung und der Preis pro Liter. Auf diese vier Informationen achten Verbraucher in der Regel beim Kauf von Mineralwasser. Es gab keine zeitliche Beschränkung für die Teilnehmer, um die Aufgaben zu erledigen.
Wasserqualität: Die Qualität von Mineralwasser umfasst in der Regel zwei Indikatoren: den Gesamtgehalt an gelösten Feststoffen (TDS) und den pH-Wert. Der TDS spiegelt den Mineralstoffgehalt wider und der pH-Wert beschreibt den Säure-/Basengehalt des Wassers. Diese beiden Indikatoren hängen mit den im Mineralwasser enthaltenen Spurenelementen zusammen und beeinflussen den Geschmack. So teilten Bruvold und Ongerth die sensorische Qualität des Wassers nach seinem TDS-Gehalt41 in fünf Stufen ein. Marcussen et al. fanden heraus, dass Wasser gute sensorische Eigenschaften im Bereich von 100-400 mg/L TDS42 aufweist. Der TDS- und pH-Wert der beiden in dieser Studie verwendeten Mineralwassermarken wurden mit TDS- bzw. pH-Messgeräten gemessen und dann in der AR-Anwendung und auf der Website markiert. Während der Durchführung der Aufgabe mussten die Teilnehmer die TDS- und pH-Werte des Mineralwassers angeben und bestätigen, ob diese Werte innerhalb des Sollbereichs lagen. In der AR-Bedingung konnten die Teilnehmer diese Informationen durch Scannen der Wasserflasche erfassen. In der Website-Bedingung mussten die Teilnehmer vier Schritte ausführen: (1) Finden eines numerischen Codes auf der Rückseite der Mineralwasserflasche, (2) Eingabe des numerischen Codes in ein Abfragefeld, um die TDS- und pH-Werte für Mineralwasser zu erhalten, (3) Durchsuchen des Nennbereichs für Mineralwasser auf der Website und (4) mündliche Meldung, ob TDS und pH-Wert innerhalb des Nennbereichs für das Produkt liegen.
Lagertemperatur: Die Qualität des Mineralwassers kann sich während des Transports und der Lagerung aufgrund von Temperaturschwankungen verschlechtern. Experimente haben gezeigt, dass die geeignete Temperatur für Mineralwasser während des Transports und der Lagerung zwischen 5 °C und 25 °C liegt. In diesem Temperaturbereich hat Wasser keinen schlechten Geruch43. Im vorliegenden Experiment wurde die Lagertemperatur der beiden Mineralwassersorten an unterschiedlichen Orten in der AR-Anwendung und auf der Website markiert. Während der Durchführung der Aufgabe mussten die Teilnehmer den Lagerort und die entsprechende Temperatur des Wassers angeben. In der AR-Bedingung konnten die Teilnehmer diese Informationen durch Scannen der Wasserflasche erfassen. Im Website-Zustand konnten die Teilnehmer diese Informationen abrufen, indem sie den numerischen Code in ein Abfragefeld eingaben.
Passende Ernährung: Verschiedene Mineralwassermarken eignen sich aufgrund ihrer einzigartigen Mineralstoffzusammensetzung und ihres Blasengehalts für unterschiedliche Menüs44. Im vorliegenden Experiment wurden Ernährungsempfehlungen für die beiden Mineralwässer auf der AR-Anwendung und der Website markiert. Während der Durchführung der Aufgabe mussten die Teilnehmer angeben, wie das Mineralwasser zu den Speisen im Menü passt. In der AR-Bedingung konnten die Teilnehmer diese Informationen durch Scannen der Wasserflasche erfassen. Im Website-Zustand konnten die Teilnehmer auf der Website nach diesen Informationen suchen.
Preis pro Liter: Derzeit zeigen die Etiketten auf den Mineralwasserflaschen in China keine Informationen zum Preis pro Liter an. Dies erschwert es den Verbrauchern, die Unterschiede in den Einheitspreisen verschiedener Mineralwassersorten zu unterscheiden. Daher mussten die Teilnehmer im vorliegenden Experiment den Preis pro Liter angeben. In der AR-Anwendung konnten die Teilnehmer den Preis pro Liter direkt durch Scannen der Wasserflasche ermitteln. Im Zustand der Website könnten die Informationen aus dem Stückpreis und der Menge auf dem Etikett berechnet werden.
In dieser Studie wurde ein In-Participant-Design mit Ein- und Ausschlusskriterien für die Teilnehmer verwendet, wie in Tabelle 1 beschrieben. Insgesamt absolvierten 40 Teilnehmer das Experiment (20 Männer und 20 Frauen, mittleres Alter = 21,31 ± 1,16 Jahre). Alle Teilnehmer waren Studenten der Jiangsu University of Science and Technology und wurden nach dem Zufallsprinzip in zwei Gruppen (A und B) eingeteilt. Um den Ordnungseffekt zu vermeiden, wurde die experimentelle Reihenfolge über die beiden Gruppen (A/B) hinweg ausgeglichen. Konkret führte eine Gruppe zuerst die AR-Bedingung und dann die Website-Bedingung durch, während die andere Gruppe zuerst die Website und dann die AR-Bedingung durchführte. Die Teilnehmer mussten die Vorbereitungen für das Experiment abschließen, die Instrumente tragen und die experimentellen Aufgaben ausführen. Das Intervall zwischen den Experimenten wurde auf 10 s festgelegt, damit die kortikale Aktivierung auf das Ausgangsniveau zurückkehren kann, um eine gegenseitige Beeinflussung in der nachfolgenden Aufgabe zu vermeiden. Am Ende des AR/Website-Experiments mussten die Teilnehmer den Fragebogen zur Benutzerfreundlichkeit und die NASA-TLX-Skala ausfüllen. Das experimentelle Flussdiagramm ist in Abbildung 1 dargestellt. Ein Foto des Versuchsaufbaus ist in Abbildung 2 dargestellt.
Tabelle 1: Ein- und Ausschlusskriterien für die Studie. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Abbildung 1: Experimentelles Flussdiagramm. Jedes Experiment dauerte ~45 Minuten, mit einer Ruhezeit von 10 s zwischen den Aufgaben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.
Abbildung 2: Beispielhafter Aufbau der experimentellen Szene. Gezeigt werden die Experimentiermaterialien, der Teilnehmer und die Ausrüstung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.
Kritische Schritte innerhalb des Protokolls
Während des Experiments wurden mehrere Schritte in Betracht gezogen, um die Zuverlässigkeit der Ergebnisse zu gewährleisten. Zunächst wurden Teilnehmer, die mit den im Experiment verwendeten Mineralwassermarken vertraut sind, ausgeschlossen, da diese Teilnehmer die Aufgabe aufgrund ihres Wissens über die Marke durchgeführt hätten. Zweitens absolvierten die Teilnehmer ein Vorexperiment mit Mineralwasser anderer Marken, um sicherzustellen, dass die Teil…
The authors have nothing to disclose.
Diese Studie wurde unterstützt durch das Philosophy and Social Science Research Project des Bildungsministeriums der Provinz Jiangsu (2018SJA1089), das Stipendium der Regierung von Jiangsu für Auslandsstudien (JS-2018-262), die Natural Science Foundation der Provinz Zhejiang (LY19G020018) und die National Natural Science Foundation of China (NSFC) (72001096).
AR Engine | Unity Technologies | 2020.3.1 | AR development platform |
AR SDK | PTC | Vuforia Engine 9.8.5 | AR development kit |
Eye Tracker (eye tracking glasses) | SMI, Germany | SMI ETG | Head-mounted eye tracking system |
Eye Tracker Recording software | SMI, Germany | iViewETG Software | Eye Tracker Recording software |
fNIRS probes | Artinis Medical Systems BV, Netherlands | Artinis PortaLite | Light source: Light emitting diodes Wavelengths: Standard nominal 760 and 850 nm |
fNIRS software | Artinis Medical Systems BV, Netherlands | OxySoft 3.2.70 | fNIRS data recording and analysis software |
Mineral Water | Groupe Danone | Badoit | Experimental material in the AR condition Capacity: 330ml Price: ![]() |
Mineral Water | Nestlé | Acqua Panna | Experimental material in the website condition Capacity: 250ml Price: ![]() |
Skin Preparation Gel | Weaver and Company | Nuprep | Clean the forehead skin of the participants |
Smartphone | Xiaomi | Redmi K30 Ultra | Smartphone-based AR application and website |