Usability Evaluering af Augmented Reality: En neuro-informationssystemundersøgelse

Summary

Denne undersøgelse præsenterer et eksperimentelt paradigme for en brugervenlighedstest, der kombinerer subjektive og objektive evalueringer. Den objektive evaluering vedtog Neuro-Information-Systems (NeuroIS) metoder, og den subjektive evaluering vedtog et brugervenlighedsspørgeskema og en NASA-Task Load Index (NASA-TLX) skala.

Abstract

Denne undersøgelse introducerer et eksperimentelt paradigme for en brugervenlighedstest af nye teknologier i et ledelsesinformationssystem (MIS). Brugervenlighedstesten omfattede både subjektive og objektive evalueringer. Til den subjektive evaluering blev der vedtaget et brugervenlighedsspørgeskema og en NASA-TLX-skala. Til den objektive evaluering blev metoder til neuroinformationssystemer (NeuroIS) anvendt. Fra et NeuroIS-perspektiv brugte denne undersøgelse mobile fNIRS og øjensporingsbriller til multimodale målinger, hvilket løste problemet med økologisk gyldighed af kognitive neurovidenskabsværktøjer, der blev brugt i virkelige adfærdseksperimenter. Denne undersøgelse brugte Augmented Reality (AR) integreret i tingenes internet (IoT) som et eksperimentelt objekt. Sammenligning af forskellene i neuroimaging data, de fysiologiske data, brugervenlighedsspørgeskemaet og NASA-TLX-skaladataene mellem de to informationssøgningstilstande (AR versus et websted) havde informationssøgning med AR en højere effektivitet og en lavere kognitiv belastning sammenlignet med informationssøgning med et websted under processen med forbrugsbeslutningstagning. Resultaterne af brugervenlighedseksperimentet viser, at AR som en ny teknologi i detailhandlen effektivt kan forbedre forbrugeroplevelser og øge deres købsintention. Det eksperimentelle paradigme, der kombinerer både subjektive og objektive evalueringer i denne undersøgelse, kan anvendes til en brugervenlighedstest for nye teknologier, såsom augmented reality, virtual reality, kunstig intelligens, bærbar teknologi, robotik og big data. Det giver en praktisk eksperimentel løsning til brugeroplevelsen i menneske-computer-interaktioner med vedtagelsen af nye teknologier.

Introduction

Seks frontlinjeteknologier, der interagerer med forbrugerne, typisk repræsenteret af augmented reality, virtual reality, kunstig intelligens, bærbar teknologi, robotik og big data, omformer mange teoretiske modeller for forbrugeradfærd¹. Augmented Reality (AR) er en ny teknologi, der kan forbedre forbrugeroplevelsen og forbedre forbrugertilfredsheden. Det overlejrer tekstinformation, billeder, videoer og andre virtuelle genstande på virkelige scenarier for at smelte virtualitet og virkelighed sammen og dermed forbedre information i den virkelige verden gennem forklaring, vejledning, evaluering og forudsigelse². AR giver en ny form for interaktion mellem mennesker og computere, hvilket skaber en fordybende shoppingoplevelse for forbrugerne og har ført til udviklingen af mange applikationer ^3,4. Forbrugernes accept af AR-tjenester er dog stadig minimal, og mange virksomheder er derfor forsigtige med at vedtage AR-teknologi ^5,6. Teknologiacceptmodellen (TAM) er blevet brugt i vid udstrækning til at forklare og forudsige vedtagelsen af nye informationsteknologier ^7,8. Ifølge TAM afhænger hensigten om vedtagelse af en ny teknologi stort set af dens anvendelighed⁹. Derfor kan en mulig forklaring på den langsomme forbrugeraccept af AR-tjenester fra TAM-perspektivet vedrøre anvendeligheden af de nye teknikker, hvilket fremhæver behovet for at evaluere anvendeligheden af AR, mens du handler^10,11.

Brugervenlighed defineres som effektiviteten, effektiviteten og tilfredsheden ved at nå specificerede mål i en bestemt kontekst af specificerede brugere¹². I øjeblikket er der to hovedmetoder til evaluering af brugervenlighed: subjektive og objektive evalueringer¹³. Subjektive evalueringer er hovedsagelig baseret på selvrapporteringsmetoder ved hjælp af spørgeskemaer og skalaer. Efter denne forskningslinje omfattede spørgeskemaet, der blev brugt i denne undersøgelse, fem funktioner forbundet med informationssøgningstilstanden for at nå et mål: (1) effektivitet, (2) brugervenlighed, (3) mindeværdighed (let at huske), (4) tilfredshed (informationssøgningstilstanden er behagelig og behagelig) og (5) generaliserbarhed til andre objekter^14,15,16. Derudover er kognitiv belastning, der repræsenterer belastningen, mens du udfører en bestemt opgave på en elevs kognitive system¹⁷, en anden kerneindikator for brugervenlighed^18,19. Således brugte denne undersøgelse desuden NASA Task Load Index (NASA-TLX)^13,20 som en subjektiv måling til at måle den kognitive belastning^, mens du handler ved hjælp af AR versus shopping ved hjælp af webstedstjenester. Det er bemærkelsesværdigt, at selvrapporteringsmetoder er afhængige af enkeltpersoners evne og vilje til nøjagtigt at rapportere deres holdninger og / eller tidligere adfærd²¹, hvilket efterlader muligheden for fejlrapportering, underrapportering eller bias. Objektive foranstaltninger kan således være et værdifuldt supplement til traditionelle subjektive metoder²².

Neuro-Information-Systems (NeuroIS) metoder anvendes til objektiv evaluering af AR brugervenlighed. NeuroIS, der blev opfundet af Dimoka et al. på ICIS-konferencen i 2007, tiltrækker sig stigende opmærksomhed inden for informationssystemer (IS)²³. NeuroIS bruger teorier og værktøjer inden for kognitiv neurovidenskab til bedre at forstå udviklingen, vedtagelsen og virkningen af IS-teknologier^24,25. Til dato er kognitive neurovidenskabsværktøjer, såsom funktionel magnetisk resonansbilleddannelse (fMRI), elektroencefalogram (EEG), positronemissionscomputertomografi, magnetoencefalografi (MEG) og funktionel nær-infrarød spektroskopi (fNIRS), almindeligt anvendt i NeuroIS-undersøgelser^26,27. For eksempel brugte Dimoka og Davis fMRI til at måle forsøgspersonernes aktiveringer, når de interagerede med hjemmesiden, og afslørede, at opfattet brugervenlighed påvirkede aktivering i den præfrontale cortex (PFC)²⁸. På samme måde fandt Moridis et al. ved hjælp af EEG, at frontal asymmetri var tæt forbundet med anvendelighed²⁹. Disse resultater indikerer, at PFC kan spille en central rolle i brugervenligheden.

Selvom der er opnået resultater i tidligere NeuroIS-undersøgelser, havde de paradigmer, der blev anvendt i disse undersøgelser, begrænsede kropsbevægelser hos forsøgspersoner med lav økologisk validitet, hvilket begrænsede deres teoretiske og praktiske bidrag. Interaktion med teknologier som AR under shopping kræver frie kropsbevægelser, og emnebegrænsninger forringer i høj grad forbrugeroplevelsen som diskuteret i He et ^al.22. Således er hjernebilleddannelsesværktøjer med høj økologisk validitet nødvendige for en brugervenlighedstest af informationssystemer. I denne henseende har fNIRS unikke tekniske fordele: under fNIRS-eksperimenter kan emner bevæge sig frit³⁰ til en vis grad. For eksempel har tidligere undersøgelser målt forsøgspersoners hjerneaktiveringer under flere udendørs aktiviteter såsom cykling ved hjælp af bærbar fNIRS³¹. Derudover er fNIRS billigt og muliggør måling af hjerneaktiveringer i lange perioder³². I denne undersøgelse blev fNIRS brugt til objektivt at måle forsøgspersonernes niveau af kognitiv belastning, mens de brugte shoppingtjenesterne fra AR versus et websted.

Eye tracking har været en værdifuld psykofysiologisk teknik til at detektere brugernes visuelle opmærksomhed under en usability test i de senere år³³ og har også været meget udbredt i NeuroIS undersøgelser³⁴. Teknikken er afhængig af øje-sind-hypotesen, som antager, at observatørens fokus går, hvor opmærksomheden er rettet, at visuel opmærksomhed repræsenterer den mentale proces, og at mønstre af visuel opmærksomhed afspejler menneskelige kognitive strategier^35,36,37. Inden for AR-forskning brugte Yang et al. øjensporing til at finde ud af, at AR-reklame forbedrede forbrugernes holdninger til reklamen ved at øge deres nysgerrighed og opmærksomhed³⁸. I den aktuelle undersøgelse blev øjensporing brugt til at måle forsøgspersonernes opmærksomhed, herunder parametre som total fikseringsvarighed, gennemsnitlig fikseringsvarighed, fikseringsfrekvens, saccadefrekvens, gennemsnitlig saccadevarighed og gennemsnitlig scanningsstilængde.

Sammenfattende foreslår denne undersøgelse en brugervenlighedstestmetode, der kombinerer subjektive og objektive evalueringer med AR-applikationer som et eksempel. Et brugervenlighedsspørgeskema og en NASA-TLX-skala blev brugt til subjektiv evaluering, og multimodale foranstaltninger, der kombinerer fNIRS og øjensporing, blev brugt til objektiv evaluering^39,40.

Eksperimentelt design
Eksperimentelle materialer: For at simulere en virkelig shoppingkontekst blev der bygget en produkthylde i et laboratorium, og to forskellige mærker mineralvand blev placeret på hylden som eksperimentelle materialer. Som væsentlige varer blev mineralvand valgt, fordi deltagerne ikke ville have bias i subjektive evalueringer på grundlag af deres erhvervsmæssige baggrund, køn og indkøbsevne. Mærkernes pris, kapacitet og fortrolighed blev kontrolleret (se materialetabel) for at eliminere interferens af irrelevante variabler.

Brugervenlighedstesten omfattede to betingelser: en smartphone-baseret AR-applikation (supplerende figur 1) og et websted (supplerende figur 2). AR-applikationen blev programmeret baseret på en AR-motor. Hjemmesiden blev udviklet ved hjælp af Python, baseret på Bootstrap til front-end og Flask til back-end. AR-applikationen og webstedet blev kørt og gennemset på en smartphone. Blandt de to forskellige mærker af mineralvand blev det ene brugt som forsøgsmateriale i AR-tilstanden, og det andet blev brugt i webstedstilstanden.

Eksperimentelle opgaver: Deltagerne blev bedt om at udføre fire informationssøgningsopgaver, der stammer fra IoT-applikationskontekster: vandkvaliteten, opbevaringstemperaturen, den matchende diæt, og prisen pr. liter. Disse fire informationselementer er, hvad forbrugerne normalt er opmærksomme på, når de køber mineralvand. Der var ingen tidsbegrænsning for deltagerne til at udføre opgaverne.

Vandkvalitet: Kvaliteten af mineralvand omfatter almindeligvis to indikatorer: det samlede opløste faste stof (TDS) og pH-værdien. TDS afspejler mineralindholdet, og pH-værdien beskriver vandets surhedsgrad/alkalitet. Disse to indikatorer er relateret til sporstoffer indeholdt i mineralvandet og påvirker smagen. For eksempel opdelte Bruvold og Ongerth vandets sensoriske kvalitet i fem kvaliteter i henhold til dets TDS-indhold⁴¹. Marcussen et al. fandt, at vand har gode sensoriske kvaliteter i området 100-400 mg/L TDS⁴². TDS- og pH-værdien for de to mærker mineralvand, der blev brugt i denne undersøgelse, blev målt ved hjælp af henholdsvis TDS- og pH-målere og derefter markeret på AR-applikationen og hjemmesiden. Under udførelsen af opgaven skulle deltagerne rapportere TDS- og pH-værdierne for mineralvandet og bekræfte, om disse værdier var inden for det nominelle område. I AR-tilstand kunne deltagerne erhverve disse oplysninger ved at scanne flasken med vand. I webstedsbetingelsen skulle deltagerne udføre fire trin: (1) finde en numerisk kode på bagsiden af flasken med mineralvand, (2) indtaste den numeriske kode i et forespørgselsfelt for at få TDS- og pH-værdierne for mineralvand, (3) søge i det nominelle interval for mineralvand på webstedet og (4) mundtligt rapportere, om TDS og pH-værdi ligger inden for det nominelle interval for produktet.

Opbevaringstemperatur: Kvaliteten af mineralvand kan falde under transport og opbevaring på grund af temperaturændringer. Forsøg har vist, at den passende temperatur for mineralvand er mellem 5 °C og 25 °C under transport og opbevaring. I dette temperaturområde har vand ikke en dårlig lugt⁴³. I det nuværende eksperiment blev opbevaringstemperaturen for de to typer mineralvand forskellige steder markeret på AR-applikationen og hjemmesiden. Under udførelsen af opgaven skulle deltagerne rapportere opbevaringsstedet og den tilsvarende temperatur på vandet. I AR-tilstand kunne deltagerne erhverve disse oplysninger ved at scanne flasken med vand. I webstedstilstanden kunne deltagerne hente disse oplysninger ved at indtaste den numeriske kode i et forespørgselsfelt.

Matchende kost: Forskellige mærker af mineralvand er velegnede til forskellige menuer på grund af deres unikke mineralsammensætning og bobleindhold⁴⁴. I det nuværende eksperiment blev kostanbefalinger for de to mineralvand markeret på AR-applikationen og hjemmesiden. Under udførelsen af opgaven skulle deltagerne rapportere, hvordan mineralvandet matcher maden i menuen. I AR-tilstand kunne deltagerne erhverve disse oplysninger ved at scanne vandflasken. I webstedstilstanden kunne deltagerne søge efter disse oplysninger på webstedet.

Liter: I øjeblikket viser etiketterne på mineralvandsflaskerne i Kina ikke oplysningerne om pris pr. Liter. Dette gør det vanskeligt for forbrugerne at skelne mellem forskellen i enhedspriser på forskellige typer mineralvand. Derfor krævede dette eksperiment, at deltagerne rapporterede prisen pr. Liter. I AR-applikationen kunne deltagerne erhverve prisen pr. Liter direkte ved at scanne flasken med vand. I webstedstilstanden kan oplysningerne beregnes ud fra enhedsprisen og mængden på etiketten.

Denne undersøgelse anvendte et design inden for deltageren med deltagerinklusions- og eksklusionskriterier som beskrevet i tabel 1. I alt 40 deltagere gennemførte eksperimentet (20 mænd og 20 kvinder, gennemsnitsalder = 21,31 ± 1,16 år). Alle deltagere var studerende fra Jiangsu University of Science and Technology og blev tilfældigt arrangeret i to grupper (A og B). For at undgå ordreeffekten blev den eksperimentelle rækkefølge udlignet på tværs af de to grupper (A/B). Specifikt udførte den ene gruppe AR-betingelsen først og derefter webstedsbetingelsen, mens den anden gruppe udførte webstedet først og derefter AR-betingelsen. Deltagerne skulle gennemføre forberedelsen til eksperimentet, bære instrumenterne og udføre de eksperimentelle opgaver. Intereksperimentintervallet blev sat til 10 s for at tillade kortikal aktivering at vende tilbage til baselineniveauet og undgå krydspåvirkning i den efterfølgende opgave. I slutningen af AR / webstedseksperimentet skulle deltagerne udfylde brugervenlighedsspørgeskemaet og NASA-TLX-skalaen. Det eksperimentelle rutediagram er vist i figur 1. Et fotografi af den eksperimentelle opsætning er vist i figur 2.

Tabel 1: Inklusions- og eksklusionskriterier for undersøgelsen. Klik her for at downloade denne tabel.

Figur 1: Eksperimentelt rutediagram. Hvert eksperiment varede ~ 45 minutter med en hvileperiode på 10 s mellem opgaverne. Klik her for at se en større version af denne figur.

Figur 2: Eksempel på opsætning af forsøgsscenen. Forsøgsmaterialerne, deltageren og udstyret vises. Klik her for at se en større version af denne figur.

Protocol

Denne undersøgelse blev udført i overensstemmelse med principperne i Helsingfors-erklæringen. Alle deltagere blev informeret om eksperimentets formål og sikkerhed og underskrev den informerede samtykkeformular før deltagelse. Denne undersøgelse blev godkendt af det institutionelle bedømmelsesudvalg ved Jiangsu University of Science and Technology. 1. Eksperiment procedure Forberedelse til eksperimentetForklar informeret samtykke til deltagerne og bed d…

Representative Results

De repræsentative resultater af denne undersøgelse inkluderer resultaterne af brugervenlighedsspørgeskemaet, øjensporingsdataanalyse, NASA-TLX-skaladata, fNIRS-dataanalyse og dynamiske kognitive belastningsændringer. For resultaterne af brugervenlighedsspørgeskemaet blev der udført øjensporingsdataanalyse, NASA-TLX-skaladata og fNIRS-dataanalyse, normalitetstest og forskelstest. For dynamiske kognitive belastningsændringer valgte denne undersøgelse fNIRS og øjensporingsdata fra en enkelt deltager for at demons…

Discussion

Kritiske trin i protokollen
Under eksperimentet blev flere trin overvejet for at sikre pålideligheden af resultaterne. For det første blev deltagere, der er bekendt med mærkerne af mineralvand, der blev brugt i eksperimentet, udelukket, fordi disse deltagere ville have udført opgaven baseret på deres viden om mærket. For det andet gennemførte deltagerne et præeksperiment ved hjælp af andre mærker af mineralvand, som blev anvendt til at sikre, at deltagerne var fortrolige med AR og webstedsdr…

Materials

AR Engine	Unity Technologies	2020.3.1	AR development platform
AR SDK	PTC	Vuforia Engine 9.8.5	AR development kit
Eye Tracker (eye tracking glasses)	SMI, Germany	SMI ETG	Head-mounted eye tracking system
Eye Tracker Recording software	SMI, Germany	iViewETG Software	Eye Tracker Recording software
fNIRS probes	Artinis Medical Systems BV, Netherlands	Artinis PortaLite	Light source: Light emitting diodes Wavelengths: Standard nominal 760 and 850 nm
fNIRS software	Artinis Medical Systems BV, Netherlands	OxySoft 3.2.70	fNIRS data recording and analysis software
Mineral Water	Groupe Danone	Badoit	Experimental material in the AR condition   Capacity: 330ml Price: 6
Mineral Water	Nestlé	Acqua Panna	Experimental material in the website condition Capacity: 250ml Price: 5.4
Skin Preparation Gel	Weaver and Company	Nuprep	Clean the forehead skin of the participants
Smartphone	Xiaomi	Redmi K30 Ultra	Smartphone-based AR application and website