Usability Evaluering av Augmented Reality: En Neuro-Information-Systems Study

Summary

Denne studien presenterer et eksperimentelt paradigme for en brukbarhetstest som kombinerer subjektive og objektive evalueringer. Den objektive evalueringen vedtok Neuro-Information-Systems (NeuroIS) metoder, og den subjektive evalueringen vedtok et brukervennlighetsspørreskjema og en NASA-Task Load Index (NASA-TLX) skala.

Abstract

Denne studien introduserer et eksperimentelt paradigme for en brukbarhetstest av nye teknologier i et ledelsesinformasjonssystem (MIS). Brukbarhetstesten inkluderte både subjektive og objektive vurderinger. For den subjektive evalueringen ble et brukbarhetsspørreskjema og en NASA-TLX-skala vedtatt. For den objektive evalueringen ble metoder for Neuro-Information-Systems (NeuroIS) brukt. Fra et NeuroIS-perspektiv brukte denne studien mobile fNIRS og øyesporingsbriller for multimodale målinger, som løste problemet med økologisk gyldighet av kognitive nevrovitenskapsverktøy som brukes i virkelige atferdseksperimenter. Denne studien brukte Augmented Reality (AR) integrert i Internet of Things (IoT) som et eksperimentelt objekt. Sammenligning av forskjellene i neuroimaging-dataene, de fysiologiske dataene, brukervennlighetsspørreskjemaet og NASA-TLX-skaladataene mellom de to informasjonssøkemodusene (AR versus et nettsted), hadde informasjonssøk med AR en høyere effektivitet og en lavere kognitiv belastning sammenlignet med informasjonssøk med et nettsted under prosessen med forbruksbeslutninger. Resultatene fra brukervennlighetseksperimentet viser at AR, som en fremvoksende teknologi i detaljhandelen, effektivt kan forbedre forbrukeropplevelsene og øke kjøpsintensjonen. Det eksperimentelle paradigmet, som kombinerer både subjektive og objektive evalueringer i denne studien, kan brukes på en brukbarhetstest for nye teknologier, for eksempel forstørret virkelighet, virtuell virkelighet, kunstig intelligens, bærbar teknologi, robotikk og store data. Det gir en praktisk eksperimentell løsning for brukeropplevelsen i menneskelig-datamaskin-interaksjoner med vedtak av nye teknologier.

Introduction

Seks grenseteknologier som samhandler med forbrukere, vanligvis representert av utvidet virkelighet, virtuell virkelighet, kunstig intelligens, bærbar teknologi, robotikk og store data, omformer mange teoretiske modeller for forbrukeradferd¹. Augmented Reality (AR) er en ny teknologi som kan forbedre forbrukeropplevelsen og forbedre forbrukertilfredsheten. Den legger tekstinformasjon, bilder, videoer og andre virtuelle elementer over virkelige scenarier for å smelte sammen virtualitet og virkelighet, og dermed forbedre informasjon i den virkelige verden gjennom forklaring, veiledning, evaluering og prediksjon². AR gir en ny type menneske-datamaskin-interaksjon, skaper en oppslukende shoppingopplevelse for forbrukerne, og har ført til utviklingen av mange applikasjoner ^3,4. Imidlertid er forbrukernes aksept av AR-tjenester fortsatt minimal, og mange selskaper er derfor forsiktige med å ta i bruk AR-teknologi ^5,6. Teknologiakseptmodellen (TAM) har blitt mye brukt til å forklare og forutsi adopsjonsatferden til ny informasjonsteknologi ^7,8. Ifølge TAM avhenger adopsjonsintensjonen for en ny teknologi i stor grad av brukervennligheten⁹. Derfor kan en mulig forklaring på den langsomme forbrukeraksepten av AR-tjenester fra TAM-perspektivet forholde seg til brukervennligheten til de nye teknikkene, noe som fremhever behovet for å evaluere brukervennligheten til AR mens du handler^10,11.

Brukervennlighet er definert som effektiviteten, effektiviteten og tilfredsstillelsen av å oppnå spesifiserte mål i en spesifisert kontekst av spesifiserte brukere¹². For tiden er det to hovedmetoder for å evaluere brukervennlighet: subjektive og objektive evalueringer¹³. Subjektive evalueringer er hovedsakelig avhengige av selvrapporteringsmetoder ved hjelp av spørreskjemaer og skalaer. Etter denne forskningen inkluderte spørreskjemaet som ble brukt i denne studien fem funksjoner knyttet til informasjonssøkemodus for å oppnå et mål: (1) effektivitet, (2) brukervennlighet, (3) minneverdighet (lett å huske), (4) tilfredshet (informasjonssøkemodus er behagelig og behagelig) og (5) generaliserbarhet til andre objekter^14,15,16. I tillegg er kognitiv belastning, som representerer belastningen mens du utfører en bestemt oppgave på det kognitive systemet til en elev¹⁷, en annen kjerneindikator for brukervennlighet^18,19. Dermed brukte denne studien i tillegg NASA Task Load Index (NASA-TLX) ^13,20 som en subjektiv beregning for å måle den kognitive belastningen mens du handler med AR versus shopping ved hjelp av nettstedstjenester. Det er bemerkelsesverdig at selvrapporteringsmetoder er avhengige av individers evne og vilje til nøyaktig å rapportere sine holdninger og / eller tidligere atferd²¹, noe som åpner muligheten for feilrapportering, underrapportering eller skjevhet. Dermed kan objektive mål være et verdifullt supplement til tradisjonelle subjektive metoder²².

Neuro-Information-Systems (NeuroIS) metoder brukes til objektiv evaluering av AR-brukervennlighet. NeuroIS, myntet av Dimoka et al. på ICIS-konferansen i 2007, tiltrekker seg økende oppmerksomhet innen informasjonssystemer (IS)²³. NeuroIS bruker teorier og verktøy for kognitiv nevrovitenskap for bedre å forstå utviklingen, adopsjonen og virkningen av IS-teknologier^24,25. Til dags dato er kognitive nevrovitenskapsverktøy, som funksjonell magnetisk resonansavbildning (fMRI), elektroencefalogram (EEG), positronemisjonscomputertomografi, magnetoencefalografi (MEG) og funksjonell nær-infrarød spektroskopi (fNIRS), ofte brukt i NeuroIS-studier^26,27. For eksempel brukte Dimoka og Davis fMRI for å måle forsøkspersonenes aktiveringer når de interagerte med nettstedet, og avslørte at opplevd brukervennlighet påvirket aktivering i prefrontal cortex (PFC)²⁸. Tilsvarende fant Moridis og medarbeidere ved hjelp av EEG at frontal asymmetri var nært assosiert med nytteverdi²⁹. Disse resultatene indikerer at PFC kan spille en nøkkelrolle i brukervennlighet.

Selv om prestasjoner har blitt gjort i tidligere NeuroIS-studier, hadde paradigmene som ble brukt i disse studiene begrensede kroppsbevegelser av med lav økologisk gyldighet, noe som begrenset deres teoretiske og praktiske bidrag. Samspill med teknologier som AR mens du handler krever frie kroppsbevegelser, og emnebegrensninger svekker i stor grad forbrukeropplevelsen som diskutert i He et ^al.22. Dermed er hjerneavbildningsverktøy med høy økologisk validitet nødvendig for en brukbarhetstest av informasjonssystemer. I denne forbindelse har fNIRS unike tekniske fordeler: under fNIRS-eksperimenter kan forsøkspersoner bevege seg fritt³⁰ til en viss grad. For eksempel har tidligere studier målt forsøkspersoners hjerneaktivering under flere utendørsaktiviteter som sykling ved hjelp av bærbare fNIRS³¹. I tillegg er fNIRS billig og muliggjør måling av hjerneaktiveringer i lange perioder³². I denne studien ble fNIRS brukt til objektivt å måle fagets nivå av kognitiv belastning mens de brukte shoppingtjenestene til AR versus et nettsted.

Øyesporing har vært en verdifull psykofysiologisk teknikk for å oppdage brukernes visuelle oppmerksomhet under en brukervennlighetstest de siste årene³³ og har også blitt mye brukt i NeuroIS-studier³⁴. Teknikken er avhengig av øye-sinn-hypotesen, som antar at observatørens fokus går der oppmerksomheten er rettet, at visuell oppmerksomhet representerer den mentale prosessen, og at mønstre av visuell oppmerksomhet reflekterer menneskelige kognitive strategier^35,36,37. På området AR-forskning brukte Yang et al. øyesporing for å finne at AR-reklame forbedret forbrukernes holdninger til reklamen ved å øke nysgjerrigheten og oppmerksomheten³⁸. I den nåværende studien ble øyesporing brukt til å måle forsøkspersonenes oppmerksomhet, inkludert parametere som total fikseringsvarighet, gjennomsnittlig fikseringsvarighet, fikseringsfrekvens, sakkadefrekvens, gjennomsnittlig sakkadevarighet og gjennomsnittlig skanningsbanelengde.

Oppsummert foreslår denne studien en brukbarhetstestmetode som kombinerer subjektive og objektive evalueringer med AR-applikasjoner som et eksempel. Et usability questionnaire og en NASA-TLX skala ble brukt for subjektiv evaluering, og multimodale mål som kombinerer fNIRS og eye tracking ble brukt for objektiv evaluering^39,40.

Eksperimentelt design
Eksperimentelle materialer: For å simulere en virkelig shoppingkontekst ble en produkthylle bygget i et laboratorium, og to forskjellige merker mineralvann ble plassert på hyllen som eksperimentelle materialer. Som essensielle varer ble mineralvann valgt fordi deltakerne ikke ville ha skjevhet i subjektive vurderinger på grunnlag av yrkesbakgrunn, kjønn og kjøpsevne. Prisen, kapasiteten og kjennskapen til merkene ble kontrollert (se materialfortegnelse) for å eliminere interferens fra irrelevante variabler.

Brukervennlighetstesten inkluderte to forhold: en smarttelefonbasert AR-applikasjon (tilleggsfigur 1) og en nettside (tilleggsfigur 2). AR-applikasjonen ble programmert basert på en AR-motor. Nettstedet ble utviklet ved hjelp av Python, basert på Bootstrap for front-end og Flask for back-end. AR-applikasjonen og nettstedet ble kjørt og bladd på en smarttelefon. Blant de to forskjellige merkene av mineralvann ble det ene brukt som eksperimentelt materiale i AR-tilstand, og det andre ble brukt i nettstedets tilstand.

Eksperimentelle oppgaver: Deltakerne ble bedt om å utføre fire informasjonssøkeoppgaver som stammer fra IoT-applikasjonskontekster: kvaliteten på vann, lagringstemperaturen, matchende diett, og prisen per liter. Disse fire informasjonselementene er hva forbrukerne normalt tar hensyn til når de kjøper mineralvann. Det var ingen tidsbegrensning for deltakerne å fullføre oppgavene.

Vannkvalitet: Kvaliteten på mineralvann inneholder vanligvis to indikatorer: de totale oppløste faste stoffene (TDS) og pH-verdien. TDS reflekterer mineralinnholdet, og pH-verdien beskriver vannets surhet/alkalitet. Disse to indikatorene er relatert til sporstoffer som finnes i mineralvannet og påvirker smaken. For eksempel delte Bruvold og Ongerth vannets sensoriske kvalitet inn i fem grader etter TDS-innholdet⁴¹. Marcussen et al. fant at vann har gode sensoriske egenskaper i området 100-400 mg / L TDS⁴². TDS- og pH-verdien til de to merkene mineralvann som ble brukt i denne studien, ble målt ved hjelp av henholdsvis TDS- og pH-målere, og deretter merket på AR-applikasjonen og nettstedet. Mens de utførte oppgaven, ble deltakerne pålagt å rapportere TDS- og pH-verdiene til mineralvannet og bekrefte om disse verdiene var innenfor det nominelle området. I AR-tilstanden kunne deltakerne skaffe seg denne informasjonen ved å skanne flasken med vann. I nettstedets tilstand ble deltakerne pålagt å utføre fire trinn: (1) å finne en numerisk kode på baksiden av flasken mineralvann, (2) å skrive inn den numeriske koden i en spørringsboks for å få TDS- og pH-verdiene for mineralvann, (3) søke i det nominelle området for mineralvann på nettstedet, og (4) muntlig rapportere om TDS- og pH-verdien er innenfor det nominelle området for produktet.

Lagringstemperatur: Kvaliteten på mineralvann kan reduseres under transport og lagring på grunn av temperaturendringer. Forsøk har vist at riktig temperatur for mineralvann er mellom 5 °C og 25 °C under transport og lagring. I dette temperaturområdet har vann ikke dårlig lukt⁴³. I det nåværende eksperimentet ble lagringstemperaturen til de to typer mineralvann på forskjellige steder merket på AR-applikasjonen og nettstedet. Mens de utførte oppgaven, ble deltakerne pålagt å rapportere lagringsstedet og tilsvarende temperatur på vannet. I AR-tilstanden kunne deltakerne skaffe seg denne informasjonen ved å skanne flasken med vann. I nettstedstilstanden kunne deltakerne skaffe seg denne informasjonen ved å skrive inn den numeriske koden i en spørringsboks.

Matchende diett: Ulike merker av mineralvann er egnet for forskjellige menyer på grunn av deres unike mineralsammensetning og bobleinnhold⁴⁴. I dette eksperimentet ble kostholdsanbefalinger for de to mineralvannene merket på AR-applikasjonen og nettstedet. Mens de utførte oppgaven, ble deltakerne pålagt å rapportere hvordan mineralvannet samsvarer med maten i menyen. I AR-tilstanden kunne deltakerne skaffe seg denne informasjonen ved å skanne vannflasken. I tilstanden på nettstedet kunne deltakerne søke etter denne informasjonen på nettstedet.

Pris per liter: For tiden viser etikettene på mineralvannflasker i Kina ikke prisen per liter informasjon. Dette gjør det vanskelig for forbrukerne å skille forskjellen i enhetspriser på ulike typer mineralvann. Derfor krevde det nåværende eksperimentet at deltakerne skulle rapportere prisen per liter. I AR-applikasjonen kunne deltakerne skaffe seg prisen per liter direkte ved å skanne flasken med vann. I nettstedets tilstand kunne informasjonen beregnes ut fra enhetsprisen og volumet på etiketten.

Denne studien benyttet et innen-deltaker-design, med deltakernes inklusjons- og eksklusjonskriterier som beskrevet i tabell 1. Totalt 40 deltakere fullførte forsøket (20 menn og 20 kvinner, gjennomsnittsalder = 21,31 ± 1,16 år). Alle deltakerne var studenter fra Jiangsu University of Science and Technology og ble tilfeldig arrangert i to grupper (A og B). For å unngå ordenseffekten ble den eksperimentelle rekkefølgen oppveid på tvers av de to gruppene (A/B). Spesielt utførte en gruppe AR-tilstanden først og deretter nettstedets tilstand, mens den andre gruppen utførte nettstedet først og deretter AR-tilstanden. Deltakerne ble pålagt å fullføre forberedelsene til eksperimentet, bære instrumentene og utføre eksperimentelle oppgaver. Intereksperimentintervallet ble satt til 10 s for å tillate kortikal aktivering å gå tilbake til baseline-nivået, og unngå krysspåvirkning i den påfølgende oppgaven. På slutten av AR / nettstedseksperimentet ble deltakerne pålagt å fylle ut brukervennlighetsspørreskjemaet og NASA-TLX-skalaen. Det eksperimentelle flytskjemaet er vist i figur 1. Et fotografi av det eksperimentelle oppsettet er presentert i figur 2.

Tabell 1: Inklusjons- og eksklusjonskriterier for studien. Klikk her for å laste ned denne tabellen.

Figur 1: Eksperimentelt flytskjema. Hvert eksperiment varte ~ 45 min, med en hvileperiode på 10 s mellom oppgavene. Klikk her for å se en større versjon av denne figuren.

Figur 2: Eksempel på oppsett av eksperimentscenen. De eksperimentelle materialene, deltakeren og utstyret vises. Klikk her for å se en større versjon av denne figuren.

Protocol

Denne studien ble gjennomført i samsvar med prinsippene i Helsinkideklarasjonen. Alle deltakerne ble informert om eksperimentets formål og sikkerhet og signerte skjemaet for informert samtykke før deltakelse. Denne studien ble godkjent av det institusjonelle gjennomgangsstyret ved Jiangsu University of Science and Technology. 1. Eksperiment prosedyre Forberedelse for forsøketForklar informert samtykke til deltakerne og be dem om å signere samtykkeskjemae…

Representative Results

De representative resultatene av denne studien inkluderer resultatene fra spørreskjemaet for brukbarhet, analyse av øyesporingsdata, NASA-TLX-skaladata, fNIRS-dataanalyse og dynamiske kognitive belastningsendringer. For resultatene fra spørreskjemaet om brukervennlighet ble det utført øyesporingsdataanalyse, NASA-TLX-skaladata og fNIRS-dataanalyse, normalitetstester og forskjellstester. For dynamiske kognitive belastningsendringer valgte denne studien fNIRS og øyesporingsdata fra en enkelt deltaker for å demonstre…

Discussion

Kritiske trinn i protokollen
Under forsøket ble flere trinn vurdert for å sikre pålitelighet av resultatene. For det første ble deltakere som er kjent med merkene av mineralvann som ble brukt i forsøket ekskludert, fordi disse deltakerne ville ha utført oppgaven basert på deres kunnskap om merkevaren. For det andre fullførte deltakerne et pre-eksperiment ved hjelp av andre merker av mineralvann, som ble ansatt for å sikre at deltakerne var kjent med AR og nettstedoperasjoner. For det tredje, …

Materials

AR Engine	Unity Technologies	2020.3.1	AR development platform
AR SDK	PTC	Vuforia Engine 9.8.5	AR development kit
Eye Tracker (eye tracking glasses)	SMI, Germany	SMI ETG	Head-mounted eye tracking system
Eye Tracker Recording software	SMI, Germany	iViewETG Software	Eye Tracker Recording software
fNIRS probes	Artinis Medical Systems BV, Netherlands	Artinis PortaLite	Light source: Light emitting diodes Wavelengths: Standard nominal 760 and 850 nm
fNIRS software	Artinis Medical Systems BV, Netherlands	OxySoft 3.2.70	fNIRS data recording and analysis software
Mineral Water	Groupe Danone	Badoit	Experimental material in the AR condition   Capacity: 330ml Price: 6
Mineral Water	Nestlé	Acqua Panna	Experimental material in the website condition Capacity: 250ml Price: 5.4
Skin Preparation Gel	Weaver and Company	Nuprep	Clean the forehead skin of the participants
Smartphone	Xiaomi	Redmi K30 Ultra	Smartphone-based AR application and website