Användbarhetsutvärdering av förstärkt verklighet: En neuroinformationssystemstudie

Summary

Denna studie presenterar ett experimentellt paradigm för ett användbarhetstest som kombinerar subjektiva och objektiva utvärderingar. Den objektiva utvärderingen antog Neuro-Information-Systems (NeuroIS) metoder, och den subjektiva utvärderingen antog ett användbarhetsformulär och en NASA-Task Load Index (NASA-TLX) skala.

Abstract

Denna studie introducerar ett experimentellt paradigm för ett användbarhetstest av framväxande teknologier i ett ledningsinformationssystem (MIS). Användbarhetstestet omfattade både subjektiva och objektiva utvärderingar. För den subjektiva utvärderingen antogs ett användbarhetsformulär och en NASA-TLX-skala. För den objektiva utvärderingen användes metoder för Neuro-Information-Systems (NeuroIS). Ur ett NeuroIS-perspektiv använde denna studie mobila fNIRS och eyetracking-glasögon för multimodala mätningar, vilket löste problemet med ekologisk validitet av kognitiva neurovetenskapliga verktyg som används i verkliga beteendeexperiment. Denna studie använde Augmented Reality (AR) integrerad i Internet of Things (IoT) som ett experimentellt objekt. Genom att jämföra skillnaderna i neuroimaging-data, fysiologiska data, användbarhetsfrågeformuläret och NASA-TLX-skaldata mellan de två informationssökningslägena (AR kontra en webbplats) hade informationssökning med AR en högre effektivitet och en lägre kognitiv belastning jämfört med informationssökning med en webbplats under konsumtionsbeslutsprocessen. Resultaten från användbarhetsexperimentet visar att AR, som en framväxande teknik inom detaljhandeln, effektivt kan förbättra konsumentupplevelser och öka deras köpavsikt. Det experimentella paradigmet, som kombinerar både subjektiva och objektiva utvärderingar i denna studie, kan tillämpas på ett användbarhetstest för framväxande teknik, såsom förstärkt verklighet, virtuell verklighet, artificiell intelligens, bärbar teknik, robotik och big data. Det ger en praktisk experimentell lösning för användarupplevelsen i människa-dator-interaktioner med antagandet av ny teknik.

Introduction

Sex gränsteknologier som interagerar med konsumenter, vanligtvis representerade av förstärkt verklighet, virtuell verklighet, artificiell intelligens, bärbar teknik, robotik och big data, omformar många teoretiska modeller av konsumentbeteende¹. Augmented Reality (AR) är en ny teknik som kan förbättra konsumentupplevelsen och förbättra konsumentnöjdheten. Den överlagrar textinformation, bilder, videor och andra virtuella objekt på verkliga scenarier för att smälta samman virtualitet och verklighet, vilket förbättrar informationen i den verkliga världen genom förklaring, vägledning, utvärdering och förutsägelse². AR ger en ny typ av människa-datorinteraktion, vilket skapar en uppslukande shoppingupplevelse för konsumenterna och har lett till utvecklingen av många applikationer ^3,4. Konsumenternas acceptans av AR-tjänster är dock fortfarande minimal, och många företag är därför försiktiga med att anta AR-teknik ^5,6. Technology acceptance model (TAM) har använts i stor utsträckning för att förklara och förutsäga adoptionsbeteendet hos ny informationsteknik ^7,8. Enligt TAM beror avsikten att anta en ny teknik till stor del på dess användbarhet⁹. Därför kan en möjlig förklaring till den långsamma konsumentacceptansen av AR-tjänster ur TAM-perspektivet relatera till användbarheten av de nya teknikerna, vilket belyser behovet av att utvärdera AR: s användbarhet när du handlar^10,11.

Användbarhet definieras som effektivitet, ändamålsenlighet och tillfredsställelse med att uppnå angivna mål i ett angivet sammanhang av angivna användare¹². För närvarande finns det två huvudmetoder för att utvärdera användbarhet: subjektiva och objektiva utvärderingar¹³. Subjektiva utvärderingar bygger huvudsakligen på självrapporteringsmetoder med hjälp av frågeformulär och skalor. Efter denna forskningslinje inkluderade frågeformuläret som användes i denna studie fem funktioner associerade med informationssökningsläget för att uppnå ett mål: (1) effektivitet, (2) användarvänlighet, (3) minnesvärdhet (lätt att komma ihåg), (4) tillfredsställelse (informationssökningsläget är bekvämt och trevligt) och (5) generaliserbarhet till andra objekt^14,15,16. Dessutom är kognitiv belastning, som representerar belastningen medan du utför en viss uppgift på det kognitiva systemet hos en elev¹⁷, en annan kärnindikator på användbarhet^18,19. Således använde denna studie dessutom NASA Task Load Index (NASA-TLX) ^13,20 som ett subjektivt mått för att mäta den kognitiva belastningen när du handlar med AR kontra shopping med webbplatstjänster. Det är anmärkningsvärt att självrapporteringsmetoder bygger på individers förmåga och vilja att korrekt rapportera sina attityder och / eller tidigare beteenden²¹, vilket lämnar möjligheten öppen för felrapportering, underrapportering eller partiskhet. Således kan objektiva åtgärder vara ett värdefullt komplement till traditionella subjektiva metoder²².

Neuro-Information-Systems (NeuroIS) metoder används för objektiv utvärdering av AR-användbarhet. NeuroIS, som myntades av Dimoka et al. vid ICIS-konferensen 2007, väcker allt större uppmärksamhet inom området informationssystem (IS)²³. NeuroIS använder teorier och verktyg inom kognitiv neurovetenskap för att bättre förstå utveckling, antagande och inverkan av IS-teknik^24,25. Hittills används kognitiva neurovetenskapliga verktyg, såsom funktionell magnetisk resonanstomografi (fMRI), elektroencefalogram (EEG), positronemissionsdatortomografi, magnetencefalografi (MEG) och funktionell nära infraröd spektroskopi (fNIRS), ofta i NeuroIS-studier^26,27. Till exempel använde Dimoka och Davis fMRI för att mäta försökspersonernas aktiveringar när de interagerade med webbplatsen och avslöjade att upplevd användarvänlighet påverkade aktiveringen i prefrontala cortex (PFC)²⁸. På liknande sätt, med hjälp av EEG, fann Moridis et al. att frontal asymmetri var nära förknippad med användbarhet²⁹. Dessa resultat indikerar att PFC kan spela en nyckelroll i användbarheten.

Även om framsteg har gjorts i tidigare NeuroIS-studier, hade paradigmerna som användes i dessa studier begränsade kroppsrörelser hos ämnen med låg ekologisk validitet, vilket begränsade deras teoretiska och praktiska bidrag. Att interagera med teknik som AR medan du handlar kräver fria kroppsrörelser, och ämnesbegränsningar försämrar i hög grad konsumentupplevelsen som diskuteras i He et ^al.22. Således behövs hjärnavbildningsverktyg med hög ekologisk validitet för ett användbarhetstest av informationssystem. I detta avseende har fNIRS unika tekniska fördelar: under fNIRS-experiment kan ämnen röra sig fritt³⁰ till viss del. Till exempel har tidigare studier mätt försökspersonernas hjärnaktiveringar under flera utomhusaktiviteter som cykling med bärbar fNIRS³¹. Dessutom är fNIRS billigt och möjliggör mätning av hjärnaktiveringar under långa perioder³². I denna studie användes fNIRS för att objektivt mäta försökspersonernas nivå av kognitiv belastning när de använde shoppingtjänsterna för AR jämfört med en webbplats.

Eyetracking har varit en värdefull psykofysiologisk teknik för att upptäcka användarnas visuella uppmärksamhet under ett användbarhetstest under de senaste åren³³ och har också använts i stor utsträckning i NeuroIS-studier³⁴. Tekniken bygger på ögon-sinne-hypotesen, som antar att observatörens fokus går dit uppmärksamheten riktas, att visuell uppmärksamhet representerar den mentala processen och att mönster av visuell uppmärksamhet återspeglar mänskliga kognitiva strategier^35,36,37. När det gäller AR-forskning använde Yang et al. eyetracking för att finna att AR-reklam förbättrade konsumenternas attityder till annonsen genom att öka deras nyfikenhet och uppmärksamhet³⁸. I den aktuella studien användes ögonspårning för att mäta försökspersonernas uppmärksamhet, inklusive parametrar som total fixeringstid, genomsnittlig fixeringstid, fixeringsfrekvens, sackadfrekvens, genomsnittlig sackadtid och genomsnittlig skanningsväglängd.

Sammanfattningsvis föreslår denna studie en användbarhetstestmetod som kombinerar subjektiva och objektiva utvärderingar med AR-applikationer som ett exempel. Ett användbarhetsformulär och en NASA-TLX-skala användes för subjektiv utvärdering, och multimodala mått som kombinerar fNIRS och eyetracking användes för objektiv utvärdering^39,40.

Experimentell design
Experimentella material: För att simulera ett verkligt shoppingsammanhang byggdes en produkthylla i ett laboratorium och två olika märken av mineralvatten placerades på hyllan som experimentella material. Som viktiga varor valdes mineralvatten eftersom deltagarna inte skulle ha partiskhet i subjektiva utvärderingar på grundval av deras yrkesbakgrund, kön och inköpsförmåga. Varumärkenas pris, kapacitet och förtrogenhet kontrollerades (se materialförteckning) för att eliminera störningar av irrelevanta variabler.

Användbarhetstestet omfattade två villkor: en smartphone-baserad AR-applikation (kompletterande figur 1) och en webbplats (kompletterande figur 2). AR-applikationen programmerades baserat på en AR-motor. Webbplatsen utvecklades med hjälp av Python, baserat på Bootstrap för front-end och Flask för back-end. AR-applikationen och webbplatsen kördes och bläddrades på en smartphone. Bland de två olika märkena av mineralvatten användes en som experimentellt material i AR-tillståndet och den andra användes i webbplatsens tillstånd.

Experimentella uppgifter: Deltagarna ombads att utföra fyra informationssökningsuppgifter som härleddes från IoT-applikationskontexter: vattenkvaliteten, lagringstemperaturen, matchande diet, och priset per liter. Dessa fyra informationspunkter är vad konsumenterna normalt uppmärksammar när de köper mineralvatten. Det fanns ingen tidsbegränsning för deltagarna att slutföra uppgifterna.

Vattenkvalitet: Kvaliteten på mineralvatten innehåller vanligtvis två indikatorer: det totala upplösta fasta ämnet (TDS) och pH-värdet. TDS återspeglar mineralinnehållet och pH-värdet beskriver vattnets surhet / alkalinitet. Dessa två indikatorer är relaterade till spårämnen som ingår i mineralvattnet och påverkar smaken. Till exempel delade Bruvold och Ongerth upp vattnets sensoriska kvalitet i fem grader enligt TDS-innehållet⁴¹. fann att vatten har goda sensoriska egenskaper i intervallet 100-400 mg / L TDS⁴². TDS- och pH-värdet för de två märkena mineralvatten som användes i denna studie mättes med TDS- respektive pH-mätare och markerades sedan på AR-applikationen och webbplatsen. Under utförandet av uppgiften var deltagarna skyldiga att rapportera TDS- och pH-värdena för mineralvattnet och bekräfta om dessa värden låg inom det nominella intervallet. I AR-tillståndet kunde deltagarna förvärva denna information genom att skanna flaskan med vatten. I webbplatsens tillstånd var deltagarna skyldiga att utföra fyra steg: (1) hitta en numerisk kod på baksidan av flaskan mineralvatten, (2) ange den numeriska koden i en frågeruta för att få TDS- och pH-värdena för mineralvatten, (3) söka i det nominella intervallet för mineralvatten på webbplatsen och (4) muntligt rapportera om TDS och pH-värde ligger inom det nominella intervallet för produkten.

Förvaringstemperatur: Kvaliteten på mineralvatten kan minska under transport och lagring på grund av temperaturförändringar. Experiment har visat att lämplig temperatur för mineralvatten är mellan 5 °C och 25 °C under transport och lagring. I detta temperaturområde har vatten inte dålig lukt⁴³. I det aktuella experimentet markerades lagringstemperaturen för de två typerna av mineralvatten på olika platser på AR-applikationen och webbplatsen. Under utförandet av uppgiften var deltagarna skyldiga att rapportera lagringsplatsen och motsvarande temperatur på vattnet. I AR-tillståndet kunde deltagarna förvärva denna information genom att skanna flaskan med vatten. I webbplatsens skick kan deltagarna hämta denna information genom att ange den numeriska koden i en frågeruta.

Matchande diet: Olika märken av mineralvatten är lämpliga för olika menyer på grund av deras unika mineralsammansättning och bubbelinnehåll⁴⁴. I det aktuella experimentet markerades kostrekommendationer för de två mineralvattnen på AR-applikationen och webbplatsen. Under utförandet av uppgiften var deltagarna skyldiga att rapportera hur mineralvattnet matchar maten i menyn. I AR-tillståndet kunde deltagarna skaffa denna information genom att skanna vattenflaskan. I webbplatsens skick kan deltagarna söka efter denna information på webbplatsen.

Pris per liter: För närvarande visar etiketterna på mineralvattenflaskorna i Kina inte information om pris per liter. Detta gör det svårt för konsumenterna att skilja skillnaden i enhetspriser för olika typer av mineralvatten. Därför krävde det aktuella experimentet att deltagarna rapporterade priset per liter. I AR-applikationen kunde deltagarna få priset per liter direkt genom att skanna flaskan med vatten. I webbplatsens skick kan informationen beräknas utifrån enhetspriset och volymen på etiketten.

Denna studie använde en design inom deltagaren, med deltagarinklusions- och exkluderingskriterier som beskrivs i tabell 1. Totalt 40 deltagare slutförde experimentet (20 män och 20 kvinnor, medelålder = 21,31 ± 1,16 år). Alla deltagare var studenter vid Jiangsu University of Science and Technology och ordnades slumpmässigt i två grupper (A och B). För att undvika ordningseffekten motviktes den experimentella ordningen mellan de två grupperna (A/B). Specifikt utförde en grupp AR-villkoret först och sedan webbplatsvillkoret, medan den andra gruppen utförde webbplatsen först och sedan AR-villkoret. Deltagarna var skyldiga att slutföra förberedelserna för experimentet, bära instrumenten och utföra experimentella uppgifter. Interexperimentintervallet sattes till 10 s för att tillåta kortikal aktivering att återgå till baslinjenivån, vilket undviker korspåverkan i den efterföljande uppgiften. I slutet av AR / webbplatsexperimentet var deltagarna skyldiga att fylla i användbarhetsformuläret och NASA-TLX-skalan. Det experimentella flödesschemat visas i figur 1. Ett fotografi av experimentuppställningen presenteras i figur 2.

Tabell 1: Inklusions- och exklusionskriterier för studien. Klicka här för att ladda ner denna tabell.

Figur 1: Experimentellt flödesschema. Varje experiment varade ~ 45 minuter, med en viloperiod på 10 s mellan uppgifterna. Klicka här för att se en större version av denna figur.

Figur 2: Exempel på installation av experimentscenen. Experimentmaterialet, deltagaren och utrustningen visas. Klicka här för att se en större version av denna figur.

Protocol

Denna studie genomfördes i enlighet med principerna i Helsingforsdeklarationen. Alla deltagare informerades om experimentets syfte och säkerhet och undertecknade formuläret för informerat samtycke före deltagandet. Denna studie godkändes av den institutionella granskningsnämnden vid Jiangsu University of Science and Technology. 1. Experimentförfarande Förberedelse för experimentetFörklara informerat samtycke för deltagarna och be dem att underteck…

Representative Results

De representativa resultaten av denna studie inkluderar resultaten av användbarhetsfrågeformuläret, analys av ögonspårningsdata, NASA-TLX-skaldata, fNIRS-dataanalys och dynamiska kognitiva belastningsförändringar. För resultaten av användbarhetsfrågeformuläret genomfördes ögonspårningsdataanalys, NASA-TLX-skaldata och fNIRS-dataanalys, normalitetstester och skillnadstester. För dynamiska kognitiva belastningsförändringar valde denna studie fNIRS- och ögonspårningsdata från en enda deltagare för att v…

Discussion

Kritiska steg i protokollet
Under experimentet övervägdes flera steg för att säkerställa resultatens tillförlitlighet. Först uteslöts deltagare som är bekanta med varumärkena mineralvatten som användes i experimentet, eftersom dessa deltagare skulle ha utfört uppgiften baserat på deras kunskap om varumärket. För det andra genomförde deltagarna ett förexperiment med andra märken av mineralvatten, som användes för att säkerställa att deltagarna var bekanta med AR och webbplatsopera…

Materials

AR Engine	Unity Technologies	2020.3.1	AR development platform
AR SDK	PTC	Vuforia Engine 9.8.5	AR development kit
Eye Tracker (eye tracking glasses)	SMI, Germany	SMI ETG	Head-mounted eye tracking system
Eye Tracker Recording software	SMI, Germany	iViewETG Software	Eye Tracker Recording software
fNIRS probes	Artinis Medical Systems BV, Netherlands	Artinis PortaLite	Light source: Light emitting diodes Wavelengths: Standard nominal 760 and 850 nm
fNIRS software	Artinis Medical Systems BV, Netherlands	OxySoft 3.2.70	fNIRS data recording and analysis software
Mineral Water	Groupe Danone	Badoit	Experimental material in the AR condition   Capacity: 330ml Price: 6
Mineral Water	Nestlé	Acqua Panna	Experimental material in the website condition Capacity: 250ml Price: 5.4
Skin Preparation Gel	Weaver and Company	Nuprep	Clean the forehead skin of the participants
Smartphone	Xiaomi	Redmi K30 Ultra	Smartphone-based AR application and website