Bruikbaarheidsaspecten van een Mixed Reality-oplossing evalueren voor meeslepende analyses in Industry 4.0-scenario's

Summary

Dit protocol beschrijft de technische setting van een ontwikkelde mixed reality-applicatie die wordt gebruikt voor immersive analytics. Op basis hiervan worden metingen gepresenteerd, die in een onderzoek zijn gebruikt om inzicht te krijgen in bruikbaarheidsaspecten van de ontwikkelde technische oplossing.

Abstract

In de geneeskunde of industrie wordt de analyse van hoogdimensionale datasets steeds meer vereist. Beschikbare technische oplossingen zijn echter vaak complex in gebruik. Daarom zijn nieuwe benaderingen zoals immersive analytics welkom. Meeslepende analyses beloven hoogdimensionale datasets op een handige manier te ervaren voor verschillende gebruikersgroepen en datasets. Technisch gezien worden virtual reality-apparaten gebruikt om meeslepende analyses mogelijk te maken. In Industrie 4.0 zijn scenario’s zoals het identificeren van uitschieters of anomalieën in hoogdimensionale datasets bijvoorbeeld doelen van immersieve analyses. In deze context moeten twee belangrijke vragen worden behandeld voor elke ontwikkelde technische oplossing voor immersieve analyses: ten eerste, zijn de technische oplossingen nuttig of niet? Ten tweede, is de lichamelijke ervaring van de technische oplossing positief of negatief? De eerste vraag richt zich op de algemene haalbaarheid van een technische oplossing, terwijl de tweede vraag gericht is op het draagcomfort. Bestaande studies en protocollen, die deze vragen systematisch behandelen, zijn nog steeds zeldzaam. In dit werk wordt een onderzoeksprotocol gepresenteerd, dat voornamelijk de bruikbaarheid voor immersieve analyses in Industry 4.0-scenario’s onderzoekt. Concreet is het protocol gebaseerd op vier pijlers. Ten eerste categoriseert het gebruikers op basis van eerdere ervaringen. Ten tweede worden taken gepresenteerd, die kunnen worden gebruikt om de haalbaarheid van de technische oplossing te evalueren. Ten derde worden maatregelen gepresenteerd, die het leereffect van een gebruiker kwantificeren. Ten vierde evalueert een vragenlijst het stressniveau bij het uitvoeren van taken. Op basis van deze pijlers werd een technische setting geïmplementeerd die gebruik maakt van mixed reality smartglasses om het onderzoeksprotocol toe te passen. De resultaten van het uitgevoerde onderzoek tonen enerzijds de toepasbaarheid van het protocol en anderzijds de haalbaarheid van immersive analytics in Industry 4.0-scenario’s. Het gepresenteerde protocol bevat een bespreking van ontdekte beperkingen.

Introduction

Virtual reality-oplossingen (VR-oplossingen) worden steeds belangrijker op verschillende gebieden. Vaak zal met VR-oplossingen (waaronder Virtual Reality, Mixed Reality en Augmented Reality) de uitvoering van veel dagelijkse taken en procedures worden vergemakkelijkt. In het automotive domein kan de configuratieprocedure van een auto bijvoorbeeld worden ondersteund door het gebruik van Virtual Reality¹ (VR). Onderzoekers en beoefenaars hebben in deze context een veelheid aan benaderingen en oplossingen onderzocht en ontwikkeld. Studies die bruikbaarheidsaspecten onderzoeken, zijn echter nog steeds zeldzaam. In het algemeen moeten de aspecten worden beschouwd in het licht van twee belangrijke vragen. Eerst moet geëvalueerd worden of een VR-oplossing daadwerkelijk beter presteert dan een aanpak die geen gebruik maakt van VR-technieken. Ten tweede, omdat VR-oplossingen voornamelijk afhankelijk zijn van zware en complexe hardware-apparaten, moeten parameters zoals het draagcomfort en de mentale inspanning diepgaander worden onderzocht. Daarnaast dienen de genoemde aspecten altijd onderzocht te worden ten aanzien van het betreffende toepassingsgebied. Hoewel veel bestaande benaderingen de noodzaak zien om deze vragen te onderzoeken², bestaan er minder studies die resultaten hebben opgeleverd.

Een onderzoeksonderwerp op het gebied van VR, dat momenteel belangrijk is, wordt aangeduid met immersive analytics. Het is afgeleid van het onderzoeksveld van visuele analyse, dat probeert de menselijke perceptie op te nemen in analysetaken. Dit proces staat ook wel bekend als visual data mining⁴. Meeslepende analyses omvatten onderwerpen op het gebied van gegevensvisualisatie, visuele analyse, virtual reality, computergraphics en interactie tussen mens en computer⁵. Recente voordelen in head-mounted displays (HMD) leidden tot verbeterde mogelijkheden om data op een meeslepende manier te verkennen. Langs deze trends ontstaan nieuwe uitdagingen en onderzoeksvragen, zoals de ontwikkeling van nieuwe interactiesystemen, de noodzaak om gebruikersmoeheid te onderzoeken of de ontwikkeling van geavanceerde 3D-visualisaties⁶. In een eerdere publicatie⁶ worden belangrijke principes van immersive analytics besproken. In het licht van big data zijn methoden zoals immersive analytics steeds meer nodig om een betere analyse van complexe datapools mogelijk te maken. Er bestaan slechts een paar studies die de bruikbaarheidsaspecten van immersieve analyseoplossingen onderzoeken. Bovendien moet het domein of veld in kwestie ook in dergelijke studies in aanmerking worden genomen. In dit werk werd een immersive analytics prototype ontwikkeld, en op basis daarvan een protocol, dat de ontwikkelde oplossing voor Industry 4.0 scenario’s onderzoekt. Het protocol maakt daarbij gebruik van de ervaringsmethode², die gebaseerd is op subjectieve, prestatie- en fysiologische aspecten. In het betreffende protocol worden de subjectieve aspecten gemeten door de ervaren stress van de studiedeelnemers. Prestaties worden op hun beurt gemeten aan de hand van de vereiste tijd en fouten die worden gemaakt om analysetaken uit te voeren. Ten slotte heeft een huidgeleidingssensor fysiologische parameters gemeten. De eerste twee maatregelen zullen in dit werk worden gepresenteerd, terwijl de gemeten huidgeleiding verdere inspanningen vereist om te worden geëvalueerd.

De gepresenteerde studie omvat verschillende onderzoeksgebieden, met name neurowetenschappelijke aspecten en informatiesystemen. Interessant is dat overwegingen over neurowetenschappelijke aspecten van informatiesystemen onlangs de aandacht hebben getrokken van verschillende onderzoeksgroepen ^7,8, waaruit de vraag blijkt om het gebruik van IT-systemen ook vanuit een cognitief oogpunt te onderzoeken. Een ander gebied dat relevant is voor dit werk is het onderzoek naar menselijke factoren van informatiesystemen ^9,10,11. Op het gebied van mens-computer interactie bestaan instrumenten om de bruikbaarheid van een oplossing te onderzoeken. Merk op dat de System Usability Scale voornamelijk in deze context wordt gebruikt¹². Thinking Aloud Protocollen¹³ zijn een andere veelgebruikte studietechniek om meer te leren over het gebruik van informatiesystemen. Hoewel er veel benaderingen bestaan om bruikbaarheidsaspecten van informatiesystemen te meten, en sommige daarvan zijn al lang geleden gepresenteerd¹⁴, komen er nog steeds vragen naar voren die nieuwe maatregelen of studiemethoden vereisen. Daarom is het onderzoek op dit gebied zeer actief 12,15,16.

In het volgende zullen de redenen worden besproken waarom twee veelgebruikte methoden niet zijn overwogen in het huidige werk. Ten eerste werd de System Usability Scale niet gebruikt. De schaal is gebaseerd op tien vragen¹⁷ en het gebruik ervan is ook te vinden in verschillende andere VR-onderzoeken¹⁸. Omdat deze studie vooral gericht is op het meten van stress¹⁹, was een stressgerelateerde vragenlijst geschikter. Ten tweede werd er geen Thinking Aloud Protocol²⁰ gebruikt. Hoewel dit protocoltype zijn nut in het algemeen heeft bewezen¹³, werd het hier niet gebruikt omdat het stressniveau van studiedeelnemers alleen zou kunnen toenemen vanwege het feit dat de hardop denkende sessie parallel aan het gebruik van een zwaar en complex VR-apparaat moet worden bereikt. Hoewel deze twee technieken niet zijn gebruikt, zijn de resultaten van andere recente studies in de betreffende studie opgenomen. In eerdere werken^21,22 maken de auteurs bijvoorbeeld onderscheid tussen beginners en experts in hun studie. Op basis van de succesvolle uitkomst van deze studies maakt het betreffende protocol gebruik van deze gepresenteerde scheiding van studiegebruikers. De spanningsmeting is op zijn beurt gebaseerd op ideeën uit de volgende werken 15,19,21,22.

In eerste instantie moet voor het uitvoeren van de studie een geschikt Industry 4.0-scenario worden gevonden voor het uitvoeren van analytische taken. Geïnspireerd door een ander werk van de auteurs²³, zijn twee scenario’s (d.w.z. de analysetaken) geïdentificeerd, (1) Detectie van uitschieters en (2) Herkenning van clusters. Beide scenario’s zijn uitdagend en zeer relevant in de context van het onderhoud van productiemachines met hoge doorvoer. Op basis van deze beslissing hebben zes belangrijke overwegingen het studieprotocol dat in dit werk wordt gepresenteerd, aangedreven:

1. De oplossing die voor het onderzoek wordt ontwikkeld, zal technisch gebaseerd zijn op mixed reality smartglasses (zie Materiaaltabel) en zal worden ontwikkeld als een mixed reality-toepassing.
2. Er moet een geschikte test worden ontwikkeld, die beginners van gevorderde gebruikers kan onderscheiden.
3. Prestatiemetingen moeten rekening houden met tijd en fouten.
4. Er moet een desktopapplicatie worden ontwikkeld, die te vergelijken is met de immersive analytics-oplossing.
5. Er moet een maatregel worden toegepast om het waargenomen stressniveau te evalueren.
6. Naast dit laatste punt moeten functies worden ontwikkeld om het stressniveau te verminderen terwijl een gebruiker de procedure van de twee genoemde analysetaken uitvoert (d.w.z. (1) Detectie van uitschieters en (2) Herkenning van clusters).

Op basis van de zes genoemde punten bevat het onderzoeksprotocol de volgende procedure. Uitschieterdetectie en clusterherkenningsanalysetaken moeten op een meeslepende manier worden uitgevoerd met behulp van mixed reality-smartglasses (zie Materiaaltabel). Daarom werd een nieuwe applicatie ontwikkeld. Ruimtelijke geluiden moeten het uitvoeren van analysetaken vergemakkelijken zonder de mentale inspanning te verhogen. Een spraakfunctie moet de navigatie vergemakkelijken die wordt gebruikt voor de ontwikkelde toepassing van de mixed reality-smartglasses (zie Materiaaltabel). Een mentale rotatietest moet de basis zijn om beginners van gevorderde gebruikers te onderscheiden. Het stressniveau wordt gemeten aan de hand van een vragenlijst. De prestaties worden op hun beurt geëvalueerd op basis van de (1) tijd die een gebruiker nodig heeft voor de analysetaken en op basis van de (2) fouten die door een gebruiker zijn gemaakt voor de analysetaken. De prestaties in mixed reality smartglass worden vergeleken met het uitvoeren van dezelfde taken in een nieuw ontwikkelde en vergelijkbare 2D-desktopapplicatie. Daarnaast wordt een huidgeleidingsapparaat gebruikt om het huidgeleidingsniveau te meten als mogelijke indicator voor stress. De resultaten van deze meting zijn onderwerp van verdere analyse en zullen in dit werk niet worden besproken. De auteurs onthulden in een andere studie met hetzelfde apparaat dat aanvullende overwegingen vereist zijn²⁴.

Op basis van dit protocol komen de volgende vijf onderzoeksvragen (RQ’s) aan bod:

RQ1: Hebben ruimtelijke verbeeldingskracht van de deelnemers een significante invloed op de uitvoering van taken?
RQ2: Is er een significante verandering in de taakprestaties in de loop van de tijd?
RQ3: Is er een significante verandering in de taakprestaties bij het gebruik van ruimtelijke geluiden in de immersieve analyseoplossing?
RQ4: Wordt de ontwikkelde immersieve analyse ervaren stressvol door de gebruikers?
RQ5: Presteren gebruikers beter wanneer ze een immersieve analyseoplossing gebruiken in vergelijking met een 2D-benadering?

Figuur 1 vat het gepresenteerde protocol samen met betrekking tot twee schalen. Het toont de ontwikkelde en gebruikte maatregelen en hun nieuwheid met betrekking tot het niveau van interactie. Aangezien het interactieniveau een belangrijk aspect vormt bij het ontwikkelen van functies voor een VR-setting, zal figuur 1 de nieuwheid van het volledige protocol dat in dit werk is ontwikkeld, beter weergeven. Hoewel de evaluatie van de aspecten binnen de twee gebruikte schalen subjectief is, is hun algehele evaluatie gebaseerd op het huidige gerelateerde werk en de volgende belangrijke overwegingen: Een belangrijk principe is het gebruik van abstracties van een omgeving voor een natuurlijke interactie, waarop de gebruiker is afgestemd. Met betrekking tot het betreffende protocol lijkt de visualisatie van puntenwolken intuïtief te zijn voor gebruikers en de herkenning van patronen in dergelijke wolken is erkend als een beheersbare taak in het algemeen. Een ander belangrijk principe is het overlappen van affordances. Hierbij is het gebruik van ruimtelijke geluiden zoals gebruikt in het betreffende protocol een voorbeeld, omdat ze correleren met de nabijheid van een gezocht object. De auteurs bevelen aan om de representaties zo af te stemmen dat de meeste informatie zich in de tussenzone bevindt, wat het belangrijkst is voor de menselijke perceptie. De reden waarom de auteurs dit principe niet hebben opgenomen, was om de gebruiker aan te moedigen om zelf de beste plek te vinden en om te proberen zich te oriënteren in een datavisualisatieruimte, die te groot is om in één keer te worden getoond. In de gepresenteerde benadering werden geen verdere overwegingen gemaakt van de kenmerken van de te tonen 3D-gegevens. Als bijvoorbeeld wordt aangenomen dat een dimensie tijdelijk is, kunnen scatterplots zijn weergegeven. De auteurs vinden dit soort visualisatie over het algemeen interessant in de context van Industrie 4.0. Het moet echter gericht zijn op een redelijk kleine set visualisaties. Bovendien richtte een eerdere publicatie zich al op de gezamenlijke analyse van data. In dit werk werd deze onderzoeksvraag uitgesloten vanwege de complexiteit van de andere behandelde kwesties in deze studie. In de hier gepresenteerde opstelling kan de gebruiker de meeslepende ruimte verkennen door rond te lopen. Andere benaderingen bieden controllers om de virtuele ruimte te verkennen. In dit onderzoek wordt de focus gelegd op de bruikbaarheid door gebruik te maken van de System Usability Scale (SUS). Een andere eerdere publicatie heeft een onderzoek uitgevoerd voor economische experts, maar met VR-headsets. In het algemeen, en het belangrijkste, klaagt deze studie over het beperkte gezichtsveld voor andere apparaten zoals de gebruikte mixed reality smartglasses in dit werk (zie Materiaaltabel). Hun bevindingen tonen aan dat beginners op het gebied van VR in staat waren om de analytische tool efficiënt te gebruiken. Dit komt overeen met de ervaringen van dit onderzoek, hoewel in dit werk beginners niet werden geclassificeerd om VR- of game-ervaringen te hebben. In tegenstelling tot de meeste VR-oplossingen is mixed reality niet vast aan een positie, omdat het de echte omgeving kan volgen. VR-benaderingen zoals het gebruik van speciale stoelen voor een 360 ° -ervaring om de gebruiker van zijn bureaublad te bevrijden. De auteurs geven aan dat perceptieproblemen de prestaties van immersieve analyses beïnvloeden; bijvoorbeeld door schaduwen te gebruiken. Voor het onderzoek is dit niet haalbaar, omdat de gebruikte mixed reality smartglasses (zie materiaaltabel) geen schaduwen kunnen weergeven. Een tijdelijke oplossing zou een virtuele verdieping kunnen zijn, maar een dergelijke opstelling viel buiten het bestek van dit onderzoek. Een enquêtestudie op het gebied van immersieve analyse identificeerde 3D-scatterplots als een van de meest voorkomende representaties van multidimensionale gegevens. Al met al kunnen de aspecten in figuur 1 momenteel niet worden gecompileerd naar een protocol dat bruikbaarheidsaspecten van meeslepende analyses voor Industry 4.0-scenario’s onderzoekt.

Protocol

Alle materialen en methoden werden goedgekeurd door de ethische commissie van de universiteit van Ulm en werden uitgevoerd in overeenstemming met de goedgekeurde richtlijnen. Alle deelnemers gaven hun schriftelijke geïnformeerde toestemming. 1. Zorg voor een geschikte studieomgeving OPMERKING: De studie werd uitgevoerd in een gecontroleerde omgeving om het hoofd te bieden aan de complexe hardware-instelling. De gebruikte mixed reality smartglasses (zie Materi…

Representative Results

Maatregelen voor het experiment instellenVoor de detectietaak van de uitschieter zijn de volgende prestatiemetingen gedefinieerd: tijd, pad en hoek. Zie figuur 6 voor de metingen. De tijd werd geregistreerd totdat een rood gemarkeerd punt (d.w.z. de uitschieter) werd gevonden. Deze prestatiemaatstaf geeft aan hoe lang een deelnemer nodig had om het rood gemarkeerde punt te vinden. Tijd wordt in de resultaten aangeduid als de variabele “tijd” (…

Discussion

Met betrekking tot de ontwikkelde mixed reality smartglasses (zie Materiaaltabel) applicatie waren twee aspecten bijzonder gunstig. Het gebruik van ruimtelijke geluiden voor de detectietaak van de uitschieter werd aan de ene kant positief ervaren (zie de resultaten van RQ3). Aan de andere kant werd het gebruik van spraakopdrachten ook positief ervaren (zie figuur 10).

Wat betreft de studiedeelnemers, hoewel het aantal gerekruteerde deelnemers vrij…

Materials

edaMove	movisens
HoloLens	Microsoft
Matlab R2017a	MathWorks
RPY2	GNU General Public License v2 or later (GPLv2+) (GPLv2+)		https://pypi.org/project/rpy2/
SPSS 25.0	IBM