Summary
Dit protocol beschrijft de technische setting van een ontwikkelde mixed reality-applicatie die wordt gebruikt voor immersive analytics. Op basis hiervan worden metingen gepresenteerd, die in een onderzoek zijn gebruikt om inzicht te krijgen in bruikbaarheidsaspecten van de ontwikkelde technische oplossing.
Abstract
In de geneeskunde of industrie wordt de analyse van hoogdimensionale datasets steeds meer vereist. Beschikbare technische oplossingen zijn echter vaak complex in gebruik. Daarom zijn nieuwe benaderingen zoals immersive analytics welkom. Meeslepende analyses beloven hoogdimensionale datasets op een handige manier te ervaren voor verschillende gebruikersgroepen en datasets. Technisch gezien worden virtual reality-apparaten gebruikt om meeslepende analyses mogelijk te maken. In Industrie 4.0 zijn scenario's zoals het identificeren van uitschieters of anomalieën in hoogdimensionale datasets bijvoorbeeld doelen van immersieve analyses. In deze context moeten twee belangrijke vragen worden behandeld voor elke ontwikkelde technische oplossing voor immersieve analyses: ten eerste, zijn de technische oplossingen nuttig of niet? Ten tweede, is de lichamelijke ervaring van de technische oplossing positief of negatief? De eerste vraag richt zich op de algemene haalbaarheid van een technische oplossing, terwijl de tweede vraag gericht is op het draagcomfort. Bestaande studies en protocollen, die deze vragen systematisch behandelen, zijn nog steeds zeldzaam. In dit werk wordt een onderzoeksprotocol gepresenteerd, dat voornamelijk de bruikbaarheid voor immersieve analyses in Industry 4.0-scenario's onderzoekt. Concreet is het protocol gebaseerd op vier pijlers. Ten eerste categoriseert het gebruikers op basis van eerdere ervaringen. Ten tweede worden taken gepresenteerd, die kunnen worden gebruikt om de haalbaarheid van de technische oplossing te evalueren. Ten derde worden maatregelen gepresenteerd, die het leereffect van een gebruiker kwantificeren. Ten vierde evalueert een vragenlijst het stressniveau bij het uitvoeren van taken. Op basis van deze pijlers werd een technische setting geïmplementeerd die gebruik maakt van mixed reality smartglasses om het onderzoeksprotocol toe te passen. De resultaten van het uitgevoerde onderzoek tonen enerzijds de toepasbaarheid van het protocol en anderzijds de haalbaarheid van immersive analytics in Industry 4.0-scenario's. Het gepresenteerde protocol bevat een bespreking van ontdekte beperkingen.
Introduction
Virtual reality-oplossingen (VR-oplossingen) worden steeds belangrijker op verschillende gebieden. Vaak zal met VR-oplossingen (waaronder Virtual Reality, Mixed Reality en Augmented Reality) de uitvoering van veel dagelijkse taken en procedures worden vergemakkelijkt. In het automotive domein kan de configuratieprocedure van een auto bijvoorbeeld worden ondersteund door het gebruik van Virtual Reality1 (VR). Onderzoekers en beoefenaars hebben in deze context een veelheid aan benaderingen en oplossingen onderzocht en ontwikkeld. Studies die bruikbaarheidsaspecten onderzoeken, zijn echter nog steeds zeldzaam. In het algemeen moeten de aspecten worden beschouwd in het licht van twee belangrijke vragen. Eerst moet geëvalueerd worden of een VR-oplossing daadwerkelijk beter presteert dan een aanpak die geen gebruik maakt van VR-technieken. Ten tweede, omdat VR-oplossingen voornamelijk afhankelijk zijn van zware en complexe hardware-apparaten, moeten parameters zoals het draagcomfort en de mentale inspanning diepgaander worden onderzocht. Daarnaast dienen de genoemde aspecten altijd onderzocht te worden ten aanzien van het betreffende toepassingsgebied. Hoewel veel bestaande benaderingen de noodzaak zien om deze vragen te onderzoeken2, bestaan er minder studies die resultaten hebben opgeleverd.
Een onderzoeksonderwerp op het gebied van VR, dat momenteel belangrijk is, wordt aangeduid met immersive analytics. Het is afgeleid van het onderzoeksveld van visuele analyse, dat probeert de menselijke perceptie op te nemen in analysetaken. Dit proces staat ook wel bekend als visual data mining4. Meeslepende analyses omvatten onderwerpen op het gebied van gegevensvisualisatie, visuele analyse, virtual reality, computergraphics en interactie tussen mens en computer5. Recente voordelen in head-mounted displays (HMD) leidden tot verbeterde mogelijkheden om data op een meeslepende manier te verkennen. Langs deze trends ontstaan nieuwe uitdagingen en onderzoeksvragen, zoals de ontwikkeling van nieuwe interactiesystemen, de noodzaak om gebruikersmoeheid te onderzoeken of de ontwikkeling van geavanceerde 3D-visualisaties6. In een eerdere publicatie6 worden belangrijke principes van immersive analytics besproken. In het licht van big data zijn methoden zoals immersive analytics steeds meer nodig om een betere analyse van complexe datapools mogelijk te maken. Er bestaan slechts een paar studies die de bruikbaarheidsaspecten van immersieve analyseoplossingen onderzoeken. Bovendien moet het domein of veld in kwestie ook in dergelijke studies in aanmerking worden genomen. In dit werk werd een immersive analytics prototype ontwikkeld, en op basis daarvan een protocol, dat de ontwikkelde oplossing voor Industry 4.0 scenario's onderzoekt. Het protocol maakt daarbij gebruik van de ervaringsmethode2, die gebaseerd is op subjectieve, prestatie- en fysiologische aspecten. In het betreffende protocol worden de subjectieve aspecten gemeten door de ervaren stress van de studiedeelnemers. Prestaties worden op hun beurt gemeten aan de hand van de vereiste tijd en fouten die worden gemaakt om analysetaken uit te voeren. Ten slotte heeft een huidgeleidingssensor fysiologische parameters gemeten. De eerste twee maatregelen zullen in dit werk worden gepresenteerd, terwijl de gemeten huidgeleiding verdere inspanningen vereist om te worden geëvalueerd.
De gepresenteerde studie omvat verschillende onderzoeksgebieden, met name neurowetenschappelijke aspecten en informatiesystemen. Interessant is dat overwegingen over neurowetenschappelijke aspecten van informatiesystemen onlangs de aandacht hebben getrokken van verschillende onderzoeksgroepen 7,8, waaruit de vraag blijkt om het gebruik van IT-systemen ook vanuit een cognitief oogpunt te onderzoeken. Een ander gebied dat relevant is voor dit werk is het onderzoek naar menselijke factoren van informatiesystemen 9,10,11. Op het gebied van mens-computer interactie bestaan instrumenten om de bruikbaarheid van een oplossing te onderzoeken. Merk op dat de System Usability Scale voornamelijk in deze context wordt gebruikt12. Thinking Aloud Protocollen13 zijn een andere veelgebruikte studietechniek om meer te leren over het gebruik van informatiesystemen. Hoewel er veel benaderingen bestaan om bruikbaarheidsaspecten van informatiesystemen te meten, en sommige daarvan zijn al lang geleden gepresenteerd14, komen er nog steeds vragen naar voren die nieuwe maatregelen of studiemethoden vereisen. Daarom is het onderzoek op dit gebied zeer actief 12,15,16.
In het volgende zullen de redenen worden besproken waarom twee veelgebruikte methoden niet zijn overwogen in het huidige werk. Ten eerste werd de System Usability Scale niet gebruikt. De schaal is gebaseerd op tien vragen17 en het gebruik ervan is ook te vinden in verschillende andere VR-onderzoeken18. Omdat deze studie vooral gericht is op het meten van stress19, was een stressgerelateerde vragenlijst geschikter. Ten tweede werd er geen Thinking Aloud Protocol20 gebruikt. Hoewel dit protocoltype zijn nut in het algemeen heeft bewezen13, werd het hier niet gebruikt omdat het stressniveau van studiedeelnemers alleen zou kunnen toenemen vanwege het feit dat de hardop denkende sessie parallel aan het gebruik van een zwaar en complex VR-apparaat moet worden bereikt. Hoewel deze twee technieken niet zijn gebruikt, zijn de resultaten van andere recente studies in de betreffende studie opgenomen. In eerdere werken21,22 maken de auteurs bijvoorbeeld onderscheid tussen beginners en experts in hun studie. Op basis van de succesvolle uitkomst van deze studies maakt het betreffende protocol gebruik van deze gepresenteerde scheiding van studiegebruikers. De spanningsmeting is op zijn beurt gebaseerd op ideeën uit de volgende werken 15,19,21,22.
In eerste instantie moet voor het uitvoeren van de studie een geschikt Industry 4.0-scenario worden gevonden voor het uitvoeren van analytische taken. Geïnspireerd door een ander werk van de auteurs23, zijn twee scenario's (d.w.z. de analysetaken) geïdentificeerd, (1) Detectie van uitschieters en (2) Herkenning van clusters. Beide scenario's zijn uitdagend en zeer relevant in de context van het onderhoud van productiemachines met hoge doorvoer. Op basis van deze beslissing hebben zes belangrijke overwegingen het studieprotocol dat in dit werk wordt gepresenteerd, aangedreven:
- De oplossing die voor het onderzoek wordt ontwikkeld, zal technisch gebaseerd zijn op mixed reality smartglasses (zie Materiaaltabel) en zal worden ontwikkeld als een mixed reality-toepassing.
- Er moet een geschikte test worden ontwikkeld, die beginners van gevorderde gebruikers kan onderscheiden.
- Prestatiemetingen moeten rekening houden met tijd en fouten.
- Er moet een desktopapplicatie worden ontwikkeld, die te vergelijken is met de immersive analytics-oplossing.
- Er moet een maatregel worden toegepast om het waargenomen stressniveau te evalueren.
- Naast dit laatste punt moeten functies worden ontwikkeld om het stressniveau te verminderen terwijl een gebruiker de procedure van de twee genoemde analysetaken uitvoert (d.w.z. (1) Detectie van uitschieters en (2) Herkenning van clusters).
Op basis van de zes genoemde punten bevat het onderzoeksprotocol de volgende procedure. Uitschieterdetectie en clusterherkenningsanalysetaken moeten op een meeslepende manier worden uitgevoerd met behulp van mixed reality-smartglasses (zie Materiaaltabel). Daarom werd een nieuwe applicatie ontwikkeld. Ruimtelijke geluiden moeten het uitvoeren van analysetaken vergemakkelijken zonder de mentale inspanning te verhogen. Een spraakfunctie moet de navigatie vergemakkelijken die wordt gebruikt voor de ontwikkelde toepassing van de mixed reality-smartglasses (zie Materiaaltabel). Een mentale rotatietest moet de basis zijn om beginners van gevorderde gebruikers te onderscheiden. Het stressniveau wordt gemeten aan de hand van een vragenlijst. De prestaties worden op hun beurt geëvalueerd op basis van de (1) tijd die een gebruiker nodig heeft voor de analysetaken en op basis van de (2) fouten die door een gebruiker zijn gemaakt voor de analysetaken. De prestaties in mixed reality smartglass worden vergeleken met het uitvoeren van dezelfde taken in een nieuw ontwikkelde en vergelijkbare 2D-desktopapplicatie. Daarnaast wordt een huidgeleidingsapparaat gebruikt om het huidgeleidingsniveau te meten als mogelijke indicator voor stress. De resultaten van deze meting zijn onderwerp van verdere analyse en zullen in dit werk niet worden besproken. De auteurs onthulden in een andere studie met hetzelfde apparaat dat aanvullende overwegingen vereist zijn24.
Op basis van dit protocol komen de volgende vijf onderzoeksvragen (RQ's) aan bod:
RQ1: Hebben ruimtelijke verbeeldingskracht van de deelnemers een significante invloed op de uitvoering van taken?
RQ2: Is er een significante verandering in de taakprestaties in de loop van de tijd?
RQ3: Is er een significante verandering in de taakprestaties bij het gebruik van ruimtelijke geluiden in de immersieve analyseoplossing?
RQ4: Wordt de ontwikkelde immersieve analyse ervaren stressvol door de gebruikers?
RQ5: Presteren gebruikers beter wanneer ze een immersieve analyseoplossing gebruiken in vergelijking met een 2D-benadering?
Figuur 1 vat het gepresenteerde protocol samen met betrekking tot twee schalen. Het toont de ontwikkelde en gebruikte maatregelen en hun nieuwheid met betrekking tot het niveau van interactie. Aangezien het interactieniveau een belangrijk aspect vormt bij het ontwikkelen van functies voor een VR-setting, zal figuur 1 de nieuwheid van het volledige protocol dat in dit werk is ontwikkeld, beter weergeven. Hoewel de evaluatie van de aspecten binnen de twee gebruikte schalen subjectief is, is hun algehele evaluatie gebaseerd op het huidige gerelateerde werk en de volgende belangrijke overwegingen: Een belangrijk principe is het gebruik van abstracties van een omgeving voor een natuurlijke interactie, waarop de gebruiker is afgestemd. Met betrekking tot het betreffende protocol lijkt de visualisatie van puntenwolken intuïtief te zijn voor gebruikers en de herkenning van patronen in dergelijke wolken is erkend als een beheersbare taak in het algemeen. Een ander belangrijk principe is het overlappen van affordances. Hierbij is het gebruik van ruimtelijke geluiden zoals gebruikt in het betreffende protocol een voorbeeld, omdat ze correleren met de nabijheid van een gezocht object. De auteurs bevelen aan om de representaties zo af te stemmen dat de meeste informatie zich in de tussenzone bevindt, wat het belangrijkst is voor de menselijke perceptie. De reden waarom de auteurs dit principe niet hebben opgenomen, was om de gebruiker aan te moedigen om zelf de beste plek te vinden en om te proberen zich te oriënteren in een datavisualisatieruimte, die te groot is om in één keer te worden getoond. In de gepresenteerde benadering werden geen verdere overwegingen gemaakt van de kenmerken van de te tonen 3D-gegevens. Als bijvoorbeeld wordt aangenomen dat een dimensie tijdelijk is, kunnen scatterplots zijn weergegeven. De auteurs vinden dit soort visualisatie over het algemeen interessant in de context van Industrie 4.0. Het moet echter gericht zijn op een redelijk kleine set visualisaties. Bovendien richtte een eerdere publicatie zich al op de gezamenlijke analyse van data. In dit werk werd deze onderzoeksvraag uitgesloten vanwege de complexiteit van de andere behandelde kwesties in deze studie. In de hier gepresenteerde opstelling kan de gebruiker de meeslepende ruimte verkennen door rond te lopen. Andere benaderingen bieden controllers om de virtuele ruimte te verkennen. In dit onderzoek wordt de focus gelegd op de bruikbaarheid door gebruik te maken van de System Usability Scale (SUS). Een andere eerdere publicatie heeft een onderzoek uitgevoerd voor economische experts, maar met VR-headsets. In het algemeen, en het belangrijkste, klaagt deze studie over het beperkte gezichtsveld voor andere apparaten zoals de gebruikte mixed reality smartglasses in dit werk (zie Materiaaltabel). Hun bevindingen tonen aan dat beginners op het gebied van VR in staat waren om de analytische tool efficiënt te gebruiken. Dit komt overeen met de ervaringen van dit onderzoek, hoewel in dit werk beginners niet werden geclassificeerd om VR- of game-ervaringen te hebben. In tegenstelling tot de meeste VR-oplossingen is mixed reality niet vast aan een positie, omdat het de echte omgeving kan volgen. VR-benaderingen zoals het gebruik van speciale stoelen voor een 360 ° -ervaring om de gebruiker van zijn bureaublad te bevrijden. De auteurs geven aan dat perceptieproblemen de prestaties van immersieve analyses beïnvloeden; bijvoorbeeld door schaduwen te gebruiken. Voor het onderzoek is dit niet haalbaar, omdat de gebruikte mixed reality smartglasses (zie materiaaltabel) geen schaduwen kunnen weergeven. Een tijdelijke oplossing zou een virtuele verdieping kunnen zijn, maar een dergelijke opstelling viel buiten het bestek van dit onderzoek. Een enquêtestudie op het gebied van immersieve analyse identificeerde 3D-scatterplots als een van de meest voorkomende representaties van multidimensionale gegevens. Al met al kunnen de aspecten in figuur 1 momenteel niet worden gecompileerd naar een protocol dat bruikbaarheidsaspecten van meeslepende analyses voor Industry 4.0-scenario's onderzoekt.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Alle materialen en methoden werden goedgekeurd door de ethische commissie van de universiteit van Ulm en werden uitgevoerd in overeenstemming met de goedgekeurde richtlijnen. Alle deelnemers gaven hun schriftelijke geïnformeerde toestemming.
1. Zorg voor een geschikte studieomgeving
OPMERKING: De studie werd uitgevoerd in een gecontroleerde omgeving om het hoofd te bieden aan de complexe hardware-instelling. De gebruikte mixed reality smartglasses (zie Materiaaltabel) en de laptop voor de 2D-toepassing werden uitgelegd aan de deelnemers aan het onderzoek.
- Controleer de technische oplossing voor elke deelnemer; ingesteld in de standaardmodus. Bereid de vragenlijsten voor en plaats ze naast een deelnemer.
- Laat deelnemers taken uit de use cases outlier detectie en clusterherkenning in één sessie oplossen (d.w.z. de gemiddelde tijd was 43 min).
- Begin de studie door de deelnemers te verwelkomen en het doel van de studie te introduceren, evenals de algehele procedure.
- Deelnemers die het huidgeleidingsmeetapparaat gebruiken (zie Materiaaltabel) moeten zich houden aan een korte rustfase om een nulmeting te ontvangen. Slechts de helft van de deelnemers gebruikte dit apparaat.
- Alle deelnemers moeten de State-Trait Anxiety Inventory (STAI) vragenlijst31 invullen, voorafgaand aan de start van het experiment.
- Vervolgens moeten deelnemers de mentale rotatietest uitvoeren (zie figuur 4, deze test evalueerde de ruimtelijke verbeeldingskracht), die de basis was om hoge van lage performers te onderscheiden (high performers zijn geavanceerde gebruikers, terwijl low performers beginners zijn), gevolgd door de ruimtelijke geluidstest om ruimtelijke gehoorvaardigheden van een deelnemer te meten.
OPMERKING: Een mediane verdeling van de testscores in de mentale rotatietest32 werd gebruikt om lage van hoogpresteerders te onderscheiden.
- Vervolgens moeten deelnemers de mentale rotatietest uitvoeren (zie figuur 4, deze test evalueerde de ruimtelijke verbeeldingskracht), die de basis was om hoge van lage performers te onderscheiden (high performers zijn geavanceerde gebruikers, terwijl low performers beginners zijn), gevolgd door de ruimtelijke geluidstest om ruimtelijke gehoorvaardigheden van een deelnemer te meten.
- Deel deelnemers willekeurig in twee groepen; begin met de taak op uitschieterdetectie of clusterherkenning, maar ga daarna verder met de andere use case. Voor de clusterherkenningstaak begon de helft van de deelnemers eerst met de gebruikte mixed reality smartglasses (zie Tabel met Materialen) en vervolgens de 2D-applicatie, terwijl de andere helft eerst begon met de 2D-applicatie en vervolgens de mixed reality smartglasses gebruikte (zie Materiaaltabel). Selecteer voor de detectietaak van de uitschieter willekeurig een groep die geluidsondersteuning ontvangt, terwijl het andere deel van de groep geen geluidsondersteuning ontvangt.
- Aan het einde van de sessie moeten deelnemers de State-Trait Anxiety Inventory (STAI) vragenlijst31 opnieuw beantwoorden, evenals de zelf ontwikkelde en een demografische vragenlijst.
- Sla de gegenereerde gegevens, die automatisch werden opgenomen door elke ontwikkelde applicatie, op de opslag van de laptop op nadat de sessie was voltooid.
2. Studieprotocol voor deelnemers
- Bereid het experiment voor (zie figuur 2 voor de ruimte van het experiment) voor elke deelnemer. Presenteer de desktop-pc, de gebruikte mixed reality smartglasses, en deel de vragenlijsten uit.
- Informeer de deelnemers dat het experiment 40 tot 50 minuten zal duren, en dat de helft van hen begint na de pretests (zie punten 3-6 van het studieprotocol) eerst met de uitschieterdetectietest (zie punt 7 van het studieprotocol), gevolgd door de clusterherkenningstest (zie punt 8 van het studieprotocol), terwijl de anderen deze twee tests vice versa uitvoeren (d.w.z. Punt 8 van het studieprotocol vóór punt 7).
- Bepaal willekeurig of een huidgeleidingsmeting wordt uitgevoerd. In geval van ja, bereidt u het huidgeleidingsmeetapparaat33 voor en informeert u de deelnemer om het apparaat aan te trekken. Vraag een korte rustfase aan bij deelnemers om een nulmeting voor hun stressniveau te ontvangen.
- Vraag deelnemers om de State-Trait Anxiety Inventory (STAI) vragenlijst31 in te vullen en hen te informeren dat deze de huidige waargenomen stress vóór het experiment meet.
- Voer een mentale rotatietest uit.
- Informeer deelnemers dat hun mentale rotatiemogelijkheden worden geëvalueerd en leid ze in voor een desktopcomputer. Informeer deelnemers over de testprocedure. Merk op dat ze vergelijkbare objecten moesten identificeren die verschillende posities hadden in een gesimuleerde 3D-ruimte.
- Informeer deelnemers dat slechts twee van de vijf getoonde objecten vergelijkbaar zijn en dat ze 2 minuten hebben voor de hele test. Informeer deelnemers dat zeven taken binnen de gegeven 2 minuten kunnen worden voltooid en vertel hen dat prestatiemetingen worden geregistreerd voor elke voltooide taak.
- Evalueer ruimtelijke geluidscapaciteiten.
- Informeer deelnemers dat hun ruimtelijke geluidscapaciteiten worden geëvalueerd en leid ze in voor een desktopcomputer. Informeer deelnemers over de testprocedure. Leg de deelnemers uit dat er zes geluidsfragmenten moeten worden gedetecteerd, die elk 13 seconden worden afgespeeld.
- Informeer deelnemers dat ze de richting moeten detecteren (analoog aan de vier kompasrichtingen) waar het geluid vandaan komt.
- Evalueer uitschietersdetectievaardigheden.
- Vraag deelnemers om de mixed reality smartglasses op te zetten. Leg ze uit dat er uitschieters moeten worden gevonden in de wereld die is gecreëerd voor de mixed reality smartglasses.
- Informeer hen verder dat een uitschieter een rood gemarkeerd punt is, alle andere punten zijn wit gemarkeerd. Leg ze dan uit dat ze hun blik op het roodgekleurde punt moeten richten om het te detecteren.
- Informeer de deelnemers verder dat er niet alleen visuele hulp wordt geboden, maar ook omgevingsgeluiden hen ondersteunen om uitschieters te vinden. Geef de deelnemers de informatie dat ze 8 uitschieters moeten uitvoeren, wat betekent dat 8 keer binnen de virtuele wereld het roodgekleurde punt moet worden gevonden. Voor elke deelnemer worden 4 taken geluidsondersteund, terwijl 4 taken niet ondersteund worden. Voor elke deelnemer wordt willekeurig geselecteerd of ze een taak starten die door geluid wordt ondersteund of niet. Vervolgens verandert het, afhankelijk van de eerste taak, van taak tot taak, of er goede ondersteuning wordt geboden of niet.
- Vertel deelnemers welke informatie zal worden vastgelegd: vereiste tijd voor elke taak, lengte van het lopen en hoe hun uiteindelijke bewegende positie eruit ziet in relatie tot hun startpositie. Vertel de deelnemers ten slotte dat het rood gemarkeerde punt groen wordt als het werd gedetecteerd (zie figuur 3).
- Evalueer clusterherkenningsvaardigheden.
- Beslis willekeurig voor de deelnemer of hij eerst de mixed reality smartglasses gebruikt of de deelnemer naar een desktopcomputer brengt. Hieronder wordt alleen de procedure voor de mixed reality-instelling beschreven. Als een deelnemer eerst begint met de desktopcomputer, is de procedure hetzelfde in gewijzigde volgorde en behalve de spraakopdrachten worden ze alleen gegeven bij gebruik van de mixed reality-oplossing.
- Voor deelnemers die gebruik maken van mixed reality: Vraag deelnemers om de mixed reality smartglasses op te zetten. Informeer deelnemers hoe ze clusters binnen de wereld kunnen vinden die zijn gemaakt met de gebruikte mixed reality smartglasses. Benadruk de deelnemers dat ze onderscheid moesten maken tussen overlappende clusters door er omheen te bewegen.
- Voor deelnemers die mixed reality gebruiken: leg deelnemers uit dat ze in de virtuele wereld en rond de clusters kunnen navigeren met behulp van spraakopdrachten. Vertel de deelnemers ten slotte dat ze zes clusters moesten detecteren.
- Voor deelnemers die mixed reality gebruiken: Vraag deelnemers om de gebruikte mixed reality smartglasses te verwijderen. Leid deelnemers naar een desktopcomputer en vertel hen om de software te gebruiken die op het scherm van de desktopcomputer wordt weergegeven. Informeer hen dat hetzelfde type clusters zoals getoond in de gebruikte mixed reality smartglasses moest worden gedetecteerd met behulp van de software op de desktopcomputer (zie figuur 7 en figuur 8).
- Vraag deelnemers om drie vragenlijsten in te vullen, namelijk de State-Trait Anxiety Inventory (STAI) vragenlijst31, een zelf ontwikkelde vragenlijst om subjectieve feedback te verzamelen en een demografische vragenlijst om informatie over hen te verzamelen.
- Verzoek de deelnemers om het huidgeleidingsmeetapparaat33 te verwijderen als hen in het begin werd gevraagd om het aan te trekken.
- Ontlast deelnemers van het experiment door dank te zeggen voor de deelname.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Maatregelen voor het experiment instellen
Voor de detectietaak van de uitschieter zijn de volgende prestatiemetingen gedefinieerd: tijd, pad en hoek. Zie figuur 6 voor de metingen.
De tijd werd geregistreerd totdat een rood gemarkeerd punt (d.w.z. de uitschieter) werd gevonden. Deze prestatiemaatstaf geeft aan hoe lang een deelnemer nodig had om het rood gemarkeerde punt te vinden. Tijd wordt in de resultaten aangeduid als de variabele "tijd" (in milliseconden).
Terwijl deelnemers probeerden het rood gemarkeerde punt te vinden, werd hun wandelpadlengte bepaald. De basis van deze berekening was dat de gebruikte mixed reality smartglasses (zie Materiaal tabel) de huidige positie als 3D-vector ten opzichte van de beginpositie verzamelen met een framesnelheid van 60 frames per seconde. Op basis hiervan kon de lengte van het pad dat een deelnemer had gelopen worden berekend. Deze prestatiemaatstaf geeft aan of deelnemers veel hebben gelopen of niet. Pad wordt in de resultaten aangeduid als PathLength. Op basis van de PathLength zijn nog drie prestatiemetingen afgeleid: PathMean, PathVariance en BoundingBox. PathMean geeft de gemiddelde snelheid van deelnemers in meter per frame aan, PathVariance de grilligheid van een beweging en BoundingBox geeft aan of deelnemers hun selectiekader intensief hadden gebruikt. Dit laatste wordt bepaald op basis van de maximale en minimale posities van alle bewegingen (d.w.z. deelnemers die vaak hun looppositie veranderen, onthulden hogere BoundingBox-waarden).
De laatste waarde die werd gemeten, wordt aangeduid met AngleMean en vormt een afgeleide waarde van de hoek, die wordt aangeduid met AngleMean. Dit laatste duidt op de rotatie tussen de huidige positie en de startpositie van een deelnemer met een framesnelheid van 60 per seconde. Op basis hiervan werd de gemiddelde rotatiesnelheid in graden per frame berekend. Afgeleid van deze waarde werd de grilligheid van de rotatie berekend met behulp van de variantie, die wordt aangeduid als AngleVariance.
Om de doeleinden van de berekende pad- en hoekwaarden samen te vatten, geeft het pad aan of gebruikers veel lopen of niet. Als ze niet veel lopen, kan dit wijzen op hun gebrek aan oriëntatie. De hoek moet op zijn beurt aangeven of deelnemers snelle of plotselinge hoofdbewegingen maken. Als ze op meerdere momenten plotselinge hoofdbewegingen uitvoeren, kan dit opnieuw wijzen op een gebrek aan oriëntatie.
Voor de clusterdetectietaak zijn de volgende prestatiemetingen gedefinieerd: tijd en fouten. De tijd werd geregistreerd tot het moment waarop deelnemers rapporteerden hoeveel clusters ze hadden gedetecteerd. Deze prestatiemaatstaf geeft aan hoe lang deelnemers nodig hadden om clusters te vinden. Tijd wordt aangeduid als Tijd (in milliseconden). Fouten worden geïdentificeerd in de zin van een binaire beslissing (waar/onwaar). Het aantal gerapporteerde clusters was correct (waar) of niet correct (onwaar). Fouten worden aangeduid met fouten.
De staatsversie van State-Trait Anxiety Inventory (STAI) vragenlijst31 werd gebruikt om de staatsangst te meten, een constructie vergelijkbaar met staatsstress. De vragenlijst bestaat uit 20 items en werd uitgedeeld voordat de studie begon, evenals daarna om de veranderingen in de staatsangst te evalueren. Voor de evaluatie van deze vragenlijst zijn alle positieve eigenschappen omgedraaid (bijvoorbeeld een antwoord '4' wordt een '1'), en alle antwoorden worden samengevat tot een uiteindelijke STAI-score. De huidgeleiding werd gemeten voor 30 willekeurig geselecteerde deelnemers met behulp van het huidgeleidingsmeetapparaat (zie Materiaaltabel)33.
Nadat de twee taaktypen zijn voltooid, werd aan het einde van het onderzoek een zelf ontwikkelde vragenlijst uitgedeeld om feedback van de deelnemer te vragen. De vragenlijst is weergegeven in tabel 1. Verder werd in een demografische vragenlijst gevraagd naar geslacht, leeftijd en opleiding van alle deelnemers.
Algemene studieprocedure en studie-informatie
De algemene onderzoeksprocedure wordt geïllustreerd in figuur 9. 60 deelnemers namen deel aan het onderzoek. De deelnemers werden meestal gerekruteerd aan de universiteit van Ulm en softwarebedrijven uit Ulm. De deelnemende studenten kwamen voornamelijk uit de informatica, psychologie en natuurkunde. Tien waren vrouw en 50 waren man.
Op basis van de mentale rotatie pretest werden 31 gecategoriseerd als laagpresteerders, terwijl 29 werden gecategoriseerd als hoogpresteerders. Specifiek werden 7 vrouwen en 24 mannen gecategoriseerd als laagpresteerders, terwijl 3 vrouwen en 26 mannen werden gecategoriseerd als hoogpresteerders. Voor de statistische evaluaties werden 3 softwaretools gebruikt (zie Materiaaltabel).
Frequenties, percentages, gemiddelden en standaarddeviaties werden berekend als beschrijvende statistieken. Laag- en hoogpresteerders werden vergeleken in demografische basisvariabelen met behulp van Fisher's exacte tests en t-tests voor onafhankelijke monsters. Voor RQ1 -RQ5 werden lineaire multilevel modellen met de volledige maximale waarschijnlijkheidsschatting uitgevoerd. Er werden twee niveaus opgenomen, waarbij niveau één de herhaalde beoordelingen vertegenwoordigt (hetzij in uitschieterdetectie of clusterherkenning), en niveau twee de deelnemers. De prestatiemetingen (behalve fouten) waren de afhankelijke variabelen in deze modellen. In RQ 1 werden ook Fishers exacte tests voor de foutkansen gebruikt. In RQ3 werden prestaties in de tijd in ruimtelijke geluiden versus geen geluiden onderzocht (geluid versus geen geluid werd als voorspeller in de modellen opgenomen). De STAI-scores werden geëvalueerd met behulp van t-tests voor afhankelijke monsters voor RQ4. In RQ5 werd het effect van de 2D-toepassing versus de gebruikte mixed reality smartglasses (zie materiaaltabel) onderzocht, met behulp van McNemar's test voor de foutkans. Alle statistische tests werden uitgevoerd met twee staarten; de significantiewaarde werd ingesteld op P<,05.
De huidgeleidingsresultaten zijn niet geanalyseerd en zijn onderhevig aan toekomstig werk. Belangrijk is dat de auteurs in een andere studie met hetzelfde apparaat onthulden dat aanvullende overwegingen vereist zijn24.
Voor de mentale rotatietest werden de verschillen van de resultaten van de mentale rotatietest tussen deelnemers gebruikt om lage van hoogpresteerders te onderscheiden. Voor de ruimtelijke vaardigheidstest lieten alle deelnemers goede scores zien en werden daarom allemaal gecategoriseerd naar high performers met betrekking tot hun ruimtelijke vaardigheden.
In eerste instantie worden belangrijke resultaten van de deelnemers samengevat: lage en hoge presteerders in mentale rotatie vertoonden geen verschillen in hun basisvariabelen (geslacht, leeftijd en opleiding). Beschrijvend genoeg hadden de laagpresteerders een hoger percentage vrouwelijke deelnemers dan hoogpresteerders en hoogpresteerders waren jonger dan laagpresteerders. Tabel 2 vat de kenmerken van de deelnemers samen.
Wat betreft de resultaten voor RQ1, voor de clusterherkenningstaak, verschilden lage en hoge performers niet significant voor de 2D-toepassing (4 fouten voor lage en 2 fouten voor hoge performers) en de 3D-benadering (8 fouten voor lage en 2 fouten voor hoogpresteerders). Voor de detectietaak van de uitschieter waren high performers significant sneller dan low performers. Bovendien hadden high performers een kortere loopafstand nodig om de taken op te lossen. Voor de taak van de uitschieter geeft tabel 3 een overzicht van de gedetailleerde resultaten.
Met betrekking tot de resultaten voor RQ2 kwamen er alleen significante resultaten naar voren voor de detectietaak van de uitschieter. De BoundingBox, de PathLength, de PathVariance, de PathMean, de Angle-Variance en de AngleMean namen aanzienlijk toe van taak tot taak (zie Tabel 4). De geregistreerde tijd veranderde op zijn beurt niet significant van taak tot taak met behulp van de mixed reality smartglasses (zie Materiaaltabel).
Met betrekking tot de resultaten voor RQ3, op basis van de ruimtelijke geluiden, waren de deelnemers in staat om de taken in het detectiegeval van de uitschieter sneller op te lossen dan zonder ruimtelijke geluiden te gebruiken (zie tabel 5).
Wat betreft de resultaten voor RQ4, bij de pre-beoordeling, was de gemiddelde toestand op de STAI-scores M = 44,58 (SD = 4,67). Bij post-assessment was het M = 45,72 (SD = 4,43). Deze verandering bereikte geen statistische significantie (p = .175). Beschrijvende statistieken van de antwoorden in de zelf ontwikkelde vragenlijst zijn weergegeven in figuur 10.
Wat de resultaten voor RQ5 betreft, geeft de mixed reality smartglasses (zie Tabel met materialen) aan dat de clusterherkenningstijden aanzienlijk sneller zijn dan het gebruik van een desktopcomputer (zieT-able 6). Het snelheidsvoordeel bij het gebruik van de mixed reality smartglasses (zie Materiaaltabel) was echter vrij klein (d.w.z. in een millisecondenbereik).
Merk ten slotte op dat de gegevens van deze studie te vinden zijn op36.
Figuur 1: Onderzocht aspecten op de schaal Interactie versus Nieuwheid. De figuur toont de gebruikte metingen en hun nieuwheid met betrekking tot het interactieniveau. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2: Foto's van de studeerkamer. Twee foto's van de studeerkamer worden gepresenteerd. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3: Gedetecteerde uitschieter. De schermafbeelding toont een gedetecteerde uitschieter. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4: Voorbeeld van de mentale rotatietest. De screenshot toont de 3D-objecten waarmee deelnemers werden geconfronteerd; d.w.z. twee van de vijf objecten in verschillende posities met dezelfde objectstructuur moesten inzetten. Dit cijfer is aangepast op basis van dit werk35. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 5: Instelling voor de Ruimtelijke Vaardigheidstest. In (A) wordt de audioconfiguratie voor de taak Terug weergegeven, terwijl in (B) de schematische gebruikersinterface van de test wordt weergegeven. Dit cijfer is aangepast op basis van dit werk35. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 6: Illustratie van de instelling voor de detectie van de taakuitschieter. Er worden drie belangrijke aspecten getoond. Eerst worden de uitschieters geïllustreerd. Ten tweede worden prestatiemetingen getoond. Ten derde wordt de manier weergegeven waarop de geluidsondersteuning is berekend. Dit cijfer is aangepast op basis van dit werk35. Klik hier om een grotere versie van deze figuur te bekijken.
Afbeelding 7: Illustratie van de instelling voor de taakclusterherkenning. Overweeg de scenario's A-C voor een betere indruk, deelnemers moesten hun blik veranderen om clusters correct te identificeren. Dit cijfer is aangepast op basis van dit werk35. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 8: Illustratie van de instelling voor de taakclusterherkenning in Matlab. De figuur illustreert clusters in Matlab, dat de basis vormde voor de 2D-desktopapplicatie. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 9: Algemene onderzoeksprocedure in één oogopslag. Deze figuur toont de stappen die deelnemers moesten doorlopen, in hun chronologische volgorde. Dit cijfer is aangepast op basis van dit werk35. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 10: Resultaten van de zelf ontwikkelde vragenlijst (zie tabel 1). De resultaten worden weergegeven met behulp van boxplots. Dit cijfer is aangepast op basis van dit werk35. Klik hier om een grotere versie van deze figuur te bekijken.
| #Question | Vraag | Doel | Schub | Betekenis |
| 1 | Hoe stressvol heb je het dragen van de bril ervaren? | Dragen | 1-10 | 10 betekent hoog, 1 betekent laag |
| 2 | Hoe stressvol was de taak van de uitschieter? | Uitschieters | 1-10 | 10 betekent hoog, 1 betekent laag |
| 3 | Hoe stressvol heb je de ruimtelijke geluiden ervaren? | Geluid | 1-10 | 10 betekent hoog, 1 betekent laag |
| 4 | Hoe stressvol was het vinden van clusters in Mixed Reality? | Cluster MR | 1-10 | 10 betekent hoog, 1 betekent laag |
| 5 | Hoe stressvol was het vinden van clusters in de desktopbenadering? | Cluster DT | 1-10 | 10 betekent hoog, 1 betekent laag |
| 6 | Hoe stressvol was het gebruik van de spraakopdrachten? | Stem | 1-10 | 10 betekent hoog, 1 betekent laag |
| 7 | Voelde je je gesteund door de ruimtelijke geluiden? | Geluid | 1-10 | 10 betekent hoog, 1 betekent laag |
Tabel 1: Zelf ontwikkelde vragenlijst voor gebruikersfeedback. Het bestaat uit 7 vragen. Voor elke vraag moesten de deelnemers een waarde bepalen binnen een schaal van 1-10, waarbij 1 een lage waarde betekent (d.w.z. slechte feedback) en 10 een hoge waarde (d.w.z. een zeer goede feedback).
| Veranderlijk | Laagpresteerder (n=31) | Goed presterende | P-waarde |
| (n=31) | (n=29) | ||
| Geslacht, n(%) | |||
| Vrouwelijk | 7 (23%) | 3 (10%) | |
| Mannelijk | 24 (77%) | 26 (90%) | .302,onder a) |
| Leeftijdscategorie, n(%) | |||
| <25 | 1 (3%) | 5 (17%) | |
| 25-35 | 27 (87%) | 21 (72%) | |
| 36-45 | 0 (0%) | 2 (7%) | |
| 46-55 | 1 (3%) | 0 (0%) | |
| >55 | 2 (6%) | 1 (3%) | .099 (a) |
| Hoogste opleiding, n(%) | |||
| Middelbare school | 3 (10%) | 5 (17%) | |
| Vrijgezel | 7 (23%) | 6 (21%) | |
| Meester | 21 (68%) | 18 (62%) | .692 ,onder a) |
| Mentale rotatietest, gemiddelde (SD) | |||
| Juiste antwoorden | 3.03 (1.40) | 5.31 (0.76) | .001 (b) |
| Verkeerde antwoorden | 2.19 (1.47) | 1.21 (0.56) | .000 (b) |
| Ruimtelijke gehoortest, gemiddelde (SD) © | |||
| Juiste antwoorden | 4.39 (1.09) | 4.31 (1.00) | .467 b) |
| Verkeerde antwoorden | 1.61 (1.09) | 1.69 (1.00) | .940 b) |
| a:Fisher's Exacte Test | |||
| b: T-test met twee monsters | |||
| c: SD-standaarddeviatie | |||
Tabel 2: Beschrijving van de steekproef van deelnemers en vergelijking tussen laag- en hoogpresteerders in basisvariabelen. De tabel toont gegevens over de drie demografische vragen over geslacht, leeftijd en opleiding. Daarnaast worden de resultaten van de twee pretests gepresenteerd.
| Veranderlijk | Schatten | SE (a) | Resultaat |
| BoundingBox voor laagpresteerders voor taken | 2,224 | .438 | t(60,00) = 5,08; blz<,001 |
| Wijziging van BoundingBox voor high performer voor taken | +.131 | .630 | t(60,00) = .21; p=,836 |
| Tijd voor laagpresteerders voor taken | 20,919 | 1,045 | t(60,00) = 20,02; blz<,001 |
| Wijziging van de tijd voor high performer over taken | -3,863 | 1,503 | t(60,00) = -2,57; p=,013 |
| Pathlength voor laagpresteerders voor taken | 5,637 | .613 | t(60,00) = 9,19; blz<,001 |
| Wijziging van Pathlength voor high performer over taken heen | -1,624 | .882 | t(60,00) = -1,84; p=,071 |
| PathVariance voor laagpresteerders voor taken | 4,3E-4 | 4,7E-5 | t(65,15) = 9,25; blz<,001 |
| Wijziging van PathVariance voor high performer voor taken | +4,3E-6 | 6,7E-5 | t(65,15) = .063; p=,950 |
| PathMean voor laagpresteerders voor taken | .0047 | 5,3E-4 | t(60,00) = 8,697; blz<,001 |
| Wijziging van PathMean voor high performer voor alle taken | +3,8E-5 | 7,7E-4 | t(60,00) = .05; p=,960 |
| AngleVariance voor lage prestaties bij taken | .0012 | 7,3E-5 | t(85,70) = 16,15; blz<,001 |
| Wijziging van anglevariance voor high performer over taken | -2,7E-5 | 1,0E-4 | t(85,70) = -,26; p=,796 |
| AngleMean voor laagpresteerders voor taken | .015 | .001 | t(60,00) = 14,27; blz<,001 |
| Wijziging van AngleMean voor high performer voor taken | -3,0E-4 | 1,5E-3 | t(60,00) = -,20; p=,842 |
| (a) SE = standaardfout | |||
Tabel 3: Resultaten van de Multilevel Modellen voor RQ1 (Outlier Detection Using the Smartglasses). De tabel toont statistische resultaten van RQ1 voor de detectietaak van de uitschieter (voor alle prestatiemetingen).
| Veranderlijk | Schatten | SE (a) | Resultaat |
| BoundingBox bij eerste taak | .984 | .392 | t(138,12) = 2,51; p=,013 |
| Wijziging van BoundingBox van taak naar taak | +.373 | .067 | t(420,00) = 5,59; blz<,001 |
| Tijd bij de eerste taak | 19,431 | 1,283 | t(302,08) = 15,11; blz<,001 |
| Wijziging van tijd van taak naar taak | -.108 | .286 | t(420,00) = -,37; p=,709 |
| Pathlength bij eerste taak | 3,903 | .646 | t(214,81) = 6,05; blz<,001 |
| Wijziging van Pathlength van taak naar taak | +.271 | .131 | t(420,00) = 2,06; p=,040 |
| PathVariance bij de eerste taak | 3,1E-4 | 3,7E-5 | t(117,77) = 8,43; blz<,001 |
| Wijziging van PathVariance van taak naar taak | +3,5E-5 | 4,5E-6 | t(455,00) = 7,90; blz<,001 |
| PathMean bij de eerste taak | .0033 | 4,2E-4 | t(88,98) = 7,66; blz<,001 |
| Wijziging van PathMean van taak naar taak | +4,1E-4 | 5,2E-5 | t(420,00) = 7,81; blz<,001 |
| AngleVariance bij de eerste taak | .001 | 5,7E-5 | t(129,86) = 17,92; blz<,001 |
| Wijziging van anglevariance van taak naar taak | +4,1E-5 | 6,5E-6 | t(541,75) = 6,34; blz<,001 |
| AngleMean bij de eerste taak | .0127 | 8,1E-4 | t(82,17) = 15,52; blz<,001 |
| Wijziging van AngleMean van taak naar taak | +6,1E-4 | 9,0E-5 | t(420,00) = 6,86; blz<,001 |
| (a) SE = standaardfout | |||
Tabel 4: Resultaten van de Multilevel Modellen voor RQ2 (Outlier Detection Using the Smartglasses). De tabel toont statistische resultaten van RQ2 voor de detectietaak van de uitschieter (voor alle prestatiemetingen).
| Veranderlijk | Schatten | SE (a) | Resultaat |
| BoundingBox zonder geluid voor alle taken | 2,459 | .352 | t(93,26) = 6,98; blz<,001 |
| Wijziging van BoundingBox met geluid voor verschillende taken | -.344 | .316 | t(420,00) = -1,09; p=,277 |
| Tijd zonder geluid voor taken | 20,550 | 1,030 | t(161,17) = 19,94; blz<,001 |
| Verandering van tijd met geluid over taken | -2,996 | 1,319 | t(420,00) = -2,27; p=,024 |
| Pathlength zonder geluid over taken heen | 5,193 | .545 | t(121,81) = 9,54; blz<,001 |
| Wijziging van Pathlength met geluid voor verschillende taken | -.682 | .604 | t(420,00) = -1,13; p=,260 |
| PathVariantie zonder geluid voor taken | .0004 | 3,5E-5 | t(79,74) = 12,110; blz<,001 |
| Wijziging van PathVariance met geluid voor verschillende taken | +1,3E-5 | 2,2E-5 | t(429,20) = .592; p=,554 |
| PathMean zonder geluid voor taken | .005 | 4,0E-4 | t(73,66) = 11,35; blz<,001 |
| Wijziging van PathMean met geluid voor verschillende taken | +1,4E-4 | 2,5E-4 | t(420,00) = .56; p=,575 |
| Hoekvariantie zonder geluid over taken | .0012 | 5,4E-5 | t(101,32) = 21,00; blz<,001 |
| Wijziging van anglevariantie met geluid over taken | +3,3E-5 | 3,1E-5 | t(648,56) = 1,07; p=,284 |
| AngleVerdelen zonder geluid voor taken | .0145 | 7,8E-4 | t(70,17) = 18,51; blz<,001 |
| Wijziging van AngleMean met geluid voor verschillende taken | +6,0E-4 | 4,3E-4 | t(420,00) = 1,39; p=,166 |
| (a) SE = standaardfout | |||
Tabel 5: Resultaten van de Multilevel Modellen voor RQ3 (Outlier Detection Using the Smartglasses). De tabel toont statistische resultaten van RQ3 voor de detectietaak van de uitschieter (voor alle prestatiemetingen).
| Veranderlijk | Schatten | SE (a) | Resultaat |
| Tijd met desktop voor verschillende taken | 10,536 | .228 | t(156,43) = 46,120; blz<,001 |
| Wijziging van tijd met Hololens voor taken | -.631 | .286 | t(660,00) = -2,206; p=,028 |
| (a) SE = standaardfout | |||
Tabel 6: Resultaten van de Multilevel Modellen voor RQ5 (Clusterherkenning met behulp van de Smartglasses). De tabel toont statistische resultaten van RQ5 voor de clusterherkenningstaak (voor alle prestatiemetingen).
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Met betrekking tot de ontwikkelde mixed reality smartglasses (zie Materiaaltabel) applicatie waren twee aspecten bijzonder gunstig. Het gebruik van ruimtelijke geluiden voor de detectietaak van de uitschieter werd aan de ene kant positief ervaren (zie de resultaten van RQ3). Aan de andere kant werd het gebruik van spraakopdrachten ook positief ervaren (zie figuur 10).
Wat betreft de studiedeelnemers, hoewel het aantal gerekruteerde deelnemers vrij klein was voor een empirische studie, is het aantal concurrerend in vergelijking met veel andere werken. Toch is er een grootschaliger onderzoek gepland op basis van het getoonde protocol. Omdat het echter de haalbaarheid voor 60 deelnemers heeft aangetoond, wordt verwacht dat meer deelnemers geen verdere uitdagingen zullen onthullen. Er werd besproken dat de selectie van deelnemers breder zou kunnen zijn (in de zin van de velden waar de deelnemers vandaan komen) en dat het aantal basisvariabelen om onderscheid te maken tussen hoog- en laagpresteerders hoger zou kunnen zijn. Aan de andere kant, als deze aspecten worden gewijzigd in hogere aantallen, hoeft het protocol zelf niet diepgaand te worden gewijzigd.
Over het algemeen hebben de onthulde beperkingen geen invloed op de uitvoering van een onderzoek op basis van het protocol dat in dit werk wordt getoond, ze hebben alleen invloed op de werving en de gebruikte vragen voor de demografische vragenlijst. Eén beperking van deze studie is echter niettemin belangrijk: de totale benodigde tijd om het experiment voor één deelnemer te voltooien is hoog. Aan de andere kant, omdat de deelnemers niet klaagden over het draagcomfort, of dat het testapparaat hen te veel belast, kan de tijd van het uitvoeren van het algemene protocol voor één deelnemer als acceptabel worden beschouwd. Tot slot moeten in een toekomstig experiment verschillende aspecten aan het protocol worden toegevoegd. In het bijzonder moet de detectietaak van de uitschieter ook worden geëvalueerd in de 2D-desktoptoepassing. Verder moeten ook andere hardware-apparaten zoals de gebruikte mixed reality smartglasses (zie Materiaaltabel) worden geëvalueerd. Het protocol lijkt echter in bredere zin nuttig te zijn.
Voor het gepresenteerde protocol zijn de volgende belangrijke inzichten opgedaan. Ten eerste toonde het de haalbaarheid aan voor het evalueren van immersieve analyses voor een mixed-reality-oplossing. In het bijzonder onthulden de gebruikte mixed reality smartglasses (zie Tabel van Materialen) hun haalbaarheid om immersieve analyses te evalueren in een mixed-reality-toepassing voor Industry 4.0-scenario's. Ten tweede was de vergelijking van de ontwikkelde gebruikte mixed reality smartglasses (zie Tabel van Materialen) applicatie met een 2D desktop applicatie nuttig om te onderzoeken of de mixed-reality oplossing beter kan presteren dan een applicatie die geen gebruik maakt van VR technieken. Ten derde moet de meting van fysiologische parameters of vitale functies altijd in dergelijke experimenten worden overwogen. In dit werk werd stress gemeten met behulp van een vragenlijst en een huidgeleidingsapparaat. Hoewel dit laatste technisch goed werkte, onthulden de auteurs in een andere studie met hetzelfde apparaat dat aanvullende overwegingen vereist zijn24. Ten vierde was de ruimtelijke vermogenstoets en de scheiding van hoog- en laagpresteerders voordelig. Samenvattend, hoewel het gepresenteerde protocol op het eerste gezicht complex lijkt te zijn (zie figuur 9), toonde het technisch nut ervan aan. Wat de resultaten betreft, onthulde het ook het nut ervan.
Aangezien de detectie van uitschieters en de herkenning van clusters typische taken zijn bij de evaluatie van veel hoogdimensionale datasets in Industry 4.0-scenario's, is het gebruik ervan in een empirische studie representatief voor dit onderzoeksgebied. Het protocol toonde aan dat deze scenario's goed kunnen worden geïntegreerd in een bruikbaarheidsstudie over immersieve analyses. Daarom kan de gebruikte instelling worden aanbevolen voor andere studies in deze context.
Aangezien de uitkomst van de getoonde studie aantoonde dat het gebruik van een mixed-reality-oplossing op basis van de gebruikte smartglasses (zie Tabel met materialen) nuttig is om meeslepende analyses voor Industry 4.0-scenario's te onderzoeken, kan het protocol ook worden gebruikt voor andere bruikbaarheidsstudies in de gegeven context.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
De auteurs hebben niets te erkennen.
Materials
| Name | Company | Catalog Number | Comments |
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
- Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y.
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
