Bewertung von Usability-Aspekten einer Mixed-Reality-Lösung für Immersive Analytics in Industrie 4.0-Szenarien

Summary

Dieses Protokoll beschreibt die technische Einstellung einer entwickelten Mixed-Reality-Anwendung, die für immersive Analysen verwendet wird. Darauf aufbauend werden Maßnahmen vorgestellt, die in einer Studie eingesetzt wurden, um Erkenntnisse über Usability-Aspekte der entwickelten technischen Lösung zu gewinnen.

Abstract

In der Medizin oder Industrie wird zunehmend die Analyse von hochdimensionalen Datensätzen gefordert. Verfügbare technische Lösungen sind jedoch oft komplex in der Anwendung. Daher sind neue Ansätze wie Immersive Analytics willkommen. Immersive Analytics verspricht, hochdimensionale Datensätze auf komfortable Weise für verschiedene Benutzergruppen und Datensätze zu erleben. Technisch werden Virtual-Reality-Geräte verwendet, um immersive Analysen zu ermöglichen. In der Industrie 4.0 sind beispielsweise Szenarien wie die Identifikation von Ausreißern oder Anomalien in hochdimensionalen Datensätzen verfolgte Ziele der Immersive Analytics. In diesem Zusammenhang sollten zwei wichtige Fragen für jede entwickelte technische Lösung zu Immersive Analytics beantwortet werden: Erstens, sind die technischen Lösungen hilfreich oder nicht? Zweitens: Ist die körperliche Erfahrung der technischen Lösung positiv oder negativ? Die erste Frage zielt auf die generelle Machbarkeit einer technischen Lösung ab, die zweite auf den Tragekomfort. Überlieferte Studien und Protokolle, die sich systematisch mit diesen Fragen befassen, sind noch selten. In dieser Arbeit wird ein Studienprotokoll vorgestellt, das vor allem die Nutzbarkeit für immersive Analytics in Industrie 4.0-Szenarien untersucht. Konkret basiert das Protokoll auf vier Säulen. Erstens kategorisiert es Benutzer basierend auf früheren Erfahrungen. Zum anderen werden Aufgaben vorgestellt, anhand derer die Machbarkeit der technischen Lösung bewertet werden kann. Drittens werden Maßnahmen vorgestellt, die den Lerneffekt eines Nutzers quantifizieren. Viertens bewertet ein Fragebogen das Stressniveau bei der Durchführung von Aufgaben. Basierend auf diesen Säulen wurde ein technisches Setting implementiert, das Mixed-Reality-Datenbrillen verwendet, um das Studienprotokoll anzuwenden. Die Ergebnisse der durchgeführten Studie zeigen zum einen die Anwendbarkeit des Protokolls und zum anderen die Machbarkeit von Immersive Analytics in Industrie 4.0-Szenarien. Das vorgestellte Protokoll enthält eine Diskussion der entdeckten Einschränkungen.

Introduction

Virtual-Reality-Lösungen (VR-Lösungen) gewinnen in verschiedenen Bereichen zunehmend an Bedeutung. Oft soll mit VR-Lösungen (u.a. Virtual Reality, Mixed Reality und Augmented Reality) die Erledigung vieler alltäglicher Aufgaben und Abläufe erleichtert werden. Im Automotive-Bereich kann beispielsweise der Konfigurationsprozess eines Autos durch den Einsatz von Virtual Reality¹ (VR) unterstützt werden. Forscher und Praktiker haben in diesem Zusammenhang eine Vielzahl von Ansätzen und Lösungen untersucht und entwickelt. Studien, die Usability-Aspekte untersuchen, sind jedoch noch selten. Generell sollten die Aspekte im Lichte von zwei Hauptfragen betrachtet werden. Zunächst muss bewertet werden, ob eine VR-Lösung tatsächlich besser abschneidet als ein Ansatz, der keine VR-Techniken nutzt. Zweitens, da VR-Lösungen hauptsächlich auf schwere und komplexe Hardware-Geräte angewiesen sind, sollten Parameter wie der Tragekomfort und die mentale Anstrengung genauer untersucht werden. Darüber hinaus sollten die genannten Aspekte immer im Hinblick auf das jeweilige Anwendungsgebiet untersucht werden. Obwohl viele bestehende Ansätze die Notwendigkeit sehen, diese Fragen zu untersuchen², gibt es weniger Studien, die Ergebnisse vorgelegt haben.

Ein Forschungsthema im Bereich VR, das aktuell wichtig ist, wird mit Immersive Analytics bezeichnet. Es leitet sich aus dem Forschungsfeld Visual Analytics ab, das versucht, die menschliche Wahrnehmung in analytische Aufgaben einzubeziehen. Dieser Prozess ist auch als Visual Data Mining⁴ bekannt. Immersive Analytics umfasst Themen aus den Bereichen Datenvisualisierung, Visual Analytics, Virtual Reality, Computergrafik und Mensch-Computer-Interaktion⁵. Die jüngsten Vorteile von Head-Mounted-Displays (HMD) führten zu verbesserten Möglichkeiten, Daten auf immersive Weise zu erkunden. Entlang dieser Trends ergeben sich neue Herausforderungen und Forschungsfragen, wie die Entwicklung neuer Interaktionssysteme, die Notwendigkeit, die Ermüdung der Nutzer zu untersuchen, oder die Entwicklung anspruchsvoller 3D-Visualisierungen⁶. In einer früheren Veröffentlichung⁶ werden wichtige Prinzipien der immersiven Analytik diskutiert. Angesichts von Big Data werden Methoden wie Immersive Analytics immer mehr benötigt, um komplexe Datenbestände besser analysieren zu können. Es gibt nur wenige Studien, die Usability-Aspekte von Immersive-Analytics-Lösungen untersuchen. Darüber hinaus sollte auch die betreffende Domäne oder das betreffende Fachgebiet in solchen Studien berücksichtigt werden. In dieser Arbeit wurde ein Immersive-Analytics-Prototyp entwickelt und darauf aufbauend ein Protokoll, das die entwickelte Lösung für Industrie 4.0-Szenarien untersucht. Das Protokoll bedient sich dabei der Erfahrungsmethode², die auf subjektiven, leistungsbezogenen und physiologischen Aspekten basiert. Im vorliegenden Protokoll werden die subjektiven Aspekte anhand des wahrgenommenen Stresses der Studienteilnehmer gemessen. Die Leistung wiederum wird anhand der erforderlichen Zeit und der Fehler gemessen, die zur Durchführung von Analyseaufgaben auftreten. Schließlich maß ein Hautleitfähigkeitssensor physiologische Parameter. Die ersten beiden Messungen werden in dieser Arbeit vorgestellt, während die gemessene Hautleitfähigkeit weitere Anstrengungen erfordert, um ausgewertet zu werden.

Die vorgestellte Studie umfasst mehrere Forschungsfelder, insbesondere neurowissenschaftliche Aspekte und Informationssysteme. Interessanterweise haben Überlegungen zu neurowissenschaftlichen Aspekten von Informationssystemen in jüngster Zeit die Aufmerksamkeit mehrerer Forschungsgruppen auf sich gezogen^7,8, was die Notwendigkeit zeigt^, die Nutzung von IT-Systemen auch aus kognitiver Sicht zu untersuchen. Ein weiteres Gebiet, das für diese Arbeit relevant ist, stellt die Untersuchung der menschlichen Faktoren der Informationssysteme 9,10,11 dar. Im Bereich der Mensch-Computer-Interaktion existieren Instrumente, um die Nutzbarkeit einer Lösung zu untersuchen. Beachten Sie, dass in diesem Zusammenhang hauptsächlich die System Usability Scale verwendet wird¹². Thinking Aloud Protokolle¹³ sind eine weitere weit verbreitete Lerntechnik, um mehr über den Einsatz von Informationssystemen zu erfahren. Obwohl es viele Ansätze gibt, um Usability-Aspekte von Informationssystemen zu messen, und einige von ihnen vor langer Zeit vorgestellt wurden¹⁴, tauchen immer noch Fragen auf, die es erfordern, neue Maßnahmen oder Untersuchungsmethoden zu untersuchen. Daher ist die Forschung auf diesem Gebiet sehr aktiv^12,15,16.

Im Folgenden sollen die Gründe diskutiert werden, warum zwei vorherrschend eingesetzte Methoden in der vorliegenden Arbeit nicht berücksichtigt wurden. Erstens wurde die System Usability Scale nicht verwendet. Die Skala basiert auf zehn Fragen¹⁷ und ihre Verwendung findet sich auch in mehreren anderen VR-Studien¹⁸. Da diese Studie hauptsächlich auf die Messung von Stress¹⁹ abzielt, war ein stressbezogener Fragebogen besser geeignet. Zweitens wurde kein Thinking Aloud Protocol²⁰ verwendet. Obwohl sich dieser Protokolltyp im Allgemeinen als nützlich erwiesen hat¹³, wurde er hier nicht verwendet, da der Stresspegel der Studienteilnehmer nur aufgrund der Tatsache steigen könnte, dass die Think-Aloud-Sitzung parallel zur Verwendung eines schweren und komplexen VR-Geräts durchgeführt werden muss. Obwohl diese beiden Techniken nicht verwendet wurden, wurden die Ergebnisse anderer neuerer Studien in die vorliegende Studie einbezogen. Zum Beispiel unterscheiden die Autoren in früheren Werken^21,22 in ihren Studien zwischen Anfängern und Experten. Basierend auf dem erfolgreichen Ergebnis dieser Studien verwendet das vorliegende Protokoll diese vorgestellte Trennung der Studienteilnehmer. Die Spannungsmessung wiederum basiert auf Ideen der folgenden Arbeiten 15,19,21,22.

Für die Durchführung der Studie muss zunächst ein geeignetes Industrie-4.0-Szenario zur Bewältigung der analytischen Aufgaben gefunden werden. Inspiriert von einer anderen Arbeit der Autoren²³ wurden zwei Szenarien (d.h. die Analyseaufgaben) identifiziert, (1) Erkennung von Ausreißern und (2) Erkennung von Clustern. Beide Szenarien sind anspruchsvoll und im Zusammenhang mit der Instandhaltung von Hochdurchsatz-Produktionsmaschinen von hoher Relevanz. Basierend auf dieser Entscheidung haben sechs Hauptüberlegungen das in dieser Arbeit vorgestellte Studienprotokoll bestimmt:

1. Die für die Studie entwickelte Lösung wird technisch auf Mixed-Reality-Datenbrillen basieren (siehe Materialtabelle) und als Mixed-Reality-Anwendung entwickelt.
2. Es muss ein geeigneter Test entwickelt werden, der in der Lage ist, Anfänger von fortgeschrittenen Anwendern zu unterscheiden.
3. Leistungskennzahlen sollten Zeit und Fehler berücksichtigen.
4. Es muss eine Desktop-Anwendung entwickelt werden, die mit der Immersive-Analytics-Lösung vergleichbar ist.
5. Es muss ein Maß angewendet werden, um das wahrgenommene Stressniveau zu bewerten.
6. Zusätzlich zu letzterem Punkt sollen Funktionen entwickelt werden, um das Stressniveau zu mindern, während ein Benutzer die Prozedur der beiden genannten Analyseaufgaben (d.h. (1) Erkennung von Ausreißern und (2) Erkennung von Clustern) durchführt.

Basierend auf den sechs genannten Punkten beinhaltet das Studienprotokoll die folgende Vorgehensweise. Die Aufgaben der Ausreißererkennung und der Clustererkennung müssen mit Hilfe von Mixed-Reality-Datenbrillen immersiv durchgeführt werden (siehe Materialtabelle). Daher wurde eine neue Anwendung entwickelt. Raumgeräusche sollen die Durchführung von Analyseaufgaben erleichtern, ohne die geistige Anstrengung zu erhöhen. Eine Sprachfunktion soll die Navigation erleichtern, die für die entwickelte Anwendung der Mixed-Reality-Datenbrille verwendet wird (siehe Tabelle der Materialien). Ein mentaler Rotationstest soll die Grundlage sein, um Anfänger von fortgeschrittenen Benutzern zu unterscheiden. Der Stresspegel wird anhand eines Fragebogens gemessen. Die Leistung wiederum wird basierend auf der (1) Zeit, die ein Benutzer für die Analyseaufgaben benötigt, und auf der Grundlage der (2) Fehler, die ein Benutzer für die Analyseaufgaben gemacht hat, bewertet. Die Leistung in Mixed-Reality-Smartglass wird mit der Erfüllung der gleichen Aufgaben in einer neu entwickelten und vergleichbaren 2D-Desktop-Anwendung verglichen. Darüber hinaus wird ein Hautleitfähigkeitsgerät verwendet, um den Hautleitwert als möglichen Indikator für Stress zu messen. Die Ergebnisse dieser Messung sind Gegenstand weiterer Analysen und werden in dieser Arbeit nicht diskutiert. Die Autoren zeigten in einer anderen Studie mit dem gleichen Gerät, dass zusätzliche Überlegungen erforderlich sind²⁴.

Basierend auf diesem Protokoll werden die folgenden fünf Forschungsfragen (RQs) bearbeitet:

RQ1: Beeinflussen die räumlichen Vorstellungsfähigkeiten der Teilnehmer signifikant die Erfüllung von Aufgaben?
RQ2: Gibt es im Laufe der Zeit eine signifikante Veränderung der Aufgabenleistung?
RQ3: Gibt es eine signifikante Änderung der Aufgabenleistung bei der Verwendung von räumlichen Klängen in der Immersive Analytics-Lösung?
RQ4: Wird die entwickelte immersive Analytik von den Anwendern als stressig empfunden?
RQ5: Erzielen Benutzer eine bessere Leistung bei der Verwendung einer immersiven Analyselösung als bei einem 2D-Ansatz?

Abbildung 1 fasst das vorgestellte Protokoll in Bezug auf zwei Skalen zusammen. Er zeigt die entwickelten und angewandten Maßnahmen und deren Neuheit in Bezug auf die Interaktionsebene. Da die Interaktionsebene einen wichtigen Aspekt bei der Entwicklung von Features für ein VR-Setting darstellt, soll Abbildung 1 die Neuheit des gesamten in dieser Arbeit entwickelten Protokolls besser zeigen. Obwohl die Bewertung der Aspekte innerhalb der beiden verwendeten Skalen subjektiv ist, basiert ihre Gesamtbewertung auf den aktuellen Arbeiten und den folgenden wesentlichen Überlegungen: Ein wichtiges Prinzip stellt die Nutzung von Abstraktionen einer Umgebung für eine natürliche Interaktion dar, auf die sich der Benutzer eingestellt hat. In Bezug auf das vorliegende Protokoll scheint die Visualisierung von Punktwolken für den Benutzer intuitiv zu sein und das Erkennen von Mustern in solchen Wolken wurde allgemein als überschaubare Aufgabe erkannt. Ein weiteres wichtiges Prinzip ist die Überlagerung von Affordancen. Ein Beispiel hierfür ist die Verwendung von räumlichen Klängen, wie sie im vorliegenden Protokoll verwendet werden, da sie mit der Nähe eines gesuchten Objekts korrelieren. Die Autoren empfehlen, die Darstellungen so abzustimmen, dass sich die meisten Informationen in der Zwischenzone befinden, die für die menschliche Wahrnehmung am wichtigsten ist. Der Grund, warum die Autoren dieses Prinzip nicht aufgenommen haben, war, den Benutzer zu ermutigen, den besten Platz selbst zu finden und zu versuchen, sich in einem Datenvisualisierungsraum zu orientieren, der zu groß ist, um sofort angezeigt zu werden. Bei dem vorgestellten Ansatz wurden keine weiteren Überlegungen zu den Eigenschaften der darzustellenden 3D-Daten angestellt. Wenn z. B. angenommen wird, dass eine Dimension zeitlich ist, können Streudiagramme angezeigt werden. Die Autoren halten diese Art der Visualisierung im Kontext von Industrie 4.0 generell für interessant. Es muss sich jedoch auf eine relativ kleine Anzahl von Visualisierungen konzentrieren. Darüber hinaus konzentrierte sich bereits eine frühere Veröffentlichung auf die kollaborative Analyse von Daten. In dieser Arbeit wurde diese Forschungsfrage aufgrund der Komplexität der anderen in dieser Studie behandelten Themen ausgeschlossen. In dem hier vorgestellten Setup ist der Benutzer in der Lage, den immersiven Raum zu erkunden, indem er herumläuft. Andere Ansätze bieten Controller, um den virtuellen Raum zu erkunden. In dieser Studie wird der Fokus auf die Usability mit Hilfe der System Usability Scale (SUS) gelegt. Eine andere frühere Veröffentlichung hat eine Studie für Wirtschaftsexperten durchgeführt, jedoch mit VR-Brillen. Im Allgemeinen, und das ist das Wichtigste, beklagt sich diese Studie über das eingeschränkte Sichtfeld für andere Geräte wie die in dieser Arbeit verwendeten Mixed-Reality-Datenbrillen (siehe Materialtabelle). Ihre Ergebnisse zeigen, dass Einsteiger im Bereich VR in der Lage waren, das Analysewerkzeug effizient zu nutzen. Dies stimmt mit den Erfahrungen dieser Studie überein, obwohl in dieser Arbeit Anfänger nicht als VR- oder Gaming-Erfahrungen eingestuft wurden. Im Gegensatz zu den meisten VR-Lösungen ist Mixed Reality nicht an eine Position gebunden, da sie es ermöglicht, die reale Umgebung zu verfolgen. VR-Ansätze wie die Verwendung von speziellen Stühlen für ein 360°-Erlebnis, um den Nutzer von seinem Desktop zu befreien. Die Autoren von weisen darauf hin, dass Wahrnehmungsprobleme die Leistung von immersiven Analysen beeinflussen. Zum Beispiel durch die Verwendung von Schatten. Für die vorliegende Studie ist dies nicht realisierbar, da die verwendeten Mixed-Reality-Datenbrillen (siehe Materialtabelle) keine Schatten darstellen können. Ein Workaround könnte ein virtueller Boden sein, aber ein solches Setup lag außerhalb des Rahmens dieser Studie. Eine Umfragestudie im Bereich der immersiven Analytik identifizierte 3D-Streudiagramme als eine der häufigsten Darstellungen mehrdimensionaler Daten. Insgesamt können die in Abbildung 1 gezeigten Aspekte derzeit nicht zu einem Protokoll zusammengestellt werden, das Usability-Aspekte von Immersive Analytics für Industrie-4.0-Szenarien untersucht.

Protocol

Alle Materialien und Methoden wurden von der Ethikkommission der Universität Ulm genehmigt und nach den genehmigten Richtlinien durchgeführt. Alle Teilnehmer gaben ihre schriftliche Einverständniserklärung ab. 1. Etablierung eines geeigneten Studienumfelds HINWEIS: Die Studie wurde in einer kontrollierten Umgebung durchgeführt, um mit der komplexen Hardware-Umgebung fertig zu werden. Den Studienteilnehmern wurden die verwendeten Mixed-Reality-Datenbrillen (siehe …

Representative Results

Einrichten von Maßnahmen für das ExperimentFür die Aufgabe zur Erkennung von Ausreißern wurden die folgenden Leistungskennzahlen definiert: Zeit, Pfad und Winkel. Die Messungen sind in Abbildung 6 dargestellt. Es wurde Zeit aufgezeichnet, bis ein rot markierter Punkt (d. h. der Ausreißer) gefunden wurde. Dieses Leistungsmaß gibt an, wie lange ein Teilnehmer brauchte, um den rot markierten Punkt zu finden. Die Zeit wird in den Ergebnissen…

Discussion

Im Hinblick auf die entwickelte Mixed-Reality-Datenbrille (siehe Materialtabelle) waren zwei Aspekte besonders vorteilhaft. Die Verwendung von Raumgeräuschen für die Detektionsaufgabe des Ausreißers wurde einerseits positiv wahrgenommen (siehe Ergebnisse von RQ3). Zum anderen wurde auch die Verwendung von Sprachbefehlen positiv wahrgenommen (siehe Abbildung 10).

Was die Studienteilnehmer betrifft, so war die Zahl der rekrutierten Teilnehmer zwa…

Materials

edaMove	movisens
HoloLens	Microsoft
Matlab R2017a	MathWorks
RPY2	GNU General Public License v2 or later (GPLv2+) (GPLv2+)		https://pypi.org/project/rpy2/
SPSS 25.0	IBM