Evaluación de aspectos de usabilidad de una solución de realidad mixta para análisis inmersivo en escenarios de Industria 4.0

Summary

Este protocolo delinea la configuración técnica de una aplicación de realidad mixta desarrollada que se utiliza para el análisis inmersivo. En base a esto, se presentan medidas, que se utilizaron en un estudio para obtener información sobre los aspectos de usabilidad de la solución técnica desarrollada.

Abstract

En medicina o industria, el análisis de conjuntos de datos de alta dimensión es cada vez más necesario. Sin embargo, las soluciones técnicas disponibles son a menudo complejas de usar. Por lo tanto, los nuevos enfoques como el análisis inmersivo son bienvenidos. Los análisis inmersivos prometen experimentar conjuntos de datos de alta dimensión de una manera conveniente para varios grupos de usuarios y conjuntos de datos. Técnicamente, los dispositivos de realidad virtual se utilizan para permitir el análisis inmersivo. En la Industria 4.0, por ejemplo, escenarios como la identificación de valores atípicos o anomalías en conjuntos de datos de alta dimensión son objetivos perseguidos de análisis inmersivo. En este contexto, se deben abordar dos preguntas importantes para cualquier solución técnica desarrollada sobre análisis inmersivo: Primero, ¿las soluciones técnicas son útiles o no? En segundo lugar, ¿la experiencia corporal de la solución técnica es positiva o negativa? La primera pregunta apunta a la viabilidad general de una solución técnica, mientras que la segunda apunta a la comodidad de uso. Los estudios y protocolos existentes, que abordan sistemáticamente estas preguntas, todavía son raros. En este trabajo, se presenta un protocolo de estudio, que investiga principalmente la usabilidad para la analítica inmersiva en escenarios de Industria 4.0. En concreto, el protocolo se basa en cuatro pilares. Primero, clasifica a los usuarios en función de experiencias anteriores. En segundo lugar, se presentan tareas, que se pueden utilizar para evaluar la viabilidad de la solución técnica. En tercer lugar, se presentan medidas, que cuantifican el efecto de aprendizaje de un usuario. En cuarto lugar, un cuestionario evalúa el nivel de estrés al realizar tareas. A partir de estos pilares, se implementó un entorno técnico que utiliza smartglasses de realidad mixta para aplicar el protocolo del estudio. Los resultados del estudio realizado muestran la aplicabilidad del protocolo, por un lado, y la viabilidad de la analítica inmersiva en escenarios de Industria 4.0, por otro. El protocolo presentado incluye una discusión de las limitaciones descubiertas.

Introduction

Las soluciones de realidad virtual (soluciones VR) son cada vez más importantes en diferentes campos. A menudo, con las soluciones de realidad virtual (incluida la realidad virtual, la realidad mixta y la realidad aumentada), se facilitará el cumplimiento de muchas tareas y procedimientos diarios. Por ejemplo, en el dominio automotriz, el procedimiento de configuración de un automóvil puede ser compatible con el uso de Realidad Virtual¹ (VR). Los investigadores y profesionales han investigado y desarrollado una multitud de enfoques y soluciones en este contexto. Sin embargo, los estudios que investigan aspectos de usabilidad siguen siendo raros. En general, los aspectos deben considerarse a la luz de dos cuestiones principales. Primero, se debe evaluar si una solución de realidad virtual realmente supera a un enfoque que no hace uso de técnicas de realidad virtual. En segundo lugar, como las soluciones de realidad virtual se basan principalmente en dispositivos de hardware pesados y complejos, parámetros como la comodidad de uso y el esfuerzo mental deben investigarse más a fondo. Además, los aspectos mencionados siempre deben investigarse con respecto al campo de aplicación en cuestión. Aunque muchos enfoques existentes ven la necesidad de investigar estas preguntas², existen menos estudios que hayan presentado resultados.

Un tema de investigación en el campo de la realidad virtual, que actualmente es importante, se denota con análisis inmersivo. Se deriva del campo de investigación de la analítica visual, que trata de incluir la percepción humana en las tareas analíticas. Este proceso también se conoce como minería visual^{de datos 4}. El análisis inmersivo incluye temas de los campos de visualización de datos, análisis visual, realidad virtual, gráficos por computadora e interacción humano-computadora⁵. Las ventajas recientes en las pantallas montadas en la cabeza (HMD) condujeron a mejores posibilidades para explorar datos de una manera inmersiva. A lo largo de estas tendencias, surgen nuevos desafíos y preguntas de investigación, como el desarrollo de nuevos sistemas de interacción, la necesidad de investigar la fatiga del usuario o el desarrollo de sofisticadas visualizaciones 3D⁶. En una publicación anterior⁶, se discuten principios importantes de análisis inmersivo. A la luz de los grandes datos, métodos como el análisis inmersivo son cada vez más necesarios para permitir un mejor análisis de grupos de datos complejos. Solo existen unos pocos estudios que investiguen los aspectos de usabilidad de las soluciones de análisis inmersivo. Además, el dominio o campo en cuestión también debe considerarse en dichos estudios. En este trabajo, se desarrolló un prototipo de analítica inmersiva, y en base a eso, un protocolo, que investiga la solución desarrollada para escenarios de Industria 4.0. De este modo, el protocolo explota el método de experiencia², que se basa en aspectos subjetivos, de rendimiento y fisiológicos. En el protocolo en cuestión, los aspectos subjetivos se miden a través del estrés percibido de los usuarios del estudio. El rendimiento, a su vez, se mide a través del tiempo requerido y los errores que se cometen para realizar las tareas de análisis. Finalmente, un sensor de conductancia de la piel midió los parámetros fisiológicos. Las dos primeras medidas se presentarán en este trabajo, mientras que la conductancia cutánea medida requiere esfuerzos adicionales para ser evaluada.

El estudio presentado involucra varios campos de investigación, particularmente incluyendo aspectos de neurociencia y sistemas de información. Curiosamente, las consideraciones sobre los aspectos neurocientíficos de los sistemas de información han atraído recientemente la atención de varios grupos de investigación^7,8, mostrando la demanda de explorar el uso de sistemas de TI también desde un punto de vista cognitivo. Otro campo relevante para este trabajo es la investigación de los factores humanos de los sistemas de información 9,10,11^. En el campo de la interacción humano-computadora, existen instrumentos para investigar la usabilidad de una solución. Obsérvese que la Escala de Usabilidad del Sistema se utiliza principalmente en este contexto¹². Los protocolos¹³ son otra técnica de estudio ampliamente utilizada para aprender más sobre el uso de los sistemas de información. Aunque existen muchos enfoques para medir aspectos de usabilidad de los sistemas de información, y algunos de ellos han sido presentados hace mucho tiempo¹⁴, todavía surgen preguntas que requieren investigar nuevas medidas o métodos de estudio. Por lo tanto, la investigación en este campo es muy activa^12,15,16.

A continuación, se discutirán las razones por las cuales dos métodos utilizados predominantemente no se han considerado en el trabajo actual. En primer lugar, no se utilizó la escala de usabilidad del sistema. La escala se basa en diez preguntas¹⁷ y su uso también se puede encontrar en varios otros estudios de RV¹⁸. Como este estudio apunta principalmente a la medición del estrés¹⁹, un cuestionario relacionado con el estrés fue más apropiado. En segundo lugar, no se utilizó el Protocolo²⁰ de Pensar en voz alta. Aunque este tipo de protocolo ha demostrado su utilidad en general¹³, no se utilizó aquí ya que el nivel de estrés de los usuarios del estudio podría aumentar solo debido al hecho de que la sesión de pensamiento en voz alta debe realizarse en paralelo al uso de un dispositivo de realidad virtual pesado y complejo. Aunque estas dos técnicas no se han utilizado, los resultados de otros estudios recientes se han incorporado en el estudio en cuestión. Por ejemplo, en trabajos anteriores^21,22, los autores distinguen entre novatos y expertos en sus estudios. Sobre la base del resultado exitoso de estos estudios, el protocolo en cuestión utiliza esta separación presentada de los usuarios del estudio. La medición del estrés, a su vez, se basa en ideas de los siguientes trabajos 15,19,21,22.

Al principio, para realizar el estudio, se debe encontrar un escenario adecuado de Industria 4.0 para realizar tareas analíticas. Inspirado en otro trabajo de los autores²³, se han identificado dos escenarios (es decir, las tareas de análisis), (1) Detección de valores atípicos y (2) Reconocimiento de clústeres. Ambos escenarios son desafiantes y son muy relevantes en el contexto del mantenimiento de máquinas de producción de alto rendimiento. Con base en esta decisión, seis consideraciones principales han impulsado el protocolo de estudio presentado en este trabajo:

1. La solución desarrollada para el estudio se basará técnicamente en gafas inteligentes de realidad mixta (ver Tabla de materiales) y se desarrollará como una aplicación de realidad mixta.
2. Se debe desarrollar una prueba adecuada, que sea capaz de distinguir a los principiantes de los usuarios avanzados.
3. Las medidas de desempeño deben considerar el tiempo y los errores.
4. Se debe desarrollar una aplicación de escritorio, que se puede comparar con la solución de análisis inmersivo.
5. Se debe aplicar una medida para evaluar el nivel de estrés percibido.
6. Además de este último punto, se desarrollarán características para mitigar el nivel de estrés mientras un usuario realiza el procedimiento de las dos tareas de análisis mencionadas (es decir, (1) Detección de valores atípicos y (2) Reconocimiento de clústeres).

Sobre la base de los seis puntos mencionados, el protocolo de estudio incorpora el siguiente procedimiento. Las tareas de detección de valores atípicos y análisis de reconocimiento de clústeres deben realizarse de manera inmersiva utilizando gafas inteligentes de realidad mixta (consulte la Tabla de materiales). Por lo tanto, se desarrolló una nueva aplicación. Los sonidos espaciales facilitarán la realización de tareas de análisis sin aumentar el esfuerzo mental. Una función de voz facilitará la navegación utilizada para la aplicación desarrollada de las gafas inteligentes de realidad mixta (ver Tabla de materiales). Una prueba de rotación mental será la base para distinguir a los principiantes de los usuarios avanzados. El nivel de estrés se mide en base a un cuestionario. El rendimiento, a su vez, se evalúa en función del (1) tiempo que un usuario requiere para las tareas de análisis, y en función de los (2) errores cometidos por un usuario para las tareas de análisis. El rendimiento en smartglass de realidad mixta se compara con la realización de las mismas tareas en una aplicación de escritorio 2D recientemente desarrollada y comparable. Además, se utiliza un dispositivo de conductancia de la piel para medir el nivel de conductancia de la piel como un posible indicador de estrés. Los resultados de esta medición están sujetos a análisis adicionales y no se discutirán en este trabajo. Los autores revelaron en otro estudio con el mismo dispositivo que se requieren consideraciones adicionales²⁴.

Con base en este protocolo, se abordan las siguientes cinco preguntas de investigación (RQ):

PI1: ¿Las habilidades de imaginación espacial de los participantes afectan significativamente el desempeño de las tareas?
PI2: ¿Hay un cambio significativo en el rendimiento de la tarea a lo largo del tiempo?
PI3: ¿Hay un cambio significativo en el rendimiento de la tarea cuando se utilizan sonidos espaciales en la solución de análisis inmersivo?
PI4: ¿Los usuarios perciben la analítica inmersiva desarrollada?
RQ5: ¿Los usuarios se desempeñan mejor cuando utilizan una solución de análisis inmersivo en comparación con un enfoque 2D?

La Figura 1 resume el protocolo presentado con respecto a dos escalas. Muestra las medidas desarrolladas y utilizadas y su novedad con respecto al nivel de interacción. Como el nivel de interacción constituye un aspecto importante al desarrollar características para una configuración de realidad virtual, la Figura 1 mostrará mejor la novedad de todo el protocolo desarrollado en este trabajo. Aunque la evaluación de los aspectos dentro de las dos escalas utilizadas es subjetiva, su evaluación general se basa en el trabajo relacionado actual y las siguientes consideraciones principales: Un principio importante constituye el uso de abstracciones de un entorno para una interacción natural, en la que el usuario se ha sintonizado. Con respecto al protocolo en cuestión, la visualización de nubes de puntos parece ser intuitiva para los usuarios y el reconocimiento de patrones en dichas nubes ha sido reconocido como una tarea manejable en general. Otro principio importante consiste en superponer affordances. Por lo tanto, el uso de sonidos espaciales como se usa en el protocolo en cuestión es un ejemplo, ya que se correlacionan con la proximidad de un objeto buscado. Los autores recomiendan ajustar las representaciones de manera que la mayoría de la información se encuentre en la zona intermedia, que es más importante para la percepción humana. La razón por la que los autores no incluyeron este principio fue para alentar al usuario a encontrar el mejor lugar por sí mismo, así como para tratar de orientarse en un espacio de visualización de datos, que es demasiado grande para ser mostrado a la vez. En el enfoque presentado, no se hicieron más consideraciones sobre las características de los datos 3D que se mostrarán. Por ejemplo, si se supone que una dimensión es temporal, se podrían haber mostrado diagramas de dispersión. Los autores consideran que este tipo de visualización es generalmente interesante en el contexto de la Industria 4.0. Sin embargo, tiene que centrarse en un conjunto razonablemente pequeño de visualizaciones. Además, una publicación anterior ya se centraba en el análisis colaborativo de datos. En este trabajo, esta pregunta de investigación fue excluida debido a la complejidad de los otros temas abordados en este estudio. En la configuración presentada aquí, el usuario puede explorar el espacio inmersivo caminando. Otros enfoques ofrecen controladores para explorar el espacio virtual. En este estudio, la atención se centra en la usabilidad mediante el uso de la Escala de Usabilidad del Sistema (SUS). Otra publicación anterior ha realizado un estudio para expertos económicos, pero con auriculares VR. En general, y lo más importante, este estudio se queja del campo de visión limitado para otros dispositivos como las gafas inteligentes de realidad mixta utilizadas en este trabajo (ver Tabla de materiales). Sus hallazgos muestran que los principiantes en el campo de la realidad virtual pudieron usar la herramienta analítica de manera eficiente. Esto coincide con las experiencias de este estudio, aunque en este trabajo los principiantes no fueron clasificados para tener experiencias de realidad virtual o juegos. A diferencia de la mayoría de las soluciones de realidad virtual, la realidad mixta no se fija a una posición, ya que permite rastrear el entorno real. Los enfoques de realidad virtual, como mencionar el uso de sillas especiales para una experiencia de 360 ° para liberar al usuario de su escritorio. Los autores indican que los problemas de percepción influyen en el rendimiento de la analítica inmersiva; por ejemplo, mediante el uso de sombras. Para el estudio en cuestión, esto no es factible, ya que las gafas inteligentes de realidad mixta utilizadas (ver tabla de materiales) no son capaces de mostrar sombras. Una solución podría ser un piso virtual, pero tal configuración estaba fuera del alcance de este estudio. Un estudio de encuesta en el campo de la analítica inmersiva identificó los diagramas de dispersión 3D como una de las representaciones más comunes de datos multidimensionales. En conjunto, los aspectos que se muestran en la Figura 1 no se pueden encontrar actualmente compilados en un protocolo que investigue los aspectos de usabilidad del análisis inmersivo para escenarios de Industria 4.0.

Protocol

Todos los materiales y métodos fueron aprobados por el Comité de Ética de la Universidad de Ulm y se llevaron a cabo de acuerdo con las directrices aprobadas. Todos los participantes dieron su consentimiento informado por escrito. 1. Establecer un ambiente de estudio apropiado NOTA: El estudio se realizó en un entorno controlado para hacer frente a la compleja configuración de hardware. Las gafas inteligentes de realidad mixta utilizadas (ver Tabla de mat…

Representative Results

Configuración de medidas para el experimentoPara la tarea de detección de valores atípicos, se definieron las siguientes medidas de rendimiento: tiempo, trayectoria y ángulo. Consulte la figura 6 para las mediciones. Se registró el tiempo hasta que se encontró un punto marcado en rojo (es decir, el valor atípico). Esta medida de rendimiento indica cuánto tiempo necesitó un participante para encontrar el punto marcado en rojo. El tiemp…

Discussion

Con respecto a la aplicación desarrollada de gafas inteligentes de realidad mixta (ver Tabla de materiales), dos aspectos fueron particularmente beneficiosos. El uso de sonidos espaciales para la tarea de detección del valor atípico se percibió positivamente por un lado (ver los resultados de RQ3). Por otro lado, el uso de comandos de voz también se percibió positivamente (ver Figura 10).

En cuanto a los participantes del estudio, aunque el …

Materials

edaMove	movisens
HoloLens	Microsoft
Matlab R2017a	MathWorks
RPY2	GNU General Public License v2 or later (GPLv2+) (GPLv2+)		https://pypi.org/project/rpy2/
SPSS 25.0	IBM