Evaluación de la usabilidad de la realidad aumentada: un estudio de sistemas de neuroinformación

Summary

Este estudio presenta un paradigma experimental para una prueba de usabilidad que combina evaluaciones subjetivas y objetivas. La evaluación objetiva adoptó métodos de Sistemas de Neuro-Información (NeuroIS), y la evaluación subjetiva adoptó un cuestionario de usabilidad y una escala NASA-Task Load Index (NASA-TLX).

Abstract

Este estudio introduce un paradigma experimental para una prueba de usabilidad de tecnologías emergentes en un sistema de información de gestión (MIS). La prueba de usabilidad incluyó evaluaciones subjetivas y objetivas. Para la evaluación subjetiva, se adoptó un cuestionario de usabilidad y una escala NASA-TLX. Para la evaluación objetiva, se utilizaron métodos de Sistemas de Neuro-Información (NeuroIS). Desde la perspectiva de NeuroIS, este estudio utilizó fNIRS móviles y gafas de seguimiento ocular para mediciones multimodales, lo que resolvió el problema de la validez ecológica de las herramientas de neurociencia cognitiva utilizadas en experimentos de comportamiento del mundo real. Este estudio utilizó la Realidad Aumentada (AR) integrada en el Internet de las Cosas (IoT) como un objeto experimental. Comparando las diferencias en los datos de neuroimagen, los datos fisiológicos, el cuestionario de usabilidad y los datos de la escala NASA-TLX entre los dos modos de búsqueda de información (AR versus un sitio web), la búsqueda de información con AR tuvo una mayor eficiencia y una menor carga cognitiva en comparación con la búsqueda de información con un sitio web durante el proceso de toma de decisiones de consumo. Los resultados del experimento de usabilidad demuestran que AR, como tecnología emergente en el comercio minorista, puede mejorar efectivamente las experiencias de los consumidores y aumentar su intención de compra. El paradigma experimental, que combina evaluaciones subjetivas y objetivas en este estudio, podría aplicarse a una prueba de usabilidad para tecnologías emergentes, como realidad aumentada, realidad virtual, inteligencia artificial, tecnología portátil, robótica y big data. Proporciona una solución experimental práctica para la experiencia del usuario en interacciones humano-computadora con la adopción de tecnologías emergentes.

Introduction

Seis tecnologías de frontera que interactúan con los consumidores, típicamente representadas por realidad aumentada, realidad virtual, inteligencia artificial, tecnología portátil, robótica y big data, están remodelando muchos modelos teóricos del comportamiento del consumidor¹. La realidad aumentada (AR) es una nueva tecnología que podría mejorar la experiencia del consumidor y mejorar la satisfacción del consumidor. Superpone información textual, imágenes, videos y otros elementos virtuales en escenarios reales para fusionar virtualidad y realidad, mejorando así la información en el mundo real a través de la explicación, orientación, evaluación y predicción². AR proporciona un nuevo tipo de interacción humano-computadora, creando una experiencia de compra inmersiva para los consumidores, y ha llevado al desarrollo de muchas aplicaciones ^3,4. Sin embargo, la aceptación de los servicios de RA por parte de los consumidores sigue siendo mínima, por lo que muchas empresas son cautelosas a la hora de adoptar la tecnología de RA ^5,6. El modelo de aceptación de tecnología (TAM) ha sido ampliamente utilizado para explicar y predecir el comportamiento de adopción de nuevas tecnologías de la información ^7,8. Según el TAM, la intención de adopción de una nueva tecnología depende en gran medida de su usabilidad⁹. Por lo tanto, una posible explicación para la lenta aceptación de los servicios de RA por parte de los consumidores desde la perspectiva de TAM puede relacionarse con la usabilidad de las nuevas técnicas, lo que destaca la necesidad de evaluar la usabilidad de la RA al comprar^10,11.

La usabilidad se define como la efectividad, eficiencia y satisfacción de alcanzar objetivos específicos en un contexto específico por usuarios específicos¹². Actualmente, existen dos métodos principales para evaluar la usabilidad: evaluaciones subjetivas y objetivas¹³. Las evaluaciones subjetivas se basan principalmente en métodos de autoinforme utilizando cuestionarios y escalas. Siguiendo esta línea de investigación, el cuestionario utilizado en este estudio incluyó cinco características asociadas al modo de búsqueda de información para lograr un objetivo: (1) eficiencia, (2) facilidad de uso, (3) memorabilidad (fácil de recordar), (4) satisfacción (el modo de búsqueda de información es cómodo y agradable) y (5) generalizabilidad a otros objetos^14,15,16. Además, la carga cognitiva, que representa la carga mientras realiza una tarea particular en el sistema cognitivo de un alumno¹⁷, es otro indicador central de usabilidad^18,19. Por lo tanto, este estudio también utilizó el Índice de Carga de Tareas de la NASA (NASA-TLX^)13,20 como una métrica subjetiva para medir la carga cognitiva mientras se compra usando AR versus comprar utilizando servicios de sitios web. Cabe destacar que los métodos de autoinforme se basan en la capacidad y la voluntad de los individuos para informar con precisión sus actitudes y / o comportamientos anteriores²¹, dejando abierta la posibilidad de informes erróneos, subinformes o sesgos. Por lo tanto, las medidas objetivas podrían ser un complemento valioso de los métodos subjetivos tradicionales²².

Los métodos de Neuro-Information-Systems (NeuroIS) se utilizan para la evaluación objetiva de la usabilidad de AR. NeuroIS, acuñado por Dimoka et al. en la conferencia ICIS de 2007, está atrayendo cada vez más atención en el campo de los sistemas de información (SI)²³. NeuroIS utiliza teorías y herramientas de la neurociencia cognitiva para comprender mejor el desarrollo, la adopción y el impacto de las tecnologías de SI^24,25. Hasta la fecha, las herramientas de neurociencia cognitiva, como la resonancia magnética funcional (fMRI), el electroencefalograma (EEG), la tomografía computarizada por emisión de positrones, la magnetoencefalografía (MEG) y la espectroscopia funcional de infrarrojo cercano (fNIRS), se utilizan comúnmente en los estudios de NeuroIS^26,27. Por ejemplo, Dimoka y Davis utilizaron fMRI para medir las activaciones de los sujetos cuando interactuaban con el sitio web, y revelaron que la facilidad de uso percibida influyó en la activación en la corteza prefrontal (PFC)²⁸. Del mismo modo, utilizando EEG, Moridis et al. encontraron que la asimetría frontal estaba estrechamente asociada con la utilidad²⁹. Estos resultados indican que el PFC puede desempeñar un papel clave en la usabilidad.

Aunque se han logrado logros en estudios previos de NeuroIS, los paradigmas utilizados en estos estudios habían limitado los movimientos corporales de sujetos con baja validez ecológica, limitando sus contribuciones teóricas y prácticas. Interactuar con tecnologías como la RA durante las compras requiere movimientos corporales libres, y las limitaciones del sujeto perjudican en gran medida la experiencia del consumidor, como se discutió en He et ^al.22. Por lo tanto, se necesitan herramientas de imagen cerebral con alta validez ecológica para una prueba de usabilidad de los sistemas de información. En este sentido, fNIRS tiene ventajas técnicas únicas: durante los experimentos fNIRS, los sujetos pueden moverse libremente³⁰ hasta cierto punto. Por ejemplo, estudios previos han medido las activaciones cerebrales de los sujetos durante varias actividades al aire libre, como el ciclismo, utilizando fNIRS³¹ portátil. Además, fNIRS es de bajo costo y permite la medición de activaciones cerebrales durante largos períodos de tiempo³². En este estudio, fNIRS se utilizó para medir objetivamente el nivel de carga cognitiva de los sujetos mientras usaban los servicios de compra de AR frente a un sitio web.

El seguimiento ocular ha sido una valiosa técnica psicofisiológica para detectar la atención visual de los usuarios durante una prueba de usabilidad en los últimos años³³ y también ha sido ampliamente utilizado en estudios NeuroIS³⁴. La técnica se basa en la hipótesis ojo-mente, que asume que el enfoque del observador va hacia donde se dirige la atención, que la atención visual representa el proceso mental y que los patrones de atención visual reflejan estrategias cognitivas humanas^35,36,37. En el área de la investigación de AR, Yang et al. utilizaron el seguimiento ocular para encontrar que la publicidad de RA mejoró las actitudes de los consumidores hacia la publicidad al aumentar su curiosidad y atención³⁸. En el estudio actual, el seguimiento ocular se utilizó para medir la atención de los sujetos, incluidos parámetros como la duración total de la fijación, la duración promedio de la fijación, la frecuencia de fijación, la frecuencia de la sacada, la duración promedio de la sacádica y la longitud promedio de la trayectoria de la exploración.

En resumen, este estudio propone un método de prueba de usabilidad que combina evaluaciones subjetivas y objetivas con aplicaciones de RA como ejemplo. Para la evaluación subjetiva se utilizó un cuestionario de usabilidad y una escala NASA-TLX, y para la evaluación objetiva se utilizaron medidas multimodales que combinan fNIRS y seguimiento ocular^39,40.

Diseño experimental
Materiales experimentales: Para simular un contexto de compra de la vida real, se construyó un estante de productos en un laboratorio y se colocaron dos marcas diferentes de agua mineral en el estante como materiales experimentales. Como bienes esenciales, se seleccionó el agua mineral porque los participantes no tendrían sesgos en las evaluaciones subjetivas sobre la base de sus antecedentes ocupacionales, género y capacidad adquisitiva. Se controló el precio, la capacidad y la familiaridad de las marcas (ver Tabla de materiales) para eliminar la interferencia de variables irrelevantes.

La prueba de usabilidad incluyó dos condiciones: una aplicación AR basada en teléfonos inteligentes (Figura suplementaria 1) y un sitio web (Figura complementaria 2). La aplicación AR fue programada en base a un motor AR. El sitio web fue desarrollado usando Python, basado en Bootstrap para el front-end y Flask para el back-end. La aplicación AR y el sitio web se ejecutaron y navegaron en un teléfono inteligente. Entre las dos marcas diferentes de agua mineral, una se utilizó como material experimental en la condición AR, y la otra se utilizó en la condición del sitio web.

Tareas experimentales: Se pidió a los participantes que realizaran cuatro tareas de búsqueda de información derivadas de contextos de aplicación de IoT: la calidad del agua, la temperatura de almacenamiento, la dieta correspondiente y el precio por litro. Estos cuatro elementos de información son a los que los consumidores normalmente prestan atención cuando compran agua mineral. No hubo limitación de tiempo para que los participantes completaran las tareas.

Calidad del agua: La calidad del agua mineral comúnmente incluye dos indicadores: el total de sólidos disueltos (TDS) y el valor de pH. El TDS refleja el contenido mineral, y el valor de pH describe la acidez / alcalinidad del agua. Estos dos indicadores están relacionados con los oligoelementos contenidos en el agua mineral e influyen en el sabor. Por ejemplo, Bruvold y Ongerth dividieron la calidad sensorial del agua en cinco grados de acuerdo con su contenido de TDS⁴¹. Marcussen et al. encontraron que el agua tiene buenas cualidades sensoriales en el rango de 100-400 mg / L TDS⁴². El TDS y el valor de pH de las dos marcas de agua mineral utilizadas en este estudio se midieron utilizando medidores de TDS y pH, respectivamente, y luego se marcaron en la aplicación AR y en el sitio web. Mientras realizaban la tarea, los participantes debían informar los valores de TDS y pH del agua mineral y confirmar si estos valores estaban dentro del rango nominal. En la condición AR, los participantes podían adquirir esta información escaneando la botella de agua. En la condición del sitio web, los participantes debían realizar cuatro pasos: (1) encontrar un código numérico en la parte posterior de la botella de agua mineral, (2) ingresar el código numérico en un cuadro de consulta para obtener los valores de TDS y pH para el agua mineral, (3) buscar el rango nominal para agua mineral en el sitio web, y (4) informar verbalmente si el TDS y el valor de pH están dentro del rango nominal para el producto.

Temperatura de almacenamiento: La calidad del agua mineral puede disminuir durante el transporte y el almacenamiento debido a los cambios de temperatura. Los experimentos han demostrado que la temperatura adecuada para el agua mineral está entre 5 °C y 25 °C durante el transporte y el almacenamiento. En este rango de temperatura, el agua no tiene mal olor⁴³. En el presente experimento, la temperatura de almacenamiento de los dos tipos de agua mineral en diferentes lugares se marcó en la aplicación AR y en el sitio web. Mientras realizaban la tarea, los participantes debían informar la ubicación de almacenamiento y la temperatura correspondiente del agua. En la condición AR, los participantes podían adquirir esta información escaneando la botella de agua. En la condición del sitio web, los participantes pueden adquirir esta información ingresando el código numérico en un cuadro de consulta.

Dieta de emparejamiento: Diferentes marcas de agua mineral son adecuadas para diferentes menús debido a su composición mineral única y contenido de burbujas⁴⁴. En el presente experimento, las recomendaciones dietéticas para las dos aguas minerales se marcaron en la aplicación AR y el sitio web. Mientras realizaban la tarea, los participantes debían informar cómo el agua mineral coincide con los alimentos en el menú. En la condición AR, los participantes podrían adquirir esta información escaneando la botella de agua. En la condición del sitio web, los participantes pueden buscar esta información en el sitio web.

Precio por litro: Actualmente, las etiquetas de las botellas de agua mineral en China no muestran la información del precio por litro. Esto hace que sea difícil para los consumidores distinguir la diferencia en los precios unitarios de los diferentes tipos de agua mineral. Por lo tanto, el presente experimento requirió que los participantes informaran el precio por litro. En la aplicación AR, los participantes podían adquirir el precio por litro directamente escaneando la botella de agua. En la condición del sitio web, la información podría calcularse a partir del precio unitario y el volumen en la etiqueta.

Este estudio utilizó un diseño dentro del participante, con criterios de inclusión y exclusión de los participantes como se describe en la Tabla 1. Un total de 40 participantes completaron el experimento (20 hombres y 20 mujeres, edad media = 21,31 ± 1,16 años). Todos los participantes eran estudiantes universitarios de la Universidad de Ciencia y Tecnología de Jiangsu y se organizaron aleatoriamente en dos grupos (A y B). Para evitar el efecto de orden, el orden experimental se contrarrestó entre los dos grupos (A / B). Específicamente, un grupo realizó primero la condición AR y luego la condición del sitio web, mientras que el otro grupo realizó primero el sitio web y luego la condición AR. Se requirió que los participantes completaran la preparación para el experimento, usaran los instrumentos y realizaran las tareas experimentales. El intervalo entre experimentos se estableció en 10 s para permitir que la activación cortical volviera al nivel basal, evitando la influencia cruzada en la tarea posterior. Al final del experimento AR/sitio web, los participantes debían completar el cuestionario de usabilidad y la escala NASA-TLX. El diagrama de flujo experimental se muestra en la Figura 1. Una fotografía de la configuración experimental se presenta en la Figura 2.

Tabla 1: Criterios de inclusión y exclusión para el estudio. Haga clic aquí para descargar esta tabla.

Figura 1: Diagrama de flujo experimental. Cada experimento duró ~ 45 minutos, con un período de descanso de 10 s entre las tareas. Haga clic aquí para ver una versión más grande de esta figura.

Figura 2: Ejemplo de configuración de la escena experimental. Se muestran los materiales experimentales, el participante y el equipo. Haga clic aquí para ver una versión más grande de esta figura.

Protocol

Este estudio se realizó de conformidad con los principios de la Declaración de Helsinki. Todos los participantes fueron informados del propósito y la seguridad del experimento y firmaron el formulario de consentimiento informado antes de participar. Este estudio fue aprobado por la junta de revisión institucional de la Universidad de Ciencia y Tecnología de Jiangsu. 1. Procedimiento de experimentación Preparación para el experimentoExplique el consenti…

Representative Results

Los resultados representativos de este estudio incluyen los resultados del cuestionario de usabilidad, el análisis de datos de seguimiento ocular, los datos de escala NASA-TLX, el análisis de datos fNIRS y los cambios dinámicos en la carga cognitiva. Para los resultados del cuestionario de usabilidad, se realizaron análisis de datos de seguimiento ocular, datos de escala NASA-TLX y análisis de datos fNIRS, pruebas de normalidad y pruebas de diferencias. Para los cambios dinámicos de carga cognitiva, este estudio se…

Discussion

Pasos críticos dentro del protocolo
Durante el experimento, se consideraron varios pasos para garantizar la fiabilidad de los resultados. Primero, se excluyeron los participantes que están familiarizados con las marcas de agua mineral utilizadas en el experimento, porque estos participantes habrían realizado la tarea en función de su conocimiento de la marca. En segundo lugar, los participantes completaron un experimento previo utilizando otras marcas de agua mineral, que se empleó para garantiza…

Materials

AR Engine	Unity Technologies	2020.3.1	AR development platform
AR SDK	PTC	Vuforia Engine 9.8.5	AR development kit
Eye Tracker (eye tracking glasses)	SMI, Germany	SMI ETG	Head-mounted eye tracking system
Eye Tracker Recording software	SMI, Germany	iViewETG Software	Eye Tracker Recording software
fNIRS probes	Artinis Medical Systems BV, Netherlands	Artinis PortaLite	Light source: Light emitting diodes Wavelengths: Standard nominal 760 and 850 nm
fNIRS software	Artinis Medical Systems BV, Netherlands	OxySoft 3.2.70	fNIRS data recording and analysis software
Mineral Water	Groupe Danone	Badoit	Experimental material in the AR condition   Capacity: 330ml Price: 6
Mineral Water	Nestlé	Acqua Panna	Experimental material in the website condition Capacity: 250ml Price: 5.4
Skin Preparation Gel	Weaver and Company	Nuprep	Clean the forehead skin of the participants
Smartphone	Xiaomi	Redmi K30 Ultra	Smartphone-based AR application and website