インダストリー 4.0 シナリオにおける没入型分析のための複合現実ソリューションのユーザビリティの側面の評価
Summary
このプロトコルは、イマーシブ分析に使用される開発された Mixed Reality アプリケーションの技術設定を示します。これに基づいて、開発された技術ソリューションのユーザビリティの側面についての洞察を得るために研究で使用された対策が提示されます。
Abstract
医学や産業では、高次元データセットの分析がますます必要とされています。ただし、利用可能な技術的ソリューションは、多くの場合、使用するのが複雑です。したがって、没入型分析のような新しいアプローチは大歓迎です。没入型分析は、さまざまなユーザーグループやデータセットにとって便利な方法で高次元データセットを体験することを約束します。技術的には、仮想現実デバイスは没入型分析を可能にするために使用されます。たとえば、インダストリー4.0では、高次元データセットの外れ値や異常の特定などのシナリオが、没入型分析の目標として追求されています。この文脈では、没入型分析に関する開発された技術ソリューションについて、2つの重要な質問に取り組む必要があります:まず、技術的ソリューションが役立つかどうか?第二に、技術的解決策の身体的経験はポジティブですか、それともネガティブですか?最初の質問は技術的解決策の一般的な実現可能性を目的とし、2番目の質問は着用の快適さを目的としています。これらの質問に体系的に対処する現存する研究とプロトコルはまだまれです。この作業では、主にインダストリー4.0シナリオでの没入型分析の使いやすさを調査する調査プロトコルが提示されます。具体的には、プロトコルは4つの柱に基づいています。まず、以前のエクスペリエンスに基づいてユーザーを分類します。次に、技術的解決策の実現可能性を評価するために使用できるタスクが提示されます。第三に、ユーザーの学習効果を定量化する測定値が提示されます。第四に、アンケートはタスクを実行する際のストレスレベルを評価します。これらの柱に基づいて、複合現実スマートグラスを使用して研究プロトコルを適用する技術設定が実装されました。実施された調査の結果は、一方ではプロトコルの適用可能性を示し、他方ではインダストリー4.0シナリオにおける没入型分析の実現可能性を示しています。提示されたプロトコルには、発見された制限の説明が含まれています。
Introduction
バーチャルリアリティソリューション(VRソリューション)は、さまざまな分野でますます重要になっています。多くの場合、VRソリューション(仮想現実、複合現実、拡張現実を含む)を使用すると、多くの日常のタスクと手順の達成が容易になります。例えば、自動車領域では、自動車の構成手順は、バーチャルリアリティ1 (VR)の使用によってサポートすることができる。研究者と実務家は、この文脈で多数のアプローチと解決策を調査し、開発してきました。ただし、ユーザビリティの側面を調査する研究はまだまれです。一般に、側面は2つの主要な質問に照らして考慮されるべきです。まず、VRソリューションがVR技術を使用しないアプローチよりも実際に優れているかどうかを評価する必要があります。第二に、VRソリューションは主に重くて複雑なハードウェアデバイスに依存しているため、着用の快適さや精神的な努力などのパラメーターをより詳細に調査する必要があります。さらに、言及された側面は、問題のアプリケーション分野に関して常に調査する必要があります。多くの現存するアプローチは、これらの質問を調査する必要があると考えていますが2、結果を提示した研究は少ないです。
現在重要なVR分野の研究トピックは、没入型分析で示されます。これは、人間の知覚を分析タスクに含めようとするビジュアル分析の研究分野に由来します。このプロセスは、ビジュアル データ マイニング4 とも呼ばれます。没入型分析には、データ視覚化、ビジュアル分析、仮想現実、コンピューターグラフィックス、人間とコンピューターの相互作用の分野のトピックが含まれます5。ヘッドマウントディスプレイ(HMD)の最近の利点により、没入型の方法でデータを探索する可能性が向上しました。これらの傾向に沿って、新しいインタラクションシステムの開発、ユーザーの疲労を調査する必要性、洗練された3Dビジュアライゼーションの開発など、新しい課題と研究課題が浮上しています6。以前の出版物6では、没入型分析の重要な原則が議論されています。ビッグデータに照らして、複雑なデータプールのより良い分析を可能にするために、没入型分析のような方法がますます必要になっています。没入型分析ソリューションのユーザビリティの側面を調査した研究はごくわずかです。さらに、問題のドメインまたはフィールドもそのような研究で考慮されるべきです。この作業では、没入型分析プロトタイプが開発され、それに基づいて、インダストリー4.0シナリオ用に開発されたソリューションを調査するプロトコルが開発されました。プロトコルは、それによって、主観的、パフォーマンス、および生理学的側面に基づく経験方法2を利用します。手元のプロトコルでは、 主観的な側面 は、研究ユーザーの知覚されたストレスを通じて測定されます。次に、パフォーマンスは、分析タスクを実行するために必要な時間とエラーによって測定されます。最後に、皮膚コンダクタンスセンサーが生理学的パラメータを測定しました。この作業では、最初の2つの測定値が提示されますが、測定された皮膚コンダクタンスを評価するにはさらに努力が必要です。
提示された研究には、特に神経科学の側面や情報システムを含むいくつかの研究分野が含まれます。興味深いことに、情報システムの神経科学的側面に関する考察は、最近、いくつかの研究グループ7,8の注目を集めており、認知の観点からもITシステムの使用を探求する需要を示しています。この作業に関連する別の分野は、情報システムの人的要因の調査を構成する9,10,11。人間とコンピュータの相互作用の分野では、ソリューションの有用性を調査するための機器が存在します。システムユーザビリティスケールは、主にこのコンテキストで使用されることに注意してください12。声を出して考えるプロトコル13は、情報システムの使用についてさらに学ぶために広く使用されている別の研究手法です。情報システムのユーザビリティの側面を測定するための多くのアプローチが存在し、それらのいくつかはずっと前に提示されていますが14、新しい対策や研究方法を調査する必要がある疑問が浮かび上がってきます。したがって、この分野の研究は非常に活発です12,15,16。
以下では、現在の研究で一般的に使用されている2つの方法が考慮されていない理由について説明します。まず、システムユーザビリティスケールが使用されませんでした。スケールは17の質問に基づいており、その使用法は他のいくつかのVR研究でも見つけることができます18。本研究は主にストレス19の測定を目的としているため,ストレス関連質問紙がより適切であった。第二に、シンキングアラウドプロトコル20は使用されませんでした。このプロトコルタイプは一般的にその有用性を示していますが13、重くて複雑なVRデバイスの使用と並行して思考セッションを達成する必要があるという事実のためにのみ、研究ユーザーのストレスレベルが増加する可能性があるため、ここでは使用しませんでした。これらの2つの手法は使用されていませんが、他の最近の研究の結果が手元の研究に組み込まれています。たとえば、以前の研究21,22では、著者は研究において初心者と専門家を区別しています。これらの研究の成功結果に基づいて、手元のプロトコルは、この提示された研究ユーザーの分離を利用します。次に、応力測定は、次の作品15,19,21,22のアイデアに基づいています。
まず、調査を実施するには、分析タスクを実行するための適切なインダストリー4.0シナリオを見つける必要があります。著者23の別の研究に触発されて、(1)外れ値の検出、および(2)クラスターの認識の2つのシナリオ(すなわち、分析タスク)が特定されました。どちらのシナリオも困難であり、高スループットの生産機械のメンテナンスのコンテキストで非常に関連性があります。この決定に基づいて、6つの主要な考慮事項が、この作業で提示された研究プロトコルを推進しました。
- この研究のために開発されたソリューションは、技術的には複合現実スマートグラス(「 材料表」を参照)に基づいており、複合現実アプリケーションとして開発されます。
- 初心者と上級ユーザーを区別できる適切なテストを開発する必要があります。
- パフォーマンス測定では、時間とエラーを考慮する必要があります。
- 没入型分析ソリューションと比較できるデスクトップ アプリケーションを開発する必要があります。
- 知覚されるストレスレベルを評価するために、メジャーを適用する必要があります。
- 後者の点に加えて、ユーザーが上記の2つの分析タスク(すなわち、(1)外れ値の検出、および(2)クラスターの認識)の手順を完了する間に、ストレスレベルを軽減するための機能を開発する必要があります。
上記の6つのポイントに基づいて、研究プロトコルには次の手順が組み込まれています。外れ値検出とクラスター認識分析のタスクは、複合現実スマートグラスを使用して没入型の方法で実行する必要があります (「 材料表」を参照)。そのため、新しいアプリケーションが開発されました。空間音は、精神的な努力を増やすことなく、分析タスクの実行を容易にします。音声機能は、Mixed Reality スマートグラスの開発アプリケーションに使用されるナビゲーションを容易にします (「 資料の表」を参照)。メンタルローテーションテストは、初心者と上級ユーザーを区別するための基礎となるものとします。ストレスレベルはアンケートに基づいて測定されます。次に、パフォーマンスは、(1) ユーザーが分析タスクに要する時間と、(2) 分析タスクに対してユーザーが行ったエラーに基づいて評価されます。複合現実スマートグラスのパフォーマンスは、新しく開発された同等の2Dデスクトップアプリケーションでの同じタスクの達成と比較されます。さらに、皮膚コンダクタンスデバイスを使用して、ストレスの可能な指標として皮膚コンダクタンスレベルを測定します。この測定の結果はさらなる分析の対象であり、この作業では説明しません。著者らは、同じデバイスを使用した別の研究で、追加の考慮事項が必要であることを明らかにしました24。
このプロトコルに基づいて、次の5つの研究質問(RK)に対処します。
RQ1:参加者の空間的想像力は、タスクのパフォーマンスに大きく影響しますか?
RQ2: 時間の経過と共にタスクのパフォーマンスに大きな変化はありますか?
RQ3: 没入型分析ソリューションで空間サウンドを使用すると、タスクのパフォーマンスに大きな変化はありますか?
RQ4:開発された没入型分析は、ユーザーにストレスを感じていますか?
RQ5: 没入型分析ソリューションを使用した方が、2D アプローチと比較してユーザーのパフォーマンスは向上しますか?
図1 は、提示されたプロトコルを2つのスケールに関して要約したものです。これは、開発および使用された対策と、相互作用のレベルに関するそれらの新規性を示しています。相互作用レベルはVR設定の機能を開発する際の重要な側面を構成するため、図1は、この作業で開発されたプロトコル全体の新規性をよりよく示しています。使用される2つの尺度内の側面の評価は主観的ですが、それらの全体的な評価は、現在の関連作業と次の主要な考慮事項に基づいています。 1つの重要な原則は、ユーザーが同調するようになった自然な相互作用のための環境の抽象化の使用を構成します。手元のプロトコルに関しては、点群の視覚化はユーザーにとって直感的であるように思われ、そのような雲のパターンの認識は一般的に管理可能なタスクとして認識されています。別の重要な原則は、アフォーダンスをオーバーレイすることです。これにより、手元のプロトコルで使用される空間音の使用は、検索されたオブジェクトの近接性と相関するため、一例です。著者らは、ほとんどの情報が人間の知覚にとって最も重要な中間ゾーンに位置するように表現を調整することを推奨しています。著者がこの原則を含めなかった理由は、ユーザーが自分で最適な場所を見つけることと、一度に表示するには大きすぎるデータ視覚化空間に自分自身を向けようとすることを奨励するためでした。提示されたアプローチでは、表示される3Dデータの特性についてそれ以上の考慮は行われませんでした。たとえば、ディメンションが時間的であると仮定した場合、散布図が表示される可能性があります。著者らは、この種の視覚化は、インダストリー4.0のコンテキストでは一般的に興味深いと考えています。ただし、適度に小さな視覚化のセットに焦点を当てる必要があります。さらに、以前の出版物はすでにデータの共同分析に焦点を当てています。この研究では、この研究で取り上げられた他の問題の複雑さのために、この研究の質問は除外されました。ここで提示されたセットアップでは、ユーザーは歩き回って没入型空間を探索できます。他のアプローチは、仮想空間を探索するためのコントローラを提供します。本研究では、システムユーザビリティ尺度(SUS)を用いてユーザビリティに着目する。別の以前の出版物は、経済専門家向けの調査を実施しましたが、VRヘッドセットを使用しています。一般的に、そして最も重要なことに、この研究は、この研究で使用されている複合現実スマートグラスのような他のデバイスの限られた視野について不満を持っています( 材料の表を参照)。彼らの調査結果は、VR分野の初心者が分析ツールを効率的に使用できることを示しています。これはこの研究の経験と一致しますが、この作品では初心者はVRやゲームの経験があると分類されていませんでした。ほとんどのVRソリューションとは対照的に、複合現実は実際の環境を追跡できるため、位置に固定されていません。VRアプローチでは、ユーザーをデスクトップから解放するための360°エクスペリエンスのための特別な椅子の使用について言及しています。著者は、知覚の問題が没入型分析のパフォーマンスに影響を与えることを示しています。たとえば、影を使用します。手元の研究では、使用されている複合現実スマートグラス(材料の表を参照)は影を表示できないため、これは実行可能ではありません。回避策は仮想フロアである可能性がありますが、そのような設定はこの調査の範囲外でした。没入型分析の分野の調査研究では、3D 散布図が多次元データの最も一般的な表現の 1 つとして特定されました。 全体として、図 1 に示す側面は、インダストリー 4.0 シナリオの没入型分析のユーザビリティの側面を調査するプロトコルにコンパイルされた現在のものを見つけることができません。
Protocol
Representative Results
Discussion
開発された複合現実スマートグラス( 材料表を参照)アプリケーションに関しては、2つの側面が特に有益でした。外れ値の検出タスクに空間音を使用することは、一方では肯定的に認識されました(RQ3の結果を参照)。一方、音声コマンドの使用も肯定的に認識されていました ( 図 10 を参照)。
研究参加者に関しては、募集された参加者の?…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
著者は何も認めていません。
Materials
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
Riferimenti
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. . Information Systems and Neuroscience. , (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. . Human-computer interaction. , (1994).
- Card, S. K. . The psychology of human-computer interaction. , (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013)
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Towards hmd-based immersive analytics. HAL Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017)
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- . RPY2: A Simple and Efficient Access to R from Python Available from: https://sourceforge.net/projects/rpy/ (2020)
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
