הערכת היבטי שימושיות של פתרון מציאות משולבת לניתוח מקיף בתרחישי תעשייה 4.0
Summary
פרוטוקול זה מתאר את ההגדרה הטכנית של יישום מציאות משולבת מפותח המשמש לניתוח סוחף. על בסיס זה מוצגים מדדים, אשר שימשו במחקר כדי לקבל תובנות לגבי היבטי שימושיות של הפתרון הטכני שפותח.
Abstract
ברפואה או בתעשייה, ניתוח של מערכי נתונים במימדים גבוהים נדרש יותר ויותר. עם זאת, פתרונות טכניים זמינים הם לעתים קרובות מורכבים לשימוש. לכן, גישות חדשות כמו ניתוח אימרסיבי יתקבלו בברכה. ניתוח מקיף מבטיח לחוות ערכות נתונים בממדים גבוהים בצורה נוחה עבור קבוצות משתמשים וערכות נתונים שונות. מבחינה טכנית, התקני מציאות מדומה משמשים כדי לאפשר ניתוח סוחף. בתעשייה 4.0, לדוגמה, תרחישים כמו זיהוי חריגים או חריגות בערכות נתונים רב-ממדיות הם מטרות של ניתוח אימרסיבי. בהקשר זה, יש להתייחס לשתי שאלות חשובות עבור כל פתרון טכני מפותח בנושא ניתוח אימרסיבי: ראשית, האם הפתרונות הטכניים מועילים או לא? שנית, האם החוויה הגופנית של הפתרון הטכני חיובית או שלילית? השאלה הראשונה מכוונת להיתכנות הכללית של פתרון טכני, ואילו השנייה מכוונת לנוחות הלבישה. מחקרים ופרוטוקולים קיימים, העוסקים באופן שיטתי בשאלות אלה הם עדיין נדירים. בעבודה זו מוצג פרוטוקול מחקר, החוקר בעיקר את השימושיות לניתוח אימרסיבי בתרחישי תעשייה 4.0. באופן ספציפי, הפרוטוקול מבוסס על ארבעה עמודי תווך. ראשית, הוא מסווג משתמשים על סמך חוויות קודמות. שנית, מוצגות משימות, אשר ניתן להשתמש בהן כדי להעריך את הכדאיות של הפתרון הטכני. שלישית, מוצגים מדדים, המכמתים את אפקט הלמידה של המשתמש. רביעית, שאלון מעריך את רמת הלחץ בעת ביצוע משימות. בהתבסס על עמודים אלה, יושמה הגדרה טכנית המשתמשת במשקפי מציאות משולבת חכמים כדי ליישם את פרוטוקול המחקר. תוצאות המחקר שנערך מראות את תחולת הפרוטוקול מצד אחד ואת ההיתכנות של ניתוח אימרסיבי בתרחישי תעשייה 4.0 מצד שני. הפרוטוקול המוצג כולל דיון במגבלות שהתגלו.
Introduction
פתרונות מציאות מדומה (פתרונות VR) חשובים יותר ויותר בתחומים שונים. לעתים קרובות, עם פתרונות VR (כולל מציאות מדומה, מציאות משולבת ומציאות רבודה), הביצוע של משימות ונהלים יומיומיים רבים יוקל יותר. לדוגמה, בתחום הרכב, הליך התצורה של מכונית יכול להיות נתמך על ידי שימוש במציאות מדומה1 (VR). חוקרים ואנשי מקצוע חקרו ופיתחו מספר רב של גישות ופתרונות בהקשר זה. עם זאת, מחקרים החוקרים היבטי שימושיות הם עדיין נדירים. ככלל, יש לבחון את ההיבטים לאור שתי שאלות מרכזיות. ראשית, יש להעריך האם פתרון VR אכן עולה בביצועיו על גישה שאינה עושה שימוש בטכניקות VR. שנית, מכיוון שפתרונות VR מסתמכים בעיקר על התקני חומרה כבדים ומורכבים, יש לחקור לעומק פרמטרים כמו נוחות השחיקה והמאמץ המנטלי. בנוסף, יש לחקור תמיד את ההיבטים הנ”ל ביחס לתחום היישום המדובר. למרות שגישות קיימות רבות רואות את הצורך לחקור שאלות אלה2, קיימים פחות מחקרים שהציגו תוצאות.
נושא מחקר בתחום VR, שהוא חשוב כיום, מסומן בניתוח אימרסיבי. הוא נגזר מתחום המחקר של ניתוח חזותי, אשר מנסה לכלול את התפיסה האנושית לתוך משימות ניתוח. תהליך זה ידוע גם בשם כריית נתונים חזותיים4. ניתוח אימרסיבי כולל נושאים מתחומי הדמיית נתונים, ניתוח חזותי, מציאות מדומה, גרפיקה ממוחשבת ואינטראקציה בין אדם למחשב5. היתרונות האחרונים בתצוגות המותקנות על הראש (HMD) הובילו לשיפור האפשרויות לחקור נתונים בצורה סוחפת. לאורך מגמות אלה, אתגרים חדשים ושאלות מחקר צצים, כמו פיתוח מערכות אינטראקציה חדשות, הצורך לחקור עייפות משתמשים, או פיתוח של הדמיות תלת-ממדיות מתוחכמות6. בפרסום קודם6 נדונו עקרונות חשובים של ניתוח אימרסיבי. לאור נתונים גדולים, שיטות כמו ניתוח אימרסיבי נחוצות יותר ויותר כדי לאפשר ניתוח טוב יותר של מאגרי נתונים מורכבים. קיימים רק מחקרים מעטים החוקרים את היבטי השימושיות של פתרונות ניתוח אימרסיביים. כמו כן, יש להתייחס גם לתחום או לתחום המדובר במחקרים אלו. בעבודה זו פותח אב טיפוס אנליטי אימרסיבי, ועל בסיסו פרוטוקול, החוקר את הפתרון שפותח עבור תרחישי תעשייה 4.0. בכך מנצל הפרוטוקול את שיטת ההתנסות2, המבוססת על היבטים סובייקטיביים, ביצועיים ופיזיולוגיים. בפרוטוקול הנדון, ההיבטים הסובייקטיביים נמדדים באמצעות לחץ נתפס של משתמשי המחקר. ביצועים, בתורו, נמדדים באמצעות הזמן הנדרש ושגיאות שנעשו כדי לבצע משימות ניתוח. לבסוף, חיישן מוליכות העור מדד פרמטרים פיזיולוגיים. שני המדדים הראשונים יוצגו בעבודה זו, בעוד מוליכות העור הנמדדת דורשת מאמצים נוספים להערכה.
המחקר המוצג כולל מספר תחומי מחקר, במיוחד היבטים של מדעי המוח ומערכות מידע. באופן מעניין, שיקולים על היבטים של מדעי המוח במערכות מידע משכו לאחרונה תשומת לב של מספר קבוצות מחקר7,8, מה שמראה את הדרישה לחקור את השימוש במערכות IT גם מנקודת מבט קוגניטיבית. תחום נוסף הרלוונטי לעבודה זו מהווה חקירת גורמים אנושיים של מערכות מידע 9,10,11. בתחום האינטראקציה בין אדם למחשב, קיימים מכשירים כדי לחקור את השימושיות של פתרון. שים לב שסולם שימושיות המערכת משמש בעיקר בהקשר זה12. Thinking Aloud פרוטוקולים13 הם טכניקת לימוד נפוצה נוספת כדי ללמוד עוד על השימוש במערכות מידע. למרות שקיימות גישות רבות למדידת היבטי שימושיות של מערכות מידע, וחלקן הוצגו זה מכבר14 , עדיין עולות שאלות הדורשות לחקור מדדים חדשים או שיטות לימוד חדשות. לכן, המחקר בתחום זה פעיל מאוד12,15,16.
להלן יידונו הסיבות מדוע לא נלקחו בחשבון בעבודה הנוכחית שתי שיטות נפוצות. ראשית, סולם שימושיות המערכת לא היה בשימוש. הסולם מבוסס על עשר שאלות17 וניתן למצוא את השימוש בו גם במספר מחקרי VR אחרים18. מכיוון שמחקר זה מכוון בעיקר למדידת לחץ19, שאלון הקשור ללחץ היה מתאים יותר. שנית, לא נעשה שימוש בפרוטוקול20 של “חושבים בקול רם”. למרות שסוג פרוטוקול זה הוכיח את יעילותו באופן כללי13, הוא לא שימש כאן מכיוון שרמת הלחץ של משתמשי המחקר עשויה לעלות רק בשל העובדה שסשן החשיבה בקול רם חייב להתבצע במקביל לשימוש במכשיר VR כבד ומורכב. למרות ששתי טכניקות אלה לא היו בשימוש, תוצאות של מחקרים אחרונים אחרים שולבו במחקר הנדון. לדוגמה, בעבודות קודמות21,22, המחברים מבחינים בין טירונים למומחים בלימודיהם. בהתבסס על התוצאות המוצלחות של מחקרים אלה, הפרוטוקול העומד לרשותנו משתמש בהפרדה זו המוצגת בין משתמשי המחקר. מדידת המתח, בתורו, מבוססת על רעיונות של העבודות הבאות 15,19,21,22.
בשלב הראשון, לצורך ביצוע המחקר, יש למצוא תרחיש מתאים של תעשייה 4.0 לביצוע משימות אנליטיות. בהשראת עבודה אחרת של המחברים23, זוהו שני תרחישים (כלומר, משימות הניתוח), (1) זיהוי חריגים, ו-(2) זיהוי אשכולות. שני התרחישים מאתגרים, והם רלוונטיים מאוד בהקשר של תחזוקה של מכונות ייצור בתפוקה גבוהה. בהתבסס על החלטה זו, שישה שיקולים עיקריים הניעו את פרוטוקול המחקר המוצג בעבודה זו:
- הפתרון שיפותח לצורך המחקר יתבסס טכנית על משקפי מציאות משולבת חכמים (ראו טבלת חומרים) ויפותח כיישום מציאות משולבת.
- יש לפתח בדיקה מתאימה, המסוגלת להבחין בין טירונים למשתמשים מתקדמים.
- מדדי ביצועים צריכים לקחת בחשבון זמן ושגיאות.
- יש לפתח יישום שולחן עבודה, אשר ניתן להשוות לפתרון ניתוח immersive.
- יש ליישם מדד כדי להעריך את רמת הלחץ הנתפסת.
- בנוסף לנקודה האחרונה, יפותחו תכונות להפחתת רמת הלחץ בזמן שהמשתמש מבצע את ההליך של שתי משימות הניתוח שהוזכרו (כלומר, (1) זיהוי חריגים, ו- (2) זיהוי אשכולות).
בהתבסס על שש הנקודות שהוזכרו, פרוטוקול המחקר משלב את ההליך הבא. משימות זיהוי חריג וניתוח אשכולות צריכות להתבצע בדרך סוחפת באמצעות משקפיים חכמים של מציאות משולבת (ראה טבלת חומרים). לכן, פותחה אפליקציה חדשה. צלילים מרחביים יקלו על ביצוע מטלות ניתוח מבלי להגביר את המאמץ המנטלי. תכונה קולית תקל על הניווט המשמש ליישום המפותח של משקפי המציאות המשולבת החכמים (ראה טבלת חומרים). מבחן רוטציה מנטלי יהיה הבסיס להבחנה בין טירונים למשתמשים מתקדמים. רמת הלחץ נמדדת על סמך שאלון. ביצועים, בתורם, מוערכים בהתבסס על (1) הזמן הדרוש למשתמש עבור משימות הניתוח, ובהתבסס על (2) שגיאות שבוצעו על-ידי משתמש עבור משימות הניתוח. הביצועים בזכוכית חכמה של מציאות משולבת מושווים לביצוע אותן משימות ביישום שולחן עבודה דו-ממדי שפותח לאחרונה וניתן להשוואה. בנוסף, מכשיר מוליכות העור משמש למדידת רמת מוליכות העור כאינדיקטור אפשרי ללחץ. תוצאות מדידה זו כפופות לניתוח נוסף ולא יידונו בעבודה זו. המחברים גילו במחקר אחר עם אותו מכשיר כי נדרשים שיקולים נוספים24.
בהתבסס על פרוטוקול זה, חמש שאלות המחקר הבאות (RQs) מטופלות:
RQ1: האם יכולות הדמיון המרחבי של המשתתפים משפיעות על ביצוע המשימות באופן משמעותי?
RQ2: האם יש שינוי משמעותי בביצועי המשימות לאורך זמן?
RQ3: האם יש שינוי משמעותי בביצועי המשימות בעת שימוש בצלילים מרחביים בפתרון הניתוח הסוחף?
RQ4: האם הניתוח האימרסיבי שפותח נתפס מלחיץ על ידי המשתמשים?
RQ5: האם ביצועי המשתמשים טובים יותר בעת שימוש בפתרון ניתוח מקיף בהשוואה לגישה דו-ממדית?
איור 1 מסכם את הפרוטוקול המוצג ביחס לשני קני מידה. זה מראה את האמצעים המפותחים והמשמשים ואת החידוש שלהם ביחס לרמת האינטראקציה. מאחר שרמת האינטראקציה מהווה היבט חשוב בעת פיתוח תכונות עבור סביבת VR, איור 1 יראה טוב יותר את החידוש של כל הפרוטוקול שפותח בעבודה זו. למרות שההערכה של ההיבטים בתוך שני הסולמות המשמשים היא סובייקטיבית, הערכתם הכוללת מבוססת על העבודה הקשורה הנוכחית ועל השיקולים העיקריים הבאים: עיקרון חשוב אחד מהווה את השימוש בהפשטות של סביבה לאינטראקציה טבעית, שבה המשתמש נעשה קשוב. ביחס לפרוטוקול הנדון, נראה כי הדמיה של ענני נקודה אינטואיטיבית למשתמשים וזיהוי דפוסים בעננים כאלה הוכר כמשימה הניתנת לניהול באופן כללי. עיקרון חשוב נוסף הוא כיסוי של affordances. לפיכך, השימוש בצלילים מרחביים כפי שנעשה בהם שימוש בפרוטוקול הנדון הוא דוגמה, שכן הם מתואמים עם קרבתו של אובייקט שחיפש. המחברים ממליצים לכוונן את הייצוגים באופן שרוב המידע ממוקם באזור הביניים, שהוא החשוב ביותר לתפיסה האנושית. הסיבה לכך שהמחברים לא כללו עיקרון זה הייתה לעודד את המשתמש למצוא את המקום הטוב ביותר בעצמו, כמו גם לנסות להתמצא במרחב ויזואליזציה של נתונים, שהוא גדול מכדי להיות מוצג בבת אחת. בגישה המוצגת, לא נעשו שיקולים נוספים של מאפייני הנתונים התלת-ממדיים שיוצגו. לדוגמה, אם מניחים שממד הוא זמני, ניתן היה להראות תרשימי פיזור. המחברים רואים סוג זה של ויזואליזציה בדרך כלל מעניין בהקשר של תעשייה 4.0. עם זאת, יש להתמקד בקבוצה קטנה למדי של הדמיות. יתר על כן, פרסום קודם כבר התמקד בניתוח שיתופי של נתונים. בעבודה זו, שאלת מחקר זו לא נכללה בשל מורכבותן של הסוגיות האחרות שנדונו במחקר זה. בהגדרה המוצגת כאן, המשתמש יכול לחקור את החלל immersive על ידי הסתובבות. גישות אחרות מציעות בקרים לחקור את המרחב הווירטואלי. במחקר זה, המוקד מוגדר על השימושיות באמצעות סולם שימושיות המערכת (SUS). פרסום קודם אחר ערך מחקר עבור מומחים כלכליים, אך עם משקפי VR. באופן כללי, והכי חשוב, מחקר זה מתלונן על שדה הראייה המוגבל עבור מכשירים אחרים כמו משקפי המציאות המשולבת המשומשים בעבודה זו (ראה טבלת חומרים). הממצאים שלהם מראים כי מתחילים בתחום VR היו מסוגלים להשתמש בכלי האנליטי ביעילות. זה תואם את החוויות של מחקר זה, אם כי בעבודה זו מתחילים לא סווגו יש חוויות VR או משחקים. בניגוד לרוב פתרונות המציאות המדומה, מציאות משולבת אינה מקובעת למיקום מכיוון שהיא מאפשרת לעקוב אחר הסביבה האמיתית. גישות VR כגון מזכירות את השימוש בכיסאות מיוחדים לחוויה של 360° כדי לשחרר את המשתמש משולחן העבודה שלו. מחברי המחקר מצביעים על כך שבעיות תפיסה משפיעות על הביצועים של ניתוח אימרסיבי; לדוגמה, באמצעות צללים. עבור המחקר הנדון, זה לא ריאלי, כמו משקפיים חכמים מציאות משולבת בשימוש (ראה טבלה של חומרים) אינם מסוגלים להציג צללים. פתרון עוקף יכול להיות רצפה וירטואלית, אבל הגדרה כזו הייתה מחוץ לטווח של מחקר זה. מחקר סקר בתחום האנליטיקה האימרסיבית זיהה פיזור תלת-ממדי כאחד הייצוגים הנפוצים ביותר של נתונים רב-ממדיים. בסך הכל, לא ניתן למצוא את ההיבטים המוצגים באיור 1 המורכבים כעת לפרוטוקול החוקר היבטי שימושיות של ניתוח אימרסיבי עבור תרחישי תעשייה 4.0.
Protocol
Representative Results
Discussion
בנוגע ליישום המשקפיים החכמים שפותחו במציאות משולבת (ראו טבלת חומרים), שני היבטים היו מועילים במיוחד. השימוש בצלילים מרחביים למשימת הזיהוי של החריג נתפס באופן חיובי מצד אחד (ראו תוצאות RQ3). מצד שני, גם השימוש בפקודות קוליות נתפס באופן חיובי (ראו איור 10).
<p class="jove_conten…Disclosures
The authors have nothing to disclose.
Acknowledgements
למחברים אין מה להודות.
Materials
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. . Information Systems and Neuroscience. , (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. . Human-computer interaction. , (1994).
- Card, S. K. . The psychology of human-computer interaction. , (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013)
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Towards hmd-based immersive analytics. HAL Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017)
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- . RPY2: A Simple and Efficient Access to R from Python Available from: https://sourceforge.net/projects/rpy/ (2020)
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
