מערכת מציאות מדומה הנשלטת על ידי מחוות וקול לעיצוב בית סוחף: עיצוב מערכת וניתוח חוויית משתמש

סיכום

מאמר זה מציג מערכת מציאות מדומה הנשלטת על ידי מחוות וקול לעיצוב בית סוחף, המשפר את הדיוק, השימושיות והנגישות באמצעות מיזוג רב-מודלי של קלטי מחוות ודיבור. תוצאות ניסוי מצביעות על זמני משימות קצרים יותר, דיוק מיקום משופר ושביעות רצון משופרת בהשוואה לפרקטיקה המסורתית.

תקציר

אינטראקציה מבוססת מחוות וקול ב-VR הראתה פוטנציאל ביישומים שונים; עם זאת, מערכות קיימות מוגבלות בשל הדגש על משימות ניווט, תלות במחוות בשתי ידיים, חוסר דיוק מדויק, ובדיקות על אוכלוסיות קטנות והומוגניות. מגבלות אלו מגבילות את היישום לתהליכים מורכבים וממוקדים בעיצוב. כדי להתמודד עם מגבלות אלו, אנו מציגים מערכת מציאות מדומה מבוקרת במחוות וקול לעיצוב בית סוחף, המשלבת שילוב רב-מודלי של קלט מחוות ידנית והוראות שפה טבעית למיקום רהיטים מדויק, בחירת חומרים והתאמה מרחבית. שלושה היבטים של חידוש במערכת: (i) מצבי אינטראקציה אדפטיביים לתמיכה בשימוש ביד אחת, פקודות קוליות מספריות, וכיוון מדויק גס לעדין; (ii) ארכיטקטורת מיזוג רב-מודלית הממזגת מחוות, דיבור והקשר לדיוק תת-סנטימטר; ו-(iii) מסגרת הערכת חוויית משתמש מודעת למשימה המותאמת לתהליכי עיצוב הבית. תהליך הפיתוח מתבצע במסלול שיטתי, החל מניתוח דרישות ועיצוב מילוני מחוות וקול, דרך זיהוי כוונות רב-מודליים, הרכבת סצנות VR עם סנאפינג ויישור, ובדיקות איטרטיביות. תוצאות ניסויים במגוון רחב של אוכלוסיות משתתפים מראות ירידה של 30% בשגיאת מיקום ושיפורים משמעותיים בשימושיות ובדירוגי עומס העבודה לעומת אינטראקציה מבוססת בקר. התוצאות מצביעות על הפוטנציאל של VR רב-מודלי ליצירת חוויות עיצוב בתים נגישות ומרתקות.

מבוא

מציאות מדומה (VR) היא סביבה אינטראקטיבית שנוצרה על ידי מחשב היוצרת חוויה תלת-ממדית שבה המשתמשים יכולים לראות, לתקשר עם טכנולוגיה כאילו הם נוכחים באמת. בהקשר של מחקר זה, מציאות מדומה נחשבת לסביבת אינטראקציה רב-מודלית, ולא רק טכניקת תצוגה חזותית. מערכות VR מתקדמות משלבות מעורבות ויזואלית עם זיהוי מחוות, חושים מרחביים וקלט קולי טבעי, ומאפשרות למשתמשים להפעיל פריטים מדומים בדיוק גבוה. הבנה זו תואמת את מחקרי ה-VR הנוכחיים שמעדפים הטמעה, מעורבות וחוויות משתמש טבעיות. תחומי היישום שלו כוללים הופעה, הוראה², טיפול רפואי³ ונסיעות⁴. מציאות מדומה מאפשרת לאנשים לתקשר ולהתחבר לעולמות שלא היו נגישים במציאות על ידי סימולציה של סביבות אמיתיות. בתהליכי עיצוב בית, שבהם המשתמשים חייבים לתפוס פריסות מרחביות, לשלוט באובייקטים ולקבל משוב בזמן אמת ללא צורך בתנועה פיזית, תכונות הטמעה כאלה מועילות במיוחד. תכונות אלו יכולות להביא אפשרויות חדשות, במיוחד למשתמשים עם תנועה פיזית לא שלמה. חברי קבוצות מוחלשות באופן בלתי פורמלי, במיוחד קשישים ובעלי אוריינות אלפאנומרית מינימלית, יוגבלו את פעילותם החיצונית בשל מספר גורמים, כגון מגבלות פיזיות, בעיות ניידות וקושי בגישה לטכנולוגיה דיגיטלית בשל מגבלות גיל. לכן, יש להעניק תשומת לב מתמדת למחקר שיהפוך את העולם החיצון לנגיש לאנשים אלה בעקיפין באמצעות מומחיות ב-VR. הצורך במחקר מתמשך לא רק תומך ביצירת חוויות VR מבוססות נגישות, אלא גם מניע פיתוח מערכות החורגות מעבר למשימות ניווט בסיסיות. למעשה, סביבות עיצוב בית סוחפות – כאשר הן נשלטות באמצעות מחוות טבעיות וקול – יכולות להציע למשתמשים מבוגרים, אנשים עם לקויות מוטוריות ואוכלוסיות פגיעות דיגיטלית דרכים אינטואיטיביות לתקשר עם סביבות מרחביות מורכבות. מערכות אלו מאפשרות גישה עקיפה למרחבים חיצוניים ולמשימות יצירתיות, ותורמות הן לעצמאות תפקודית והן לרווחה רגשית. על בסיס זה, מחקר זה יציג מערכת עיצוב בית רב-מודלית ל-VR. כתוצאה מכך, הרצון לתשומת לב מתמדת למחקר הוא זה שיסייע להפוך את העולם החיצון לנגיש בעקיפין לאנשים אלה באמצעות מומחיות ב-VR. מחקרים הראו כי התערבויות מבוססות VR המיועדות לקשישים יכולות להביא למספר יתרונות, כגון הפחתת הסיכון לנפילות על ידי שיפור השליטה והגמישות ביציבה6, וכן שיפור ויסות היציבה הכללי והקשיחות⁷. בנוסף, ישנה זמינות הולכת וגדלה של חומרי VR המותאמים במיוחד לאוכלוסיית מבוגרים ^8,9. למרות שהאינטראקציה במציאות מדומה התקדמה, רוב המערכות הנוכחיות מסתמכות בעיקר על שלטים ומחוות דו-ידניות, שמגבילים את הנגישות והדיוק במשימות שדורשות עיצוב. בהרחבת תכונות הניידות הללו, עבודתנו מרחיבה את המציאות המדומה מעבר לצפייה בלבד, בכך שהיא מאפשרת ניהול פעיל, מדויק וריאליסטי של אלמנטים בעיצוב פנים באמצעות מחוות ושיטות דיבור

ל-VR יש שלוש תכונות קשורות: תקשורת, מעורבות ומחשבות¹⁰. רמת המעורבות ועוצמת האינטראקציה עם אובייקטים מדומים משפיעות ישירות על הדמיון של המשתמשים באווירה הווירטואלית. בהתאם לשלבי ההטמעה, סכמות ה-VR מסווגות ל-VR לא סוחף, VR חצי-סוחף, ו-VR סוחף מלא, שכל אחד מהם משתמש בשילובים שונים של שיטות תקשורת, אסטרטגיות וגבולות. 11 מציאות מדומה לא סוחפת מאפשרת תקשורת עם סביבה וירטואלית על מסך שולחני או מגע במכשירים ניידים באמצעות עכבר, וסימנים 12,13,14. מציאות מדומה חצי-סוחפת כוללת בדרך כלל מסך גדול, ארגון ומסכים, המספקים חוויה קולנועית, אך לעיתים קרובות חסרה מעקב מיקום כאשר משתמשים בו בקבוצות. חיבורים מבוססי מחוות נחקרו מאז תחילת VR¹⁵ כדי להפוך את השימוש בטכנולוגיית VR לנוח ומוכר. בממשק מבוסס מחוות, סימני גוף פיזיים כמו תנועות ידיים משמשים לתקשורת עם מערכת מחשב.

גבול מחוות הוא מימוש נפוץ של העיקרון הכללי יותר של ממשק משתמש טבעי (NUI), שניתן ליישם להשגת שקיפות ממשק במציאות מדומה מבוססת HMD. ההיבטים שמקדמים הופעה במציאות מדומה נחקרו קודם לכן ^16,17; עם זאת, ישנם מעט מחקרים על הופעה ברקע של ממשק משתמש מבוסס מחוות. הבנת ההשפעות שיכולות להשפיע על הופעת ה-VR באמצעות ממשק משתמש מבוסס מחוות יכולה להיות מועילה במהלך עיצוב טכנולוגיות סוחפות עתידיות. לכן, מנקודת מבט של תקשורת מבוססת התרחשות ותקשורת מבוססת מחוות, חקרנו את חוויית המשתמש של מעורבות מציאות מדומה סוחפת המבוססת על ממשק משתמש מבוסס מחוות. עבור חומרים פגיעים חברתית, הערכת כבישים ב-360°, תת-חלק של מציאות מדומה (VR) יכול להיות כלי יעיל. עם טכנולוגיה כזו, המשתמשים יכולים לחקור את העולם באופן וירטואלי ללא תנועה פיזית, לנסוע למקומות שונים ולנהל תקשורת חברתית עם משתמשים אחרים, כולל פונקציונליות רב-צדדית. לאנשים עם מוגבלויות פיזיות וסביבתיות, מעורבות זו יכולה להיות תוספת שימושית לפעילות בחוץ. מעבר לניווט פשוט, האפשרויות החינוכיות שמאפשרת טכנולוגיית דעת קהל 360° משתרעות על תחומים שונים בחינוך.

סקירה שיטתית של הספרות שבחנה 64 מפגשי הכשרה הדגישה את השימושים המידעיים, היתרונות ותכונות התקשורת של סרטוני VR 360° ושל VR אמיתי. התוצאות מצביעות על כך ש-VR של 360° יכול לשפר את ההצגה, המוטיבציה ושימור המידע של הלומדים, ולקדם הטמעה רבה יותר. החוקר²¹ קישר שני ממשקי משתמש ביד אחת ושתי ידיים בתכנית תנועה מבוססת טלפורטציה. התוצאות מראות שאותות ביד אחת נתפסו כמהירים יותר להתחלה על ידי מי שהעדיף, בעוד שסימנים דו-ידניים נחשבו אמינים יותר, אף על פי שהפריט דן בטלפורטציה בלבד ולא בתנועה מתמדת, כפי שנעשה בעבודה זו.

ההנחה של עקביות גבוהה יותר לסימנים דו-ידניים ומהירות התחלתית גבוהה יותר לסימנים ביד אחת נקבעה ושימשה כבסיס למחקר זה. נדרש גם מפרט מפורט יותר של מגבלות הערכת הטכנולוגיה, מעבר להצגה ולשירותיות, בנוגע להכשרת מפעילים למלא את האחריות ב-VR²². במצב ההכשרה הזה, הפאנלים מדריכים את המפעילים במהלך הפעילויות, כאשר הערכת טכנולוגיה היא מרכיב מרכזי. יתרה מזאת, ההנחה הבסיסית היא שטכנולוגיית ה-HT, אם תיושם כראוי, יכולה להציע התקדמות גם בתחום הטכנולוגיה^23,24. מחקרים עדכניים הוכח שסביבות וירטואליות אינן רק שימושיות להערכת שירותי היגוי בכיסאות גלגלים, אלא גם מספקות שימושים מועילים, כולל הכשרה בשירותים גמישים שיכולים להיות מאתגרים או יקרים לשחזור במציאות. לדוגמה, המחבר²⁵ מציין שסימולטורים של VR יכולים להקל על הכללת שירותי ההיגוי לסביבות פיזיות על ידי מתן סביבה טכנולוגית מיומנת ובלתי מזיקה.

החוקר מדגיש גם את יישום הכישורים הווירטואליים כתוכנית התערבות באימוני שירותי כיסאות גלגלים, ומדגיש את השימושיות והערך המועיל שלהן בהתאמה אישית של פעילות גופנית ובשיפור שירותי הגמישות. עם זאת, מטעמי בטיחות, המשתמשים מאומתים ונבדקים מראש, במיוחד בסביבת מציאות מדומה^26,27. יישום כזה מאפשר לאנשים עם מוגבלויות פיזיות לתרגל ולחדד את כישורי הנהיגה שלהם בכיסא גלגלים בסביבה בטוחה ומבוקרת²⁸. הם מסוגלים לחוות מבחנים ותסריטים וירטואליים שונים, כולל התמודדות עם בעיות מאתגרות, ניווט במקומות צרים או ביצוע תמרונים מורכבים. בינתיים, המשתמשים יכולים לקבל משוב מיידי על ביצועיהם ולרכוש אסטרטגיות תנועה חדשות²⁹. מלבד היותה כלי עזר להדרכה, למציאות מדומה יש יישומים טיפוליים³⁰. הצעת טכנולוגיה ציורית סוחפת יכולה לתרום לשיפור הביטחון העצמי, הארגון וההשתלבות הפיזית מחדש. אנשים יכולים לפתח את כישורי המוטוריקה שלהם ולשפר את היציבות והיציבות שלהם. סביבות מציאות מדומה הן ייצוגים ממוחשבים שמאפשרים למשתמשים להרגיש כאילו הם^{חלק מהם}.

מצב זה מוצג באמצעות אוזניות מציאות מדומה או אסטרטגיות אחרות. מוקאפים יכולים לדמות נסיבות סיכון או מצבים מאתגרים לפני יישומם, כגון אירועים רפואיים או הפעלת אסטרטגיות מסוימות ^32,33,34. עם זאת, יתרון נוסף הוא היכולת לחבר ציוד למכשירים, כגון בקרות, קישוטי זיהוי תנועה, מיקרופונים או אפודים, כדי להשיג תקשורת יעילה בין המעסיק למנגנון³⁵ בסביבה תמימה ומשוכפלת בקפידה לפני השימוש בהגדרות אמיתיות. חומרים וירטואליים יכולים להיות מופעלים במצבים שונים, כמו שימוש בג'ויסטיקים, הוראות דיבור או מסלולים מצולמים, כפי שקורה במחקר Kinect³⁶. כל החלופות כוללות למידה עבור המשתמשים, ולכן חוויית המשתמש היא שיקול קריטי בבחירת גישת הבקרה³⁷.

למרות שנחקרו מחוות ואינטראקציה קולית במרחבים וירטואליים למשימות ניווט, כולל מערכת תצוגת הרחוב שנדונה במאמר הבסיס, קיים פער משמעותי ביישום מודאליות אלו בתחומים יצירתיים ומדויקים, כמו עיצוב בית סוחף. המחקר הבסיסי הוכיח שהקלט הרב-מודלי יעיל לנגישות, אך כלל רק ניווט ובחינת סצנה, תוך שימוש במחוות דו-ידיות, מתן פקודות פשוט, ואוכלוסיית משתתפים קטנה. הוא לא כלל קשיים של מניפולציה מדויקת, מיקום מרחבי מדויק, עריכת חומרים או תהליכי עבודה שיתופיים, שמגדירים פעילויות עיצוב פנים ואדריכליות. בנוסף, הבדיקות כוונו לקבוצה צרה והומוגנית של משתמשים, מה שהגביל את התצפיות על שימושיות לאוכלוסיות רחבות יותר ולצרכי נגישות שונים. כלי העיצוב הנוכחיים ל-VR מבוססים בעיקר על בקרים, שמגבילים אינטראקציה טבעית ומוציאים משתמשים עם לקויות מוטוריות או למידה. כתוצאה מכך, חסר תכנון ובדיקת מערכת שמשלבת מחוות ודיבור למניפולציה גסה ועדינה של אובייקטים, מספקת שינויים מספריים מבוקרים בקול, מתאימה סגנונות אינטראקציה ביד אחת ונגישות, ונבדקת עם ניתוח חוויית משתמש נרחבת במשימות עיצוב אמיתיות^38,39. סגירת הפער הזה יכולה ליצור גישה חדשה וממוקדת משתמש לעיצוב בתים סוחף, המבוססת על מחקרים קודמים בניווט במציאות מדומה רב-מודלית.

פיתוחים אחרונים בממשקי אדם-מכונה רב-מודליים חקרו מנגנוני חישה ואינטראקציה מתקדמים לשיפור השימושיות והטבילה של VR⁴⁰. המחבר⁴¹ הציג חיישן טריבואלקטרי מבוסס ננו-סיבים אלקטרטי לזיהוי מחוות תלת-ממדיות ללא מגע, והדגים כי ניתן להשיג פרשנות מדויקת של מחוות ללא מעקב מסורתי מבוסס ראייה ומאפשר שליטה טבעית יותר במציאות מדומה ללא מגע. מצד שני, החוקר⁴² הציג הליך אימון התנהגותי חזק למערכות VR קבועות בראש בעכברים. המחקר הראה כיצד סביבות VR מבוקרות יכולות לתמוך במדידת התנהגות מדויקת ובפרוטוקולי אינטראקציה יציבים, והדגיש את חשיבות החזרתיות והעיצוב השיטתי בתהליכי עבודה ב-VR. במקביל, המחברת⁴³ הציעה אלקטרודה יונית-מולכת דביקה ומתמתחת עם התנגדות עור נמוכה במיוחד לשיפור רכישת האותות האלקטרופיזיולוגיים; זה פותח את הדרך לחישה ביואינטגרטיבית שיכולה להגדיל עוד יותר את אמינות האינטראקציה של XR ו-VR. למעשה, כל המחקרים הללו מראים עד כמה טכנולוגיית החיישן, פרוטוקולי האימון והממשקים הפיזיולוגיים מתפתחים במהירות – הכל בגלל הצורך במסגרות אינטראקציה גמישות ורב-מודליות, כמו מערכת הקול-תנועה המוצעת במחקר זה.

פרוטוקול זה מציג מסלול מולטימודלי של מחוות-קול שמאפשר מחוות נגישות ביד אחת, שיפורים מספריים מבוססי קול ועיצוב בית מבוסס דיוק, בניגוד למודלים הנוכחיים של אינטראקציה ב-VR, התומכים בעיקר בניווט או במניפולציה מבוססת בקר. להבנתנו, זהו הפרוטוקול הראשון שמשלב מיזוג בין מחווה-קול, מכוון במיוחד לדיוק מרחבי, שינוי חומרים ותהליכי עיצוב כוללניים.

המטרות העיקריות של עבודה זו הן ליצור מערכת מציאות מדומה (VR) המופעלת במחוות וקול, המותאמת לפעילויות עיצוב ביתיות מרתקות, ולהרחיב את יכולות הקלט הרב-מודאליות כדי לתמוך במיקום מדויק של רהיטים, סיבוב, קנה מידה, ועריכת חומרים או תאורה, בנוסף לפונקציות הניווט הטיפוסיות. מטרה מרכזית היא לפתח מנוע פיוז'ן רב-מודלי המשלב מחוות, קול וקלטים קונטקסטואליים כדי להשיג שליטה גסה ומדויקת במהלך משימות עיצוב פנים. המערכת מציגה גם מצבי אינטראקציה אדפטיבית, כגון מחוות ביד אחת, תכונות ממוקדות נגישות, ופקודות מדויקות המופעלות בקול, כדי לתמוך במגוון רחב של קבוצות משתמשים.

עבודה זו שואפת גם לבצע הערכת חוויית משתמש מקיפה (UX) המשלבת מדדים כמותיים, כולל זמן השלמת משימות, דיוק מיקום ושיעור טעויות, עם הערכות איכותניות של שימושיות, עומס עבודה ושביעות רצון המשתמשים. התקדמות משמעותית לעומת מחקרים קודמים מושגת במעבר ממערכות ניווט מבוססות תצפית רחוב למסגרת עיצוב פנים ממוקדת משימות ומדויקת. התרומה המרכזית טמונה בפיתוח סביבת VR הנשלטת על ידי מחוות וקול לעיצוב בתים סוחף, מה שמרחיב את היקף המחקרים הקודמים שהתמקדו בעיקר באינטגרציה של מחוות-קול לניווט בתצוגת רחוב.

חשוב לציין, שאף מערכת קודמת לא שילבה ביעילות תקשורת מולטימודלית בין מחווה-קול במיוחד לפעולות עיצוב בית תלויות דיוק, כגון מיקום אובייקטים, קנה מידה, סיבוב ועריכת חומרים. הגישות הקיימות גם חסרות חלופות אינטראקציה אדפטיבית, כולל קלט מחוות ביד אחת או שיפור נומרי מבוסס קול. המערכת המוצעת מציגה פרדיגמה מקיפה של אינטראקציה רב-מודלית, הממזגת זיהוי תנועות – מושג באמצעות MediaPipe Hands או מעקב ידיים מבוסס משקפי VR – עם מסווגי רשת קונבולוציונית זמנית, וכן זיהוי דיבור ופרשנות שפה טבעית המונעים על ידי Whisper ASR ומודלים מסווגי כוונות מבוססי טרנספורמר.

כדי להבטיח תפעול יציב, מיושם מנגנון מיזוג רב-מודלי ברמת ההחלטה עם בוררות מבוססת אמון, הממפה מחוות למשימות בחירה מרחבית ופקודות קוליות לשיפורים מדויקים. עיצוב זה מאפשר מיקום מדויק, קנה מידה, סיבוב ושינויים בחומרים של אובייקטים בסביבות עיצוב בית וירטואליות. תהליך העבודה עוקב אחרי צינור מובנה שמתחיל בהגדרת דרישות מערכת, עיצוב לקסיקונים של מחוות וקול, פיתוח טכניקות מיזוג מולטימודליות, ובניית סביבת מציאות מדומה סוחפת ב-Unity 3D המצוידת בכלי סנאפינג, שכבות מדידה ותצוגות מקדימות של חומרים. לאחר מכן מתבצעת אינטגרציה של מערכת, בדיקות פיילוט והערכת חוויית משתמש באמצעות מחקרים השוואתיים.

המערכת מציעה אינטראקציה מולטימודלית עם השהיה נמוכה (מתחת ל-200 מילישניות), תמיכה בנגישות אדפטיבית, ושימושיות משופרת בהשוואה למערכות VR מבוססות בקר מסורתיות. הערכת ניסוי תכמת את זמן השלמת המשימה, דיוק ההצבה, שיעורי השגיאות, ציוני SUS, מדדי עומס עבודה של NASA-TLX ודירוגי נוכחות IPQ. התוצאות הצפויות מראות שאינטראקציה רב-מודלית משפרת משמעותית את הדיוק, היעילות ושביעות רצון המשתמשים בעיצוב בית מבוסס VR.

פרוטוקול

מחקר זה אושר על ידי ועדת האתיקה המחקרית של אוניברסיטת טיילור, סובאנג ג'איה, מלזיה. כל הנהלים עמדו בהנחיות האתיות שנקבעו על ידי ועדת המחקר המוסדית והיו בהתאם להצהרת הלסינקי. לפני איסוף הנתונים, התקבלה הסכמה מדעת מכל משתתף. הם קיבלו תדרוך ברור על מטרות המחקר, הובטחו שההשתתפות היא וולונטרית, שתגובותיהם יישארו חסויות, ושהם יכולים לסגת בכל רגע ללא השלכות. הושגה גם הסכמה מדעת בכתב לשימוש בנתוני אינטראקציה אנונימיים וסקרים בפרסומים אקדמיים. אין מידע אישי מזהה, תמונות או מידע אישי רגיש בכתב יד זה.

העבודה המוצעת מגבשת מערכת מציאות מדומה (VR) מבוססת מחוות וקול, המיועדת לעיצוב בתים סוחף, ועוקרת את השיטות הקיימות המיועדות למשימות ניווט. הגישה מתחילה בזיהוי צרכי המשתמש ופעילויות עיצוב, כולל פריסת רהיטים, הגדלת וסיבוב אובייקטים, עריכת חומרים ומדידות מדויקות של החדר. לאחר מכן מפותחת מערכת אינטראקציה בין מחוות, שבה מחוות ידיים לא מוגבלות (כגון צביטה, אחיזה וסיבוב) מזוהות באמצעות מעקב מבוסס אוזניות או ידיים של MediaPipe ומזוהות באמצעות מודלים קלים של למידת מכונה, כולל רשתות קונבולוציונליות זמניות (TCN). כדי להשלים את המחוות, נבנה דקדוק פקודות קוליות מאורגן, בשילוב עם זיהוי דיבור אוטומטי מבוסס לחישה (ASR) והבנת שפה טבעית (NLU), כדי לגזור כוונות ופרמטרים לשליטה סמנטית ברמה גבוהה. שתי השיטות משולבות באסטרטגיית מיזוג רב-מודלית, שבה משתמשים במחוות לניהול בחירה ומניפולציה מרחבית, ופקודות קוליות משמשות לשיפורים מדויקים, בתוספת מנגנון בוררות מבוסס ביטחון ושחזור שגיאות באמצעות פקודות ביטול.

סביבת העיצוב הסוחפת מופעלת ב-Unity 3D, הכוללת snapping, תגובה להתנגשות, שכבות מדידה וספריית רהיטים וחומרים אינטראקטיבית לאפשר תהליכי עבודה עיצוביים ריאליסטיים. בדיקות פיילוט מתבצעות כדי להבטיח את טבעיות האינטראקציה, היציבות וההשהיה הנמוכה (<200 מילישניות) לפני הערכה פורמלית.

משתתפים ואסטרטגיית דגימה
בסך הכל, גויסו 48 משתתפים למחקר המשתמש כדי להבטיח גיוון והכללה של התוצאות. גילאי המשתתפים נעו בין 19 ל-62 שנים (זכר = 32.4, SD = 10.7), עם 26 גברים ו-22 נשים. כדי ללכוד שונות בהיכרות עם טכנולוגיות סוחפות, חולקו המשתתפים לשלוש קבוצות של חוויית VR: משתמשים מתחילים (n = 18) עם חשיפה מועטה או ללא חשיפה קודמת ל-VR, משתמשים בינוניים (n = 17) עם שימוש מועט ב-VR, ומשתמשים מנוסים (n = 13) שהשתמשו ב-VR באופן קבוע, בעיקר באופן מקצועי. כדי להבטיח את הנגישות וההכלה של המדגם, הוא כלל גם 6 משתתפים עם מגבלות תנועה קלות ו-4 משתתפים שהעדיפו אינטראקציה ביד אחת בשל מגבלות מוטוריות. לכל המשתתפים הייתה ראייה תקינה או מתוקנת לנורמלית, ואף אחד מהם לא דיווח על מצבים וסטיבולריים או נוירולוגיים שעלולים להפריע לשימוש ב-VR.

המשתתפים הוקצו באקראי לשלושת תנאי האינטראקציה באמצעות אסטרטגיית הקצאה מאוזנת: מחווה+קול (n = 16), בקר בלבד (n = 16), והיברידי (n = 16). רמות הניסיון שלהם חולקו באופן שווה בין שלוש הקבוצות כדי למנוע הטיה ולהבטיח קושי דומה במשימה בתנאים שונים. כל המשתתפים סיפקו הסכמה מדעת בכתב לפני תחילת הניסוי.

לאחר מכן מתבצע מחקר משתמש בשלושה תנאי אינטראקציה, כגון קול מחוות, בקר בלבד והיברידי, כדי להעריך דיוק, יעילות וחוויית משתמש. מדדים כמותיים כוללים דיוק מיקום, משך משימה ושיעורי טעויות, בעוד שהערכה סובייקטיבית עושה שימוש ב-SUS, NASA-TLX ו-IPQ, הנתמכים בראיונות איכותניים. מערכת זו, המוצגת כאן, מציעה שלושה חידושים עיקריים: שימוש במיזוג מולטימודלי בין מחוות-קול למניפולציה מדויקת של אובייקטים ב-VR, מצבי אינטראקציה אדפטיביים ונגישים כמו מחוות יד אחת וגיבוי קול, ומתן גוף שכפול של פקודות קול-תנועה עם הערות. בשילוב הצעדים הללו מבטיחים דיוק, יעילות וחוויית משתמש משופרים, תוך התמודדות ישירה עם החסרונות של המאמר הבסיסי ומקדמים מחקר באינטראקציה סוחפת במציאות מדומה לשימוש עיצובי. איור 1 מציג את הארכיטקטורה של השיטה המוצעת.

ארכיטקטורת המערכת של השיטה המוצעת, כפי שמוצג באיור 1, מתחילה במודאליות קלט, שבהן מחוות מוקלטות באמצעות מערכי נתונים כמו EgoGesture ו-IPN Hand, והוראות קוליות ממאגר הנתונים Fluent Speech Commands. קלטים אלו מעובדים באופן עצמאי באמצעות מודולי זיהוי מחוות וזיהוי קול ליצירת נתונים מרחביים וסמנטיים. שני הזרמים מאוחדים בתוך שכבת מיזוג רב-מודלית, שמיישרת את קלטי המחוות והקול ליצירת פקודות עקביות. הנתונים הממוזגים הללו משמשים בשכבת האינטראקציה של ה-VR כדי להקל על המשתמשים במניפולציה של אובייקטים באמצעות מיקום, סיבוב, קנה מידה ושינוי חומרים בזמן אמת. לבסוף, האינטראקציות המעובדות זמינות בשכבת הפלט, ויוצרות מרחב עיצוב בית סוחף המתמקד בנגישות, דיוק ואינטראקציה טבעית.

דרישות מערכת והגדרת משימות
המערכת המתוכננת משפרת את מודלי הניווט במציאות מדומה עם כיוון נגישות, כדי להקל על תכנון בית מבוסס דיוק. אנו מזהים את תחום המשתמש כ- , כאשר בעלי בתים, מקצוענים בעיצוב, ומשתמשי נגישות (מבוגרים או מוגבלי ניידות). כל משתמש מבצע סט של משימות ליבה T = {מקום, סיבוב, קנה מידה, חומר, אור, מדידה}. משימה t ∈ T מתבצעת באמצעות קלטים מולטימודליים: זרם המחוות G_t (מניפולציה מרחבית) ופקודת קול V_t (פרמטרים סמנטיים). המערכת מקשרת אותם לפעולה באמצעות מדיניות היתוך:

(1)

כאשר π היא הפונקציה הרב-מודלית ברמת ההחלטה.

צרכי המערכת דורשים אינטראקציה עם השהיה נמוכה: נניח זיהוי מחוות, הבנת דיבור וזמני איחוז.

(2)

תגובת הסכום מספקת תגובתיות בזמן אמת בהתאם לספי השימושיות הסוחפים ב-VR.

לדיוק המשימה, יהי מצב האובייקט האמת הקרקעית הוא (x, R, s, M, L) (מיקום, סיבוב, קנה מידה, חומר, אורך) ומצב הממומש של המערכת הוא . מדדי השגיאה הם כדלקמן:

(3)

(4)

(5)

(6)

עם עבור אי התאמה חומרית.

שתי המודאליות מייצרות ציוני ביטחון c_g (מחווה) ו-c_v (קול), המנורמל כך ש-c_g + c_v = 1. בוררות מיזוג ממזערת שגיאה משוקללת:

(7)

כאשר l_g, l_v הם הפסדים ספציפיים למודליות. אם , המערכת מבקשת הנחיית הבהרה, מה שהופך אותה לעמידה בפני פקודות לא ברורות.

לבסוף, מדדי ההערכה כוללים זמן השלמת משימות, שיעורי שגיאות E_t, וציוני עומס עבודה מ-NASA-TLX, SUS ו-IPQ. אנו מציגים אינדקס ביצועי משימות מורכב:

(8)

למזער בין המשתמשים, עם סף שמחייב ציון SUS של ≥70 והפחתה של NASA-TLX לעומת VR מבוסס בקר בסיסי.

איסוף מערכי נתונים ועיבוד מוקדם
המערכת המוצעת מבוססת הן על נתוני מחוות (לזיהוי מבוסס TCN) והן על נתוני פקודות קוליות (עבור NLU/ASR). למטרה זו, אנו משתמשים בשלושה מערכי נתונים עיקריים: EgoGesture למחוות דינמיות רציפות בסביבות דמויות VR, IPN Hand להשלמת מחוות טבעיות לטווח קצר, ו-Fluent Speech^{Commands 44} לאימון הבנה סמנטית מונחית קול של אמירות עיצוב. מערכי נתונים אופציונליים הם HaGRID לאימון מוקדם של גלאי מחוות סטטיות, ו-Mozilla Common Voice לאימון ASR כללי, אך אף אחד מהם אינו הכרחי. בחירה כזו מאפשרת כיסוי לשתי המודאליות תוך שמירה על היקף מערכי הנתונים הסביר והניתן לשחזור ככל האפשר. טבלה 1 מציגה את פרטי מערך הנתונים של העבודה המוצעת.

בחירת מערך הנתונים במאמר זה היא קריטית, שכן כל מאגר נתונים מעוצב כדי להתמודד עם תרחיש ייחודי של אינטראקציה רב-מודלית בין VR. מערך הנתונים של EgoGesture מספק אוסף רחב היקף של מחוות ידיים טבעיות, המבטיח ביצועי זיהוי גבוהים למרות תנאי תאורה וסביבה משתנים. מכיוון שמאגר היד של IPN תוכנן לתנועות יד רציפות ובלתי מוגבלות, הוא מתאים במיוחד לפעולות בקרה מדויקות מאוד ולחלוקת מחוות בזמן אמת. בנוסף, מאגר הנתונים Fluent Speech Commands מציע פקודות קוליות מתויגות עם הערות סמנטיות לזיהוי כוונות, דבר קריטי לביצוע פקודות מדויק וטבעי במציאות מדומה. ביחד, מאגרי הנתונים הללו מספקים כיסוי משלים הן לצורות מחוות והן לדיבור, ומספקים גיוון, עמידות וביצועים יומיומיים שמשפרים את הערכת המערכת המוצעת. בנוסף למאגרי נתונים ציבוריים, אימתנו גם את הפרוטוקול באמצעות מערך נתונים עצמאי פנימי הכולל 312 דגימות מחוות ו-128 פקודות קוליות מ-10 משתתפים חדשים. אימות עצמאי זה אישר את השחזוריות והעמידות של הפרוטוקול.

קדם-עיבוד נתונים
המידע שנאסף מנורמל, נמדגם ומורחב באופן שיטתי לפני אימון המודלים:

נרמול רצף מחוות
רצף וידאו מחוותי מיוצג כסדרת זמן רב-משתנית של תכונות מפרקים שלדיות:

(9)

כאשר T_i הוא אורך המחווה ה-i ו-d הוא ממד התכונה (למשל, מיקומי מפרקי הידיים). מכיוון שמחוות שונות יכולות להיות באורכים משתנים של Ti, אנו מדגימים אותן מחדש לרצף קבוע באורך T:

(10)

זה הופך את כל דגימות המחוות, ללא קשר לאורך ההקלטה, לדומות לאורך זמן סטנדרטי שניתן להשתמש בו לאימון TCN.

סטנדרטיזציה של תכונות
כדי לבטל הבדלים בקנה מידה בין משתמשים לתנאי ההקלטה, כל מרחב תכונות מותקן:

(11)

כאשר הוא ממוצע התכונה j, ו-σ_j הוא סטיית התקן שלו. נורמליזציה בדרך זו מבטיחה שהתכונות יהיו ממורכזות עם שונות יחידה, וההבדלים האישיים בביצועי המחוות יופחתו.

הגדלת נתונים
הכללת הפרעות סינתטיות משפרת עמידות לשונות. ג'יטר זמני תחילה מזיז באקראי את יישור הרצף:

(12)

כאשר δ הוא הרעד המקסימלי במסגרת. שניות הזרקת רעש מוסיפה הפרעות גאוסיות לתכונות:

(13)

שדרוגים אלו מאפשרים למודל להיות עמיד בפני אי-סדירויות בתזמון ורעש חיישנים באינטראקציות VR אמיתיות.

עיבוד מוקדם של קול
כל אמירה מדוברת ממופה תחילה לייצוג ספקטרוגרם לוג-מל:

(14)

כאשר F הוא כמות תדרי התדר ו-T′ כמות המסגרות הזמניות. לפיצוי על רישום שונות, מאפייני הספקטרוגרמה מנורמלים כך:

(15)

כאשר _{μ V}, σ_V הם הממוצע הגלובלי וסטיית התקן מעל הקורפוס. זה מספק מרחב אקוסטי יציב למודלים של ASR ו-NLU.

קידוד חריץ כוונה
בנוסף לתכונות האקוסטיות, כל פקודת קול מסומנת בחריצים סמנטיים מובנים:

(16)

כאשר, למשל, "סובב כיסא 15 מעלות" מתייחס ל- (פעולה = סיבוב, אובייקט = כיסא, מיקום = אפס). קידוד שיטתי זה מאפשר למערכת לגזור פרמטרים ספציפיים לעיצוב ולהפוך אותם לפעולות VR הניתנות להרצה.

עיצוב אינטראקציה עם מחוות עם רשת קונבולוציונית זמנית (TCN)
עיצוב אינטראקציה מחוות מפרט כיצד המשתמשים מתקשרים עם אובייקטים וירטואליים במערכת עיצוב הבית של ה-VR באמצעות מחוות יד טבעיות. העיצוב מתחיל בפיתוח לקסיקון מחוות - קישור בין מחוות ידיים לפונקציות מערכת. לדוגמה, תנועת אחיזה יכולה לשלוט במיקום האובייקטים, מחוות צביטה יכולה לשלוט בקנה מידה, ומחוות סיבוב יכולה לסובב אובייקטים סביב ציר נבחר.

במערכת הנבחנת, EgoGesture ו-IPN Hand משמשים כמאגרי הנתונים הבסיסיים של המחוות לאימון רשת קונבולוציה זמנית (TCN), בעוד שפקודות דיבור שוטפות משלימות את העיצוב עם יכולות אינטראקציה קוליות. ביחד, הם מספקים אינטראקציה רב-מודלית במציאות מדומה.

ייצוגי מחוות מתוך מאגר הנתונים
רצף של מחוות מ-EgoGesture או מ-IPN Hand הוא סדרת זמן רב-משתנית:

(17)

(18)

כאן, T הוא מספר המסגרות שנקבע מראש (לאחר דגימה מחדש), ו-d הוא מספר מממדי התכונות השלדיות (למשל, מיקומי מפרקים תלת-ממדיים). למאגר הנתונים יש תוויות y⁽ⁱ⁾ ∈ y שמציינות אחת ממחלקות מחוות C.

קידוד קונבולוציוני זמני
אנו משתמשים ברשת קונבולוציונית זמנית (TCN) כדי לסיווג מחוות בזמן אמת. TCN לוכד תלות קצרה וארוכת טווח ברצפי מחוות. TCNs, בניגוד ל-RNNs, משתמשים בקונבולוציות סיבתיות מורחבות, שמאפשרות חישוב מקבילי יעיל.

ה-TCN מיישם רצפים אלו באמצעות קונבולוציות סיבתיות מורחבות כדי ללמוד תלויות לטווח קצר וארוך:

(19)

כאשר d_L הוא גורם ההתרחבות בשכבה l, K הוא גודל הגרעין, ו-σ הוא הפעלה לא ליניארית (ReLU). שדה הקליטה תלוי ב:

(20)

מחייב את ה-TCN לפרש מחוות באורכים זמניים שונים.

סיווג מחוות
המצב הנסתר האחרון עובר דרך מסווג Softmax:

(21)

כאשר מטרת האימון מוגדרת על ידי אנטרופיה חוצה:

(22)

אינטגרציה עם פקודות קוליות
בעוד שפעולות מרחביות (הזזה, סיבוב, קנה מידה) מטופלות באמצעות זיהוי מחוות של EgoGesture ו-IPN Hand, מאגר הנתונים Fluent Speech Commands מיושם לפקודות סמנטיות. כל אמירה מתורגמת לייצוג חריץ מובנה: שמגביר את קלט המחווה על ידי הצעת פרמטרים (למשל, "סובב את הכיסא ב-15°").

אז שני הפלטים משולבים:

(23)

כאשר o⁽ⁱ⁾ הוא הפרימיטיב של בקרת VR (מיקום, קנה מידה, סיבוב).

רשת הקונבולוציה הזמנית (TCN) יעילה בטיפול בנתונים רציפים על ידי שימוש בקונבולוציות חד-ממדיות מורחבות על רצפי קלט, כגון אותות מחוות או דיבור, כפי שמוצג באיור 2. בניגוד למודלים חוזרים, TCNs משתמשים במסננים קונבולוציוניים כדי ללמוד קשרים זמניים לטווח קצר וארוך טווח. בלוקים שאריתיים עם חיבורי דילוג משמשים לספק יציבות במהלך האימון ולמנוע היעלמות של גרדיאנטים, בעוד שהשימוש בשכבות TCN מוערמות מאפשר לרשת ללמוד דפוסים זמניים רב-קנה מידה. בסופו של דבר, שכבת סיווג מחוברת לחלוטין מקרינה את התכונות הזמניות שנלמדו לתוויות פלט, כגון מחלקות מחוות או כוונות מדוברות. עיצוב זה מתאים במיוחד לזיהוי מחוות רציף והבנת פקודות קוליות, שכן הוא משלב יעילות חישובית עם יכולות מידול זמן חזקות.

טבלה 2 מסכמת את העיצוב האדריכלי הכולל ותצורת ההכשרה של רשת הקונבולוציה הזמנית המשמשת במערכת המוצעת לזיהוי מחוות. המודל כולל ארבעה בלוקים של TCN שאריתיים, שכל אחד מהם מבוסס על קונבולוציות סיבתיות מורחבות, מה שמאפשר לרשת למודל תלות זמנית לטווח קצר וארוך כאחד. תלות זו חיונית להבחנה בין מחוות דינמיות, כמו אחיזה, סיבוב וצביטה. עם גודל גרעין של 3, וגורמי התרחבות, גורמי ההתרחבות של [1,2,4,8] מרחיבים ביעילות את שדה הקבלה הזמני מבלי להגדיל את העלות החישובית. כדי לשפר הכללה בין המשתמשים ותנאי ההקלטה, נעשה שימוש בנירמול שכבות ובקצב נפילות של 0.25 בכל בלוק. לאימון משתמשים במכשיר אדם עם קצב למידה של 1 × ^10-3, גודל אצווה של 32 ואורך רצף של 64 פריימים, שמאזן בצורה מיטבית בין דיוק לתגובה בזמן אמת. במהלך הסקה, אסטרטגיית חלון הזזה מאפשרת חיזוי מחוות כל 20-25 מילישניות, תוך שמירה על השהיה מקצה לקצה מתחת ל-120 מילישניות. שילוב זה של ארכיטקטורה והיפרפרמטר מניב דיוק גבוה בסיווג מחוות (∼94% דיוק מיקום מדויק) תוך שמירה על אינטראקציה בזמן אמת, ומאפשר ל-TCN לבצע משימות מניפולציה מציאות מדומה סוחפת.

עיצוב אינטראקציה קולית (ASR+NLU)
רכיב האינטראקציה הקולית משלים שליטה מרחבית מבוססת מחוות באמצעות פקודות קול סמנטיות ופרמטריות עבור מערכת עיצוב הבית ל-VR. הקלט המדובר a⁽ⁱ⁾ מוקלט תחילה כאודיו גולמי ומומר לספקטרוגרם log-Mel:

(24)

כאשר F הוא מספר תדר T בין, אורך מרווחי הזמן. הייצוג שומר על דפוסי דיבור ספקטרליים וזמניים ומנורמל להיות בלתי משתנה לדובר ולסביבה:

(25)

הספקטרוגרם המנורמל מוזן למודל זיהוי דיבור אוטומטי (ASR) כמו Whisper, שממיר את התכונות האקוסטיות לרצף טוקנים:

(26)

כאשר כל אחד מהם הוא אסימון למילה או ליחידת תת-מילה. תמלול כזה מוזן למודל הבנת שפה טבעית (NLU), שלוכד משמעות מובנית. ליתר דיוק, NLU מבצעת תחזיות של קטגוריות כוונה וחריצים סמנטיים:

(27)

כאשר, למשל, המשפט "סובב כיסא חמש עשרה מעלות" ממופה ל- (פעולה = סיבוב, אובייקט = כיסא, מיקום/פרמטר = 15°).

מסגרת חריץ הכוונה שזוהה מתורגמת לפקודה מתמטית שניתן ליישם בתוך מערכת ה-VR:

(28)

כאשר u⁽ⁱ⁾ יכול להיות טרנספורמציה נומרית (למשל, סיבוב של 15°) או שינוי קטגורי (למשל, חילופי חומרים).

עמידות מושגת לבסוף באמצעות מנגנון בוררות מבוסס אמון. אם ציון הביטחון של ASR p(z) או ציון הביטחון של NLU p(s) קטן מסף τ, המערכת מבקשת הבהרה או פונה כברירת מחדל לשליטה מבוססת מחוות. זה מבטיח שפקודות קוליות מדויקות וברורות, ומשפר את השימושיות למשימות עיצוב שדורשות דיוק.

עיצוב היתוך רב-מודלי
היתרון של מיזוג מולטימודלי במערכת המציאות המדומה המוצעת הוא שהבנת קול וזיהוי מחוות משולבים בתהליך קבלת החלטות יחיד ולא מטופלים בנפרד. מודול המחוות מספק פלט סיווג מה-TCN, בעוד שמודול הקול מספק ייצוג חריץ כוונה s^(i). כדי למזג אותם, המערכת מיישמת מיזוג ברמת ההחלטה עם בוררות מבוססת אמון.

הפוך את מסווג המחוות לספק התפלגות הסתברותית על פני מחלקות מחוות:

(29)

וניתן למודל NLU להניב הסתברויות חריץ כוונה:

(30)

כאשר a, o ו-p מתייחסים לחריצי פעולה, אובייקט ופרמטרים שמקורם בקלט דיבור. שלב ההיתוך מחשב החלטה משותפת על ידי שילוב שתי המודאליות לפי ציוני הביטחון שלהן:

(31)

כאשר α∈[0,1] נקבע דינמית בהתבסס על ביטחון המערכת (למשל, גבוה כאשר המחוות בטוחות יותר, נמוך יותר כאשר הדיבור ברור).

אלגוריתם 1: Multimodal_Fusion (X, a):

קלט:

X = רצף מחוות מעובד מראש, a = פקודת שמע

פלט:

O = פקודת פעולה ב-VR

שלב 1: זיהוי מחוות

 

שלב 2: הבנת קול

 

 

שלב 3: החלטת היתוך

 

 

 

 

 

אחר:

 

שלב 4: טיפול בשגיאות

):

בקש הבהרת משתמש

אחר:

שלח O למערכת VR

חזרה O

אלגוריתם 1 הזה עובר בין קלט מחוות לקלט קולי כדי לגבש פקודה עוצמתית לעיצוב VR. מודול המחוות (TCN) מפרש תחילה תנועות ידיים כמו סיבוב או קנה מידה ומקצה ציון ביטחון המבוסס על ודאות המודל. במקביל לכך, מודול הקול מבצע גם המרה מדיבור לטקסט באמצעות ASR (למשל, Whisper) ומיישם NLU לזיהוי כוונה סמנטית, כמו "סובב את הכיסא ב-15°". שני המודולים מחזירים את התחזיות שלהם יחד עם ציוני ביטחון. שלב השילוב מאזן את שני היציאות. אם שני הקלטים מוגדרים, המערכת משלבת אותם באופן פרופורציונלי לרמות הביטחון שלהם. אם קלט אחד הוא עמום (למשל, רעש בקול או מחווה לא ודאית), המערכת נותנת עדיפות רבה יותר לשני. לבסוף, אם אף אחד מהם אינו סופי, המערכת מבקשת הבהרה כדי למנוע טעויות. זה הופך את המיזוג לאדפטיבי (משקלים משתנים בהתאם לאיכות הקלט), עמיד (מתאים לנתונים רועשים או חסרים), ומדויק (תוך ניצול היתרונות הטובים ביותר של מחווה וקול).

משתתפים
מחקר זה כולל קבוצת מתנדבים שנבחרו הן מסטודנטים באוניברסיטה והן מאנשי מקצוע בתחום העיצוב, כדי לאסוף דעות מגוונות על שימושיות ב-VR. הגילאים של המשתתפים נעו מבגרות מוקדמת ועד גיל העמידה, ומייצגים שילוב של רמות ניסיון קודמות ב-VR, כולל מתחילים, משתמשים מזדמנים ומשתמשים מתקדמים. כל המשתתפים היו בעלי ראייה תקינה או מתוקנת, ולא דווחו על ליקויים מוטוריים שעלולים להפריע באופן משמעותי לאינטראקציה מבוססת מחוות. לקויות דיבור חמורות, מגבלות תנועה משמעותיות בזרוע, או כל היסטוריה קודמת של מחלת תנועה הנגרמת מ-VR מנעו מאנשים את הבטיחות והעקביות בהשתתפות. כל המשתתפים נתנו הסכמה מדעת, והנהלים להערכה אושרו על ידי ועדת הביקורת המוסדית. תת-סעיף זה מזהה בבירור מי השתתף בהערכה, ומאפשר את שחזור המחקר.

סידור ניסיוני
ההתקנה הניסיונית המוצעת כוללת את מערכת ה-VR הרב-מודלית שפותחה, המוצבת על אוזניות VR ברמת צרכן המצוידות ביכולות מעקב ידיים משולבות ומצלמת RGB ללכידת מחוות. הוא כולל שולחן עבודה בעל ביצועים גבוהים, המאפשר עיבוד בזמן אמת של זיהוי מחוות, ASR וטכניקות מיזוג מולטימודליות. סביבת ה-VR בנויה ב-Unity 3D ומכילה חדר עיצוב ביתי שניתן לעצב עם רהיטים, חומרים ואלמנטים של תאורה. ההגדרה כוללת ASR מבוסס Whisper לתמלול דיבור, וכוללת גם מודול NLU מבוסס שנאי לזיהוי כוונה. תיאור זה הועבר מתוך סעיף התוצאות כדי לספק סקירה מתאימה של הסביבה הטכנית לפני הדיון בתוצאות.

תרחישי בדיקה סובייקטיביים
המשתתפים יצרו אינטראקציה עם סביבה מדומה לעיצוב בית שכללה סלון מרוהט, חדר שינה ואזור עבודה קטן. בכל תרחיש, המשתמשים התבקשו לשנות אובייקטים וירטואליים ומשתנים סביבתיים בסביבה בהתאם לנסיבות עיצוב ריאליסטיות. לדוגמה, המשתתפים התבקשו למקם ספה ביחס לנקודת ייחוס, לסובב כיסא בכיוון מסוים, לשנות את גודל השולחן לממד יעד, או לשנות את פרופיל החומר/האור של הקיר. תרחישים אלו נבחרו משום שהם מייצגים משימות עיצוב פנים טיפוסיות שמאתגרות הן שליטה מבוססת מחוות (מבחינת דיוק מרחבי) והן שליטה מבוססת קול (במונחים של פקודות סמנטיות). תת-סעיף זה עונה ישירות על שאלת הסוקר לגבי תנאי הבדיקה הסובייקטיביים שבהם המשתמשים העריכו את המערכת.

עיצוב משימות
המשתתפים ביצעו סט תרגילים מובנה שעסק בתחומים שונים של מניפולציה של פריטים ואינטראקציה עיצובית. המשימות העיקריות היו כדלקמן: 1) מיקום רהיטים: המשתתפים מיקמו חפצים בקואורדינטות היעד. 2) משימת סיבוב: במשימה זו, המשתמשים נדרשו לשנות את הכיוון כך שיתאים לזווית ייחוס. 3) משימת קנה מידה: זה כלל שינוי גודל רהיטים למידות קבועות מראש. יתרה מזאת, 4) עריכת חומרים/צבעים: המשתתפים השתמשו בפקודות קוליות לשינוי הטקסטורות או לשנות את התאורה. סופקו משימות ניווט אופציונליות ללכידת יכולת המודעות המרחבית בתוך החדר הווירטואלי. כל עבודה נקבעה עם מטרות ברורות, תוצאות כמותיות ומגבלת זמן מוגדרת, כדי להבטיח שניתן יהיה להעריך נכון גם דיוק וגם יעילות.

הליך
כדי להבטיח אחידות בין המשתתפים, ההערכה בוצעה ברצף מתוכנן. המשתמשים קיבלו תחילה הסבר על המערכת וקיבלו הדגמה קצרה של מודאלי המחוות והאינטראקציה בדיבור. שלב כיול ראשוני אפשר התאמה ליציבות ידיים ולתכונות דיבור אישיות. לאחר מכן המשתמשים עברו מפגש תרגול קצר כדי להתרגל לשני המודאליות. ההערכה בפועל דרשה ביצוע כל המשימות בשלושה תנאי אינטראקציה: שימוש בבקר בלבד, שימוש במחוות בלבד, ושימוש במחוות יחד עם קול כקלט רב-מודלי. סדר התנאים הואזן כדי להפחית את השפעות הלמידה. בסיום, הנבדקים השלימו כלי הערכה סטנדרטיים, כגון SUS, NASA-TLX ו-IPQ, והשתתפו בראיון משוב איכותני קצר.

מדדי הערכה
הליך מובנה זה יוצר שקיפות מתודולוגית, ומאפשר מחקרי שכפול. מדדים אובייקטיביים וסובייקטיביים שולבו להערכת ביצועי המערכת באופן מקיף. מדדים אובייקטיביים כללו זמן השלמת משימות, מדד ליעילות; דיוק מיקום, כמומד כסטייה מהמיקום או הסיבוב של המטרה; ושיעור השגיאה, המוגדר כמספר הסיווגים השגויים בקלט או פעולות לא מכוונות שבוצעו על ידי המערכת. מדדים סובייקטיביים נאספו באמצעות שאלונים מאומתים: סולם השימושיות של המערכת למדידת שימושיות נתפסת, סולם NASA-TLX להערכת עומס עבודה מנטלי ופיזי, ושאלון הנוכחות של קבוצת I למדידת הטמעה ונוכחות במציאות מדומה. הנתונים הללו הועברו כראוי מסעיף התוצאות כדי לתאר כיצד נמדדו הביצועים לפני הצגת תוצאות.

סביבת VR, אינטגרציה של מערכות והערכה
הפלטפורמה העיקרית לפקודות דיבור ומחוות היא סביבה אינטראקטיבית של מציאות מדומה שבה המערכת מופעלת. ספריות משולבות של רהיטים, מרקמים ואלמנטים של תאורה משמשות ליצירת חדרים וירטואליים ב-Unity 3D. הוא מאפשר למשתמשים לארגן, להתאים אישית ולערוך פריטים בזמן אמת. הדיוק משתפר באמצעות יכולות סנאפינג, זיהוי התנגשות ושכבות מדידה, המאפשרות לאובייקטים ליישר באופן טבעי. הדמיה בזמן אמת של תאורה וחומרים משפרת את חוויית העיצוב על ידי מתן משוב מיידי על כל אינטראקציה.

לאחר אימות המודולים הבודדים לזיהוי מחוות, הבנת קול ומיזוג מולטימודלי, הם משולבים לצינור מאוחד. המערכת מתוכננת להיות בעלת השהיה נמוכה, כך שפקודות המשתמש מופיעות כמעט מיד בסביבת ה-VR. בדיקות פיילוט מתבצעות עם מספר קטן של חברים כדי לשפר את זרימת האינטראקציה. האיטרציה כוללת אוצר מילים של מחוות, אימות דקדוק פקודות קוליות, והבטחת תחושת טבעית ואמינה במערכת במהלך שימוש רציף.

מחקר מקיף שישווה שלוש שיטות אינטראקציה, כגון מיזוג מחוות-קול רב-מודליות, קלט רק בשלט ומצב היברידי, ישמש להערכת חוויית המשתמש. משימות, כולל החלפת חומרים, סיבוב ומיקום עצמים, נדרשות מהמשתתפים. כדי להעריך ביצועים, נאספים מדדים אובייקטיביים, כגון זמן הישגים בעבודה, נכונות מיקום וחיובי טעויות. דירוגים סובייקטיביים מתקבלים מהמשתתפים באמצעות שאלונים סטנדרטיים, כגון סולם השימושיות המערכתית (SUS), עומס קוגניטיבי של NASA-TLX ושאלון IPQ לטבילה, כאשר ראיונות המשתתפים מספקים תמיכה נוספת. הערכה כפולה זו מקודדת הן מדדי ביצועים כמותיים והן חוויית משתמש סובייקטיבית.

ההתקדמות של מערכת זו היא יישום מיזוג רב-מודלי למשימות תכנון מדויקות מעבר לניווט בסיסי או אינטראקציה. הטכניקה מציעה דרך אורגנית, מדויקת ונגישה יותר לאינטראקציה על ידי שילוב הערך הסמנטי של הוראות קול עם היתרונות המרחביים של מחוות. על ידי הצעת תכונות נגישות גמישות, כמו גיבוי קולי בלבד וזיהוי מחוות ביד אחת, המערכת גם משפרת את הכללות. לבסוף, המחקר מציע מאגר נתונים מולטימודלי שיטתי ומוערך של אינטראקציות קוליות-מחוות, המקדם מחקרים עתידיים בעיצוב ממשקים סוחף ומחזק את השחזוריות.

איור 3 מציג צילומי מסך טיפוסיים של התוכנית המיושמת, ומספק ייצוג חי יותר של מערכת עיצוב הפנים ב-VR שנבנתה ב-VR. סביבת המציאות המדומה הסוחפת, שבה המשתמשים יכולים לחקור ולצפות בפריסת החדר, מוצגת באיור 3A. איור 3B מראה כיצד ניתן להשתמש באינטראקציות טבעיות בידיים לבחירה, הזזה וסיבוב פריטי רהיטים וירטואליים בתהליך מניפולציה של אובייקטים מבוסס תנועות. איור 3C ממחיש את ממשק הקול המשולב, שבו המיקרופון וסמלי משוב הדיבור מאמתים פקודות קוליות שמונפקות על ידי המשתמש לשינויים מרחביים או מיקום אובייקטים. ביחד, צילומי המסך הללו של מערכת ה-VR הרב-מודלית המוצעת מראים שהיא יושמה במלואה, ומאפשרת מחוות בזמן אמת ואינטראקציה קולית.

תוצאות

מערכת עיצוב הבית הרב-מודלית ל-VR אושרה עם שלושה מערכי נתונים בסיסיים: EgoGesture (מחוות דינמיות), IPN Hand (מחוות יד מתמשכות), ופקודות דיבור שוטפות (פקודות קוליות עם תוויות חריץ כוונה). ביחד, שלושת מערכי הנתונים הציעו בסיס הכשרה והערכה מקיף, שעסק הן בזיהוי מחוות והן בהבנה סמנטית מבוססת קול. האימות קובע כי אינטגרציה בין מחווה-קול משפרת משמעותית את דיוק המשימות ומפחית את עומס העבודה בהשוואה לגישות של בקרה בלבד וקלט היברידי.

ניסויים הראו שמערכת המיזוג הרב-מודלית שיפרה את דיוק המיקום בכ-30%, מה שה...

דיון

תוצאות מחקר זה קידמו את טכנולוגיית המאמר הבסיסי, שהראה בעיקר את היתרונות של ניווט מציאות מדומה סוחף לנגישות באמצעות שילוב מודאליות של מחוות וקול למשימות עיצוב. המערכת הרב-מודלית הציגה ביצועים טובים יותר בכל מדדי הביצועים האובייקטיביים והסובייקטיביים, עם זמני השלמת משימות קצרים יותר, דיוק מיקום גבוה יותר ושיעורי שגיאה נמוכים יותר מאשר גישות מבוססות בקר והיברידיות. יתרה מזאת, מדדי שימושיות כמו SUS, NASA-TLX ו-IPQ ציינו שביעות רצון גבוהה יותר של המשתמשים, ירידה בעומס העבודה והגברת ההטמעה במ...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
מערך הנתונים של EgoGesture	אוניברסיטת נאניונג הטכנולוגית	DOI: 10.1109/TMM.2018.2808769	מאגר נתונים גדול של מחוות ידיים אגוצנטריות להכשרת זיהוי מחוות דינמיות.
מאגר נתונים של פקודות דיבור שוטף	Fluent.ai / אוניברסיטת אלברטה	DOI: 10.48550/arXiv.1804.04363	מערך נתונים להבנת כוונת קול והבנה סמנטית מבוססת חריץ להכשרת ASR/NLU.
מערך הנתונים של HaGRID (אופציונלי)	Sber AI / קוד פתוח	גרסה 1.1	מערך נתונים אופציונלי המשמש לאימון מוקדם של גלאי מחוות ידיים סטטיות.
שאלון נוכחות Igroup (IPQ)	igroup.org	לא זמין	משמש למדידת טבילה ונוכחות בסביבת VR.
מערך נתונים ידני של IPN	אוניברסיטת ורקרוזנה	DOI: 10.1109/CVPRW50498.2020.00241	מערך נתונים למשימות זיהוי מחוות יד טבעיות ורציפות לסגמנט.
Matplotlib / Seaborn	קוד פתוח	האורווה האחרונה	משמש להמחשת מדדי ביצועים ותוצאות הערכה.
ידיים של מדיה-פייפ	מחקר גוגל	קוד פתוח (GitHub)	משמש למעקב בזמן אמת של ידיים ומחוות לזיהוי קלט מחוות.
מוזילה קול משותף (אופציונלי)	קרן מוזילה	גרסה 17	מערך נתונים אופציונלי לאימון מוקדם של מודל ASR על נתוני דיבור כלליים.
שכבת היתוך רב-מודלית	אלגוריתם מותאם אישית	לא זמין	מאחד זרמי מחוות וקלט קולי בהתבסס על בוררות משוקללת על סמך אמון.
הערכת עומס העבודה של נאס"א-TLX	גורמי אנוש של נאס"א	לא זמין	משמש לניתוח עומס קוגניטיבי של משתתפים.
מודול הבנת שפה טבעית (NLU)	מותאם אישית (מבוסס על BERT / RoBERTa)	לא זמין	משמש לחילוץ כוונות וחריצים סמנטיים (פעולה, אובייקט, פרמטר) מקלט קולי מתועתק.
NumPy / Pandas / OpenCV	קוד פתוח	האורווה האחרונה	משמש לפעולות נומריות, עיבוד נתונים מוקדם ועיבוד פריימים של וידאו.
שפת תכנות פייתון	קרן התוכנה של פייתון	גרסה 3.10+	משמש ליישום מודלים של למידת מכונה (TCN, ASR, NLU, FUSION).
מסגרת הלמידה העמוקה PyTorch	מטא AI	גרסה 2.0+	משמש לבניית ואימון זיהוי מחוות (TCN) ומודלים של NLU.
מצלמת RGB	לוג'יטק / RealSense	Logitech C920 או Intel RealSense D435	משמש ללכידת מחוות ידיים והזנת זיהוי תנועה.
שאלון סולם שימושיות מערכת (SUS)	כלי הערכה סטנדרטי	לא זמין	משמש להערכת שימושיות סובייקטיבית של מערכות VR.
רשת קונבולוציה זמנית (TCN)	מימוש מותאם אישית (PyTorch / TensorFlow)	לא זמין	משמש לזיהוי מחוות דינמי מנתוני שלד בסדרות זמן.
מנוע תלת-ממד של יוניטי	יוניטי טכנולוגיות	גרסה 2022.3 LTS	משמש לפיתוח סביבת VR סוחפת עם ריהוט אינטראקטיבי, עריכת חומרים ורינדור בזמן אמת.
משקפי VR	אוקולוס (מטא) / HTC Vive	Oculus Quest 2 או HTC Vive Pro	משמש לוויזואליזציה סוחפת ומעקב מרחבי במהלך אינטראקציה עם VR.
מודל Whisper ASR	OpenAI	Whisper (מודל בסיס)	מנוע זיהוי דיבור אוטומטי להמרת דיבור לטקסט.
תחנת עבודה	מחשב אישי שנבנה בהתאמה אישית	Intel Core i7 / NVIDIA RTX 3070 / זיכרון RAM 32GB	משמש לעיבוד בזמן אמת, אימון והסקת מודלים של מחוות וקול.