מערכת מציאות מדומה הנשלטת על ידי מחוות וקול לעיצוב בית סוחף: עיצוב מערכת וניתוח חוויית משתמש

סיכום

מאמר זה מציג מערכת מציאות מדומה הנשלטת על ידי מחוות וקול לעיצוב בית סוחף, המשפר את הדיוק, השימושיות והנגישות באמצעות מיזוג רב-מודלי של קלטי מחוות ודיבור. תוצאות ניסוי מצביעות על זמני משימות קצרים יותר, דיוק מיקום משופר ושביעות רצון משופרת בהשוואה לפרקטיקה המסורתית.

תקציר

אינטראקציה מבוססת מחוות וקול ב-VR הראתה פוטנציאל ביישומים שונים; עם זאת, מערכות קיימות מוגבלות בשל הדגש על משימות ניווט, תלות במחוות בשתי ידיים, חוסר דיוק מדויק, ובדיקות על אוכלוסיות קטנות והומוגניות. מגבלות אלו מגבילות את היישום לתהליכים מורכבים וממוקדים בעיצוב. כדי להתמודד עם מגבלות אלו, אנו מציגים מערכת מציאות מדומה מבוקרת במחוות וקול לעיצוב בית סוחף, המשלבת שילוב רב-מודלי של קלט מחוות ידנית והוראות שפה טבעית למיקום רהיטים מדויק, בחירת חומרים והתאמה מרחבית. שלושה היבטים של חידוש במערכת: (i) מצבי אינטראקציה אדפטיביים לתמיכה בשימוש ביד אחת, פקודות קוליות מספריות, וכיוון מדויק גס לעדין; (ii) ארכיטקטורת מיזוג רב-מודלית הממזגת מחוות, דיבור והקשר לדיוק תת-סנטימטר; ו-(iii) מסגרת הערכת חוויית משתמש מודעת למשימה המותאמת לתהליכי עיצוב הבית. תהליך הפיתוח מתבצע במסלול שיטתי, החל מניתוח דרישות ועיצוב מילוני מחוות וקול, דרך זיהוי כוונות רב-מודליים, הרכבת סצנות VR עם סנאפינג ויישור, ובדיקות איטרטיביות. תוצאות ניסויים במגוון רחב של אוכלוסיות משתתפים מראות ירידה של 30% בשגיאת מיקום ושיפורים משמעותיים בשימושיות ובדירוגי עומס העבודה לעומת אינטראקציה מבוססת בקר. התוצאות מצביעות על הפוטנציאל של VR רב-מודלי ליצירת חוויות עיצוב בתים נגישות ומרתקות.

מבוא

מציאות מדומה (VR) היא סביבה אינטראקטיבית שנוצרה על ידי מחשב היוצרת חוויה תלת-ממדית שבה המשתמשים יכולים לראות, לתקשר עם טכנולוגיה כאילו הם נוכחים באמת. בהקשר של מחקר זה, מציאות מדומה נחשבת לסביבת אינטראקציה רב-מודלית, ולא רק טכניקת תצוגה חזותית. מערכות VR מתקדמות משלבות מעורבות ויזואלית עם זיהוי מחוות, חושים מרחביים וקלט קולי טבעי, ומאפשרות למשתמשים להפעיל פריטים מדומים בדיוק גבוה. הבנה זו תואמת את מחקרי ה-VR הנוכחיים שמעדפים הטמעה, מעורבות וחוויות משתמש טבעיות. תחומי היישום שלו כוללים הופעה, הוראה², טיפול רפואי³ ונסיעות⁴. מציאות מדומה מאפשרת לאנשים לתקשר ולהתחבר ל....

פרוטוקול

מחקר זה אושר על ידי ועדת האתיקה המחקרית של אוניברסיטת טיילור, סובאנג ג'איה, מלזיה. כל הנהלים עמדו בהנחיות האתיות שנקבעו על ידי ועדת המחקר המוסדית והיו בהתאם להצהרת הלסינקי. לפני איסוף הנתונים, התקבלה הסכמה מדעת מכל משתתף. הם קיבלו תדרוך ברור על מטרות המחקר, הובטחו שההשתתפות היא וולונטרית, שתגובותיהם יישארו חסויות, ושהם יכולים לסגת בכל רגע ללא השלכות. הושגה גם הסכמה מדעת בכתב לשימוש בנתוני אינטראקציה אנונימיים וסקרים בפרסומים אקדמיים. אין מידע אישי מזהה, תמונות או מידע אישי רגיש בכתב יד זה.

העבודה המוצעת מגבשת מערכת מציאות מדומה (VR) מבוססת מחוות וקול, המיועדת לעיצוב בתים סוחף, ועוקרת את השיטות הקיימות המיועדות למשימות ניווט. הגישה מתחילה בז....

תוצאות

מערכת עיצוב הבית הרב-מודלית ל-VR אושרה עם שלושה מערכי נתונים בסיסיים: EgoGesture (מחוות דינמיות), IPN Hand (מחוות יד מתמשכות), ופקודות דיבור שוטפות (פקודות קוליות עם תוויות חריץ כוונה). ביחד, שלושת מערכי הנתונים הציעו בסיס הכשרה והערכה מקיף, שעסק הן בזיהוי מחוות והן בהבנה סמנטית מבוססת קול. האימות קובע כי אינטגרציה בין מחווה-קול משפרת משמעותית את דיוק המשימות ומפחית את עומס העבודה בהשוואה לגישות של בקרה בלבד וקלט היברידי.

ניסויים הראו שמערכת המיזוג הרב-מודלית שיפרה את דיוק המיקום בכ-30%, מה שה.......

דיון

תוצאות מחקר זה קידמו את טכנולוגיית המאמר הבסיסי, שהראה בעיקר את היתרונות של ניווט מציאות מדומה סוחף לנגישות באמצעות שילוב מודאליות של מחוות וקול למשימות עיצוב. המערכת הרב-מודלית הציגה ביצועים טובים יותר בכל מדדי הביצועים האובייקטיביים והסובייקטיביים, עם זמני השלמת משימות קצרים יותר, דיוק מיקום גבוה יותר ושיעורי שגיאה נמוכים יותר מאשר גישות מבוססות בקר והיברידיות. יתרה מזאת, מדדי שימושיות כמו SUS, NASA-TLX ו-IPQ ציינו שביעות רצון גבוהה יותר של המשתמשים, ירידה בעומס העבודה והגברת ההטמעה במ.......

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
מערך הנתונים של EgoGesture	אוניברסיטת נאניונג הטכנולוגית	DOI: 10.1109/TMM.2018.2808769	מאגר נתונים גדול של מחוות ידיים אגוצנטריות להכשרת זיהוי מחוות דינמיות.
מאגר נתונים של פקודות דיבור שוטף	Fluent.ai / אוניברסיטת אלברטה	DOI: 10.48550/arXiv.1804.04363	מערך נתונים להבנת כוונת קול והבנה סמנטית מבוססת חריץ להכשרת ASR/NLU.
מערך הנתונים של HaGRID (אופציונלי)	Sber AI / קוד פתוח	גרסה 1.1	מערך נתונים אופציונלי המשמש לאימון מוקדם של גלאי מחוות ידיים סטטיות.
שאלון נוכחות Igroup (IPQ)	igroup.org	לא זמין	משמש למדידת טבילה ונוכחות בסביבת VR.
מערך נתונים ידני של IPN	אוניברסיטת ורקרוזנה	DOI: 10.1109/CVPRW50498.2020.00241	מערך נתונים למשימות זיהוי מחוות יד טבעיות ורציפות לסגמנט.
Matplotlib / Seaborn	קוד פתוח	האורווה האחרונה	משמש להמחשת מדדי ביצועים ותוצאות הערכה.
ידיים של מדיה-פייפ	מחקר גוגל	קוד פתוח (GitHub)	משמש למעקב בזמן אמת של ידיים ומחוות לזיהוי קלט מחוות.
מוזילה קול משותף (אופציונלי)	קרן מוזילה	גרסה 17	מערך נתונים אופציונלי לאימון מוקדם של מודל ASR על נתוני דיבור כלליים.
שכבת היתוך רב-מודלית	אלגוריתם מותאם אישית	לא זמין	מאחד זרמי מחוות וקלט קולי בהתבסס על בוררות משוקללת על סמך אמון.
הערכת עומס העבודה של נאס"א-TLX	גורמי אנוש של נאס"א	לא זמין	משמש לניתוח עומס קוגניטיבי של משתתפים.
מודול הבנת שפה טבעית (NLU)	מותאם אישית (מבוסס על BERT / RoBERTa)	לא זמין	משמש לחילוץ כוונות וחריצים סמנטיים (פעולה, אובייקט, פרמטר) מקלט קולי מתועתק.
NumPy / Pandas / OpenCV	קוד פתוח	האורווה האחרונה	משמש לפעולות נומריות, עיבוד נתונים מוקדם ועיבוד פריימים של וידאו.
שפת תכנות פייתון	קרן התוכנה של פייתון	גרסה 3.10+	משמש ליישום מודלים של למידת מכונה (TCN, ASR, NLU, FUSION).
מסגרת הלמידה העמוקה PyTorch	מטא AI	גרסה 2.0+	משמש לבניית ואימון זיהוי מחוות (TCN) ומודלים של NLU.
מצלמת RGB	לוג'יטק / RealSense	Logitech C920 או Intel RealSense D435	משמש ללכידת מחוות ידיים והזנת זיהוי תנועה.
שאלון סולם שימושיות מערכת (SUS)	כלי הערכה סטנדרטי	לא זמין	משמש להערכת שימושיות סובייקטיבית של מערכות VR.
רשת קונבולוציה זמנית (TCN)	מימוש מותאם אישית (PyTorch / TensorFlow)	לא זמין	משמש לזיהוי מחוות דינמי מנתוני שלד בסדרות זמן.
מנוע תלת-ממד של יוניטי	יוניטי טכנולוגיות	גרסה 2022.3 LTS	משמש לפיתוח סביבת VR סוחפת עם ריהוט אינטראקטיבי, עריכת חומרים ורינדור בזמן אמת.
משקפי VR	אוקולוס (מטא) / HTC Vive	Oculus Quest 2 או HTC Vive Pro	משמש לוויזואליזציה סוחפת ומעקב מרחבי במהלך אינטראקציה עם VR.
מודל Whisper ASR	OpenAI	Whisper (מודל בסיס)	מנוע זיהוי דיבור אוטומטי להמרת דיבור לטקסט.
תחנת עבודה	מחשב אישי שנבנה בהתאמה אישית	Intel Core i7 / NVIDIA RTX 3070 / זיכרון RAM 32GB	משמש לעיבוד בזמן אמת, אימון והסקת מודלים של מחוות וקול.