נופים נלמדים פוטו-ריאליסטיים למציאות רבודה

מאמר זה מציג מערכת לשחזור תלת מימד פוטו-ריאליסטי באמצעות תמונות של 360 מעלות, גאוס, ושילוב מציאות מדומה. ניתן ליישם את הגישה על יישומים שונים כגון חינוך, הדמיית סביבות למידה; בנייה, כדי לדמות עבודות מחוץ לאתרים ולאחזר מדדים; או בריאות, כדי להכשיר אוטיסטים במשימות יומיומיות.

המחקר שלנו מתמקד ביצירת שחזורים תלת מימדיים פוטו-ריאליסטיים מתמונות 360 מעלות כדי לבנות סביבות וירטואליות סוחפות. הוא בוחן כיצד זה יכול לתמוך בטיפול, חינוך ותיקוף תעשייתי. גישות נפוצות כוללות חילוץ מתנועות, וריבוי תצוגות חיצוניות, לעתים קרובות באמצעות כלים כמו COLMAP. שיטות עדכניות כמו מציעות תוצאות מהירות ומציאותיות יותר מבחינה ויזואלית עבור יישומים סוחפים.

האתגר כולל את העלויות החישוביות של עלילה נלהבת, זרם בדיקה בקושי נמוך והכנסת הערכת פוסט מצלמה גרפית, המשפיעים ישירות על העלות והאיכות. אנו מטפלים בהיעדר מערכת אפוטרופוס תלת מימדית טוטאליסטית המקיימת אינטראקציה איטית לתוך קשת B ותומכת בשימוש דינמי באינטראקציה נכונה עם חיישן מדויק.

[קריין] כדי להתחיל, הנח מצלמת 360 מעלות על חצובה בעלת גובה מתכוונן. בחר סדרה של מיקומים בסביבה לסריקה, באמצעות תבנית רשת מרובעת שבה כל קצה מרוחק 1.5 מטר זה מזה. בכל נקודת רשת, צלמו תמונות בשלושה גבהים שונים של כ-0.4 מטר, 1.2 מטר ושני מטרים. המר את התמונות ב-360 מעלות לפורמט מלבני שווה, באמצעות כלי כמו אפליקציית Insta 360. בחר את התמונה, לחץ על כפתור הייצוא. בחר ייצוא מצב צילום 360 וייצא אותו כתמונה ביחס של שניים לאחד. השתמש בסקריפט Equi2Pers.py כדי לחלץ 16 עד 9 תמונות פרספקטיבה בפורמט מכל תמונה מלבנית שווה עם שדה ראייה אופקי של 90 מעלות. החל זוויות אופקיות של אפס, 45, 90, 135, 180, 225, 270 ו- 315 מעלות, וזוויות אנכיות המבוססות על גובה. לאחר מכן, לחץ על הגשת פרויקט חדש כדי ליצור פרויקט COLMAP חדש. ציין את הנתיב לתמונות וצור מסד נתונים חדש. לחץ על עיבוד, ואחריו חילוץ תכונות כדי לחלץ תכונות עבור כל תמונה. בחר חור סיכה כדגם המצלמה ושתף את כל התמונות. השאר את הפרמטרים הנותרים כמבנה מחשוב ברירת מחדל לתנועה על ידי לחיצה על שחזור והתחל שחזור כדי לקבל את מיקומי המצלמה וכיווניה, באמצעות פרמטרי ברירת המחדל של COLMAP. לחץ על שחזור ובחר התאמת חבילה כדי למזער את שגיאות ההקרנה מחדש. כעת צור ייצוג תלת-ממדי צפוף על ידי בחירה בשחזור צפוף עם פלטים, כולל תנוחות מצלמה ונקודות משוחזרות. לשחזור תלת מימד ריאליסטי פוטו, באמצעות שיפוץ גאוס, בצע את סקריפט train.py, באמצעות הפרמטרים מינוס S, מינוס M ומינוס R. אתר את קובץ ה-.py שנוצר בתוך ספריית הפלט שצוינה לייבוא לאחר מכן ל-Unity. חבר את אוזניות המציאות המדומה למחשב, בהתאם להוראות הספציפיות לדגם האוזניות בו נעשה שימוש. השתמש ב-Unity Hub כדי ליצור פרויקט תלת-ממדי בגרסה 2022.44f1. נווט אל פרוייקטים, לחץ על פרוייקט חדש. בחר את תבנית צינור העיבוד המובנית בתלת-ממד. הגדר את שם הפרויקט ומיקומו ולחץ על צור פרויקט. כדי לנהל את משקפי ה-VR ולפשט את משימות הפיתוח, התקן תוסף מ-Unity Asset Store דרך מנהל החבילות על ידי לחיצה על חלון ומנהל החבילות. השתמש בתוסף Unity Gaussian splatting כדי להמיר את פלט ה-splatting של גאוס לנכס שמיש. שפר את המעקב אחר הידיים על ידי התקנת התוסף ultra elite דרך מנהל החבילות מחנות Unity Asset Store. תמלל אודיו מהמיקרופון של ערכת המציאות המדומה באמצעות התוסף whisper.unity. התקן אותו באמצעות מנהל החבילות. אפשר יצירת תגובה, באמצעות מודל שפה גדול על ידי התקנת התוסף LLM Unity. התקן אותו דרך מנהל החבילות כפי שהודגם קודם לכן. צור דיבור מתגובות שנוצרו על ידי LLM, באמצעות ה-SDK של Meta Voice. התקן תוסף טקסט לדיבור מ-Unity Asset Store דרך מנהל החבילות על ידי לחיצה על מנהל החלון והחבילות. לבסוף, השתמשו באוזניות ה-VR כדי לחוות ולקיים אינטראקציה עם הסביבה הסוחפת. קבוצות של מיקומי מצלמה שנגזרו ממקורות מלבניים משותפים שימשו ליצירת ענני נקודות צפופים לשחזור נראה, וחשפו מיפוי מרחבי עקבי של זוויות לכידה. השיטה המוצעת, באמצעות שיפוץ גאוס, יצרה שחזור פוטו-ריאליסטי, הדומה מאוד לסביבה האמיתית. משתמשים יכלו לקיים אינטראקציה יעילה עם הסביבה המשוחזרת באמצעות מציאות מדומה, תוך שמירה על טבילה ומודעות מרחבית, כאשר הוויזואליה המוצגת בתוך האוזניות תואמות את הגדרת החדר. סביבות וירטואליות מוכרות ולא מוכרות פותחו מתוך מחשבה על מטרות טיפוליות, על סמך משוב ממטפלים מקצועיים. סוכן וירטואלי הוצג בחלל המשוחזר, המאפשר למשתמשים לעסוק בתרחישים אינטראקטיביים מציאותיים באמצעות VR, כאשר הסוכן מופיע כדמות מציאותית בתצוגת האוזניות. שחזורים וירטואליים שכפלו נקודות מבט ספציפיות, במדויק, כאשר התבססו על תמונות קלט, אך סטיות בפרספקטיבה הביאו למגבלות עיבוד ניכרות. בהשוואה לפלט ענן נקודות COLMAP, שיפוץ גאוס ייצר שחזור רציף יותר מבחינה ויזואלית ומציאותי, המתאים לאינטראקציה בזמן אמת, אם כי עם דיוק מטרי מופחת.