הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.

מאמר שיטה

נופים נלמדים פוטו-ריאליסטיים למציאות רבודה

1K צפיות

⸱

DOI:

10.3791/68386

⸱

27 ביוני 2025

 ,  ,  , 
1University Institute for Computer Research, University of Alicante

* These authors contributed equally

במאמר זה

סיכום

מאמר זה מציג מערכת לשחזור תלת מימד פוטו-ריאליסטי באמצעות תמונות של 360 מעלות, גאוס, ושילוב מציאות מדומה. ניתן ליישם את הגישה על יישומים שונים כגון חינוך, הדמיית סביבות למידה; בנייה, כדי לדמות עבודות מחוץ לאתרים ולאחזר מדדים; או בריאות, כדי להכשיר אוטיסטים במשימות יומיומיות.

תקציר

ליכולת ליצור שחזורים תלת מימדיים פוטו-ריאליסטיים של סביבות בעולם האמיתי מתמונות צבע סטנדרטיות יש יישומים רבים בתחומים כמו בריאות, חינוך ותעשייה. מאמר זה מציג מערכת חדשה המשלבת טכניקות מתקדמות כגון מבנה מתנועה, רישום סצנה מצטבר ו-Gaussian Splatting כדי לשחזר מודלים תלת מימדיים מפורטים. מודלים אלה משולבים בצורה חלקה בסביבות מציאות מדומה כדי לאפשר אינטראקציה סוחפת. הצינור מתחיל בצילום תמונות של 360 מעלות באמצעות דפוס מבוסס מטריצה לכיסוי מקיף. התמונות מעובדות באמצעות COLMAP כדי להעריך את תנוחות המצלמה וליצור ענן נקודות דליל. Gaussian Splatting משכלל את השחזור על ידי אופטימיזציה של המיקומים, הצורות והמראה של הנקודות כדי לייצר סביבות תלת מימד מציאותיות ביותר. מודלים אלה מעובדים לאחר מכן ב-Unity, ומאפשרים אינטראקציה על ידי אוזניות VR ותומכים בתכונות נוספות כגון אווטארים המונעים על ידי מודלים גדולים של שפה. מקרה שימוש אחד מדגים את הרבגוניות של המערכת. בתחום הבריאות, הגישה יוצרת מרחבים וירטואליים מבוקרים ומוכרים לטיפול, מועילים במיוחד לאנשים עם הפרעות על הספקטרום האוטיסטי. הסביבות הסוחפות והאווטארים האינטראקטיביים מספקים סביבה בטוחה ונוחה לטיפול מותאם אישית. מערכת זו מציעה יתרונות משמעותיים, כולל נאמנות חזותית גבוהה, קלות רכישת תמונות וחוויות משתמש סוחפות. עם זאת, נותרו אתגרים, כמו העלות החישובית של Gaussian Splatting והסתמכותו על הערכת תנוחת מצלמה מדויקת. על ידי התגברות על מגבלות אלה, לשיטה זו יש פוטנציאל לשנות יישומים בתחומים שונים, החל מהתערבויות טיפוליות ועד לעיצוב תעשייתי ושימור תרבותי.

מבוא

היכולת ליצור מחדש ולקיים אינטראקציה עם נופים תלת מימדיים הפכה לקריטית בתחומים רבים ושונים של יישומי טכנולוגיה מודרנית. טכניקות מסורתיות ליצירת ייצוגים וירטואליים של מיקומים אמיתיים מסתמכות לפעמים על מודלים קשיחים עתירי עבודה ומדידות ידניות1. טכניקות ראייה ממוחשבת מתקדמות התגלו כאפשרויות ברות קיימא לשחזור תלת מימד אוטומטי ואינטראקציה על מנת להתגבר על מגבלות אלה2.

פיתוח מודלים תלת מימדיים מורכבים מצילומי 360 מעלות הוא מאפיין בולט של התקדמות זו. ניתן לקבל מידע מרחבי מדויק על ידי איתור האזורים המדויקים שבהם צולמו התמונות באמצעות כלים חדישים כגון COLMAP3. התהליך משופר עוד יותר על ידי Gaussian Splatting4, המאפשר ליצור מחדש הגדרות מסובכות בתלת מימד באיכות טובה.

שילוב מודלים תלת-ממדיים אלה במערכות מציאות מדומה (VR) פותח אפיקים חדשים לחקירה ומעורבות מעבר לשחזור. כדי להגביר את המעורבות, משתמשים יכולים למדוד אובייקטים בעולם האמיתי כמו דלתות ושולחנות, להסתובב במרחב הווירטואלי ואפילו להוסיף אובייקטים דיגיטליים ואווטרים. אווטארים אלה יכולים לייצר תגובות דינמיות ואינטראקטיביות באמצעות מודלים של שפה גדולה (LLMs), וכתוצאה מכך חוויות סוחפות5.

עבודה זו מציגה מתודולוגיה ליצירת ייצוגים תלת מימדיים של סביבה בעולם האמיתי באמצעות תמונות צבעוניות רגילות והצגתן בתוך מערך מציאות מדומה. המערכת מסתמכת על צינורות מבנה מתנועה וצינורות גאוס. המערכת מתאימה ליצירת יישומים נוספים בבנייה או בבריאות.

הצינור המוצע מייצר ייצוגים תלת מימדיים מציאותיים ומושכים מבחינה ויזואלית של סביבות אמיתיות, וזה היתרון העיקרי שלו. בנוסף, הוא משתמש בתמונות צבעוניות, שהן נוחות מאוד בהשוואה לגישות אחרות הדורשות חיישנים יקרים כגון LiDARs או מצלמות אור מובנות6. הרציונל מאחורי ההצעה הוא שליכולת ליצור בקלות ייצוגים תלת מימדיים מושכים מבחינה ויזואלית יש יישומים רבים. זה יכול לשמש בבנייה לבקרת איכות, בבריאות לטיפול באנשים אוטיסטים בסביבה ידועה ומבוקרת, או בבידור כדי לכלול ייצוג מדויק של מיקום אמיתי במשחק וידאו.

פיתוח מערכות לשחזור תלת מימד ואינטראקציה עם סביבות וירטואליות התקדם משמעותית בשנים האחרונות, מונע על ידי שילוב טכנולוגיות ראייה ממוחשבת, למידת מכונה ומציאות מדומה2. המרכיבים והמתודולוגיות העיקריים הרלוונטיים לעבודה זו מתוארים להלן.

שחזור תלת מימד מדויק מסתמך על עיבוד תמונה כדי לחלץ מידע מרחבי וגיאומטרי. שיטות מסורתיות כגון Structure from Motion (SfM)7 ו-Multi-View Stereo (MVS)8 היו בשימוש נרחב כדי להעריך את תנוחות המצלמה וליצור ענני נקודות צפופים. כלים כגון COLMAP מוכרים בעמידותם בביצוע משימות אלה, המשלבים SfM ו-MVS כדי לייצר מודלים תלת מימדיים מדויקים ביותר ממערכי נתונים של תמונה. עם זאת, נותרו מגבלות בהתמודדות עם תאורה מורכבת, טקסטורות וסביבות דינמיות מאוד.

ההתקדמות האחרונה כוללת את Gaussian Splatting9, המשתמש בייצוג מבוסס נקודה כדי לייצר שחזורים פוטו-ריאליסטיים ביעילות רבה יותר מאשר שיטות מסורתיות מבוססות רשת. Gaussian Splatting מאפשר הדמיה חלקה יותר וייצוג מרחבי מדויק יותר, במיוחד בסצנות עם פרטים מורכבים.

לאחר ששוחזרו המודלים התלת-ממדיים, הפיכתם לפורמטים תואמי VR היא חיונית לאינטראקציה סוחפת. השימוש במערכות VR התרחב מעבר לבידור לתחומים כמו חינוך, בריאות10 ועיצוב תעשייתי. מסגרות VR מודרניות מאפשרות ניווט חלק, אינטראקציה עם אובייקטים דיגיטליים וריאליזם משופר, מה שהופך אותן למתאימות ליישומים הדורשים מעורבות גבוהה של המשתמש.

השילוב של תכונות אינטראקטיביות כגון אובייקטים וירטואליים ואווטרים משפר משמעותית את הפונקציונליות והעומק של מערכות מציאות מדומה (VR). אווטארים המופעלים על ידי מודלים גדולים של שפה (LLMs) מאפשרים אינטראקציות שיחה מציאותיות, ומאפשרות חוויות משתמש דינמיות ואדפטיביות. בפרט, טכנולוגיות אלו הראו פוטנציאל בהקשרים טיפוליים, ומאפשרות אינטראקציות מותאמות המבוססות על התנהגות המשתמש או מצבו הרגשי. לדוגמה, מחקר זה11 פיתח אפליקציית VR המשתמשת באווטארים כצ'אטבוטים המופעלים על ידי LLMs כדי להכשיר אנשים אוטיסטים במיומנויות תקשורת מקצועית, תוך הדגשת יכולת ההסתגלות של אווטארים המופעלים על ידי LLM בטיפול. בנוסף, LLMs הוטמעו בסביבות מציאות רבודה כדי לקדם הכללה ומעורבות, ולתמוך עוד יותר בפוטנציאל הטיפולי של אווטארים מונעי LLM.

סביבות וירטואליות משמשות יותר ויותר במסגרות טיפוליות, במיוחד עבור אנשים עם הפרעת הספקטרום האוטיסטי (ASD). מחקרים מראים שמרחבים וירטואליים מוכרים ומבוקרים יכולים להפחית חרדה ולהגביר את המעורבות במהלך מפגשי טיפול11. אווטארים בסביבות אלה יכולים לשמש כמסייעים, ולספק טיפול באופן שמרגיש בטוח ונגיש למטופל.

למרות ההתקדמות, נותרו אתגרים, כולל העלות החישובית של שחזור תלת מימד, שמירה על נאמנות גבוהה בסביבות וירטואליות והבטחת אינטגרציה חלקה בין מערכות. עם זאת, המשך הפיתוח של אלגוריתמים וחומרה יעילים יותר, כמו גם התקדמות בכלים מונעי בינה מלאכותית, מספקים הזדמנויות לחדשנות נוספת בתחום זה. מאמר זה מציג מערכת חדשה לשחזור תלת מימד ואינטראקציה עם סביבות וירטואליות באמצעות תמונות 360 מעלות. הגישה משלבת טכניקות כגון לוקליזציה של תמונה באמצעות COLMAP, שחזור באיכות גבוהה באמצעות שיפוע גאוס ותאימות VR לחקירה סוחפת. על ידי שילוב אובייקטים דיגיטליים ואווטרים אינטראקטיביים המופעלים על ידי LLMs, המערכת מאפשרת יישומים בטיפול מותאם אישית לאנשים עם ASD ואימות פרויקטי בנייה. כלים אלה מספקים מסגרת מקיפה ליצירת סביבות וירטואליות אדפטיביות המשפרות את הפרקטיקות הטיפוליות והתעשייתיות כאחד. איור 1 מציג את צינור ההצעות.

figure-introduction-1
איור 1: צינור מערכת. תרשים של הצינור המוצע לשחזור פוטו-ריאליסטי של הסביבה המורכבת מהסביבה האמיתית, תמונות 360°, ההקרנות שהתקבלו, תהליך SfM, תהליך ה-Gaussian Splatting והאינטגרציה עם מציאות מדומה. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

1. לכידת תמונות

  1. הנח את מצלמת ה-360° על חצובה הכוללת גובה מתכוונן. בחר סדרה של מיקומים בתוך הסביבה לסריקה, בהתאם לתבנית רשת מרובעת שבה כל קצה מרוחק 1.5 מ' זה מזה.
  2. צלם תמונות בשלושה גבהים שונים בכל נקודה שנבחרה ברשת: כ-0.4 מ', 1.2 מ' ו-2 מ'.
  3. המירו את התמונות ב-360° לתמונות בפורמט שווה מלבן. השתמש באפליקציית Ista360, למשל. בחר את תמונה, לחץ על יצוא לחצן, בחר ייצוא מצב צילום 360 וייצא אותה כתמונה ביחס של 2:1.
  4. חלץ תמונות פרספקטיבה בתבנית 16:9 מכל תמונה מלבנית עם שדה ראייה אופקי של 90°. השתמש בזוויות האופקיות הבאות עבור כל התמונות: 0, 45, 90, 135, 180, 225, 270, 315. לתמונות שצולמו בגובה 0.4 מ ', השתמש בזוויות אנכיות 0, 50. לתמונות שצולמו בגובה 1.2 מ ', השתמש בזוויות אנכיות -50, 0, 50. לתמונות שצולמו בגובה 2 מ ', השתמש בזוויות אנכיות -50, 0. לתהליך החילוץ, השתמש בסקריפט Equi2Pers.py Python (קובץ קידוד משלים 1; איור 2).

figure-protocol-1
איור 2: תמונות מלבניות להקרנות. דיאגרמה של אופן המרה של תמונה מלבנית להטלה של מפת קובייה. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

2. הערכת תנוחת מצלמה עם COLMAP

  1. צור פרויקט COLMAP חדש על-ידי לחיצה על קובץ > פרויקט חדש, ולאחר מכן ציין את הנתיב לתמונות וצור מסד נתונים חדש.
  2. חלץ תכונות עבור כל תמונה על-ידי לחיצה על Processing > Feature Extraction, בחירת PINHOLE כדגם מצלמה ושיתוף עבור כל התמונות. השאר את הפרמטרים הנותרים כברירת מחדל. באזורים עם מרקם רב, ניתן להפחית max_num_features כדי להגביר את יעילות השיטה.
  3. בצע התאמת תכונות על-ידי לחיצה על עיבוד > התאמת תכונות, באמצעות פרמטרי ברירת המחדל.
  4. חשב SfM על-ידי לחיצה על Reconstruction > Start Reconstruction כדי לקבל את המיקומים והכיוונים של המצלמה, תוך שימוש בפרמטרי ברירת המחדל של COLMAP.
  5. צמצם את שגיאות ההקרנה מחדש באמצעות התאמת חבילה על-ידי לחיצה על שחזור > התאמת חבילה.
  6. צרו ייצוג תלת-ממדי צפוף של הסצנה על ידי לחיצה על Reconstruction > Dense Reconstruction, עם פלטים הכוללים תנוחות מצלמה ונקודות משוחזרות.

3. שחזור סצנה תלת מימדית פוטו-ריאליסטית באמצעות שפיץ גאוס (GS)

  1. הפעל את קובץ ה-train.py עם הפרמטרים -s, -m ו-r, כאשר -s מציין את נתיב הפרויקט של COLMAP, -m מגדיר את נתיב הפלט עבור Gaussian Splatting (אם לא צוין, נוצר נתיב ברירת מחדל), ו-r משנה את קנה המידה של התמונות, בדרך כלל מוגדר בין 2 ל-4.
    הערה: train.py הקובץ נמצא במאגר הרשמי של Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting.
  2. אתר את קובץ ה- .ply שנוצר על-ידי Gaussian Splatting בנתיב הפלט לשימוש מאוחר יותר ב- Unity.

4. עיבוד במציאות מדומה עם יוניטי ו-Gaussian splatting

  1. חברו את ערכת המציאות המדומה למחשב. שיטה זו תלויה בערכת המציאות המדומה שבה נעשה שימוש.
  2. השתמש ב-Unity Hub כדי ליצור פרויקט תלת-ממד בגרסה 2022.3.44f1. התקן את Unity גרסה 2022.3.44f1 במידת הצורך. עבור אל פרויקטים > פרויקט חדש, בחר את גירסה 2022.3.44f1 ואת תבנית התלת-ממד (ליבה), הגדר שם ומיקום של פרויקט ולחץ על צור פרויקט כדי ליצור אותו עם הגדרות ברירת המחדל.
  3. התקן תוסף לניהול משקפי VR ולפשט את פיתוח היישומים, כולל משימות כגון גישה לג'ויסטיק ומעקב אחר תנועות העיניים. עשה זאת דרך מאגר הנכסים של Unity באמצעות מנהל החבילות על-ידי לחיצה על חלון > מנהל החבילות.
  4. השתמש בתוסף UnityGaussianSplatting כדי ליצור נכס מהפלט של Gaussian Splatting. עשה זאת דרך מאגר הנכסים של Unity באמצעות מנהל החבילות. כדי ליצור נכס זה, עבור אל כלים > GaussianSplats > צור GaussianSplatAsset וספק את קובץ ה- .ply שנוצר על ידי Gaussian Splatting.
  5. השתמש בתוסף UltraLeap כדי לשפר את זיהוי הידיים ולשפר את האינטראקציה עם המשתמש. כדי להתקין זאת, עבור אל Unity Asset Store > Package Manager ולחץ על Window > Package Manager.
  6. השתמשו בתוסף whisper.unity כדי לתמלל אודיו שנקלט על ידי המיקרופון של ערכת המציאות המדומה. התקן זאת כמתואר בשלב 4.5.
  7. השתמש במודל LLM כדי ליצור תגובות. התקן את התוסף LLMUnity כדי לאפשר את השימוש ב-LLM זה. התקן זאת כמתואר בשלב 4.5.
    1. צור GameObject ריק והוסף סקריפט LLM, ולאחר מכן לחץ על כפתור הורדת המודל כדי לבחור מודל ברירת מחדל. עבור התווים, הוסף אובייקט ריק וצרף אליו את קובץ ה- Script של LLMCharacter, שבו ניתן לציין את השם והתפקיד.
  8. השתמשו ב-Meta - Voice SDK כדי ליצור שמע מהתגובה שהופקה על ידי LLM. כדי להשיג זאת, התקן תוסף טקסט לדיבור דרך מאגר הנכסים של Unity באמצעות מנהל החבילות על ידי לחיצה על חלון > מנהל החבילות.
  9. השתמשו באוזניות VR כדי לאפשר אינטראקציה סוחפת.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

בחלק זה נדונות תוצאות מייצגות, נקודות חוזק ומגבלות של הצינור המוצע. תוצאות יישום השיטה המוצעת הן כדלקמן. איור 3 מציג את מיקום המצלמה (באדום) ואת ענן הנקודות הצפוף. קבוצות של מצלמות עם מקורות משותפים מייצגות הקרנות מאותה תמונה מלבנית.

figure-results-1
איור 3: תוצאת ענן נקודות COLMAP ותנוחות מצלמה. התוצאה של יי...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

מחקר זה מציג מתודולוגיה חדשה לשחזור תלת מימד פוטו-ריאליסטי ואינטראקציה עם סביבה וירטואלית באמצעות תמונות 360 מעלות וטכניקות עיבוד מתקדמות. השלבים הקריטיים, האתגרים וההשלכות של המערכת המוצעת נדונים להלן.

שלבים קריטיים
אחד השלבים המרכזיים בצנרת המוצעת הוא לכידת תמונות. באמצעות מצלמת 360 מעלות הממוקמת בגבהים ובמיקומים שונים, נוצר מערך נתונים מקיף כדי למקסם את הכיסוי של הסביבה. שלב זה מבטיח את הדיוק והשלמות של השחזורים התלת-ממדיים אך דורש תכנון...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

המחברים מצהירים כי לא ידוע על אינטרסים פיננסיים מתחרים או קשרים אישיים שיכולים היו להשפיע על העבודה המדווחת במאמר זה.

תודות

מאמר זה הוא חלק מהמענק PID2022-138453OB-I00 הממומן על ידי MICIU/AEI/ 10.13039/501100011033 ועל ידי ERDF A Way of Make Europe.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
מעבדים גרפיים NVIDIA GeForce RTX 2080NVIDIATU104-400Aמכשיר לעיבוד ושחזור תמונה 
אינסטה360 X4אינסטה360סינסבמה-המכשיר לרכישת נתונים לשחזור
מטא קווסט 3מטא899-00582-01מכשיר להמחשה ואינטראקציה עם השחזור
כרטיס זיכרון Evo Plus 128 ג'יגה-בייטסמסונגMB-MC128KA/האיחוד האירופיכרטיס זיכרון עבור 360° אחסון תמונות

מקורות

  1. Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
  2. Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24 (7), 2314(2024).
  3. Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).
  4. Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. 3d gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42 (4), 139-141 (2023).
  5. Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).
  6. Remondino, F., El-Hakim, S. Image-based 3D modelling: A review. Photogrammet Record. 21 (115), 269-291 (2006).
  7. Özyeşil, O., Voroninski, V., Basri, R., Singer, A. A survey of structure from motion. Acta Numerica. 26, 305-364 (2017).
  8. Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).
  9. Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review. IEEE Access. 12, 96797-96820 (2024).
  10. Zhang, M., Ding, H., Naumceska, M., Zhang, Y. Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions. Behav Sci. 12 (5), 138(2023).
  11. Failla, C., et al. Virtual reality for autism: unlocking learning and growth. Front Psychol. 15, 1417717(2024).
  12. Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. arXiv. , (2024).
  13. Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. arXiv. , (2025).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

תגיות

Gaussian SplattingStructure From Motion360COLMAPUnity
נופים נלמדים פוטו-ריאליסטיים למציאות רבודה
צור קשר
המלצה לספרייה

פרטיות

תנאי שימוש

מדיניות

2026 © זכויות יוצרים MyJoVE Corporation. כל הזכויות שמורות.