הדמיה מבוססת מציאות רבודה של דגימת גידול שנותחה

תקציר

סרטון זה מדגים שימוש במציאות רבודה (AR) לכריתת גידול, שבה דגימת גידול שנסרקה בתלת-ממד מוצגת כהולוגרמה על צג המורכב על הראש. מנתחים יכולים לתפעל ולנעול את ההולוגרמה במקום כדי להבטיח הסרה מדויקת של הגידול.

פרוטוקול

כל ההליכים הכרוכים באיסוף דגימות בוצעו בהתאם להנחיות IRB של המכון.

הערה: ניתן לראות סכמה המפרטת את זרימת העבודה של הפרוטוקול באיור 1.

1. 3D סריקה

1. השג סריקה תלת-ממדית של דגימת כריתה אונקולוגית לפי פרוטוקול הסריקה התלת-ממדית שתואר קודם לכן7.
   1. הגדר את סורק התלת-ממד השולחני הזמין מסחרית בקרבת מעבדת הפתולוגיה שבה נלקחות בדרך כלל דגימות.
   2. יש לשטוף בעדינות ולייבש בטפיחות קלות את הדגימה שנכרתה. לאחר מכן, צלם תמונות דו-ממדיות של המשטחים הקדמיים והאחוריים שלו.
   3. הניחו את הדגימה על פטיפון הסורק, וודאו שהפטיפון מוגן מפני נוזלי גוף עם יריעת פלסטיק דקה.
   4. באמצעות תוכנת סורק תלת מימד ומחשב נייד, קבל סריקה תלת ממדית של המשטחים הקדמיים והאחוריים של הדגימה.
   5. באמצעות תוכנת הסורק התלת-ממדי, השתמש ברישום צולב של נתונים בשלוש נקודות כדי ליישר בין שתי קבוצות נתוני הסריקה.
   6. לאחר שהסריקה דומה למבנה התלת-ממדי של דגימת ex vivo, המשך לשלב 1.2.
2. לחץ על שמור את הסריקה שלך ושמור את הסריקה שהושלמה מתוכנת הסריקה התלת-ממדית כקובץ .obj וכקובץ .jpeg.

2. הגדרת סביבת מציאות רבודה

1. פתח את תוכנת המציאות הרבודה השולחנית. פתח את חבילת VISE של מציאות רבודה.
2. העלה את המודל התלת-ממדי שנוצר בשלב 1.2 כקובץ .obj ואת נתוני המרקם כקובץ .jpeg לתוכנה על-ידי גרירה ושחרור של הקבצים משולחן העבודה לתיבה נכסי פרוייקט.
3. לבש את הצג המותקן על הראש (HMD).
4. פתח את התפריט בסביבת HMD על-ידי הרמת פרק כף היד הלא דומיננטי. כאשר מופיע סמל ריבוע, הקש עליו על-ידי הצבעה באצבע על הסמל וחפש תפריט שיופיע.
5. בחר קובץ | הצג את כל האפליקציות | פתח את היישום Holographic Remoting ב- HMD.
6. חבר את HMD לתוכנה על-ידי בחירה באפשרות מציאות משולבת | Remoting | Remoting הולוגרפי עבור מצב משחק בסרגל הכלים העליון.
7. הזן את כתובת ה- IP של HMD, המוצגת כאשר היישום Holographic Remoting פתוח.
   הערה: אם היא לא מוצגת בתוך האפליקציה, ניתן למצוא את כתובת ה-IP גם בהגדרות או באמצעות הפקודה הקולית "מהי כתובת ה-IP שלי".
8. ודא שה-HMD וההתקן שבו פועלת התוכנה מחוברים שניהם לאותה רשת Wi-Fi. הכה את המשולש לשחק כפתור במרכז העליון. אוזניות HMD יציגו כעת רינדור.
9. גרור את מודל האובייקטים התלת-ממדי לסרגל ההירארכיה השמאלי. פתח את התפריט הנפתח עבור האובייקט. גרור/י את ברירת המחדל לחלון המוקפץ Adjust Pivot תחת Replace Object. לחץ על החל אובייקטים נבחרים.
10. פתח את הרשימה הנפתחת Medical_Object בתפריט הירארכיה ובחר עוגן לפני בחירה באפשרות העבר את הציר של Medical_Object כאן בחלון המוקפץ התאם ציר.
11. גררו את קובץ המרקם לתיבה (מרקם דו-ממדי) בחלון הנפתח 'התאם ציר'. בחרו 'החל קובץ מרקם שנבחר'.
12. הכה את לשחק כפתור במרכז המסך העליון פעם נוספת.

3. כניסה למציאות מדומה

1. השתמש בפקודה הקולית פתח כדי לאתחל את ההולוגרמה.
2. אם האובייקט אינו נראה או אם הוא אבד מהעין, השתמש בפקודה הקולית מיקום מחדש כדי להחזיר את האובייקט למרכז הראייה.
3. האובייקט יעובד בגודל אנטומי. השתמש בפקודה הקולית Lock Size כדי להשאיר את האובייקט בגודל הנוכחי, באפשרות Unlock Size כדי לשנות את גודל האובייקט ובפקודה Back to Scale כדי לשחזר את האובייקט לגודל אנטומי.
4. צבוט באמצעות אצבע המצביע והאגודל כדי לשנות גודל, להזיז ולסובב את האובייקט באותו אופן שבו אובייקט פיזי מטופל.

4. שימוש בפקודות קוליות

1. טפל באובייקט ללא שימוש בידיים באמצעות הפקודות הקוליות הבאות:
   1. ימינה: סובב/י את האובייקט ימינה.
   2. שמאל: סובב/י את האובייקט שמאלה.
   3. גדול יותר: הגדל את האובייקט.
   4. קטן יותר: הקטן את האובייקט.
   5. הגברת השקיפות: הגדל את שקיפות האובייקט.
   6. הפחת שקיפות: הקטן את שקיפות האובייקט.

5. יישור מחדש מונחה AR של הדגימה

הערה: ניתן לראות יישור מחדש תלת-ממדי של ההולוגרמה באיור 2.

1. טפל בהולוגרמה התלת-ממדית של הדגימה הנראית דרך HMD באמצעות האגודל והאצבע המצביע.
   1. אחוז באובייקט על-ידי הצבת האגודל והאצבע המצביעה יחד בסביבה האמיתית שבה ההולוגרמה נראית בסביבה הווירטואלית.
   2. שחרר את האובייקט על ידי פתיחת האגודל והאצבע המצביע בסביבה האמיתית ברגע שההולוגרמה התלת-ממדית ממוקמת במקום הרצוי בסביבה הווירטואלית.
2. השתמש בפקודה הקולית Lock כדי לאבטח את ההולוגרמה במקומה ובטל נעילה כדי לטפל באובייקט פעם נוספת.
3. בהתבסס על הכיוון האנטומי של ההולוגרמה, יישרו מחדש את הדגימה הווירטואלית למיטת הכריתה על ידי ביצוע שלבים 5.1-5.2. כאשר ההולוגרמה מיושרת מחדש ככל האפשר עם מיטת הכריתה כפי שהיא נראית דרך HMD, השתמש בפקודה הקולית Lock כדי לנעול את הדגימה במקומה.

תוצאות

איור 1: זרימת עבודה של פרוטוקול. הדגמה סכמטית של פרוטוקולי הניסוי במקביל לפרוטוקול הסטנדרטי הנוכחי.

איור 2: יישור מחדש של הולוגרמה תלת-ממדית שנצפה דרך HMD. תצוגת המשתמש דרך HMD של (A) ידיו של המשתמש האוחזות בהולוגרמה התלת-ממדית, (B) ידיו של המשתמש המשח...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
מצלמה דיגיטלית או מצלמה	אייפון		עשוי להשתמש ב-iPhone או בטלפון מצלמה דומה או במצלמה דיגיטלית.
EinScan SP V2 Platinum שולחני 3D סורק	תלת מימד נוצץ		חומרת סורק תלת-ממד
תוכנת ExScan; קצה מוצק SHINING 3D Edition	תלת מימד נוצץ		תוכנת סורק תלת מימד, כלולה ברכישת 3D Scanner
עכבר חיצוני	מיקרוסופט
נייד	XP5 של Dell	00355-60734-40310-AAOEM	דרישות מחשב נייד:
USB: יציאת ×USB 2.0 או USB 3.0; מערכת הפעלה: לנצח 7, 8 או 10 (64 סיביות);
כרטיס גרפי: סדרת Nvidia; זיכרון גרפי: ?1G;
מעבד: ליבה כפולה i5 ומעלה; זכרון: ?8G
מיקרוסופט HMD 2	מיקרוסופט
תוכנת יוניטי	יוניטי טכנולוגיות		פלטפורמת תוכן תלת-ממדית אינטראקטיבית בזמן אמת
חבילת Microsoft Office	מיקרוסופט
עגלת מצגות ניידת	אוקלהומה סאונד	PRC450
ממיר התקן USB-c	טריפ-לייט	U442-DOCK3-B	הכרחי רק אם למחשב הנייד אין USB