Method Article

גישה טכנית למעקב אינפרה-אדום עבור ניווט ברקמות רכות עם תצוגה הולוגרפית המותקנת על הראש ואימות פרה-קליני

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרוטוקול זה מציע מדריך ליישום מעקב אחר סמני אינפרא אדום עבור רוחות רפאים הנעות בחופשיות (למשל, איברים) והדמיה הולוגרפית באמצעות מציאות רבודה. בנוסף, הוא מתאר מערך לאימות פרה-קליני של מערכות ניווט הולוגרפיות באמצעות מעקב אלקטרומגנטי על רוחות רפאים הנעות בחופשיות.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למציאות רבודה (AR) יש פוטנציאל לשפר את ההנחיה הכירורגית על ידי הנחת מידע אנטומי תלת מימדי (תלת מימד) ישירות על המטופל במהלך פרוצדורות כירורגיות. עם זאת, היישום המעשי של AR נתקל באתגרים משמעותיים, במיוחד במעקב מדויק אחר איברים הנעים בחופשיות במהלך מניפולציה כירורגית. כתוצאה מכך, יש צורך בשיטות אמינות למעקב אחר איברים כדי לשמור על שכבות-על הולוגרפיות מדויקות תוך ניתוח. אימות פרה-קליני של הדמיות הולוגרפיות לגבי דיוק מציב אתגרים נוספים, הדורשים פרוטוקולים ניסיוניים להערכה כמותית. פרוטוקול זה מתמודד עם שני האתגרים הללו: הוא מתאר גישה מקיפה לפיתוח יישומי ויזואליזציה של AR באמצעות סמני אינפרא אדום מותאמים אישית למעקב אחר איברים בזמן אמת באמצעות תצוגה רכובה על הראש (HMD), והוא מספק מסגרת אימות הממנפת מעקב אלקטרומגנטי (EM) כדי לאמת דיוק הולוגרפי בניסויי פנטום. עבודה זו מתארת הנחיות שלב אחר שלב ליצירת מודלים תלת מימדיים ספציפיים למטופל מהדמיה רפואית, עיצוב וייצור סמני אינפרא אדום מותאמים אישית, שילוב סמנים אלה ביישום AR עבור HMD ופריסתם לניווט כירורגי. בנוסף, הוא מפרט הליך אימות על ידי שימוש במעקב EM כדי למדוד כמותית את הדיוק של הדמיות הולוגרפיות בפנטומים של כליות מעוותות למחצה. לכן, פרוטוקול זה גם מקל על מעקב אחר איברים בזמן אמת וגם קובע מתודולוגיית אימות פרה-קלינית. יישום מעקב אחר איברים בזמן אמת יכול לשפר את ההדרכה הכירורגית לאיברים הנעים בחופשיות על ידי כיסוי מדויק של הולוגרמות, מה שעשוי להוביל לדיוק כירורגי משופר ולתוצאות טובות יותר של המטופלים.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

באונקולוגיה כירורגית, זיהוי מדויק של מיקום הגידול והקשר לרקמות בריאות סמוכות הוא חיוני להשגת כריתה מלאה של הגידול תוך שמירה על רקמה בריאה1. כריתות לא שלמות עלולות להוביל להישנות מקומית ולירידה בשיעור ההישרדות 2,3, בעוד שהסרת רקמות מוגזמת עלולה לפגוע בתפקוד ובאיכות החיים4. מערכות ניווט כירורגיות טומנות בחובן הבטחה בשיפור כריתות רדיקליות תוך שמירה על רקמות בריאות, על ידי מתן הדרכה תוך ניתוחית למנתחים שיכולה להוביל לתוצאות קליניות משופרות5. עם זאת, מערכות ניווט כירורגיות קונבנציונליות מציגות בדרך כלל מידע אנטומי דו מימדי (2D) על מסכים הממוקמים מחוץ לשדה הניתוח. גישה זו מאלצת את המנתחים לתאם מנטלית את המידע הדו-ממדי המוצג עם האנטומיה התלת-ממדית (3D) האמיתית של המטופל, מה שמגדיל את העומס הקוגניטיבי6. למרות שההתקדמות האחרונה במודלים תלת מימדיים מספקת למנתחים הבנה טובה יותר של הקשר בין הגידול למבנים האנטומיים הסובבים7, מידע זה עדיין מוצג מחוץ לאזור הניתוח, תוך שמירה על בעיית מיקוד המיתוג 6,8. מגבלות אלו של מערכות ניווט כירורגיות יכולות לתרום לטעויות פוטנציאליות בשימוש בניווט כירורגי ועלולות להוביל לתוצאות כירורגיות לא אופטימליות9.

כדי להתגבר על המגבלות שהוזכרו לעיל, מציאות רבודה (AR) התגלתה כפתרון מבטיח על ידי הדמיית מבנים אנטומיים וגבולות כריתה בתלת מימד על מטופל10,11. על ידי הצבת מודלים תלת מימדיים לפני הניתוח, המפולחים על סמך נתוני הדמיית תהודה מגנטית (MRI) או טומוגרפיה ממוחשבת (CT), ניתן לדמיין את האנטומיה. בסקירות שיטתיות, הודגשו היתרונות הפוטנציאליים של AR לניתוח פתוח בחולים מתבגרים12, ועבודה ראשונית בתחום זה מדגימה את ההיתכנות של מדריכי תלת מימד ספציפיים למטופל המצוידים בסמנים חזותיים לרישום אוטומטי13. Van Doormaal et al. פיתחו מערכת ניווט עם מכשיר AR על ידי שימוש ברישום מבוסס נקודה ומצביע עם יעד תמונה לנוירוכירורגיה14. הם העריכו את יישום ה-AR שפותח בחדר הניתוח על חולים לפני הניתוח ובניסוי פנטום, שהראה שגיאת רישום נאמנה של 7.2 מ"מ ו-4.4 מ"מ, בהתאמה.

למרות ההתקדמות המבטיחה, מערכות רישום אלה הן לרוב נוקשות, חסרות מעקב בזמן אמת אחר איברי המטרה, ולכן נותר צורך במעקב בזמן אמת אחר תנועת האיברים15,16. זה נכון במיוחד לגבי איברים נעים, שעוברים מניפולציה במהלך ניתוח, כמו הכליה והכבד, מה שעלול לגרום להנחיה לא מדויקת, צורך ברישום מחדש, שלוקח זמן רב, ונזק פוטנציאלי לרקמה בריאה או כריתה לא נכונה17. כדי לטפל עוד יותר בבעיות אלה, פותחה מערכת AR חדשה המבוססת על יישום שהוצג על ידי Iqbal et al. לשילוב סמני אינפרא אדום למעקב איברים רציף18. פיתוח זה מאפשר לשכבת ה-AR להסתגל באופן דינמי לשינויים בזמן אמת במיקום האיברים, ובכך לשמור על דיוק מרחבי ולשפר את הדיוק הכירורגי. על ידי שילוב של רישום קשיח עם מעקב דינמי מבוסס סמן אינפרא אדום, מערכת זו מציעה התקדמות משמעותית לקראת השגת הנחיה הולוגרפית מדויקת בזמן אמת בניתוח.

פרוטוקול זה מציג מערכת ניווט AR מבוססת סמן אינפרא אדום ואימות פרה-קליני עבור תצוגה רכובה על הראש (HMD). אנו שואפים לפתח ולאמת מערכת ניווט במציאות רבודה בזמן אמת כדי לשמור על שכבות-על הולוגרפיות מדויקות של איברים נעים בסביבה פרה-קלינית. ראשית, הפרוטוקול מספק תיאור של אופן הכנת יישום הולוגרפי המשתמש בסמני אינפרא אדום עם ממד של 32 מ"מ (רוחב) x 15 מ"מ (אורך) x 6 מ"מ (גובה) כדי לעקוב אחר איברי פנטום בזמן אמת, תוך שמירה על שכבת-על של הולוגרמות תלת-ממדיות ללא תלות בתנועה. אנו משתמשים בפנטום כליה, המודפס עם חוט פוליאוריטן תרמופלסטי (TPU), כמודל לדוגמה לאיבר נע. שנית, הוא נותן סקירה כללית כיצד לעצב ולהדפיס סמני אינפרא אדום מותאמים אישית וכיצד לשלב סמנים אלה ביישום ההדמיה ההולוגרפית. זה מאפשר לחוקרים וקלינאים אחרים להתאים את היישום לתרחישי פנטום פרה-קליניים אחרים הכוללים סימולציה של ניתוח פתוח ואיברים נעים. לבסוף, שיטת אימות המבוססת על מעקב אלקטרומגנטי מציעה מדידות כמותיות לחישוב דיוק, ומציעה אימות פרה-קליני של הנחיה הולוגרפית בניסויי פנטום. מגבלה של מתודולוגיה זו היא היעדר הליך רישום אוטומטי, המגביל את הדיוק של מערכת זו. עם זאת, גישה זו מסייעת למשתמשים לקבוע את ההתאמה של טכניקת ה-AR שפותחה ליישום הקליני שלהם.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה פעל בהתאם להנחיות המוסד שלנו ולא היה כפוף לחוק המחקר הרפואי המעורב בנבדקים אנושיים (WMO). לכן, לא נדרש לקבל הסכמה מדעת מהמשתתפים.

1. הכנת חבילות חומרה ותוכנה למידול תלת מימד ופריסת יישומי AR

  1. הורד והתקן את התוכנות הבאות במחשב אישי (PC) שבו פועל Microsoft Windows 10.
    1. הורד את Unity Hub v3.11.1 ו-Unity v. 2019.4.22f1 מ-https://unity.com/download. כלול את Visual Studio 2019 במהלך ההתקנה של Unity 2019.4.22f1. קישור למדריך: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. הורד את MeshMixer v. 3.5.0 מ-https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, הקישור למדריך הוא https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. הורד את 3DSlicer v. 5.6.2 מ-https://download.slicer.org/, הקישור למדריך הוא https://slicer.readthedocs.io/en/latest/
    4. הורד את Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, הקישור למדריך הוא https://help.autodesk.com/view/fusion360/ENU/
    5. הורד את Bambu Studio v. 01.09.07.52 מ- https://bambulab.com/en/download/studio, הקישור למדריך הוא https://wiki.bambulab.com/en/studio-handy

2. עיצוב והדפסה של סמני אינפרא אדום מותאמים אישית

  1. עצב סמני אינפרא אדום בתוכנת עיצוב תלת מימד כמתואר להלן.
    1. פתח את תוכנת 3D Computer-aided Design (CAD) (ראה טבלת חומרים) וצור קובץ חדש.
    2. בחר בכרטיסייה SOLID ולחץ על Create Sketch כדי להתחיל לשרטט עיצוב חדש עבור סמן אינפרא אדום.
    3. הוסף שלושה או ארבעה עיגולים קטנים בקוטר 3 מ"מ על ידי לחיצה על עיגול קוטר מרכזי. עיגולים אלה משמשים כנקודות חיבור לברגים.
    4. חשב את נקודת המרכז של סמן האינפרא אדום על ידי חיבור קודקודי המשולש לנקודות האמצע של הצדדים הנגדיים. לחץ על קו וחבר את כל המעגלים על-ידי ציור קווים מצד אחד לנקודה של עיגול.
    5. צור עיגול כבסיס לסמן האינפרא אדום בנקודת המרכז באמצעות עיגול בקוטר מרכזי. השתמש במלבן בעל 3 נקודות כדי לצייר מלבנים המחברים את העיגול המרכזי עם כל אחד משלושת או ארבעת העיגולים הקטנים יותר.
    6. הוציא את הבסיס העגול והמלבנים לעובי של 2 מ"מ, ואת העיגולים הקטנים ל -5 מ"מ.
    7. הוסף חוט לכל אחד משלושת המדוכים באמצעות פרופיל מטרי ISO (למשל, M3 × 0.5, 6g, יד ימין) כדי להכיל כדורים רפלקטיביים אינפרא אדום בגודל 6.4 מ"מ על ידי לחיצה על צור ולאחר מכן על חוט.
    8. ייצא את הדגם כקובץ אובייקט (OBJ) באמצעות הפונקציה 3D Print או Export.
    9. בתוך תוכנת CAD תלת מימדית, מדוד את קואורדינטות ה-XYZ של הכדורים הרפלקטיביים האינפרא אדום בקורלציה לנקודת המרכז על ידי בחירה במדידה. מדוד את מיקומי נקודות המרכז של העיגולים ביחס לנקודת המרכז של הצורה. השתמש בקואורדינטות אלה בשלב 4.1.2.
  2. הדפס סמני תלת מימד כמתואר להלן.
    1. ייבא את הסטריאוליתוגרפיה המיוצאת (. STL) של סמן האינפרא אדום לתוכנה המתאימה למדפסת התלת מימד על ידי גרירתו לסצנה (ראה טבלת חומרים).
    2. הגדר את פרמטרי החיתוך, כולל גובה השכבה (0.08 מ"מ הוא גובה השכבה הקטן ביותר האפשרי כדי למנוע הדפסה לא מדויקת של החוט עבור הכדור הרפלקטיבי האינפרא אדום) על ידי לחיצה על איכות > גובה שכבה. הוסף תמיכה לעיצוב על-ידי לחיצה על תמיכה > הפעל מבנה.
    3. ייצאו את קובץ החיתוך למדפסת התלת-ממד בלחיצה על 'פרוסה הכל', ייצאו את הקובץ בלחיצה על 'ייצוא כל קובץ הפרוסה' והדפיסו את דגם התלת-ממד במדפסת תלת-ממד (ראו טבלת חומרים) עם חוט נימה של חומצה פולילקטית (לדוגמה, PLA; ראו טבלת חומרים).

3. הכנת המודל התלת-ממדי הספציפי לחולה של הכליה

  1. פילוח מודל
    1. פתח את תוכנת הפילוח התלת-ממדית (ראה טבלת חומרים) וייבא את נתוני ה-MRI/CT של המטופל באמצעות קובצי ייבוא DICOM.
    2. עבור אל עורך הפלחים, בחר את אמצעי האחסון המתאים וצור פילוח חדש על ידי לחיצה על הוסף.
    3. בחר פילוח ידני או חצי אוטומטי על סמך אופן ההדמיה.
    4. לפילוח ידני, השתמש בכלי צבע ומחק כדי לפלח את הגידול ואת המבנים הרלוונטיים הסובבים אותו בכל פרוסה.
    5. לפילוח חצי אוטומטי, שקול להשתמש באפשרויות כמו סף עם טווח הסף המתאים למבנה הספציפי, ומספריים כדי לפלח את המבנים הלא רלוונטיים.
    6. במסך נתונים, בחר בפילוח שנוצר ולאחר מכן לחץ באמצעות לחצן העכבר הימני כדי לעבור ללחצן ייצוא פלחים גלויים למודלים . ודא שהאפשרות עין נבחרה בצד ימין של המסך.
    7. ייצא את קבצי STL של הדגמים על ידי לחיצה על שמור ושמור את הקבצים כקובץ . STL.
  2. עיבוד לאחר של מודל ספציפי למטופל
    1. ייבאו את קובץ STL לעורך רשת שינוי (ראו טבלת חומרים) והקטינו את מספר המשולשים באמצעות בחירה באפשרות 'עריכה' >'עריכה ' ולאחר מכן הקטינו באחוזים שמקטינים את המשולשים מבלי לעוות את ההיבט החזותי של דגם התלת-ממד, ולחצו על 'קבל'.
    2. ודאו שנקודות היעד מיוצגות באופן חזותי בדגם התלת-ממדי של היישום ההולוגרפי לצורך אימות נוסף. לחצו על Add spheres ומקמו אותם בדגם התלת-ממדי.
    3. ייצא את דגמי התלת מימד לפורמט קובץ OBJ על ידי לחיצה על קובץ > ייצוא. ודאו שדגם התלת-ממד כולל כ- 100,000 מצולעים באמצעות בחירת הדגם והקטינו את המצולעים בלחיצה על Edit > Reduce. ספירת מצולעים גבוהה יותר מחייבת פעולות נוספות מיחידת העיבוד הגרפי, כך שהפחתת מספר המצולעים בסצנה יכולה להפחית משמעותית את זמן הרינדור.

4. הכנת היישום ההולוגרפי

  1. הגדר את IRTrackingOrgans_HoloLens Project כמתואר להלן.
    1. הפעל את תוכנת פיתוח המשחקים (ראה טבלת חומרים) וייבא את פרויקט IRTrackingOrgans_HoloLens ופתח אותו.
    2. התאם את קובץ JavaScript Object Notation (JSON) באמצעות עורך טקסט, בהתאם לפורמט ברירת המחדל, כדי ליישם סמן אינפרא אדום מותאם אישית המבוסס על הקואורדינטות שנמדדו בשלב 2.1.10. קובץ ה- JSON נשמר ב- Assets/StreamingAssets.
    3. עבור אל הכרטיסייה DINO Unity, בחר את ToolManager > ResearchModeController > קובץ JSON והמרת אב , ולחץ על צור אובייקטים והחל הגדרת JSON.
    4. ייבא את המודל התלת-ממדי של סמן האינפרא-אדום הווירטואלי כנכס שנוצר בשלב 1.1.
    5. שנה את המודל התלת-ממדי של סמן האינפרא אדום הווירטואלי למיקום הסמנים שנוצרו בסצנה על ידי בחירת המודל ושינוי קואורדינטות השינוי בחלון המפקח.
    6. הכנס מודל תלת מימד ספציפי למטופל לסצנה על ידי בחירתו וגרירתו לסצנה.
    7. הפוך את המודל התלת-ממדי של המטופל למקום הנכון, כך שסמן האינפרא אדום ייגע במשטח המודל התלת-ממדי. מקם את סמן האינפרא אדום קרוב למרכז האובייקט התלת-ממדי כדי למזער אי דיוקים עקב אפקט המנוף.
  2. חבר את הסצנה עם תפריט בחירת מטופל
    1. לשימוש מעשי ובחירה של מקרים מרובים, חבר את סצנת המטופל לכפתור במסך התפריט. עבור אל נכסים > סצנות > סצנה בתפריט.
    2. בחלון ההיררכיה, עבור אל NearMenu4x2 ו- ButtonCollection ולאחר מכן אל הכפתור הרלוונטי.
    3. בחלון המפקח, עבור אל אירועים בסיסיים ותחת MenuScript.LoadScene הקלד את שם סצנת המטופל.
  3. הכנת ה- HMD לפריסה בפעם הראשונה
    הערה: סעיף זה נחוץ רק אם היישום נפרס בפעם הראשונה.
    1. היכנס למכשיר HMD (ראה טבלת חומרים) והגדר את המכשיר במצב מחקר. עבור אל הגדרות > עדכון ואבטחה > למפתחים > להפעיל תכונות למפתחים וגילוי מכשירים.
    2. התאם את ה-HMD למחשב (Wi-Fi או USB-C). אם זו הפעם הראשונה שאתה מתחבר, בצע את הפעולות הבאות: מצא את כתובת ה- IP של HMD בכרטיסיה מפתחים, מלא את כתובת ה- IP בדפדפן אינטרנט כדי להתחבר לפורטל ההתקנים ושייך את המכשיר על-ידי יצירת מספר זיהוי אישי ומילוי מספר הזיהוי האישי.
  4. בנה ופרוס את היישום ב-HMD
    1. הוסף את הסצנות ל-build על ידי מעבר אל File > Build Settings, והוסף את הסצנה בסדר הבא: תפריט > מעקב אחר סצנה על ידי לחיצה על הוסף סצנות פתוחות.
    2. בנה את הפרוייקט באמצעות הפלטפורמה האוניברסלית של Windows, מכשיר היעד HoloLens וארכיטקטורה x64. לחץ על בנה ובחר מפת build.
    3. פתח את קובץ הבנייה (.sln) עם Visual Studio 2019 ושנה את הפלטפורמה ל- ARM64. לאחר מכן פתח מאפיינים על ידי לחיצה ימנית על קובץ .sln בסייר הפתרונות ובתוך איתור באגים, הקלד את כתובת ה-IP של ה-HMD תחת שם מחשב.
    4. פרוס את היישום ב- HMD על-ידי בחירה באפשרות איתור באגים > התחל ללא איתור באגים.
    5. הפעל את HMD ופתח את היישום ההולוגרפי. לאחר מכן, נווט למסך תפריט המטופל ובחר את המקרה המתאים כדי ליזום הדמיה הולוגרפית והדרכה.

5. אימות הדמיה הולוגרפית של איברים נעים

  1. הדפסת פנטום מעוותת למחצה
    1. צור או השג מודל תלת מימד של פנטום כליות עם מבנים אנטומיים מציאותיים.
    2. ייבא את המודל התלת-ממדי לתוכנת מידול CAD תלת-ממדית ושלב חמש נקודות ציר רישום בצד המודל באמצעות Solid > Create > Hole > עם הגדרות סוג חור: פשוט, סוג ברז חור: פשוט, נקודת קידוח: זווית, גובה: 0.5 מ"מ וקוטר: 4.0 מ"מ.
    3. שלב צילינדר עם חור במודל התלת מימד כדי לקבע את חיישן הייחוס EM לשלבי אימות נוספים.
      1. צור סקיצה עם עיגול ועיגול פנימי בקוטר 2.8 מ"מ באמצעות עיגול בקוטר מרכזי. הוצא את המעגל החיצוני ב -16.5 מ"מ.
      2. שלבו את הגליל עם דגם התלת-ממד באמצעות Modify > Combine > Select 3D model and cylinder > Join > OK.
    4. ייצא את דגם התלת-ממד באמצעות הפונקציה Export או 3D print.
    5. השתמש בחוט גמיש או גמיש למחצה, כגון TPU, (ראה טבלת חומרים) כדי להדפיס את פנטום הכליה בהתאם להליך המתואר בשלב 2.2.
  2. הגדרת פורס תלת מימד באמצעות מערכת מעקב EM
    1. עיין בערכת הלימוד המקיפה של 3D Slicer ו-SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/) להגדרת מערכת EM עם 3D-Slicer.
      הערה: סעיף זה של הפרוטוקול מניח שההגדרה של 3DSlicer, תצורת מעקב EM וחיבור מובנת היטב ומוגדרת כהלכה.
    2. הנח את מחולל השטח של מערכת המעקב EM (ראה טבלת חומרים) ישירות מתחת לפנטום. הסר את כל החומרים הפרומגנטיים מהסביבה כדי למנוע חוסר הומוגניות בשדה האלקטרומגנטי.
    3. חבר את חיישן EM (ראה טבלת חומרים) ואת מצביע ה-EM (ראה טבלת חומרים) למערכת מעקב EM. ודא שהטרנספורמציות של כלים אלה מוצגות במדויק ב-3DSlicer.
    4. חבר את חיישן הייחוס EM (למשל, NDI Aurora 6DOF Cable Tool) לדגם התלת מימד על ידי אבטחתו בצילינדר עם דבק.
    5. ב-3D Slicer, ייבאו את הדגם התלת-ממדי עם נקודות ציר והקצו את נקודות ציון הדרך באופן דיגיטלי באמצעות אשף הרישום הנאמן > מקמו נקודת בקרה.
    6. בצע רישום ציוני דרך על ידי איתור נקודות ציון דרך בחיים האמיתיים באמצעות מצביע EM, לחץ על מקם נקודת בקרה ורשום אותן ב-3DSlicer. חשב את המרת הרישום הליניארי הקשיח על-ידי לחיצה על עדכון.
    7. לאחר הרישום, החל את טרנספורמציית הרישום על המודל התלת-ממדי כדי ליצור קישור בינו לבין חיישן הייחוס EM. לאחר מכן, אם המודל התלת-ממדי מועבר פיזית, המקביל הדיגיטלי שלו ב-3DSlicer אמור לזוז; בהתאם, אשר זאת חזותית על ידי התבוננות בתנועות.
  3. אימות הולוגרפי
    1. הפעל את המכשיר ופתח את היישום ההולוגרפי של שלב 4.4.5. לאחר מכן, נווט למודל התלת מימד הנכון של המטופל, המוצג גם ב-3DSlicer.
    2. קבע את סמן האינפרא אדום למקום הנכון באמצעות דבק, עם סמני האינפרא אדום המותאמים בגודל 6.4 מ"מ (ראה טבלת חומרים), כפי שמוצג בתכנון טרום הניתוח.
    3. השתמש במצביע EM כדי לאתר באופן דיגיטלי את נקודות היעד בהתבסס על תצוגה חזותית הולוגרפית. שמור את קבוצת הקואורדינטות של חיישן EM.
    4. חשב את השגיאה באיתור ציוני היעד בהשוואה לציוני הדרך הממוקמים כדי לאמת כמותית את ההדמיה ההולוגרפית.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פנטום כליה שימש כדי להדגים את הביצועים של מערכת מעקב אינפרא אדום למעקב אחר איברים ולאמת את מערך האימות ההולוגרפי באיברים נעים. זרימת העבודה המלאה מתוארת באיור 1.

ראשית, הכליה חולקה באופן אוטומטי למחצה על סמך נתוני MRI באמצעות כלי הסף ב-3DSlicer. המודל התלת-ממדי שהתקבל יוצא ויובא לתוכנת CAD תלת-ממדית כדי להפחית את ספירת המצולעים. מודל שני נשמר, וחמש נקודות מטרה שולבו במודל זה באמצעות כלי הכדור (איור 2). מודל זה שימש לאימות טכני של התצוגה ההולוגרפית. הגרסה הראשונה של הדגם, ללא נקודות מטרה, יובאה ל-Autodesk Fusion. חמש נקודות ציר שולבו בדגם זה, והצילינדר שולב כדי להקל על חיישן ה-EM. באמצעות תוכנת חיתוך תלת מימד הוכן מודל התלת מימד להדפסת תלת מימד. TPU עם צפיפות הדפסה של 8% שימש ליצירת משטח כליה גמיש מינימלי.

סמן אינפרא אדום סטנדרטי תוכנן, הודפס בתלת מימד וצויד בכדורים רפלקטיביים אינפרא אדום (קוטר 6.4 מ"מ). מסמן אינפרא אדום זה, הקואורדינטות של סמן האינפרא אדום נמדדו בקורלציה לנקודת המרכז. בתוך יישום התוכנה לפיתוח משחקים, יובא קובץ ה-JSON המכיל את הקואורדינטות של סמן האינפרא אדום. שנית, המודל התלת-ממדי של הכליה יובא, עם נקודות יעד למטרות אימות. כמו כן, למטרות הדמיה, מודל סמן האינפרא אדום יובא ותורגם למיקום הנקודות המיושמות על ידי קובץ ה- JSON. המודל התלת-ממדי הוסב למרכז סמן האינפרא-אדום (איור 3), והוחלו הצללות נוספות. לאחר שילוב סצנת תפריט המטופל, האפליקציה נפרסה ב-HMD.

בהתבסס על המיקום של סמני ה-IR, המודל התלת-ממדי ההולוגרפי מודגם על הכליה בתוך פנטום בטן ילדים באמצעות HMD (איור 4). היה לו קצב מעקב של 11.6 הרץ. עם זאת, למרחקים העולים על 60 ס"מ, ה-HMD מאבד את היכולת לעקוב אחר סמני האינפרא אדום. שנית, המעקב הרציף והרעש במעקב אחר סימון האינפרא אדום גורמים לשכבת העל ההולוגרפית להבהב, וכתוצאה מכך הדמיה לא מדויקת.

למטרות אימות, מערכת מעקב ה-EM חוברה ל-3D Slicer דרך שרת Plus. חיישן EM הוצב על כליית הפנטום לצורך מעקב (איור 2). לאחר רישום מבוסס נקודה, המודל התלת-ממדי נרשם עם דיוק חציוני של 0.59 מ"מ, שהוכיח את עצמו כשיטה מדויקת לאימות דיוק הולוגרפי (איור 5). שגיאת הלוקליזציה הנקודתית החציונית הייתה 8.74 מ"מ (טווח בין-רבעוני: 6.38 - 10.85), בהתבסס על קלט משלושה מנתחים (טבלה 1).

היישום של מערכת מעקב והדמיה זו של AR כרוך בפרוטוקול המשתרע על פני כ-45-60 דקות. רופא טכני מנוסה עם ניסיון של שנתיים ביצע את כל הפרוטוקול פעם אחת כדי לקבוע את משך השלבים האישיים של הפרוטוקול. יש לציין כי יש צורך לבצע שלבים מסוימים רק פעם אחת. השלבים החיוניים לכל מטופל כוללים סגמנטציה, שילוב מודלים בתוכנת פיתוח המשחק ותצורת סצנה. פילוח מבנים אנטומיים במקרים ספציפיים לחולה דורש זמן רב יותר יחסית בשל המבנים האנטומיים המרובים המעורבים, אך ניתן להשלים את פילוח הפרנכימה הכלייתית והגידול תוך 30 דקות. שילוב המודלים התלת-ממדיים המפולחים באפליקציה ויישור שלהם עם סמן האינפרא אדום דורש כ-5 דקות של התאמות ידניות. חיבור הסצנה הנכונה דורש לא יותר מחמש דקות. זמן הבנייה של פרויקט פיתוח המשחק משתנה בהתאם למפרטי החומרה, אך בדרך כלל נמשך כ-3 דקות, ולאחר מכן כ-10 דקות לפריסה ב-HoloLens 2. בסך הכל, למעט מערך האימות, פרוטוקול זה מדגים שיטה למעקב אחר איברים נעים במסגרות פרה-קליניות.

figure-results-1
איור 1: סקירה סכמטית של זרימת העבודה. זרימת העבודה מציגה את השלבים הנדרשים לכל מטופל בסביבת פנטום, כולל השלב הטרום ניתוחי, השלב ההולוגרפי והשלב התוך ניתוחי. השלב הטרום ניתוחי מורכב מפילוח (ראה שלב 3) הדמיה רפואית טרום ניתוחית. הכנת היישום ההולוגרפי מורכבת מתכנון וירטואלי של מיקום סמן האינפרא אדום על המודל התלת-ממדי (ראה שלב 4). בשלב התוך ניתוחי, המנתחים יכולים לבחור את המטופל הנכון ולתקן את סמן האינפרא אדום להדמיה הולוגרפית ומעקב רציף. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-results-2
איור 2: סקירה כללית של פנטומים בכליות המשמשים במתודולוגיית האימות. משמאל: הולוגרמה תלת מימדית של הכליה עם נקודות המטרה והמיקום הווירטואלי של סמן האינפרא אדום. באמצע: פנטום תלת מימד עם חיישן EM משולב ונקודות ציר לרישום. מימין: פנטום מודפס בתלת מימד, עם סמן אינפרא אדום וצילינדר לחיישן EM, המשמש להליך האימות. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-results-3
איור 3: הכנת היישום ההולוגרפי בתוכנת פיתוח המשחקים. מודל הכליה הופך לסמן אינפרא אדום. שנית, הצללות מוחלות על הכליה ועל נקודות היעד. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-results-4
איור 4: הדמיה הולוגרפית של ניסוי הפנטום. משמאל: מיקום סמן האינפרא אדום על הכליה. מימין: הדמיה הולוגרפית של נקודות מטרה בסדר הנכון (1 עד 5). תזוזה של ההדמיה ההולוגרפית נגרמת על ידי הריצוד במעקב אחר סמן האינפרא אדום. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-results-5
איור 5: הגדרה מפרוטוקול אימות מעקב EM עבור ויזואליזציה הולוגרפית של איברים נעים. ירוק, אדום וכחול מדמיינים את הטרנספורמציה של כלי ה-EM הדרושים לאימות. צהוב וירוק מדמיינים את השינוי בנוגע לתצוגה המותקנת על הראש (HMD). אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

משתתףמדידהGT-X (מ"מ)GT-Y (מ"מ)GT-Z (מ"מ)נקודה-X (מ"מ)נקודה-Y (מ"מ)נקודה-Z (מ"מ)PLE (מ"מ)
מנתח 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
מנתח 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
מנתח 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

טבלה 1: עבור כל מדידה, מסופקות קואורדינטות האמת הקרקעית (GT) של ציוני הדרך, קואורדינטות מיקום הנקודה המתאימות להן, וה-PLE הנמדד עבור כל המנתחים.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול המוצג מתאר גישה למעקב אחר איברים בזמן אמת והדמיה הולוגרפית, כולל אימות להזזת גידולים ואיברים בסביבת פנטום. מינוף מעקב מבוסס סמן אינפרא אדום עם HMD, לשיטה זו יש פוטנציאל לשמור טוב יותר על שכבות הולוגרפיות אנטומיות נכונות במהלך מניפולציה של איברים נעים. למרות יישומה למעקב אחר הכליה, ניתן לחקור שיטה זו גם בתחומים קליניים אחרים, כגון ניתוח פתוח לכבד או לריאות, עם התאמות מינימליות בפרוטוקול הפילוח. שנית, ניתן להשתמש בסמני אינפרא אדום בטכניקות כירורגיות שונות, כגון ניתוח לפרוסקופי. במקרים כאלה, ניתן לזהות מדבקות רפלקטיביות אינפרא אדום בתמונות לפרוסקופיות כדי לעקוב אחר איברים, כלים או ציוני דרך אנטומיים. עם זאת, יישום טכניקה זו בתחומים קליניים אחרים או בטכניקות כירורגיות עלול להציג שגיאות עקב שינויים בעיוות של איבר המטרה או מגבלות טכניות, כגון שדה ראייה מוגבל, הדורשים אימות בניסויים פרה-קליניים.

שלב 1 של הפרוטוקול מתמקד בעיקר בהגדרת כלי החומרה והתוכנה הדרושים. הגדרה זו דורשת יישומים ושלבים רבים, לכן חיוני שכל חבילות התוכנה יותקנו כהלכה, כולל כל ההרחבות הדרושות, כדי למנוע בעיות פריסה במורד הזרם. לא צפוי שגרסאות שונות של תוכנה יגרמו לבעיות, למרות שהשילוב של תוכנת פיתוח המשחקים וסביבת הפיתוח המשולבת הוא קריטי.

בשלב 2 מתואר תהליך יצירת סמני אינפרא אדום מותאמים אישית. שלב זה הופך חשוב במיוחד אם המעקב ישמש ליישומים אחרים. הגמישות לשנות את צורת סמן האינפרא אדום מבטיחה את התאמתו הפוטנציאלית ליישומים פרה-קליניים מגוונים. יתר על כן, משתמשים יכולים לחקור אפשרויות עיצוב שונות כדי לשפר את היצמדות סמן האינפרא אדום לפני השטח של איבר ולשפר את הדיוק של מעקב אחר סמן האינפרא אדום. בנוסף, בדיקת קוטר סמן אינפרא אדום מרובה יכולה להוביל לזיהוי משופר למרחקים העולים על 60 ס"מ.

בשלב 3, מתואר מודלים תלת מימדיים ספציפיים למטופל המבוססים על הדמיה רפואית. פילוח מדויק של הכליה והגידול הוא קריטי, מכיוון שהוא משפיע ישירות על דיוק ההנחיה הכירורגית. פילוח לקוי עלול לגרום להדמיות מטעות הפוגעות בדיוק הכירורגי19. שנית, שלב זה הוא הגוזל ביותר זמן. שילוב שיטות פילוח אוטומטיות לחלוטין יכול לזרז את הפרוטוקול, להפחית את הצורך בהתאמות ידניות וחצי אוטומטיות תוך הבטחת פילוח אנטומי מדויק20. אופטימיזציה של ספירת המצולע היא חיונית להשגת ביצועי עיבוד AR מיטביים. אם מיטוב זה אינו מבוצע, ביצועי ה- HMD נפגעים באופן משמעותי.

בשלב 4, מתוארת התצורה של היישום ההולוגרפי, לאחר היישום של DINO-DLL. היבט קריטי אחד הוא יישור נכון בין מיקומי סמני האינפרא אדום לבין המודלים האנטומיים ההולוגרפיים, מכיוון שהדבר משפיע על דיוק הרישום הידני. במיוחד, יש למזער את אפקט המנוף כדי למנוע אי דיוק במרחקים נוספים ממרכז סמן האינפרא אדום. שיפורים נוספים עשויים לכלול יישום שיטות רישום נוספות. יתר על כן, המערכת הנוכחית מציגה קצב מעקב מקובל להדמיה רציפה, התואמת את הספרות21. שלישית, שיפורים נוספים צריכים לכלול הטמעת מסנן קלמן כדי להפחית את הרעש בנתוני המעקב אחר סמני האינפרא אדום, ובכך לבטל את הריצוד של הדמיה הולוגרפית.

בשלב 5, המסגרת מספקת שיטת אימות הולוגרפית המשתמשת במעקב EM. פרוטוקול זה שימושי לאימות הדיוק של הולוגרמות בסביבת פנטום, מכיוון שהוא מספק הערכה כמותית של דיוק הולוגרפי עבור איברים נעים. צעד מכריע כאן הוא האינטגרציה המדויקת של חיישני מעקב EM בתוך פנטומים מודפסים בתלת מימד הניתנים לעיוות למחצה. על המשתמשים להבטיח כיול מדויק של חיישני EM ורישום ציוני דרך ב-3D Slicer. אם מתרחשות שגיאות אימות, רישום מחדש או הסרה של אובייקטים מתכתיים כלשהם יכולים לשפר את דיוק האימות. כדי לאמת עוד יותר את ההיתכנות הקלינית, ניתן להשתמש באיברים ex vivo כדי לדמות בצורה מדויקת יותר את רקמת הניתוח22.

פרוטוקול זה משמש כמדריך מקיף לחוקרים שמטרתם ליישם פתרונות AR למעקב אחר איברים ולאמת מערכות אלה בניסויי פנטום. בנוסף, הוא מספק מערך אימות ישים רחב שניתן להשתמש בו בקלות בתרחישים קליניים שונים, במיוחד לאימות שיטות AR להזזת איברים. בהתחשב במורכבות של פריסת יישומים הולוגרפיים, מסגרת זו מקלה על המעבר מפתרונות מבוססי AR רעיוניים לאימות פרה-קליני.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין מה לחשוף.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

אנו מודים להישאם איקבאל על מומחיותו ותמיכתו בהקמת מעקב אחר סמני אינפרא אדום באמצעות HoloLens 2, המבוסס על מאגר DINO-DLL הפתוח.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
כלי פריסה תלת-ממדיים (v5.6.2)מבצעהלא ישיםתוכנת פילוח תמונות רפואיות והכרחית לאימות מעקב אלקטרומגנטי
6.4 מ"מ (1/4 אינץ') סמני M3 סמני אינפרא אדוםאופטיטראקלא ישיםכדורים רפלקטיביים אינפרא אדום שיש לחבר לסמן למעקב 
Autodesk Fusion 360 (גרסה 2.0.21508)אוטודסקלא ישיםתוכנת CAD לתכנון סמני אינפרא אדום ופנטומים
סטודיו במבו (v01.09.07.52)מעבדת במבולא ישיםתוכנת חיתוך הדפסת תלת מימד למדפסות תלת מימד של במבו
במבו X1 פחמןמעבדת במבולא ישיםמדפסת תלת מימד המשמשת לסמני אינפרא אדום ודגמי פנטום
HoloLens 2מיקרוסופטלא ישיםתצוגת מציאות רבודה המותקנת על הראש להדמיית AR
IRTrackingOrgans_HoloLens קוד פתוחלא ישיםיישום מבוסס Unity התומך במעקב אחר סמני IR
MeshMixer (גרסה 3.5.0)אוטודסקלא ישיםמשמש לעריכת רשת והקטנת מצולעים
NDI אורורהנורת'רן דיגיטל בע"מלא ישיםמערכת מעקב אלקטרומגנטית לאימות
כלי כבלים NDI Aurora 6DOFנורת'רן דיגיטל בע"מלא ישיםחיישן לרישום תנועה של איברי פנטום
בדיקת NDI Aurora 6DOFנורת'רן דיגיטל בע"מלא ישיםמשמש לזיהוי מיקומים של ציוני דרך בפנטום
נימה של חומצה פולילקטיתכל יצרןלא ישיםנימה להדפסת חלקים קשיחים כמו סמני אינפרא אדום
נימה פוליאוריטן תרמופלסטיתכל יצרןלא ישיםנימה גמישה למחצה להדפסת פנטום כליות מעוות
Unity Hub (v3.11.1) ו-Unity (v2019.4.22f1)יוניטי טכנולוגיותלא ישיםתוכנה לפיתוח משחקים לפיתוח ופריסה של יישומי AR
סטודיו חזותי 2019מיקרוסופטלא ישיםIDE נדרש לשילוב ופריסה של Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles