גישה טכנית למעקב אינפרה-אדום עבור ניווט ברקמות רכות עם תצוגה הולוגרפית המותקנת על הראש ואימות פרה-קליני

היקף המחקר במרכז הנסיכה מקסימה לאונקולוגיה ילדים הוא לפתח ולתקף מערכת מציאות רבודה. מערכת זו צריכה ליישר במדויק הולוגרמות של איברים נעים. אחד האתגרים הניסויים הנוכחיים הוא לאמת שההולוגרמה נשארת מיושרת במדויק עם המיקום בזמן אמת של איבר נע.

נכון לעכשיו, טכניקות אימות מציאות רבודה תוארו רק עבור מבנים אנטומיים קשיחים כמו עצמות. עם זאת, הפרוטוקול שלנו מציע את היתרון שניתן להשתמש בו כדי לאמת מציאות רבודה גם עבור איברים נעים. כדי להתחיל, פתח את תוכנת העיצוב בעזרת מחשב תלת מימד וצור קובץ חדש.

בחר את הכרטיסיה Solid ולחץ על Create Sketch כדי להתחיל עיצוב חדש עבור סמן אינפרא-אדום. הוסף שלושה או ארבעה עיגולים קטנים בקוטר של שלושה מילימטרים על ידי לחיצה על עיגול קוטר מרכזי. בעזרת הכלי קו, חבר את קודקודי המשולש לנקודות האמצע של הצלעות הנגדיות וצייר קווים המחברים את העיגולים כדי לחשב את נקודת המרכז.

בנקודת המרכז, ציירו עיגול באמצעות 'עיגול בקוטר מרכז', ולאחר מכן ציירו מלבנים המחברים את העיגול המרכזי עם כל אחד מהעיגולים הקטנים יותר בעזרת הכלי 'מלבן' בעל שתי נקודות. הוציא את הבסיס העגול המרכזי ואת מלבני החיבור לעובי של שני מילימטרים. הוציא את העיגולים הקטנים יותר לעובי של חמישה מילימטרים.

לחץ על צור, ולאחר מכן בחר שרשור והוסף חוטים לשלושת המדוכים באמצעות פרופיל מטרי ISO כדי להתאים לכדורים רפלקטיביים אינפרא אדום בגודל 6.4 מילימטר. בעזרת הפונקציה 3D Print או Export, ייצאו את הדגם הסופי כקובץ אובייקט. בתוכנת העיצוב בעזרת מחשב תלת-ממדי, בחר מדידה כדי למדוד את קואורדינטות x, y ו-z של הכדורים הרפלקטיביים האינפרא-אדומים ביחס לנקודת המרכז.

מדוד את מיקומי נקודות המרכז של כל עיגול קטן בקורלציה למרכז הצורה כולה. הפעל את תוכנת פיתוח המשחקים. ייבא את קובץ הפרוייקט IRTrackingOrgans_HoloLens ופתח את הפרויקט.

בעזרת עורך טקסט, פתח את קובץ JavaScript Object Notation שנשמר בתיקייה Assets או StreamingAssets. התאם את file כדי להגדיר את סמן האינפרא אדום המותאם אישית באמצעות הקואורדינטות שהוקלטו בעבר ובהתאם לפורמט ברירת המחדל. בכרטיסייה DINO Unity, בחר את ToolManager, לחץ על ResearchModeController, ולאחר מכן על קובץ JSON והמרת אב ולאחר מכן לחץ על צור אובייקטים החל הגדרת JSON.

ייבא את דגם הסמן התלת-ממדי האינפרא-אדום שנוצר. בחר את המודל התלת-ממדי הספציפי למטופל ושנה את קואורדינטות השינוי שלו בחלון הסוקר כך שיתאימו למיקום הסמנים שנוצרו בסצנה. לאחר מכן גרור את המודל התלת-ממדי הספציפי למטופל לתוך הסצנה כדי להכניס אותו.

שנה את המודל התלת-ממדי של המטופל כדי ליישר את סמן האינפרא אדום לפני השטח שלו. מקם את סמן האינפרא אדום קרוב למרכז הדגם כדי להפחית את שגיאת המיקום מאפקט המנוף. כעת, חבר את סצנת המטופל לכפתור במסך התפריט כדי לאפשר בחירות מרובות של מקרים.

נווט אל עבור אל נכסים, סצנות וסצנת תפריט. בחלון ההיררכיה, עבור אל NearMenu4x2, לאחר מכן אל ButtonCollection, ובחר את הלחצן הרלוונטי. בחלון המפקח, עבור אל אירועים בסיסיים ותחת MenuScript.

LoadScene, הקלד את שם סצנת המטופל. צור או השג מודל תלת מימד של פנטום כליות עם מבנים אנטומיים מציאותיים. ייבא את מודל התלת מימד לתוכנת מידול CAD תלת מימדית.

לאחר מכן השתמש בפונקציות Solid, Create ו-Hole כדי לשלב חמש נקודות ציר רישום בצד המודל. הגדר את סוג החור לפשוט, סוג ברז חור לפשוט, נקודת קידוח לזווית, גובה ל-0.5 מילימטרים וקוטר ל-4.0 מילימטרים. כדי לקבע את חיישן הייחוס האלקטרומגנטי, צור גליל עם חור ושלב אותו במודל הכליות.

התחל סקיצה חדשה והשתמש במעגל בקוטר מרכז כדי לצייר עיגול ועיגול פנימי בקוטר של 2.8 מילימטרים. הוצא את המעגל החיצוני ב -16.5 מילימטרים. לאחר מכן עבור אל שינוי, ולאחר מכן שילוב.

בחר גם את מודל הכליה התלת-ממדית וגם את הגליל, בחר Join ואשר בלחיצה על OK. לאחר מכן השתמש בפונקציה Export או 3D Print כדי לייצא את הדגם המשולב הסופי. לאחר מכן, השתמש בחוט גמיש או גמיש למחצה, כגון פוליאוריטן תרמופלסטי, כדי להדפיס את פנטום הכליה בעקבות ההליך שתואר קודם לכן. מקם את מחולל השדה של מערכת המעקב האלקטרומגנטית ישירות מתחת לפנטום הכליות המודפס.

הסר את כל העצמים הפרומגנטיים מהסביבה שמסביב כדי למנוע חוסר הומוגניות בשדה האלקטרומגנטי. לאחר מכן חבר את החיישן האלקטרומגנטי ואת המצביע האלקטרומגנטי למערכת המעקב. חבר את חיישן הייחוס האלקטרומגנטי לדגם התלת מימד על ידי קיבועו היטב בתוך הגליל באמצעות דבק.

בפורס תלת מימד, ייבא את מודל הכליות התלת-ממדי המכיל את נקודות הציר. השתמש באשף הרישום האישי. בחר מקם נקודת בקרה והקצה באופן דיגיטלי את ציוני הדרך של הרישום.

כדי לבצע רישום של ציוני דרך ב-3D Slicer, השתמש במצביע האלקטרומגנטי כדי לאתר את נקודות ציון הדרך הפיזיות. לחץ על מקם נקודת בקרה בכל מיקום פיזי כדי לרשום אותם בתוכנה. לאחר מכן חשב את המרת הרישום הליניארי הנוקשה על-ידי לחיצה על עדכון.

כעת, החל את טרנספורמציית הרישום המחושבת על המודל התלת-ממדי כדי לקשר אותו עם חיישן הייחוס האלקטרומגנטי. הזיזו את המודל הפיזי וודאו שהגרסה הדיגיטלית ב-3D Slicer עוקבת אחר התנועה שלו. הפעל את התקן התצוגה ההולוגרפית ופתח את היישום ההולוגרפי שהוגדר קודם לכן.

לאחר מכן נווט אל המודל התלת-ממדי הספציפי הנכון למטופל שמוצג כעת ב-3D Sפורס. כעת, חבר את סמן האינפרא אדום למיקום שצוין באמצעות דבק, וודא שהכדורים הרפלקטיביים האינפרא אדום בגודל 6.4 מילימטר נמצאים במקומם בהתאם להנחיית התכנון לפני הניתוח. השתמש במצביע האלקטרומגנטי כדי לזהות באופן דיגיטלי את נקודות היעד כפי שהן נראות באמצעות ההדמיה ההולוגרפית.

שמור את הסט המתקבל של קואורדינטות חיישן EM. חשב את השגיאה על ידי השוואת קואורדינטות היעד השמורות לציוני הדרך הממוקמים בפועל כדי לאמת את הדיוק של ההדמיה ההולוגרפית. בקרב כל המשתתפים, שגיאת לוקליזציה נקודתית, או PLE, הראתה ערך חציוני של 8.74 מילימטרים, עם מדידות בודדות שנעו בין 2.78 ל-13.20 מילימטרים.

מנתח 2 השיג באופן עקבי את מדידות ה-PLE הנמוכות ביותר, כולל שני הלוקליזציות המדויקות ביותר ב-2.78 ו-3.48 מילימטרים. שגיאת הלוקליזציה הגדולה ביותר נצפתה במהלך המדידה השלישית על ידי מנתח 3 עם PLE של 13.20 מילימטרים. פרוטוקול זה יסייע לאחרים בפריסת פרויקטים הולוגרפיים ואימות מדויק של מערכת המציאות הרבודה שלהם בסביבה פרה-קלינית.

קבוצת המחקר הכירורגית שלנו תתחיל בקרוב עם מעקב הולוגרפי אוטומטי עבור מקרים כירורגיים מרובים של ילדים. המעקב אחר האיברים הנעים מבוסס על אלגוריתמים של למידת מכונה והזנות מצלמות RGB.