Summary
הציג כאן היא שיטה לעצב יישום החכם המציאות הרבודה עבור ויזואליזציה של מודלים אנטומיים תלת ממדיים של חולים באמצעות סמן הפניה 3D מודפס.
Abstract
מציאות רבודה (AR) יש פוטנציאל רב בתחום החינוך, ההכשרה וההדרכה הכירורגית בשדה הרפואי. השילוב שלה עם תלת מימדי (3D) הדפסה (3 DP) פותח אפשרויות חדשות ביישומים קליניים. למרות שטכנולוגיות אלה גדלו באופן אקספוננציאלי בשנים האחרונות, האימוץ שלהם על ידי רופאים עדיין מוגבל, שכן הם דורשים ידע נרחב של הנדסה ופיתוח תוכנה. לכן, המטרה של פרוטוקול זה היא לתאר מתודולוגיה צעד אחר צעד המאפשרת למשתמשים לא מנוסים ליצור app smartphone, אשר משלבת AR ו 3DP עבור ויזואליזציה של מודלים אנטומיים תלת-ממדיים של חולים עם סמן 3Dp-הפניה מודפס. הפרוטוקול מתאר כיצד ליצור 3D מודלים וירטואליים של האנטומיה של החולה נגזר תמונות רפואיות 3D. לאחר מכן הוא מסביר כיצד לבצע מיקום של דגמי תלת-ממד ביחס להפניית סמן. מסופקים גם הוראות כיצד 3D להדפיס את הכלים הדרושים ומודלים. לבסוף, צעדים לפריסת האפליקציה מסופקים. הפרוטוקול מבוסס על תוכנה חופשית ומרובת פלטפורמות והוא יכול להיות מיושם על כל הדמיה רפואית מודאלית או חולה. גישה חלופית מתוארת על מנת לספק רישום אוטומטי בין מודל תלת-ממדי שנוצר מהאנטומיה של המטופל לבין הולוגרמות המתוכננות. לדוגמה, מקרה קליני של חולה הסובל מסרקומה של הרגל המרוחק מסופק כדי להמחיש את המתודולוגיה. הוא צפוי כי פרוטוקול זה יהיה להאיץ את אימוץ טכנולוגיות AR ו 3DP על ידי אנשי מקצוע רפואיים.
Introduction
AR ו-3DP הם טכנולוגיות המספקים מספר גדל והולך של יישומים בתחום הרפואי. במקרה של AR, האינטראקציה שלה עם דגמי תלת-ממד וירטואליים והסביבה האמיתית מטבות לרופאים לגבי חינוך והכשרה1,2,3, תקשורת ואינטראקציות עם רופאים אחרים4, והדרכה במהלך התערבויות קליניות5,6,7,8,9,10. כמו כן, 3dp הפך לפתרון רב עוצמה עבור רופאים כאשר פיתוח כלים ספציפיים ללקוח להתאמה אישית11,12,13 או יצירת דגמי תלת-ממד של האנטומיה של החולה, אשר יכול לעזור לשפר את תכנון preאופרטיבית התערבויות קליניות14,15.
הן טכנולוגיות AR ו-3DP לעזור לשפר את האוריינטציה, הדרכה, ומיומנויות מרחבית בהליכים רפואיים; לכן, השילוב שלהם הוא הצעד הלוגי הבא. העבודה הקודמת הוכיחה כי השימוש המשותף שלהם יכול להגדיל את הערך בחינוך החולה16, הקלה על הסברים של מצבים רפואיים הציע טיפול, אופטימיזציה של זרימת עבודה כירורגית17,18 ושיפור מטופל לדגם הרישום19. למרות שטכנולוגיות אלה גדלו באופן אקספוננציאלי בשנים האחרונות, האימוץ שלהם על ידי רופאים עדיין מוגבל, שכן הם דורשים ידע נרחב של הנדסה ופיתוח תוכנה. לכן, מטרת העבודה היא לתאר מתודולוגיה צעד-אחר-צעד המאפשרת שימוש ב-AR ו-3DP על-ידי משתמשים לא מנוסים, ללא צורך בידע טכני רחב.
פרוטוקול זה מתאר כיצד לפתח app החכם AR המאפשר את המרשים של כל מודל 3D מבוסס החולה על סביבת העולם האמיתי באמצעות סמן 3D מודפס מעקב על ידי מצלמת הטלפון החכם. בנוסף, גישה חלופית מתוארת כדי לספק רישום אוטומטי בין 3D מודפס ביודל (כלומר, דגם תלת-ממד שנוצר מתוך האנטומיה של המטופל) ואת הולוגרמות מוקרן. הפרוטוקול המתואר מבוסס לחלוטין על תוכנה חופשית ומרובת פלטפורמות.
בעבודה קודמת, הרישום מטופל לתמונה חושב באופן ידני5 עם אלגוריתמים של זיהוי פני שטח10 או לא זמין2. שיטות אלה נחשבו מוגבלות במקצת כאשר נדרש רישום מדויק19. כדי להתגבר על מגבלות אלה, עבודה זו מספקת כלים לביצוע רישום מדויק ופשוט לתמונה בהליכים AR על ידי שילוב טכנולוגיית AR ו 3DP.
הפרוטוקול הוא גנרי וניתן להחילו על כל הדמיה רפואית או מטופל. כדוגמה, מקרה קליני אמיתי של חולה הסובל סרקומה של הרגל המרוחק מסופק כדי להמחיש את המתודולוגיה. השלב הראשון מתאר כיצד לפלח בקלות את האנטומיה המושפעת מטומוגרפיה ממוחשבת (CT) כדי ליצור מודלים וירטואליים תלת-ממדיים. לאחר מכן, המיקום של דגמי תלת-ממד מבוצע, ולאחר מכן הכלים והמודלים הדרושים הם תלת-ממד מודפסים. לבסוף, יישום AR הרצוי נפרס. יישום זה מאפשר ויזואליזציה של מודלים 3D החולה המצופים במצלמת הטלפון החכם בזמן אמת.
Protocol
מחקר זה בוצע בהתאם לעקרונות של 1964 הצהרת הלסינקי כפי שתוקן ב 2013. נתוני המטופל והתמונות הכלולים בנייר זה משמשים לאחר קבלת הסכמה מושכלת בכתב מתוך המשתתף ו/או הנציג המשפטי שלהם, בו אישר את השימוש בנתונים אלה לצורך הפצת פעילויות כולל פרסומים מדעיים.
1. הגדרת תחנת עבודה עבור פילוח, 3D מודלים חילוץ, מיקום, ו AR יישום פריסה
הערה: פרוטוקול זה נבדק עם גירסת התוכנה הספציפית המצוינת עבור כל כלי. סביר להניח שהוא יפעל עם גירסאות חדשות יותר, למרות שהוא אינו מובטח.
- השתמש במחשב עם Microsoft Windows 10 או Mac OS כמערכות הפעלה.
- התקן את הכלים הבאים מאתרי האינטרנט המתאימים לפי ההנחיות הרשמיות:
מבצעה תלת מימד (v 4.10.2): https://download.slicer.org/.
מיקסר (v. 3.5): http://www.meshmixer.com/download.html.
אחדות (v. 2019): https://unity3d.com/get-unity/download.
(עבור הטמעה של iOS בלבד) Xcode (הגירסה האחרונה): https://developer.apple.com/xcode/.
הערה: כל כלי התוכנה הנדרשים להשלמת הפרוטוקול ניתן להורדה באופן חופשי למטרות אישיות. תוכנה לשימוש בכל שלב תצוין במפורש. - הורד נתונים ממאגר GitHub הבא שנמצא ב- https://github.com/BIIG-UC3M/OpenARHealth.
הערה: המאגר כולל את התיקיות הבאות:
"/3dserosb": 3D מודול מבצעה למיקום דגמי תלת-ממד ביחס לסמן תלת-ממד מודפס. . משמש בסעיף 3 הוסיפו את המודול לפורס תלת-ממד בעקבות ההוראות הזמינות ב- https://github.com/BIIG-UC3M/OpenARHealth.
"/Mdn/מPatient000_CT. nrrd": CT של חולה הסובל מאוסרקומה ברגל המרוחק. הפרוטוקול מתואר באמצעות תמונה זו כדוגמה.
"//נתונים/ביודלם/": מודלים תלת-ממדיים של המטופל (עצם וגידול).
"//Data/markers/": סמנים יהיה 3D-מודפס, אשר יזוהו על ידי יישום AR כדי למקם את דגמי תלת-ממד וירטואליים. יש שני סמנים זמינים.
2. יצירת ביואודל
הערה: המטרה של סעיף זה היא ליצור דגמי תלת-ממד של האנטומיה של המטופל. הם יקבלו על ידי החלת שיטות פילוח לתמונה רפואית (כאן, באמצעות תמונת CT). התהליך מורכב משלושה שלבים שונים: 1) טעינת נתוני המטופל לתוך תוכנת מבצעה 3D, 2), פילוח של כרכים אנטומיה היעד, ו 3) ייצוא של פילוח כמודלים תלת-ממדיים בפורמט האובייקט. המודלים 3D שנוצר יהיה לדמיין ביישום AR הסופי.
- טעינת נתוני המטופל ("/moddsnnnmn/Patient000_CT)") על-ידי גרירת קובץ התמונה הרפואית לחלון התוכנה לפורס תלת-ממד. לחץ על אישור. התצוגות CT (צירית, משונן, coronal) יופיעו על החלונות המתאימים.
הערה: הנתונים המשמשים כאן מצוי בתבנית "נתוני רסטר כמעט גולמיים" (NRRD), אך האפשרות ' פריסה תלת-ממדית ' מאפשרת טעינה של קבצים בתבנית תמונה רפואית (DICOM). עבור לקישור הבא לקבלת הוראות נוספות, שנמצאו ב- https://www.slicer.org/wiki/Documentation/4.10/Training. - כדי לפלח את האנטומיה של המטופל, עבור אל מודול עורך פלח בפורס תלת-ממדי.
- פריט "פילוח" נוצר באופן אוטומטי בעת הזנת המודול. בחר את אמצעי האחסון הרצוי (תמונה רפואית של המטופל) במקטע אמצעי אחסון ראשי . לאחר מכן, לחץ לחיצה ימנית למטה בלחצן הוסף כדי ליצור מקטע. מקטע חדש ייווצר עם השם "Segment_1".
- יש פאנל בשם אפקטים המכילים מגוון של כלים כדי לפלח כראוי את אזור היעד של התמונה הרפואית. בחר את הכלי הנוח ביותר עבור היעד והפלח אל אזור חלונות התמונה.
- כדי לפלח את העצם (שוקה ושולה במקרה זה), השתמש בכלי הסף כדי להגדיר ערכי HU מינימום ומקסימום מתמונת ה-CT, המתאימה לרקמת העצם. באמצעות כלי זה, רכיבים אחרים עם HU מחוץ לערכי הסף הללו מוסרים, כגון רקמה רכה.
- השתמש בכלי מספריים כדי להסיר אזורים לא רצויים, כגון המיטה או מבנים אנטומיים אחרים, מתוך המסיכה המקוסרת. פלח את סרקומה באופן ידני באמצעות לצייר ולמחוק כלים, מאז הגידול קשה מתאר עם כלים אוטומטיים.
הערה: כדי ללמוד פרטים נוספים אודות הליך הפילוח, עבור אל הקישור שנמצא ב- https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- לחצו על הלחצן ' הצג תלת-ממד ' כדי להציג ייצוג תלת-ממדי של הפילוח.
- ייצוא הפילוח בתבנית קובץ דגם תלת-ממד על-ידי הולך למודול Segmentations בפורס תלת-ממד.
- עבור אל ייצוא/ייבוא מודלים ומפות תוויות. בחר באפשרות ' ייצוא ' במקטע הפעולה ובמודלים במקטע סוג הפלט. לחץ על ' ייצוא ' כדי לסיים וליצור את דגם התלת-ממד מהאזור המקוק.
- בחרו ' שמור ' (שמאל עליון) כדי לשמור את הדגם. בחר את הרכיבים שיישמרו. לאחר מכן, שנה את תבנית הקובץ של דגם התלת-ממד ל-"אובייקטים" בתוך עמודת תבנית הקובץ . בחר את הנתיב שבו הקבצים יאוחסנו ולחץ על שמור.
- חזור על שלבים 2.2 ו-2.3 כדי ליצור מודלים תלת-ממדיים נוספים של אזורים אנטומיים שונים.
הערה: מודלים מקוטעת מראש של הדוגמה שסופקה ניתן למצוא בנתונים שהורדו בעבר בשלב 1.3 ("/Mdsob).
3. מיצוב ביואודל
הערה: בסעיף זה, דגמי התלת-ממד שנוצרו בסעיף 2 ימוקמו ביחס לסמן לצורך הדמיית מציאות מורחבת. Arhealth: מודל מיקום מודול מבצעה 3d ישמש עבור משימה זו. בצע את ההוראות המופיעות בשלב 1.3 כדי להוסיף את המודול לפורס תלת-ממדי. קיימות שתי חלופות שונות למיקום המודלים התלת-ממדיים: מצב "הדמיה" ומצב "רישום".
- מצב הדמיה
הערה: מצב הדמיה מאפשר מיקום של דגמי החולה תלת-ממד בכל מיקום ביחס לסמן AR. באמצעות אפשרות זו, המשתמש מסוגל להשתמש ביישום AR כדי להמחיש ביודלים באמצעות הסמן AR מודפס 3D כהפניה. במצב זה ניתן להשתמש כאשר דיוק אינו נדרש, ויזואליזציה של המודל הווירטואלי ניתן להציג בכל מקום בתוך שדה-of-התצוגה של מצלמת הטלפון החכם וסמן.- עבור אל Arhealth: מיקום מודל מודול, ו (במקטע אתחול) בחר מצב הדמיה . לחץ על טען מודל סמן כדי לטעון את סמן עבור אפשרות זו.
- טען את דגמי תלת-ממד שנוצרו בסעיף 2 על-ידי לחיצה על הלחצן ... כדי לבחור את הנתיב של המודלים שנשמרו מסעיף 2. לאחר מכן, לחץ על לחצן טען מודל כדי לטעון אותו בפורס תלת-ממדי. . מודלים חייבים להיות טעונים אחד בכל פעם כדי למחוק את כל המודלים שנטענו קודם לכן, לחץ על מודל זה ואחריו לחצן הסר מודל , או לחץ על הסר הכל כדי למחוק את כל המודלים שנטענו בבת אחת.
- לחצו על הלחצן ' סיום ' ו'מרכז ' כדי למרכז את כל המודלים בתוך הסמן.
- ניתן לשנות את המיקום, הכיוון ושינוי הגודל של דגמי תלת-ממד ביחס לסמן עם פסי מחוון שונים (כלומר, תרגום, סיבוב, קנה מידה).
הערה: יש לחצן נוסף "איפוס מיקום" כדי לאפס את המיקום המקורי של המודלים לפני ביצוע שינויים כלשהם במיקום. - שמור את המודלים במיקום זה על-ידי בחירת הנתיב לאחסון הקבצים ולחיצה על הלחצן ' שמור מודלים '. דגמי תלת-ממד יישמרו עם שם הסיומת "_registered. אובייקטים".
- מצב רישום
הערה: מצב ההרשמה מאפשר שילוב של סמן AR עם אחד 3d ביואודל בכל מיקום רצוי. אז, כל קטע של דגמי תלת-ממד משולבים (כולל סמן AR) ניתן לחילוץ ו-3D מודפס. כל הבאודלים יוצגו באפליקציה AR באמצעות זה משולב 3D-מודפס ביואודל כהפניה. מצב זה מאפשר למשתמש לרשום בקלות את המטופל (כאן, קטע של העצם של המטופל) ומודלים וירטואליים באמצעות סמן התייחסות.- עבור אל Arhealth: מיקום מודל מודול, ו (בסעיף אתחול) בחר מצב רישום . לחץ על טען מודל סמן כדי לטעון את סמן עבור אפשרות זו.
- לטעון את המודלים כפי שנעשה בשלב 3.1.2.
- להעביר את דגמי תלת-ממד ולהבטיח את החיתוך שלהם עם המבנה התומך של סמן הקוביה, מאז מודלים אלה ישולבו ו-3D מודפס מאוחר יותר. ניתן לשנות את גובה בסיס הסמן. ניתן לשנות את המיקום, הכיוון ושינוי הגודל של דגמי תלת-ממד ביחס לסמן עם פסי מחוון שונים (כלומר, תרגום, סיבוב, קנה מידה).
- שמור את המודלים במיקום זה על-ידי בחירת הנתיב לאחסון הקבצים ולחיצה על הלחצן ' שמור מודלים '. דגמי תלת-ממד יישמרו עם שם הסיומת "_registered. אובייקטים".
- מודל האנטומיה עשוי להיות גדול מדי. אם כן, חותכים את דגם התלת-ממד מסביב למתאם הסמן ותלת-ממד-הדפיסו רק חלק מהשילוב של שני הדגמים בעזרת תוכנת מיקסר.
- פתח את מערבל וטען את המבנה התומך של מודל סמן הקוביה שנשמר בשלב 3.2.4. שלב מודלים אלה על-ידי בחירת שני המודלים בחלון דפדפן האובייקטים . לחץ על האפשרות לשלב בחלון הכלי זה עתה הופיע בפינה השמאלית העליונה.
- במשיקסר, השתמש בכלי חיתוך המישור תחת תפריט עריכה כדי להסיר חלקים לא רצויים של המודל שלא יודפסו בתלת-ממד.
- כדי לשמור את המודל להדפסה תלת-ממדית, עבור לקובץ > ייצוא ובחר בתבנית הרצויה.
4.3D הדפסה
הערה: מטרת שלב זה היא 3d-להדפיס את המודלים הפיזיים הדרושים עבור יישום AR הסופי. הסמן שיש לזהות על-ידי היישום והאובייקטים השונים הדרושים תלויים במצב שנבחר בסעיף 3. כל חומר יכול לשמש להדפסת תלת-ממד למטרת עבודה זו, כאשר בעקבות דרישות חומר הצבע המבוקש בכל שלב. חומצה פוליאקטטית (PLA) או אקרילי בוטניטריל (ABS) הן בחירה מספקת.
- השתמשו במדפסת תלת-ממדית להדפסת הסמן העוקב. אם מדפסת תלת-ממד כפולה עם מכבש תלת-ממדי אינה זמינה, דלג לשלב 4.2. השתמש במדפסת תלת-ממדית כפולה במיוחד כדי להדפיס את סמן שני הצבעים שסופק ב-"נתונים/סמנים/Marker1_TwoColorCubeMarker/". בתוכנת ההדפסה תלת-ממדית, בחר חומר צבע לבן עבור הקובץ "TwoColorCubeMarker_WHITE. אובייקטים" וחומר צבע שחור עבור "TwoColorCubeMarker_BLACK. אובייקטים".
הערה: לאיתור מרקר טוב יותר, הדפס במצב באיכות גבוהה עם גובה שכבה קטן. - אם מדפסת תלת-ממד כפולה מדגם 3D אינה זמינה ושלב 4.1 לא בוצע, בצע שלב זה כדי להדפיס סמן תלת-מודפס עם מדבקות כחלופה באמצעות ביצוע הפעולות הבאות:
- השתמש במדפסת תלת-ממדית כדי להדפיס את הקובץ "Data/סמנים/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE. אובייקטים" עם חומר צבע לבן.
- השתמש במדפסת רגילה כדי להדפיס את הקובץ "נתונים/סמנים/Marker2_StickerCubeMarker/Stickers.psufild" על נייר מדבקה. לאחר מכן, השתמש בכל כלי חיתוך כדי לחתוך בדיוק את התמונות למרות המסגרת השחורה על-ידי הסרת הקווים השחורים.
הערה: מומלץ להשתמש בנייר מדבקות כדי לקבל סימון באיכות גבוהה יותר. עם זאת, ניתן להדפיס את התמונות על נייר רגיל, וניתן להשתמש במקל דבק נפוץ כדי להדביק את התמונות בקוביה. - מדבקות המקום בקוביה מודפס תלת-ממד שהושג בשלב 4.2.1 בסדר המתאים בעקבות הוראות המסמך "נתונים/סמנים/Marker2_StickerCubeMarker/Stickers.nr".
הערה: מדבקות קטנות יותר מהפנים של הקוביה. השאר מסגרת 1.5 מ"מ בין המדבקה והקצה של הפנים. "נתונים/סמנים/Marker2_StickerCubeMarker/מדביק/מדבקות" stl "יכול להיות 3D-מודפס כדי להנחות את מיקום המדבקה ולהתאים בדיוק את המרכז של פני הקוביה.
- 3D-הדפסת המתאמים, בהתאם למצב שנבחר בסעיף 3.
- אם מצב ההדמיה (סעיף 3.1), נבחר, 3d-Print "נתונים/3Dprint/Option1/מרקרבסיס טבלה. אובייקט", שהוא מתאם בסיסי המשמש למיקום הסמן במיקום אנכי על משטח אופקי.
- אם מצב הרישום (סעיף 3.2) נבחר, 3d-להדפיס את המודל שנוצר בשלב 3.2.8 עם מתאם סמן מצורף.
הערה: ניתן להדפיס אובייקטים מודפסים תלת-ממדיים משלב 4.3 בכל חומר צבע.
5. AR יישום פריסה
הערה: המטרה של סעיף זה היא לעצב app החכם במנוע אחדות הכוללת את דגמי תלת-ממד שנוצרו בסעיפים הקודמים ולפרוס יישום זה על הטלפון החכם. מפתח רשיון לפיתוח ווקוניה (ללא תשלום לשימוש אישי) נדרש עבור שלב זה. האפליקציה ניתן לפרוס על אנדרואיד או מכשירי iOS.
- צור חשבון מפתח של Vuforia כדי לקבל מפתח רשיון כדי להשתמש בספריות שלהם באיחוד. עבור אל הקישור שנמצא ב- https://developer.vuforia.com/vui/auth/register וצור חשבון.
- עבור אל הקישור שנמצא ב- https://developer.vuforia.com/vui/develop/Licenses ובחר באפשרות ' קבל מפתח פיתוח'. לאחר מכן, בצע את ההוראות כדי להוסיף מפתח רישיון פיתוח חופשי לחשבון של המשתמש.
- בתפריט מנהל הרשיון , בחר את המפתח שנוצר בשלב הקודם והעתק את המפתח שסופק, שישמש בשלב 5.3.3.
- הגדר את הטלפון החכם.
- כדי להתחיל עם אחדות והתקנים אנדרואיד, עבור אל הקישור שנמצא ב https://docs.unity3d.com/Manual/android-GettingStarted.html.
- כדי להתחיל עם התקנים אחדות ו-iOS, עבור אל הקישור נמצא ב https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
- הגדר פרויקט אחדות עבור האפליקציה AR על ידי פתיחת האיחוד v 2019 הראשון ויצירת פרויקט תלת-ממד חדש. לאחר מכן, תחתבניית הגדרותבתוך הקובץ, העבר את הפלטפורמה להתקן אנדרואיד או iOS.
- הפוך את Vuforia לפרוייקט על-ידי בחירה באפשרות עריכת ≫ הגדרת פרוייקט ≫ הגדרות הנגן > הגדרות XR ובדיקת התיבה המסומנת בתווית מציאות רבודה של vuforia.
- ליצור "ARCamera" תחת שורת תפריטים ≫ Gameobject > vuforia מנוע > Arcamera ולייבא רכיבי vuforia כאשר תתבקש.
- הוסף את מפתח הרישיון Vuforia לתוך הגדרות התצורה של Vuforia על-ידי בחירת תיקיית המשאבים ולחיצה על התצורה של vuforia. לאחר מכן, במקטע מפתח רשיון App , הדבק את המפתח שהועתק בסעיף 5.1.2.
- יבא את קובץ היעד של Vuforia שסופק ב-"/DtatttttttttttotaforatAR_Cube_3x3x3. unitypackage" לאחדות, המכילה את הקבצים הדרושים לאיתור הסמנים המתוארים בסעיף 4.
- צור היעד Multiforia תחת שורת תפריטים ≫ Gameobject > vuforia מנוע > תמונה מרובת.
- בחר את סוג הסמן שישמש לזיהוי על-ידי לחיצה על מרובה היעד שנוצר בשלב הקודם. באפשרות מסד הנתונים תחת התנהגות מרובת יעדים, בחר ARHealth_3DPrintedCube_30x30x30. באפשרות מרובה מטרה תחת התנהגות מרובת מטרות, בחר בשני צבעים או stickercubemarker, בהתאם לסמן שנוצר בסעיף 4.
- טען את דגמי תלת-ממד שנוצרו בסעיף 3 לתוך סצנת האחדות תחת מרובה היעד על-ידי יצירת תיקיה חדשה בשם "מודלים" תחת התיקיה "משאבים". גרור את דגמי תלת-ממד לתיקיה זו. לאחר שנטען באחדות, גרור אותם תחת הפריט "MultiTarget" שנוצר בשלב 5.3.5. . זה יהפוך אותם לתלויים בסמן
הערה: מודלים צריכים להיות גלויים בסצנת התצוגה התלת-ממדית של אחדות. - שינוי הצבעים של דגמי תלת-ממד על-ידי יצירת חומר חדש והקצאת החומרים החדשים למודלים.
- צור תיקיה חדשה בשם "חומרים" תחת התיקיה "משאבים" על-ידי הולך אל שורת > נכסים > יצירת חומר>. בחר את החומר ושנה את הצבע במקטע התצורה. לאחר מכן, גררו את הקובץ מתחת להירארכיית מודל תלת-ממד.
- אופציונלי: אם יש מצלמת אינטרנט זמינה, לחץ על לחצן ההפעלה הממוקם בחלק הבינוני העליון כדי לבדוק את היישום שלו במחשב. אם הסמן גלוי למצלמת האינטרנט, יש לזהות אותו ודגמי התלת-ממד אמורים להופיע בסצינה.
- אם הטלפון החכם אנדרואיד משמש עבור פריסת app, עבור לקובץ ≫ לבנות הגדרות באחדות, ובחר את הטלפון מחובר מהרשימה. בחר באפשרות פריסה והפעלה. שמור את הקובץ עם סיומת. apk במחשב ולאפשר לתהליך להסתיים. לאחר הפריסה נעשה, האפליקציה צריכה להיות בטלפון ומוכן לרוץ.
הערה: פרוטוקול זה נבדק על אנדרואיד v. 8.0 אוראו או מעל. הפונקציונליות הנכונה אינה מובטחת עבור גירסאות ישנות יותר. - אם האפליקציה נפרסת במכשיר iOS, עבור לקובץ ≫ לבנות הגדרות באחדות ובחר לרוץ. בחר את הנתיב כדי לשמור את קבצי האפליקציה. אפשר לתהליך להסתיים. עבור אל התיקיה השמורה ופתח את הקובץ עם הסיומת "פרוייקקוד".
- ב-Xcode, בצע את ההוראות משלב 5.2.2 כדי להשלים את הפריסה.
הערה: לקבלת מידע נוסף אודות Vuforia באיחוד, עבור אל הקישור שנמצא ב- https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.
- ב-Xcode, בצע את ההוראות משלב 5.2.2 כדי להשלים את הפריסה.
6. הדמיית אפליקציה
- פתח את האפליקציה המותקנת, אשר ישתמש במצלמת הטלפון החכם. בעת הפעלת app, להסתכל על הסמן עם המצלמה ממרחק קצר (40 ס מ מינימום). לאחר האפליקציה מזהה את הסמן, 3D מודלים שנוצרו בשלבים הקודמים צריך להופיע בדיוק במיקום המוגדר במהלך ההליך על מסך הטלפון החכם.
הערה: תאורה יכולה לשנות את הדיוק של זיהוי סמן. מומלץ להשתמש באפליקציה בסביבות עם תנאי תאורה טובים.
Representative Results
הפרוטוקול הוחל על נתונים מחולה סובל סרקומה של הרגל המרוחק כדי להמחיש את האזור האנטומי מושפע מנקודת מבט תלת-ממדית. באמצעות השיטה המתוארת בסעיף 2, החלק של העצם המושפע (כאן, השוקה והפיבולה) והגידול היו מחולקים מסריקת ה-CT של המטופל. לאחר מכן, באמצעות כלי פילוח מתוך מבצעה 3D, שני ביודלים נוצרו: העצם (קטע של השוקה ופיבולה) (איור 1A) וגידול (איור 1B).
לאחר מכן, שני דגמי תלת-ממד הוצבו כמעט ביחס לסמן להדמיה אופטימלית. שני המצבים המתוארים בסעיף 3 באו לדוגמה זו. במצב הדמיה, המודלים התרכזו בפנים העליונים של הסמן (איור 2). עבור מצב ההרשמה, מתאם סמן היה ממוקם בעצם (במיוחד, השוקה [איור 3]). לאחר מכן, קטע קטן של השוקה נבחר להיות 3D-מודפס עם מתאם סמן 3D (איור 4). Ultimaker 3 המורחבת מדפסת תלת-ממד עם חומר PLA שימש כדי ליצור את הסמנים 3d-מודפס (איור 5A, B), סמן בסיס המחזיק (איור 5ג) עבור "ויזואליזציה" מצב, וסעיף של השוקה למצב "רישום" (איור 5ד). איור 5E מראה כיצד הסמן הוצמד לבסיס המודפס בתלת-ממד של מצב "חזותי". איור 5F מציג את הקובץ המצורף עם "רישום" מצב תלת-ממד מודפס בצורת ביודל. לבסוף, אחדות שימש כדי ליצור את האפליקציה ולפרוס אותו על הטלפון החכם.
איור 6 מראה כיצד האפליקציה עבדה עבור מצב "ויזואליזציה". ההולוגרמה הייתה ממוקמת באופן מדויק בחלק העליון של הקוביה כפי שהוגדר קודם לכן. איור 7 מציג את היישום עבור "רישום" מצב, שבו האפליקציה ממוקם מודל העצם השלם על גבי מקטע 3d-המודפס. ההדמיה הסופית של הולוגרמות היתה ברורה ומציאותית, שמרה על הגדלים האמיתיים של ביודלים, ומוצבים במדויק. בעת שימוש ביישום הטלפון החכם, סמן AR צריך להיות גלוי על ידי המצלמה עבור app כדי להציג כראוי את הולוגרמות. בנוסף, תנאי האור בסצינה חייב להיות באיכות טובה וקבוע עבור זיהוי סמן הנכון. תנאי אור רע או השתקפויות על פני השטח סמן לעכב את המעקב של סמן AR ולגרום לתקלה של האפליקציה.
הזמן הנדרש כדי ליצור את האפליקציה תלוי במספר גורמים. משך פרק 1 מוגבל על-ידי מהירות ההורדה. לגבי פילוח אנטומיה (סעיף 2), גורמים המשפיעים על זמן פילוח כוללים את המורכבות של האזור ואת מודאליות הדמיה רפואית (כלומר, CT מחולק בקלות, בעוד MRI קשה יותר). עבור הדוגמה הנציגה של השוקה, כ 10 דקות נדרש כדי ליצור שני דגמי תלת-ממד מסריקת ה-CT. מיצוב ביואודל (סעיף 3) הוא פשוט וישיר. כאן, זה לקח כ 5 דקות כדי להגדיר את המיקום ביואודל ביחס סמן AR. עבור שלב ההדפסה התלת-ממדי, המשך תלוי מאוד במצב שנבחר. "סמן צבע כפול" יוצרו באיכות גבוהה בתקופה של 5 h ו 20 דקות. "סמן מדבקה" יוצרו בתקופה של 1 h ו 30 דקות, בתוספת הזמן הנדרש כדי להדביק את המדבקות. השלב האחרון עבור פיתוח app יכול להיות זמן רב עבור אלה ללא ניסיון קודם באחדות, אבל זה יכול להסתיים בקלות בעקבות שלבי הפרוטוקול. לאחר סמנים AR כבר מודפס 3D, פיתוח של יישום AR חדש לחלוטין ניתן לבצע בפחות מ 1 h. משך זה יכול להיות מופחת עוד יותר עם ניסיון נוסף.
איור 1: ייצוג של דגמי תלת-ממד שנוצרו מתמונת CT של חולה הסובל מסרקומה של הרגל המרוחק. (א) רקמת עצם מיוצגת בלבן (שוקהופיבולה). (ב) הגידול המיוצג באדום. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 2: התוצאות המציגות כיצד "ויזואליזציה" מצב מבצעה 3D ממקם את דגמי 3D וירטואלי של העצם והגידול ביחס 3d-מודפס סמן הפניה. דגמי תלת-ממד המטופלים (A) ממוקמים מעל הפנים העליונות של קוביית הסמן (B). אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 3: התוצאות המציגות כיצד "רישום" מצב בפורס תלת-ממד ממקם את דגמי התלת-ממד הווירטואליים של העצם והגידול (A) ביחס להפניית סמן תלת-ממד (B). מתאם הסמן מוצמד למודל רקמת העצם. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 4: קטע קטן של רקמת העצם ו 3D מתאם סמן. שני הרכיבים משולבים לאחר מכן 3D מודפס. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 5: כלים מודפסים תלת-ממדיים הדרושים לאפליקציה הסופית. (א) "שני מסמן קוביית צבע" 3d-מודפס עם שני צבעים של חומרים. (ב) "מדבקה קוביית מסמן" 3d-מודפס, עם מדבקות מודבקות. (ג) סמן בסיס קוביית מתאם. (ד) קטע של רקמת העצם של החולה 3d דגם ומתאם קוביית סמן. (ה) "סמן קוביית מדבקה" ממוקם במתאם קוביית הבסיס של הסמן. (ו) "שני סמן קוביית צבע" ממוקם במתאם סמן המצורפת האנטומיה של המטופל. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 6: האפליקציה מוצגת בעת שימוש במצב "ויזואליזציה". מושפע החולה מודלים 3D האנטומיה ממוקמות מעל הפנים העליונות של קוביית מודפס 3D. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 7: הדמיית AR בעת שימוש במצב "רישום". הסמן מודפס 3D מאפשר רישום של 3D-מודפס ביואודל עם דגמי תלת-ממד וירטואליים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
Discussion
AR מחזיקה בפוטנציאל רב בחינוך, הכשרה וכירורגי בתחום הרפואי. השילוב עם הדפסה תלת-ממדית עשוי לפתוח אפשרויות חדשות ביישומים קליניים. פרוטוקול זה מתאר מתודולוגיה המאפשרת למשתמשים לא מנוסים ליצור app smartphone המשלב AR ו 3DP עבור ויזואליזציה של מודלים אנטומיים תלת-ממדיים של חולים עם 3Dp-מודפס סמנים הפניה.
באופן כללי, אחד היישומים הקליניים המעניינים ביותר של AR ו-3DP הוא לשפר את התקשורת מטופל לרופא על ידי מתן המטופל פרספקטיבה שונה של המקרה, שיפור הסברים של מצבים רפואיים ספציפיים או טיפולים. יישום אחר אפשרי כולל הדרכה כירורגית ללוקליזציה היעד, שבו מודפס 3D כלים ספציפיים לחולה (עם התייחסות AR סמן מחובר) ניתן להציב על מבנים קשיחים (כלומר, עצם) ומשמש כהפניה לניווט. יישום זה שימושי במיוחד עבור אורתופדיה והליכים כירורגי הפנים, שבו משטח רקמת העצם ניתן לגשת בקלות במהלך הניתוח.
הפרוטוקול מתחיל בסעיף 1, המתאר את כלי הגדרת תחנת העבודה והתוכנה הנחוצים. סעיף 2 מתאר כיצד להשתמש בתוכנה מבצעה תלת-ממד כדי לפלח בקלות את האנטומיות היעד של המטופל מכל הדמיה רפואית מודאליות כדי להשיג דגמי תלת-ממד. שלב זה הוא קריטי, כמו דגמי תלת-ממד וירטואליים שנוצרו הם אלה המוצגים ביישום AR הסופי.
בסעיף 3, האפשרות ' פריסה תלת-ממדית ' משמשת לרישום דגמי תלת-ממד שנוצרו במקטע הקודם באמצעות סמן AR. במהלך הליך רישום זה, מודלים תלת-ממדיים מטופלים באופן יעיל ופשוט ממוקמים ביחס לסמן AR. המיקום המוגדר בסעיף זה יקבע את המיקום היחסי של ההולוגרמה באפליקציה הסופית. הוא האמין כי פתרון זה מפחית את המורכבות ומכפיל את היישומים האפשריים. סעיף 3 מתאר שתי אפשרויות שונות כדי להגדיר את הקשרים המרחבית בין המודלים ו-AR סמנים: "ויזואליזציה" ו "רישום" מצב. האפשרות הראשונה, "ויזואליזציה" מצב, מאפשר לדגמי תלת-ממד להיות ממוקם בכל מקום ביחס לסמן ומוצג כמו ביואודל כולו. מצב זה מספק מציאותית, 3D פרספקטיבה של האנטומיה של המטופל מאפשר לנוע וסיבוב של ביודלים על ידי הזזת סמן AR מעקב. האפשרות השנייה, "רישום" מצב, מאפשר חיבור ושילוב של מתאם סמן לכל חלק של ביואודל, המציע תהליך ההרשמה אוטומטית. באמצעות אפשרות זו, קטע קטן של דגם תלת-ממד, כולל מתאם סמן, יכול להיות מודפס 3D, והאפליקציה יכולה להציג את שאר הדגם כהולוגרמה.
סעיף 4 מספק קווים מנחים לתהליך הדפסת תלת-ממד. ראשית, המשתמש יכול לבחור בין שני סמנים שונים: "סמן הצבע הכפול" ו "סמן מדבקה". כל "סמן צבע כפול" יכול להיות 3D-מודפס, אך דורש מדפסת תלת-ממד כפול מכבש. במקרה שמדפסת זו אינה זמינה, מוצע "סמן המדבקה". זהו סמן פשוט שניתן להשיג על ידי 3D-הדפסת מבנה מעוקב, ולאחר מכן הדבקת תמונות של הקוביה עם נייר מדבקה או דבק מדבקה. יתר על כן, שני סמנים עוצבו עם מקטעים הניתן להרחבה כדי להתאים באופן מושלם במתאם ספציפי. לפיכך, ניתן לעשות שימוש חוזר בסמן במספר מקרים.
סעיף 5 מתאר את התהליך ליצירת פרויקט אחדות עבור AR באמצעות ערכת הפיתוח של התוכנה Vuforia. שלב זה עשוי להיות החלק הקשה ביותר עבור משתמשים ללא ניסיון תיכנות, אך עם הנחיות אלה, זה צריך להיות קל יותר להשיג את היישום הסופי המוצג בסעיף 6. האפליקציה מציגה מודלים וירטואליים של המטופל מעל מסך הטלפון החכם כאשר המצלמה מזהה את הסמן 3D-מודפס. כדי app לזהות את סמן 3D, מרחק מינימלי של כ 40 ס"מ או פחות מהטלפון אל הסמן, כמו גם תנאי תאורה טובים נדרשים.
היישום הסופי של פרוטוקול זה מאפשר למשתמש לבחור את הסמנים הספציפיים כדי להמחיש ובאילו תנוחות. עם זאת, האפליקציה יכולה לבצע רישום אוטומטי הולוגרמה המטופל באמצעות סמן 3D מודפס ומתאם מצורף ביואודל. זה פותר את האתגר של רישום מודלים וירטואליים עם הסביבה באופן ישיר ונוח. יתרה מזאת, מתודולוגיה זו אינה דורשת ידע נרחב על הדמיה או פיתוח תוכנה רפואית, אינה תלויה בחומרה מורכבת ובתוכנה יקרה, וניתן ליישם אותה במשך זמן קצר. הוא צפוי כי שיטה זו תסייע להאיץ אימוץ של טכנולוגיות AR ו 3DP על ידי אנשי מקצוע רפואיים.
Disclosures
. למחברים אין מה לגלות
Acknowledgments
דו ח זה נתמך על ידי פרויקטים PI18/01625 ו PI15/02121 (Ministerio de ciencia, חדשנות האוניברסיטה, המכון דה salud קרלוס השלישי והאירופי לפיתוח אזורי הקרן "אונה סון נרה דה האג") ו IND2018/טיק-9753 (comunidad דה מדריד).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
