שילוב מציאות רבודה והדפסה 3D כדי להציג מודלים החולה על הטלפון החכם

פרוטוקול זה מעניק למשתמשים לא מנוסים את הכלים להביא פתרונות מציאות רבודה לתחום הרפואי באמצעות בניית אפליקציית סמארטפון משלהם. שיטה זו משלבת מציאות רבודה והדפסה תלת-ממדית המאפשרת תצוגה חזותית מהירה וקלה של מודלים תלת-ממדיים שנוצרו מבססים נתונים על גבי סמן ייחוס מודפס בתלת-ממד. טכניקה זו יכולה להיות מיושמת על כל תרחיש רפואי שבו הפניה מודפסת 3D ניתן לצרף בקשיחות למטופל.

הדמיה של מודלים חזותיים תלת-ממדיים שנוצרו מבססים לוקליזציה של נתונים הממוקדת וגם יכולה לשפר את המטופל פרוטוקול זה תוכנן במיוחד עבור משתמשים ללא ידע מוקדם בהדמיה רפואית או בפיתוח תוכנה כדי לסייע בשימוש במציאות רבודה בתחום הרפואי. ליצירת מודלים תלת-ממדים של האנטומיה של המטופל, תחילה עקוב אחר קובץ התמונה הרפואית בחלון התוכנה של כלי פריסה תלת-ממד ולחץ על אישור. כדי למקטע את האנטומיה של המטופל, עבור אל מודול עורך המקטעים ב- 3D Slicer. פריט פילוח ייווצר באופן אוטומטי בעת הזנת המודול.

בחר את אמצעי האחסון הרצוי במקטע אמצעי האחסון הראשי ולחץ באמצעות לחצן העכבר הימני מתחת לתמונה כדי לבחור הוסף כדי ליצור מקטע. בלוח האפקטים, בחרו בכלי הנוח ביותר ליעד וקטעו את התמונה הרפואית של המטופל. לייצוא הפילוח בתבנית קובץ של דגם תלת-ממד, פתחו את מודול הפילוח.

במודלים של ייצוא/ייבוא ומפות תוויות, בחרו 'ייצוא' ו'דגמים' ולחצו על 'ייצוא' ליצירת דגם תלת-ממד מהאזור המפולח. לחץ על שמור ובחר את הרכיבים לשמירה. לאחר מכן שנה את תבנית הקובץ של דגם תלת-ממד ל- OBJ.

ניתן לחזור על הפילוח כדי ליצור מודלים תלת-ממדיים נוספים של אזורים אנטומיים שונים. למיקום מודל מטופל תלת-ממד בכל עמדה ביחס לסמן המציאות הרבודה, פתחו את מודול המיקום של מודל AR Health ובחרו מצב הדמיה. לחצו על 'טען דגם סמן' כדי לטעון את הסמן לאפשרות זו, על לחצן שלוש הנקודות לבחירת הנתיב של דגם תלת-ממד שנשמר, טענו את הדגם לטעינת הדגם ב-3D Slicer.

לחץ על סיום ומרכז למרכז את כל הדגמים בתוך הסמן. השתמשו בפסי השקופיות להתאמת המיקום, הכיוון וההידרג של דגמי תלת-ממד ביחס לסמן כרצונך. לאחר מכן בחר את הנתיב לאחסון הקבצים ולחץ על שמור מודלים כדי לשמור את הדגמים במיקום זה.

כדי לשלב את סמן המציאות הרבודה עם ביומודל תלת-ממד בכל מיקום רצוי, פתח את מודול המיקום של מודל AR Health ובסעיף האתחול בחר את מצב הרישום. לחצו על דגם סמן הטעינה כדי לטעון את הסמן לאפשרות זו והזיזו את דגמי ה-3D עד להם מצטלבים עם המבנה התומך של סמן הקוביה, משנים את גובה בסיס הסמן לפי הצורך. כדי לשמור את המודל במיקום זה, בחר את הנתיב לאחסון הקבצים ולחץ על שמור מודלים.

אם מודל האנטומיה גדול מדי, טען את המודול והמבנה התומך של מודל סמן הקוביה בתוכנת מערבל רשת. בחרו בשני הדגמים בחלון דפדפן העצם כדי לשלב את הדגמים ולהשתמש בכלי החיתוך הפשוט מתפריט העריכה כדי להסיר חלקים לא רצויים של הדגם שלא יודפסו בתלת-ממד. לשמירת הדגם להדפסה בתלת-ממד, בחרו קובץ וייצא ובחרו בתבנית הרצויה.

להדפסה תלת-ממדית של הדגמים הפיזיים הדרושים ליישום המציאות הרבודה הסופית, בתוכנת ההדפסה בתלת-ממד, בחרו חומר בצבע לבן TwoColorCuebMarker_white. קובץ obj וחומר בצבע שחור עבור TwoColorCubeMarker_white. קובץ obj.

לאחר מכן השתמשו במדפסת תלת-ממד כפולה להדפסה תלת-ממדית של הסמן המעוקב בשחור-לבן במצב באיכות גבוהה עם גובה שכבה קטן. כדי לעצב אפליקציית סמארטפון ב-Unity Engine הכוללת את דגמי ה-3D, פתחו את Vuforia Developer וצורו חשבון. בחר לקבל מפתח פיתוח כדי לקבל מפתח רישיון פיתוח חינם בתפריט מנהל הרשיון לבחור ולהעתיק את המפתח.

כדי להגדיר את הטלפון החכם, ביישום Unity גרסה 2019, תחת הגדרות לבנות בתפריט הקובץ בחר את הפלטפורמה המתאימה עבור המכשיר. כדי להפוך את Vuforia לזמין בפרוייקט, בחר עריכה, הגדרת פרוייקט, הגדרות נגן והגדרות XR וסמן את התיבה שכותרתה תמיכה במציאות רבודה של Vuforia. כדי ליצור מצלמת מציאות רבודה, בחר שורת תפריטים, אובייקט משחק, מנוע Vuforia ומצלמת AR וייבא את רכיבי Vuforia כשתתבקש לעשות זאת.

כדי להוסיף את מפתח הרשיון של Vuforia להגדרות התצורה של Vuforia, בחר את תיקיית המשאבים, לחץ על תצורת Vuforia והדבק את מפתח הרשיון במקטע מפתח רשיון האפליקציה. יבא את קובץ היעד של Vuforia המכיל את הקבצים שוופיוריה דורשת כדי לזהות את סמנים לתוך אחדות ובחר שורת תפריטים, אובייקט משחק, מנוע Vuforia, ותמונה מרובה כדי ליצור יעד רב Vuforia. לחץ על היעד הרב כדי לבחור את סוג הסמן שישמש לזיהוי ובאפשרות מסד הנתונים תחת אופן פעולה מרובה יעדים, בחר ARHealth_3dPrintedCube_30x30x30.

באפשרות מרובת היעדים תחת אופן פעולה מרובה יעדים, בחרו TwoColorCubeMarker או StickerCubeMarker בהתאם לסמן. גררו את דגמי ה-3D לתיקיית הדגמים וגרורו את התיקייה מתחת לפריט מרובה היעדים. הדגמים אמורים להפוך לגלויים בסצנת התצוגה של Unity 3D.

לשינוי הצבעים של דגמי תלת-ממד, צרו חומרים חדשים והקצאת החומרים החדשים לדגמים. אם מצלמת אינטרנט זמינה, לחץ על הפעל כדי לבדוק את היישום במחשב. אם הסמן גלוי למצלמת האינטרנט, יש לזהות אותו ודגמי תלת-ממד אמורים להופיע בסצנה.

אם טלפון חכם של Android ישמש לפיתוח האפליקציה, בחר הגדרות Build ב- Unity ובחר את הטלפון המחובר מהרשימה. לאחר מכן שמרו את הקובץ עם סיומת APK ואפשרו לתהליך להסתיים. אם האפליקציה תיפרס במכשיר iOS, בחר קובץ בהגדרות הבנייה ושמור את הקובץ.

כדי להמחיש את האפליקציה, פתחו את האפליקציה בסמארטפון ולהשתמש במצלמת הסמארטפון כדי להסתכל על הסמן מתוך האפליקציה במרחק מינימלי של 40 ס"מ. ברגע שהאפליקציה מזהה את הסמן, דגמי תלת-ממד שנוצרו בעבר אמורים להופיע על מסך הסמארטפון במיקום המדויק שהוגדר במהלך ההליך. באמצעות השיטה כפי שהוכח, חלק זה של השוקה וה שוקית המושפעים מחולה הסובל מסרקומה של רגל דיסטלית וגידול היו מפולחים מסריקת CT של המטופל.

באמצעות כלי פילוח, ביו מודל אחד נוצר עבור העצם ביו מודל אחד נוצר עבור הגידול. עבור מצב פריט חזותי, המודלים היו מרוכזים בשלב העליון של הסמן. עבור מצב רישום, מתאם הסמן היה ממוקם השוקה קטע קטן של השוקה נבחר להיות מודפס 3D עם מתאם סמן 3D.

חומצה פולילקטית ניתן להשתמש כדי ליצור סמנים מודפסים 3D, בסיסי מחזיק סמן ומקטעי עצם כפי שהודגם. כאן סמן מצורף לבסיס מודפס 3D מצב הדמיה וכאן הקובץ המצורף מוצג עם ביו מודל מודפס 3D מצב רישום. ייצוג זה מראה כיצד האפליקציה פועלת במצב תצוגה חזותית כאשר ההולוגרמה ממוקמת במדויק בחלק העליון של הקוביה כפי שהוגדר קודם לכן.

במצב רישום, מודל העצם המלא יכול להיות ממוקם על גבי החלק המודפס 3D עם הדמיה ברורה ומציאותית של הסמן באתר העצם. כדי להשתמש במציאות רבודה כדי לדמיין מידע חשוב על המטופל, תזדקק למספר כלי תוכנה הזמינים באופן חופשי, כמו גם גישה למדפסת תלת-ממד ולטלפון חכם. הליך זה יכול להיות מיושם על כל מודל המתקבל הדמיה רפואית.

השימוש בו יכול להיות מורחב התערבויות אחרות כגון מיצוב הקרנות של החדרת מחט. אנו מרחיבים כעת את היישומים של התפתחות זו לתחומים קליניים חדשים כולל ניתוח מיופאסיאלי או אורתופדי. המחקר הראשוני שלנו מבטיח והמשוב המנתח הוא חיובי מאוד.