Summary
تقدم هنا طريقه لتصميم تطبيق الهاتف الذكي الواقع المعزز لتصور النماذج ثلاثية الابعاد التشريحية للمرضي باستخدام علامة مرجعيه مطبوعه بالابعاد الثلاثية.
Abstract
الواقع المعزز لديه إمكانات كبيره في التعليم والتدريب والتوجيه الجراحي في المجال الطبي. ان الجمع بين الطباعة ثلاثية الابعاد (3D) يفتح إمكانيات جديده في التطبيقات السريرية. وعلي الرغم من ان هذه التكنولوجيات قد نمت باطراد في السنوات الاخيره ، فان اعتمادها من قبل الأطباء لا يزال محدودا ، لأنها تتطلب معرفه واسعه بتطوير الهندسة والبرمجيات. ولذلك ، فان الغرض من هذا البروتوكول هو وصف منهجيه خطوه بخطوه تمكين المستخدمين عديمي الخبرة لإنشاء التطبيق الهاتف الذكي ، والذي يجمع بين AR و 3DP لتصور نماذج 3Dp التشريحية من المرضي الذين يعانون من علامة مرجعيه المطبوعة 3Dp. يصف البروتوكول كيفيه إنشاء نماذج افتراضيه ثلاثية الابعاد لتشريح المريض المستمدة من الصور الطبية ثلاثية الابعاد. ثم يشرح كيفيه اجراء تحديد موضع النماذج الثلاثية الابعاد فيما يتعلق بمراجع العلامات. كما قدمت تعليمات لكيفيه 3D طباعه الاداات والنماذج المطلوبة. وأخيرا ، يتم توفير خطوات لنشر التطبيق. ويستند البروتوكول علي البرمجيات الحرة ومتعددة منصة ويمكن تطبيقها علي اي طريقه التصوير الطبي أو المريض. يتم وصف نهج بديل لتوفير التسجيل التلقائي بين نموذج المطبوعة 3D التي تم إنشاؤها من تشريح المريض والصور المجسمة المتوقعة. علي سبيل المثال ، يتم توفير حاله سريريه للمريض الذي يعاني من ساركوما الساق البعيدة لتوضيح المنهجية. ومن المتوقع ان يعجل هذا البروتوكول باعتماد تكنولوجيات القطاع الخاص والتكنولوجيا الثلاثية من قبل المهنيين الطبيين.
Introduction
AR و 3DP هي التقنيات التي توفر اعداد متزايدة من التطبيقات في المجال الطبي. في حاله AR, تفاعلها مع نماذج 3d الظاهري والبيئة الحقيقية فوائد الأطباء في ما يتعلق التعليم والتدريب1,2,3, الاتصالات والتفاعلات مع الأطباء الآخرين4, والتوجيه خلال التدخلات السريرية5,6,7,8,9,10. المثل ، أصبح 3dp حلا قويا للأطباء عند تطوير أدوات قابله للتخصيص خاصه بالمريض11،12،13 أو إنشاء نماذج ثلاثية الابعاد لتشريح المريض ، والتي يمكن ان تساعد في تحسين التخطيط قبل الجراحة والتدخلات السريرية14،15.
وتساعد تكنولوجيات الدعم التقني والتقنيات الثلاثية علي تحسين التوجيه والإرشاد والمهارات المكانية في الإجراءات الطبية ؛ التالي ، فان الجمع بينهما هو الخطوة المنطقية التالية. وقد أظهرت الاعمال السابقة ان استخدامها المشترك يمكن ان تزيد من قيمه في تعليم المرضي16، وتسهيل تفسيرات الظروف الطبية والعلاج المقترح ، وتحسين سير العمل الجراحي17،18 وتطوير المريض إلى نموذج التسجيل19. وعلي الرغم من ان هذه التكنولوجيات قد نمت باطراد في السنوات الاخيره ، فان اعتمادها من قبل الأطباء لا يزال محدودا ، لأنها تتطلب معرفه واسعه بتطوير الهندسة والبرمجيات. ولذلك ، فان الغرض من هذا العمل هو وصف منهجيه خطوه بخطوه تمكن المستخدمين غير المتمرسين من استخدام التكنولوجيا الشاملة والثلاثية الابعاد دون الحاجة إلى معرفه تقنيه واسعه.
يصف هذا البروتوكول كيفيه تطوير تطبيق الهاتف الذكي AR الذي يسمح بفرض اي نموذج ثلاثي الابعاد يستند إلى المريض علي بيئة العالم الحقيقي باستخدام علامة مطبوعه ثلاثية الابعاد تتبعها كاميرا الهاتف الذكي. الاضافه إلى ذلك ، يوصف نهج بديل لتوفير التسجيل التلقائي بين العلامات البيولوجية المطبوعة ثلاثية الابعاد (اي نموذج ثلاثي الابعاد تم إنشاؤه من تشريح المريض) والصور المجسمة المسقطة. ويستند البروتوكول الموصوف بالبالكامل إلى برامج مجانية ومتعددة المنصات.
في العمل السابق ، تم حساب تسجيل المريض إلى صوره يدويا5 مع خوارزميات التعرف علي السطح10 أو غير متوفر2. وقد اعتبرت هذه الأساليب محدوده نوعا ما عندما يشترط التسجيل الدقيق19. للتغلب علي هذه القيود ، وهذا العمل يوفر أدوات لأداء دقيقه وبسيطه المريض إلى صوره التسجيل في إجراءات AR من خلال الجمع بين التكنولوجيا AR و 3DP.
البروتوكول هو عام ويمكن تطبيقه علي اي طريقه التصوير الطبي أو المريض. علي سبيل المثال ، يتم توفير حاله سريريه حقيقية للمريض الذي يعاني من ساركوما الساق البعيدة لتوضيح المنهجية. توضح الخطوة الاولي كيفيه تقسيم التشريح المصاب بسهوله من الصور الطبية المقطعية (CT) لإنشاء نماذج افتراضيه ثلاثية الابعاد. بعد ذلك ، يتم تنفيذ تحديد المواقع من النماذج 3D ، ثم الاداات والنماذج المطلوبة هي 3D المطبوعة. وأخيرا ، يتم نشر التطبيق AR المطلوب. هذا التطبيق يسمح لتصور نماذج 3D المريض مضافه علي كاميرا الهاتف الذكي في الوقت الحقيقي.
Protocol
وقد أجريت هذه الدراسة وفقا لمبادئ إعلان هلسنكي 1964 المنقح في 2013. وتستخدم بيانات المريض المجهولة الهوية والصور المدرجة في هذه الورقة بعد الحصول علي موافقه خطيه مستنيرة من المشارك و/أو من ممثلهم القانوني ، الذي وافق فيه علي استخدام هذه البيانات لأنشطه النشر بما في ذلك المنشورات العلمية.
1. محطه عمل اعداد للتجزئة ، نماذج 3D استخراج ، تحديد المواقع ، ونشر التطبيق AR
ملاحظه: تم اختبار هذا البروتوكول مع إصدار البرامج المحددة المشار اليها لكل أداه. من المحتمل ان تعمل مع الإصدارات الأحدث ، علي الرغم من انه غير مضمون.
- استخدام جهاز كمبيوتر مع مايكروسوفت ويندوز 10 أو نظام التشغيل Mac OS كانظمه للتشغيل.
- قم بتثبيت الاداات التالية من مواقع الويب المناظرة في التعليمات الرسمية:
3D القطاعة (4.10.2): https://download.slicer.org/.
مشخلاط (3.5): http://www.meshmixer.com/download.html.
الوحدة (2019): https://unity3d.com/get-unity/download.
(لنشر iOS فقط) Xcode (الإصدار الأخير): https://developer.apple.com/xcode/.
ملاحظه: جميع أدوات البرمجيات المطلوبة لإكمال البروتوكول يمكن تحميلها بحريه لأغراض شخصيه. سيشار علي وجه التحديد إلى البرمجيات التي ستستخدم في كل خطوه. - تحميل البيانات من مستودع جيثب التالية ، وجدت في https://github.com/BIIG-UC3M/OpenARHealth.
ملاحظه: يحتوي المستودع علي المجلدات التالية:
"/3dslicerنمطيه/": وحده تقطيع اللحم 3D لتحديد المواقع نماذج 3D فيما يتعلق علامة 3D المطبوعة. المستخدمة في القسم 3. أضافه الوحدة النمطية في تقطيع اللحم 3D اتباع الإرشادات المتوفرة في https://github.com/BIIG-UC3M/OpenARHealth.
"/داتاتيناتيندات/Patient000_CT": CT من مريض يعاني من ساركوما الساق البعيدة. يتم وصف البروتوكول باستخدام هذه الصورة كمثال.
"/Datat/datodels/": نماذج ثلاثية الابعاد للمريض (العظم والورم).
"/Data/markers/": العلامات التي سيتم طباعتها ثلاثية الابعاد ، والتي سيتم الكشف عنها من قبل التطبيق AR لوضع نماذج 3D الظاهري. هناك نوعان من العلامات المتاحة.
2-الإبداع البيولوجي
ملاحظه: الهدف من هذا القسم هو إنشاء نماذج ثلاثية الابعاد لتشريح المريض. سيتم الحصول عليها من خلال تطبيق طرق التقسيم علي صوره طبية (هنا ، باستخدام صوره CT). وتتكون العملية من ثلاث خطوات مختلفه: 1) تحميل بيانات المريض إلى برنامج تقطيع اللحم ثلاثي الابعاد ، 2) ، تجزئه احجام التشريح المستهدف ، و 3) تصدير التجزئة كنماذج ثلاثية الابعاد في تنسيق OBJ. سيتم تصور النماذج الثلاثية الابعاد الناتجة في تطبيق AR النهائي.
- تحميل بيانات المريض ("/Datatatentdatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatatat/Patient000_CT") عن طريق سحب ملف الصورة الطبي انقر فوق موافق. وسوف تظهر وجات النظر CT (المحوري ، السهمي ، coronal) علي النوافذ المقابلة.
ملاحظه: يتم العثور علي البيانات المستخدمة هنا في "تقريبا البيانات النقطية الخام" (نثلث) تنسيق ، ولكن القطاعة 3d يسمح لتحميل ملفات تنسيق الصورة الطبية (dicom). انتقل إلى الرابط التالي للحصول علي مزيد من التعليمات ، وجدت في https://www.slicer.org/wiki/Documentation/4.10/Training. - لتقسيم تشريح المريض ، انتقل إلى وحده محرر المقطع في تقطيع اللحم 3d.
- يتم إنشاء عنصر "تجزئه" تلقائيا عند إدخال الوحدة النمطية. حدد وحده التخزين المطلوبة (صوره طبية للمريض) في قسم حجم الصوت الرئيسي . بعد ذلك ، انقر بزر الماوس الأيمن أدناه علي " أضافه " لإنشاء مقطع. سيتم إنشاء مقطع جديد باسم "Segment_1".
- هناك لوحه تسمي الآثار التي تحتوي علي مجموعه متنوعة من الاداات لتقسيم بشكل صحيح المنطقة المستهدفة من الصورة الطبية. حدد الاداه الأكثر ملاءمة للهدف والمقطع إلى منطقه نوافذ الصورة.
- لتقسيم العظم (الساق والشظية في هذه الحالة) ، استخدم أداه العتبة لاعداد الحد الأدنى والحد الأقصى لقيم HU من الصورة المقطعية ، والتي تتطابق مع الانسجه العظمية. باستخدام هذه الاداه ، تتم أزاله عناصر أخرى مع HU خارج هذه القيم الحديه ، مثل الانسجه الرخوة.
- استخدام أداه مقص لأزاله المناطق غير المرغوب فيها ، مثل السرير أو غيرها من الهياكل التشريحية ، من قناع مجزاه. قطع ساركوما يدويا باستخدام أدوات الرسم والمسح , منذ الورم من الصعب ان كفاف مع الاداات التلقائية.
ملاحظه: لمعرفه المزيد من التفاصيل حول اجراء التجزئة ، انتقل إلى الرابط الموجود في https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- انقر علي زر العرض ثلاثي الابعاد لعرض تمثيل ثلاثي الابعاد للتقسيم.
- تصدير التجزئة في تنسيق ملف نموذج ثلاثي الابعاد عن طريق الانتقال إلى وحده التقسيم في التقطيع ثلاثي الابعاد.
- انتقل إلى تصدير/استيراد النماذج والخرائط. حدد تصدير في مقطع العملية والنماذج في المقطع نوع الإخراج. انقر فوق تصدير لإنهاء وإنشاء نموذج ثلاثي الابعاد من المنطقة المقسمة.
- حدد حفظ (اعلي اليسار) لحفظ النموذج. اختر العناصر التي سيتم حفظها. ثم قم بتغيير تنسيق الملف من النموذج الثلاثي الابعاد إلى "OBJ" ضمن العمود تنسيق الملف . حدد المسار حيث سيتم تخزين الملفات وانقر علي حفظ.
- كرر الخطوات 2.2 و 2.3 لإنشاء نماذج ثلاثية الابعاد اضافيه للمناطق التشريحية المختلفة.
ملاحظه: يمكن العثور علي النماذج التي تم تقسيمها مسبقا من المثال المتوفرة في البيانات التي تم تحميلها مسبقا في الخطوة 1.3 ("/Datat/sdodels/").
3. تحديد المواقع البيولوجية
ملاحظه: في هذا القسم ، سيتم وضع النماذج الثلاثية الابعاد التي تم إنشاؤها في القسم 2 فيما يتعلق بالعلامة لتصور الواقع المعزز. سيتم استخدام Arhealth: نموذج الوحدة النمطية الموقف من القطاعة 3d لهذه المهمة. اتبع الإرشادات المتوفرة في الخطوة 1.3 لأضافه الوحدة النمطية إلى تقطيع اللحم ثلاثي الابعاد. هناك نوعان من البدائل المختلفة لوضع النماذج الثلاثية الابعاد: وضع "المرئيات" ووضع "التسجيل".
- وضع التصور
ملاحظه: يسمح وضع المرئيات بتحديد موضع نماذج المريض ثلاثي الابعاد في اي موضع فيما يتعلق بعلامة AR. مع هذا الخيار ، يكون المستخدم قادرا علي استخدام التطبيق AR لتصور العلامات الحيوية باستخدام علامات AR المطبوعة ثلاثية الابعاد كمرجع. قد يتم استخدام هذا الوضع عندما لا تكون الدقة مطلوبه ، ويمكن عرض التصور للنموذج الظاهري في اي مكان داخل مجال العرض من كاميرا الهاتف الذكي وعلامة.- انتقل إلى الوحدة النمطية لموضع النموذج Arhealth: و (في قسم التهيئة) حدد وضع المرئيات . انقر علي تحميل علامة النموذج لتحميل علامة لهذا الخيار.
- قم بتحميل النماذج الثلاثية الابعاد التي تم إنشاؤها في القسم 2 بالنقر علي زر... لتحديد مسار النماذج المحفوظة من القسم 2. ثم ، انقر علي زر نموذج التحميل لتحميله في القطاعة 3d. يجب تحميل النماذج في كل مره. لحذف اي طرازات تم تحميلها مسبقا ، انقر فوق هذا الطراز متبوعا بزر أزاله الطراز ، أو انقر فوق أزاله الكل لحذف كافة الطرازات المحملة مره واحده.
- انقر فوق الزر " إنهاء" و "توسيط " لتوسيط كافة الطرازات داخل العلامة.
- ويمكن تعديل الوضع والتوجه والتحجيم للنماذج الثلاثية الابعاد فيما يتعلق بالعلامة مع أشرطه منزلقه مختلفه (مثل الترجمة والتناوب والنطاق).
ملاحظه: هناك زر إضافي "أعاده تعيين الموقف" لأعاده تعيين الموضع الأصلي للنماذج قبل اجراء اي تغييرات في الموقف. - حفظ النماذج في هذا الموضع عن طريق اختيار المسار لتخزين الملفات والنقر فوق الزر حفظ النماذج . سيتم حفظ النماذج الثلاثية الابعاد باستخدام اسم الملحق "_registered. obj".
- وضع التسجيل
ملاحظه: يسمح وضع التسجيل الجمع بين علامة AR مع واحد 3d الحيوية في اي موضع المطلوب. بعد ذلك ، يمكن استخراج اي قسم من النماذج ثلاثية الابعاد المدمجة (التي تتضمن علامة AR) وطباعه ثلاثية الابعاد. سيتم عرض كافة العلامات الحيوية في التطبيق AR باستخدام هذا المجمعة الحيوية المطبوعة ثلاثية الابعاد كمرجع. هذا الوضع يسمح للمستخدم بسهوله تسجيل المريض (هنا ، قسم من عظم المريض) والنماذج الظاهرية باستخدام علامة مرجعيه.- انتقل إلى الوحدة النمطية لموضع النموذج Arhealth: و (في قسم التهيئة) حدد وضع التسجيل . انقر علي تحميل علامة النموذج لتحميل علامة لهذا الخيار.
- تحميل النماذج كما فعلت في الخطوة 3-1-2.
- انقل النماذج ثلاثية الابعاد وتاكد من تقاطعها مع الهيكل الداعم لعلامة المكعب ، حيث سيتم دمج هذه النماذج وطباعتها في وقت لاحق. يمكن تعديل ارتفاع قاعده العلامة. ويمكن تعديل الوضع والتوجه والتحجيم للنماذج الثلاثية الابعاد فيما يتعلق بالعلامة مع أشرطه منزلقه مختلفه (مثل الترجمة والتناوب والنطاق).
- حفظ النماذج في هذا الموضع عن طريق اختيار المسار لتخزين الملفات والنقر فوق الزر حفظ النماذج . سيتم حفظ النماذج الثلاثية الابعاد باستخدام اسم الملحق "_registered. obj".
- قد يكون نموذج التشريح كبير جدا. إذا كان الأمر كذلك ، قطع نموذج 3D حول محول علامة و 3D-طباعه فقط قسم من مزيج من كلا النموذجين باستخدام برنامج مشخلاط.
- فتح مشخلاط وتحميل الحيوية وهيكل دعم نموذج علامة المكعب المحفوظة في الخطوة 3-2. الجمع بين هذه النماذج عن طريق تحديد كلا الطرازين في اطار " مستعرض الكائنات ". انقر علي الخيار الجمع في نافذه الاداه التي ظهرت للتو في الزاوية اليسرى العليا.
- في مشخلاط ، استخدم أداه قص الطائرة تحت قائمه التحرير لأزاله المقاطع غير المرغوب فيها من الطراز التي لن تكون مطبوعه بالابعاد الثلاثية.
- لحفظ النموذج لتكون 3D المطبوعة ، انتقل إلى ملف > تصدير وحدد التنسيق المطلوب.
4.3D الطباعة
ملاحظه: الهدف من هذه الخطوة هو 3d-طباعه النماذج المادية المطلوبة للتطبيق AR النهائي. العلامة التي سيتم الكشف عنها من قبل التطبيق والكائنات المختلفة المطلوبة تعتمد علي الوضع المحدد في القسم 3. يمكن استخدام اي ماده للطباعة ثلاثية الابعاد لغرض هذا العمل ، عند اتباع متطلبات المواد الملونة المطلوبة في كل خطوه. حمض بوليلتيك (PLA) أو الاكريلونيتريل البيوتاديين (ABS) هي خيارات كافيه علي حد سواء.
- استخدم طابعه ثلاثية الابعاد لطباعه علامة المكعب. إذا كانت طابعه ثلاثية الابعاد مزدوجة الطارد غير متوفرة ، انتقل إلى الخطوة 4.2. استخدام طابعه مزدوجة الطارد 3D علي وجه التحديد لطباعه علامة اثنين من لون المنصوص عليها في "البيانات/علامات/Marker1_TwoColorCubeMarker/". في برنامج الطباعة ثلاثية الابعاد ، حدد ماده لون ابيض للملف "TwoColorCubeMarker_WHITE" وماده اللون الأسود ل "TwoColorCubeMarker_BLACK. obj".
ملاحظه: للكشف عن علامة أفضل ، والطباعة علي وضع عاليه الجودة مع ارتفاع طبقه صغيره. - في حاله عدم توفر طابعه ثلاثية الابعاد مزدوجة الطارد ولم يتم تنفيذ الخطوة 4.1 ، اتبع هذه الخطوة لطباعه علامة مطبوعه ثلاثية الابعاد مع ملصقات كبديل عن طريق القيام بما يلي:
- استخدام طابعه ثلاثية الابعاد لطباعه الملف "البيانات/علامات/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE" مع ماده اللون الأبيض.
- استخدام طابعه تقليديه لطباعه الملف "بيانات/علامات/Marker2_StickerCubeMarker/Stickers.pdf" علي ورق لاصق. ثم ، استخدم اي أداه قطع لقطع الصور علي وجه التحديد علي الرغم من الإطار الأسود عن طريق أزاله الخطوط السوداء.
ملاحظه: من المستحسن استخدام ورق لاصق للحصول علي علامة جوده اعلي. ومع ذلك ، يمكن طباعه الصور علي الورق العادي ، ويمكن استخدام عصا الغراء المشتركة للصق الصور علي المكعب. - ضع الملصقات في المكعب المطبوع ثلاثي الابعاد الذي تم الحصول عليه في الخطوة 4-2-1 بالترتيب المطابق التالي للتعليمات من الوثيقة "بيانات/علامات/Marker2_StickerCubeMarker/Stickers.pdf".
ملاحظه: ملصقات أصغر من وجه المكعب. اترك اطار 1.5 مم بين اللاصق وحافه الوجه. "البيانات/علامات/Marker2_StickerCubeMarker/Stickerplacer.stl" يمكن ان تكون 3D-المطبوعة لتوجيه وضع الملصقات وتتطابق تماما مع مركز الوجه المكعب.
- 3D-طباعه المحولات ، اعتمادا علي الوضع المحدد في القسم 3.
- إذا كان وضع التصور (القسم 3.1) ، تم اختياره ، 3d-طباعه "البيانات/3dprint/Option1/MarkerBaseTable. obj" ، وهو محول قاعده تستخدم لوضع علامة في الموضع الراسي علي سطح أفقي.
- إذا تم تحديد وضع التسجيل (المقطع 3.2) ، 3d-طباعه النموذج الذي تم إنشاؤه في الخطوة 3.2.8 مع محول علامة المرفقة.
ملاحظه: يمكن طباعه الكائنات المطبوعة 3d من الخطوة 4.3 في اي ماده اللون.
5. نشر التطبيق AR
ملاحظه: الهدف من هذا القسم هو تصميم تطبيق الهاتف الذكي في محرك الوحدة الذي يتضمن النماذج الثلاثية الابعاد التي تم إنشاؤها في الأقسام السابقة ونشر هذا التطبيق علي الهاتف الذكي. مطلوب لهذه الخطوة مفتاح ترخيص التطوير Vuforia (مجانا للاستخدام الشخصي). يمكن نشر التطبيق علي أجهزه الاندرويد أو iOS.
- إنشاء حساب المطور Vuforia للحصول علي مفتاح ترخيص لاستخدام المكتبات الخاصة بهم في الوحدة. انتقل إلى الرابط الموجود في https://developer.vuforia.com/vui/auth/register وإنشاء حساب.
- انتقل إلى الارتباط الموجود في https://developer.vuforia.com/vui/develop/Licenses وحدد الحصول علي مفتاح التطوير. ثم اتبع الإرشادات لأضافه مفتاح ترخيص تطوير مجاني إلى حساب المستخدم.
- في قائمه أداره التراخيص ، حدد المفتاح الذي تم إنشاؤه في الخطوة السابقة وانسخ المفتاح المتوفر ، والذي سيتم استخدامه في الخطوة 5.3.3.
- قم باعداد الهاتف الذكي.
- للبدء مع أجهزه الوحدة والروبوت ، انتقل إلى الرابط الموجود في https://docs.unity3d.com/Manual/android-GettingStarted.html.
- للبدء بالوحدة وأجهزه iOS ، انتقل إلى الرابط الموجود في https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
- قم باعداد مشروع الوحدة لتطبيق AR من خلال الافتتاح الأول للوحدة ضد 2019 وإنشاء مشروع جديد ثلاثي الابعاد. ثم ، تحتإعدادات الإنشاءفي المربعملفالقائمة ، قم بتبديل النظام الأساسي اما إلى جهاز Android أو iOS.
- تمكين Vuforia في المشروع عن طريق تحديد تحرير > اعداد المشروع ≫ إعدادات المشغل > إعدادات XR والتحقق من المربع المسمي vuforia دعم الواقع المعزز.
- إنشاء "ARCamera" ضمن شريط القوائم ≫ Gameobject ≫ Vuforia مشغل > Arcamera واستيراد مكونات vuforia عند المطالبة.
- أضافه مفتاح الترخيص Vuforia إلى إعدادات تكوين Vuforia عن طريق تحديد مجلد الموارد والنقر فوق تكوين vuforia. ثم ، في المقطع مفتاح ترخيص التطبيق ، قم بلصق المفتاح المنسوخ في القسم 5-1-2.
- استيراد الملف الهدف Vuforia المتوفرة في "/Data/vuforia/AR_Cube_3x3x3" إلى وحده ، الذي يحتوي علي الملفات التي يتطلب Vuforia للكشف عن علامات الموضحة في القسم 4.
- إنشاء متعدد الأهداف Vuforia ضمن شريط القوائم ≫ Gameobject ≫ Vuforia مشغل > صوره متعددة.
- حدد نوع العلامة التي سيتم استخدامها للكشف عن طريق النقر فوق الهدف المتعدد الذي تم إنشاؤه في الخطوة السابقة. في خيار قاعده البيانات تحت سلوك الهدف المتعدد، حدد ARHealth_3DPrintedCube_30x30x30. في الخيار الهدف متعددة تحت السلوك الهدف متعددة، حدد اما توولكوركواماركر أو stickercubemarker، اعتمادا علي علامة التي تم إنشاؤها في القسم 4.
- قم بتحميل النماذج الثلاثية الابعاد التي تم إنشاؤها في القسم 3 إلى مشهد الوحدة تحت مولتيtarget عن طريق إنشاء مجلد جديد باسم "النماذج" ضمن مجلد "الموارد". اسحب النماذج الثلاثية الابعاد إلى هذا المجلد. تحميل مره واحده في الوحدة ، اسحبها تحت العنصر "MultiTarget" التي تم إنشاؤها في الخطوة 5.3.5. وهذا سيجعلها تعتمد علي علامة.
ملاحظه: يجب ان تكون النماذج مرئية في مشهد عرض الوحدة ثلاثية الابعاد. - تغيير ألوان النماذج الثلاثية الابعاد عن طريق إنشاء ماده جديده وتعيين المواد الجديدة للنماذج.
- إنشاء مجلد جديد باسم "المواد" ضمن المجلد "موارد" عن طريق الانتقال إلى القوائم ≫ الأصول ≫ إنشاء > المواد. حدد المادة وقم بتغيير اللون في قسم التكوين. ثم اسحب الملف ضمن التسلسل الهرمي للنموذج الثلاثي الابعاد.
- اختياري: إذا كان هناك كاميرا ويب المتاحة ، انقر علي زر التشغيل الموجود في الجزء العلوي الأوسط لاختبار تطبيقه علي الكمبيوتر. إذا كانت العلامة مرئية لكاميرا الويب ، فيجب الكشف عنها ، ويجب ان تظهر النماذج ثلاثية الابعاد في المشهد.
- إذا تم استخدام الهاتف الذكي الروبوت لنشر التطبيق ، انتقل إلى ملف ≫ إعدادات البناء في الوحدة ، وحدد الهاتف الموصول من القائمة. حدد نشر وتشغيل. حفظ الملف مع ملحق. apk علي الكمبيوتر والسماح للعملية لإنهاء. بمجرد الانتهاء من النشر ، يجب ان يكون التطبيق علي الهاتف وعلي استعداد للتشغيل.
ملاحظه: تم اختبار هذا البروتوكول علي الروبوت الخامس. 8.0 اوريو أو اعلي. الوظائف الصحيحة غير مضمونه للإصدارات القديمة. - إذا كان سيتم نشر التطبيق في جهاز iOS ، انتقل إلى ملف ≫ إعدادات البناء في الوحدة وحدد تشغيل. حدد المسار لحفظ ملفات التطبيق. السماح للعملية بالانتهاء. انتقل إلى المجلد المحفوظ وافتح الملف بملحق ".prostxcode".
- في Xcode ، اتبع الإرشادات من الخطوة 5.2.2 لإكمال النشر.
ملاحظه: لمزيد من المعلومات حول Vuforia في الوحدة ، انتقل إلى الرابط الموجود في https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.
- في Xcode ، اتبع الإرشادات من الخطوة 5.2.2 لإكمال النشر.
6. التطبيق التصور
- افتح التطبيق المثبت ، والذي سيستخدم كاميرا الهاتف الذكي. عند تشغيل التطبيق ، انظر إلى العلامة مع الكاميرا من مسافة قصيرة (40 سم كحد ادني). بمجرد ان يكتشف التطبيق العلامة ، يجب ان تظهر النماذج الثلاثية الابعاد التي تم إنشاؤها في الخطوات السابقة بالبالضبط في الموقع المحدد اثناء الاجراء علي شاشه الهاتف الذكي.
ملاحظه: الاضاءه يمكن ان تغير دقه الكشف عن العلامة. فمن المستحسن استخدام التطبيق في بيئات مع ظروف الاضاءه الجيدة.
Representative Results
تم تطبيق البروتوكول علي البيانات من مريض يعاني من ساركوما الساق البعيدة من أجل تصور المنطقة التشريحية المتضررة من منظور ثلاثي الابعاد. باستخدام الطريقة الموصوفة في القسم 2 ، تم تقسيم الجزء من العظم المصاب (هنا ، الساق والقصبة) والورم من الاشعه المقطعية للمريض. ثم ، باستخدام أدوات التقسيم من تقطيع اللحم 3D ، تم إنشاء اثنين من العلامات الحيوية: العظم (قسم من الساق والقصبة) (الشكل 1ا) والورم (الشكل 1ب).
بعد ذلك ، تم وضع النموذجين ثلاثي الابعاد تقريبا فيما يتعلق بالعلامة للحصول علي التصور الأمثل. وقد اتبعت في هذا المثال كلتا الوضعيتين الموصوفتين في القسم 3. لوضع التصور ، تم توسيط النماذج في الوجه العلوي للعلامة (الشكل 2). بالنسبة لوضع التسجيل ، كان محول العلامة متمركزا في العظم (علي وجه التحديد ، الساق [الشكل 3]). ثم ، تم اختيار مقطع صغير من الساق لتكون 3D المطبوعة مع محول علامة 3D (الشكل 4). وقد استخدمت الطابعة ثلاثية الابعاد ultimaker 3 الموسعة مع المواد PLA لإنشاء علامات 3d-المطبوعة (الشكل 5ا ، ب) ، قاعده حامل ماركر (الشكل 5ج) لوضع "التصور" ، وقسم من الساق ل "تسجيل" وضع (الشكل 5د). يبين الشكل 5ه كيفيه إرفاق العلامة بالقاعدة المطبوعة ثلاثية الابعاد لوضع "المرئيات". يظهر الشكل 5F المرفق مع وضع "التسجيل" 3d المطبوعة الحيوية. وأخيرا ، تم استخدام الوحدة لإنشاء التطبيق ونشرها علي الهاتف الذكي.
يبين الشكل 6 كيف عمل التطبيق لوضع "التصور". كانت الصورة المجسمة موجودة بدقه في الجزء العلوي من المكعب كما تم تعريفها مسبقا. ويبين الشكل 7 التطبيق الخاص بوضع "التسجيل" ، الذي يوضع فيه التطبيق نموذج العظم الكامل علي راس القسم المطبوع بالابعاد الثلاثية. وكان التصور النهائي من الصور المجسمة واضحة وواقعيه ، والحفاظ علي الاحجام الحقيقية من العلامات الحيوية ، والمتمركزة بدقه. عند استخدام تطبيق الهاتف الذكي ، يجب ان تكون علامة AR مرئية من قبل الكاميرا للتطبيق لعرض الصور المجسمة بشكل صحيح. الاضافه إلى ذلك ، يجب ان تكون ظروف الاضاءه في المشهد ذات نوعيه جيده وثابته للكشف عن العلامة المناسبة. ظروف الضوء سيئه أو انعكاسات علي سطح علامة تعيق تتبع علامة AR وتسبب خلل في التطبيق.
يعتمد الوقت المطلوب لإنشاء التطبيق علي عده عوامل. مده القسم 1 محدوده بسرعة التحميل. وفيما يتعلق بتقسيم التشريح (القسم 2) ، فان العوامل التي تؤثر علي وقت التجزئة تشمل تعقيد المنطقة وطريقه التصوير الطبي (اي ان الاشعه المقطعية مجزاه بسهوله ، في حين ان الرنين المغناطيسي أكثر صعوبة). بالنسبة لمثال الساق التمثيلي ، كان مطلوبا حوالي 10 دقائق لتوليد نماذج ثلاثية الابعاد من الاشعه المقطعية. التحديد البيولوجي للمواقع (القسم 3) بسيط ومباشر. هنا ، استغرق الأمر حوالي 5 دقائق لتحديد الموقف الحيوي فيما يتعلق علامة AR. بالنسبة لخطوه الطباعة ثلاثية الابعاد ، تعتمد المدة بشكل كبير علي الوضع المحدد. تم تصنيع "علامة اللون المزدوج" بجوده عاليه في فتره 5 ساعات و 20 دقيقه. تم تصنيع "علامة لاصق" في فتره 1 ح و 30 دقيقه ، بالاضافه إلى الوقت اللازم للصق الملصقات. الخطوة الاخيره لتطوير التطبيق يمكن ان تكون مضيعه للوقت بالنسبة لأولئك الذين ليس لديهم خبره سابقه في الوحدة ، ولكن يمكن ان تكتمل بسهوله بعد خطوات البروتوكول. بمجرد ان تكون علامات AR 3D المطبوعة ، وتطوير التطبيق AR جديد تماما يمكن ان يؤديها في اقل من 1 ساعة. ويمكن زيادة تخفيض هذه المدة بخبره اضافيه.
الشكل 1: تمثيل النماذج ثلاثية الابعاد التي تم إنشاؤها من الصورة المقطعية للمريض الذي يعاني من ساركوما الساق البعيدة. (ا) الانسجه العظمية الممثلة باللون الأبيض (الساق والشظية). (ب) الورم الممثلة باللون الأحمر. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 2: تظهر النتائج كيف وضع "التصور" في التقطيع 3d مواقف النماذج الظاهرية 3d من العظام والورم فيما يتعلق باشاره علامة 3D المطبوعة. وتوضع النماذج الثلاثية الابعاد للمريض (A) فوق الوجه العلوي لمكعب العلامة (B). يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 3: تظهر النتائج كيفيه وضع "التسجيل" في مواضع التقطيع ثلاثية الابعاد النماذج الظاهرية ثلاثية الابعاد للعظام والورم (A) فيما يتعلق باشاره العلامة المطبوعة ثلاثية الابعاد (B). يتم إرفاق محول علامة إلى نموذج الانسجه العظمية. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 4: قسم صغير من انسجه العظام ومحول علامة 3D. يتم الجمع بين مكونات اثنين ثم 3D المطبوعة. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 5: الاداات المطبوعة ثلاثية الابعاد المطلوبة للتطبيق النهائي. (ا) "اثنين لون مكعب علامة" 3d-طباعه مع لونين من المواد. (B) "ملصق مكعب علامة" 3d-المطبوعة ، مع ملصقات لصقها. (C) محول قاعده العلامات المكعب. (D) قسم من النسيج العظام المريض 3d نموذج وعلامة محول مكعب. (ه) "علامة مكعب لاصق" وضعت في محول مكعب قاعده علامة. (و) "اثنين من علامة مكعب اللون" وضعت في محول علامة تعلق علي تشريح المريض. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 6: عرض التطبيق عند استخدام وضع "التصور". يتم وضع نماذج التشريح الثلاثية الابعاد الخاصة بالمريض فوق الوجه العلوي لمكعب الطباعة ثلاثية الابعاد. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 7: التصور AR عند استخدام وضع "التسجيل". تمكن العلامة المطبوعة ثلاثية الابعاد من تسجيل المؤشرات الحيوية المطبوعة ثلاثية الابعاد باستخدام النماذج ثلاثية الابعاد الظاهرية. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
Discussion
تمتلك المستشفى إمكانات كبيره في التعليم والتدريب والتوجيه الجراحي في المجال الطبي. ان الجمع بين الطباعة الثلاثية الابعاد يفتح احتمالات جديده في التطبيقات السريرية. يصف هذا البروتوكول منهجيه تمكن المستخدمين عديمي الخبرة من إنشاء تطبيق الهاتف الذكي الذي يجمع بين AR و 3DP لتصور نماذج ثلاثية الابعاد تشريحيه للمرضي الذين لديهم علامات مرجعيه مطبوعه ثلاثية الابعاد.
بشكل عام ، واحده من التطبيقات السريرية الأكثر أثاره للاهتمام من AR و 3DP هو تحسين التواصل بين المريض والطبيب من خلال إعطاء المريض وجهه نظر مختلفه من الحالة ، وتحسين تفسيرات الحالات الطبية المحددة أو العلاجات. ويشمل تطبيق آخر ممكن التوجيه الجراحي لتوطين الهدف ، حيث يمكن وضع الاداات الخاصة بالمريض المطبوعة ثلاثية الابعاد (مع علامة AR المرجعية المرفقة) علي الهياكل الجامدة (اي العظام) وتستخدم كمرجع للملاحة. هذا التطبيق مفيد بشكل خاص لجراحات العظام والوجه والفكين ، حيث يتم الوصول إلى سطح الانسجه العظمية بسهوله خلال العملية الجراحية.
يبدا البروتوكول بالقسم 1 ، واصفا اعداد محطه العمل وأداات البرامج اللازمة. يصف القسم 2 كيفيه استخدام برنامج تقطيع اللحم ثلاثي الابعاد بسهوله لتقسيم التشريح المستهدف للمريض من اي طريقه تصوير طبية للحصول علي نماذج ثلاثية الابعاد. هذه الخطوة حاسمه ، كما نماذج 3D الظاهرية التي تم إنشاؤها هي تلك المعروضة في التطبيق AR النهائي.
في القسم 3 ، يتم استخدام تقطيع اللحم ثلاثي الابعاد لتسجيل النماذج الثلاثية الابعاد التي تم إنشاؤها في القسم السابق بعلامة AR. خلال هذا الاجراء التسجيل ، ونماذج 3D المريض بكفاءة وببساطه وضعها فيما يتعلق علامة AR. سيحدد الموضع المحدد في هذا القسم الموضع النسبي ثلاثي الابعاد في التطبيق النهائي. ويعتقد ان هذا الحل يقلل من التعقيد ويضاعف التطبيقات الممكنة. يصف القسم 3 خيارين مختلفين لتعريف العلاقات المكانية بين النماذج وعلامات AR: "التصور" ووضع "التسجيل". الخيار الأول ، "التصور" الوضع ، يسمح للنماذج 3D ان توضع في اي مكان فيما يتعلق العلامة وعرضها ككل الحيوية. يوفر هذا الوضع منظورا واقعيا ثلاثي الابعاد لتشريح المريض ويسمح بتحريك وتدوير المؤشرات الحيوية عن طريق تحريك علامة AR المتعقبة. الخيار الثاني ، "تسجيل" الوضع ، يسمح التعلق والجمع بين محول علامة إلى اي جزء من الحيوية ، وتقديم عمليه التسجيل التلقائي. مع هذا الخيار ، يمكن ان يكون قسم صغير من النموذج 3D ، بما في ذلك محول علامة ، 3D المطبوعة ، والتطبيق يمكن عرض بقية النموذج كما الهولوغرام.
ويقدم القسم 4 مبادئ توجيهيه لعمليه الطباعة ثلاثية الابعاد. أولا ، يمكن للمستخدم الاختيار بين علامتين مختلفتين: "علامة اللون المزدوج" و "علامة الملصق". كل "علامة اللون المزدوج" يمكن ان تكون 3D المطبوعة ولكن يتطلب طابعه مزدوجة 3D الطارد. في حاله عدم توفر هذه الطابعة ، يتم اقتراح "علامة الملصق". هذا هو علامة ابسط التي يمكن الحصول عليها من قبل 3D-طباعه هيكل مكعب ، ثم لصق الصور من المكعب مع ورقه لاصقه أو ملصقا الغراء. وعلاوة علي ذلك ، تم تصميم كل من علامات مع المقاطع القابلة للتوسيع لتناسب تماما في محول معين. التالي ، يمكن أعاده استخدامها علامة في عده حالات.
يصف القسم 5 عمليه إنشاء مشروع وحده لل AR باستخدام مجموعه أدوات تطوير البرمجيات Vuforia. وقد تكون هذه الخطوة هي الجزء الأصعب بالنسبة للمستخدمين الذين ليس لديهم خبره في البرمجة ، ولكن مع هذه المبادئ التوجيهية ، ينبغي ان يكون من الأسهل الحصول علي الطلب النهائي المقدم في القسم 6. يعرض التطبيق النماذج الظاهرية للمريض عبر شاشه الهاتف الذكي عندما تتعرف الكاميرا علي العلامة المطبوعة بالابعاد الثلاثية. من أجل التطبيق للكشف عن علامة 3D ، والمسافة الدنيا من حوالي 40 سم أو اقل من الهاتف إلى علامة ، فضلا عن ظروف الاضاءه الجيدة مطلوبه.
التطبيق النهائي لهذا البروتوكول يسمح للمستخدم باختيار العلامات الحيوية المحددة لتصور وفي اي المواقف. أدتيونالي ، يمكن للتطبيق اجراء التسجيل التلقائي المريض-الهولوغرام باستخدام علامة 3D المطبوعة ومحول تعلق علي الحيوية. وهذا يحل التحدي المتمثل في تسجيل النماذج الظاهرية مع البيئة بطريقه مباشره ومريحه. وعلاوة علي ذلك ، فان هذه المنهجية لا تتطلب معرفه واسعه بالتصوير الطبي أو تطوير البرمجيات ، ولا تعتمد علي المعدات المعقدة والبرمجيات المكلفة ، ويمكن تنفيذها علي مدي فتره زمنيه قصيرة. ومن المتوقع ان تساعد هذه الطريقة في التعجيل باعتماد تقنيات القطاع الخاص والتكنولوجيا الثلاثية من قبل المهنيين الطبيين.
Disclosures
وليس لدي المؤلفين ما يفصحون عنه.
Acknowledgments
وحظي هذا التقرير بدعم من المشروعين PI18/01625 و PI15/02121 (وزاره المالية والابتكار واليقع ومعهد الصليب كارلوس الثالث والصندوق الأوروبي للتنمية الاقليميه "Una manera de هاجر Europa") والIND2018/TIC 9753 (اتحاد مدريد).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
