النهج الفني لتتبع الأشعة تحت الحمراء للتنقل في الأنسجة الرخوة مع شاشة ثلاثية الأبعاد مثبتة على الرأس والتحقق قبل السريري

يتمثل نطاق هذه الدراسة في مركز الأميرة ماكسيما لأورام الأطفال في تطوير نظام الواقع المعزز والتحقق من صحته. يجب أن يقوم هذا النظام بمحاذاة الصور المجسمة للأعضاء المتحركة بدقة. يتمثل أحد التحديات التجريبية الحالية في التحقق من أن الهولوغرام يظل متماشيا بدقة مع موضع الوقت الفعلي للعضو المتحرك.

حاليا ، تم وصف تقنيات التحقق من صحة الواقع المعزز فقط للهياكل التشريحية الصلبة مثل العظام. ومع ذلك ، يوفر بروتوكولنا ميزة أنه يمكن استخدامه للتحقق من صحة الواقع المعزز للأعضاء المتحركة أيضا. للبدء ، افتح برنامج التصميم ثلاثي الأبعاد بمساعدة الكمبيوتر وقم بإنشاء ملف جديد.

حدد علامة التبويب Solid ، وانقر فوق Create Sketch لبدء تصميم جديد لعلامة الأشعة تحت الحمراء. أضف ثلاث أو أربع دوائر صغيرة بقطر ثلاثة ملليمترات بالضغط على دائرة قطر المركز. باستخدام أداة الخط ، قم بتوصيل رؤوس المثلث بنقاط الوسط للأضلاع المتقابلة وارسم خطوطا تربط الدوائر لحساب نقطة المركز.

عند النقطة المركزية ، ارسم دائرة باستخدام Center Diameter Circle ، ثم ارسم مستطيلات تربط هذه الدائرة المركزية بكل دائرة من الدوائر الأصغر باستخدام أداة المستطيل ذات النقطتين. قم ببثق القاعدة الدائرية المركزية وربط المستطيلات بسمك ملليمترين. بثق الدوائر الأصغر بسمك خمسة ملليمترات.

اضغط على إنشاء، ثم حدد مؤشر الترابط، وأضف خيوط إلى المخاريط الثلاثة باستخدام ملف تعريف ISO متري لتناسب الكرات العاكسة بالأشعة تحت الحمراء مقاس 6.4 ملم. باستخدام وظيفة 3D Print أو Export ، قم بتصدير النموذج النهائي كملف كائن. ضمن برنامج التصميم ثلاثي الأبعاد بمساعدة الكمبيوتر ، حدد قياس لقياس إحداثيات x و y و z للمجالات العاكسة للأشعة تحت الحمراء بالنسبة إلى نقطة المركز.

قم بقياس مواقع النقاط المركزية لكل دائرة صغيرة بالارتباط بمركز الشكل بأكمله. قم بتشغيل برنامج تطوير اللعبة. قم باستيراد ملف المشروع IRTrackingOrgans_HoloLens وافتح المشروع.

باستخدام محرر نصوص، افتح ملف JavaScript Object Notation المحفوظ في المجلد Assets أو StreamingAssets. قم بتكييف الملف لتحديد علامة الأشعة تحت الحمراء المخصصة باستخدام الإحداثيات المسجلة مسبقا واتباع التنسيق الافتراضي. في علامة التبويب DINO Unity، حدد ToolManager، وانقر فوق ResearchModeController، متبوعا بملف JSON وتحويل الأصل، ثم انقر فوق إنشاء كائنات تطبيق إعداد JSON.

استيراد نموذج علامة الأشعة تحت الحمراء ثلاثية الأبعاد الذي تم إنشاؤه. حدد النموذج ثلاثي الأبعاد الخاص بالمريض وقم بتغيير إحداثيات التحويل الخاصة به في نافذة المفتش لمطابقة موضع العلامات التي تم نشرها في المشهد. ثم اسحب النموذج ثلاثي الأبعاد الخاص بالمريض إلى المشهد لإدخاله.

قم بتحويل نموذج المريض ثلاثي الأبعاد لمحاذاة علامة الأشعة تحت الحمراء على سطحها. ضع علامة الأشعة تحت الحمراء بالقرب من مركز النموذج لتقليل الخطأ الموضعي من تأثير الرافعة. الآن ، قم بتوصيل مشهد المريض بزر في شاشة القائمة للسماح بتحديد حالات متعددة.

انتقل إلى الانتقال إلى مشهد الأصول والمشاهد والقائمة. في نافذة التسلسل الهرمي، انتقل إلى NearMenu4x2، ثم إلى ButtonCollection، وحدد الزر ذي الصلة. في نافذة المفتش، انتقل إلى الأحداث الأساسية وضمن MenuScript.

LoadScene، اكتب اسم مشهد المريض. قم بإنشاء أو الحصول على نموذج ثلاثي الأبعاد لشبح الكلى بهياكل تشريحية واقعية. استيراد النموذج ثلاثي الأبعاد إلى برنامج نمذجة 3D CAD.

ثم استخدم الدالات Solid و Create و Hole لدمج خمس نقاط محورية للتسجيل على جانب النموذج. اضبط نوع الثقب على بسيط ، ونوع صنبور الثقب على بسيط ، ونقطة الحفر على الزاوية ، والارتفاع إلى 0.5 ملم ، والقطر على 4.0 ملم. لتثبيت المستشعر المرجعي الكهرومغناطيسي ، قم بإنشاء أسطوانة بها ثقب ودمجها في نموذج الكلى.

ابدأ رسما تخطيطيا جديدا واستخدم دائرة قطر المركز لرسم دائرة ودائرة داخلية بقطر 2.8 ملم. بثق الدائرة الخارجية بمقدار 16.5 ملم. ثم انتقل إلى تعديل ، متبوعا ب Combine.

حدد كلا من نموذج الكلى ثلاثي الأبعاد والأسطوانة ، واختر انضمام ، وقم بالتأكيد بالنقر فوق موافق. ثم استخدم وظيفة التصدير أو الطباعة ثلاثية الأبعاد لتصدير النموذج النهائي المتكامل. بعد ذلك ، استخدم خيوطا مرنة أو شبه مرنة ، مثل البولي يوريثين بالحرارة ، لطباعة شبح الكلى باتباع الإجراء الموضح سابقا. ضع مولد المجال لنظام التتبع الكهرومغناطيسي مباشرة أسفل شبح الكلى المطبوع.

قم بإزالة جميع الأجسام المغناطيسية الحديدية من البيئة المحيطة لمنع عدم تجانس المجال الكهرومغناطيسي. ثم قم بتوصيل المستشعر الكهرومغناطيسي والمؤشر الكهرومغناطيسي بنظام التتبع. قم بتوصيل المستشعر المرجعي الكهرومغناطيسي بالنموذج ثلاثي الأبعاد عن طريق تثبيته بإحكام داخل الأسطوانة باستخدام الغراء.

في 3D Slicer ، قم باستيراد نموذج الكلى ثلاثي الأبعاد الذي يحتوي على النقاط المحورية. استخدم معالج التسجيل الائتماني. حدد وضع نقطة تحكم، وقم بتعيين معالم التسجيل رقميا.

لإجراء تسجيل المعالم في 3D Slicer ، استخدم المؤشر الكهرومغناطيسي لتحديد نقاط المعلمات المادية. اضغط على وضع نقطة تحكم في كل موقع فعلي لتسجيلها في البرنامج. ثم احسب تحويل التسجيل الخطي الثابت بالضغط على تحديث.

الآن ، قم بتطبيق تحويل التسجيل المحسوب على النموذج ثلاثي الأبعاد لربطه بالمستشعر المرجعي الكهرومغناطيسي. حرك النموذج المادي وتأكد من أن الإصدار الرقمي في 3D Slicer يتبع حركته. قم بتشغيل جهاز العرض ثلاثي الأبعاد ، وافتح التطبيق الثلاثي الأبعاد الذي تم تكوينه مسبقا.

ثم انتقل إلى النموذج ثلاثي الأبعاد الصحيح الخاص بالمريض والذي يتم تصوره حاليا في 3D Slicer. الآن ، قم بتوصيل علامة الأشعة تحت الحمراء بالموقع المحدد باستخدام الغراء ، مما يضمن وجود الكرات العاكسة للأشعة تحت الحمراء 6.4 ملم في مكانها وفقا لتوجيهات التخطيط قبل الجراحة. استخدم المؤشر الكهرومغناطيسي لتحديد النقاط المستهدفة رقميا كما تظهر من خلال التصور الثلاثي الأبعاد.

احفظ المجموعة الناتجة من إحداثيات مستشعر EM. احسب الخطأ عن طريق مقارنة إحداثيات الهدف المحفوظة بالمعالم الفعلية الموضوعة للتحقق من دقة التصور الثلاثي الأبعاد. عبر جميع المشاركين ، أظهر خطأ توطين النقاط ، أو PLE ، قيمة متوسطة قدرها 8.74 ملم ، مع قياسات فردية تتراوح من 2.78 إلى 13.20 ملم.

حقق الجراح 2 باستمرار أدنى قياسات PLE ، بما في ذلك التوطين الأكثر دقة عند 2.78 و 3.48 ملم. لوحظ أكبر خطأ في التوطين خلال القياس الثالث بواسطة الجراح 3 ب PLE يبلغ 13.20 ملم. سيساعد هذا البروتوكول الآخرين في نشر المشاريع الثلاثية الأبعاد والتحقق بدقة من صحة نظام الواقع المعزز الخاص بهم في بيئة قبل السريرية.

ستبدأ مجموعة البحث الجراحية لدينا قريبا بالتتبع الثلاثي الأبعاد الآلي للعديد من الحالات الجراحية للأطفال. يتم تتبع الأعضاء المتحركة بناء على خوارزميات التعلم الآلي وموجزات كاميرا RGB.