Method Article

النهج الفني لتتبع الأشعة تحت الحمراء للتنقل في الأنسجة الرخوة مع شاشة ثلاثية الأبعاد مثبتة على الرأس والتحقق قبل السريري

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يقدم هذا البروتوكول دليلا لتنفيذ تتبع علامات الأشعة تحت الحمراء للأشباح الحرة الحركة (على سبيل المثال ، الأعضاء) والتصور الثلاثي الأبعاد باستخدام الواقع المعزز. بالإضافة إلى ذلك ، فإنه يحدد إعدادا للتحقق قبل السريري لأنظمة الملاحة الثلاثية الأبعاد باستخدام التتبع الكهرومغناطيسي على الأشباح الحرة الحرة.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

الواقع المعزز (AR) لديه القدرة على تعزيز التوجيه الجراحي من خلال تركيب المعلومات التشريحية ثلاثية الأبعاد (3D) مباشرة على المريض أثناء العمليات الجراحية. ومع ذلك ، فإن التنفيذ العملي للواقع المعزز يواجه تحديات كبيرة ، لا سيما في التتبع الدقيق للأعضاء التي تتحرك بحرية أثناء التلاعب الجراحي. وبالتالي ، فإن طرق تتبع الأعضاء الموثوقة ضرورية للحفاظ على تراكبات ثلاثية الأبعاد دقيقة أثناء الجراحة. يشكل التحقق قبل السريري للتصورات الثلاثية الأبعاد فيما يتعلق بالدقة تحديات إضافية ، تتطلب بروتوكولات تجريبية للتقييم الكمي. يعالج هذا البروتوكول هذين التحديين: فهو يصف نهجا شاملا لتطوير تطبيقات تصور الواقع المعزز باستخدام علامات الأشعة تحت الحمراء المصممة خصيصا لتتبع الأعضاء في الوقت الفعلي باستخدام شاشة مثبتة على الرأس (HMD) ، ويوفر إطار عمل للتحقق من الصحة يستفيد من التتبع الكهرومغناطيسي (EM) للتحقق من صحة الدقة الثلاثية الأبعاد في التجارب الوهمية. يحدد هذا العمل إرشادات خطوة بخطوة لإنشاء نماذج ثلاثية الأبعاد خاصة بالمريض من التصوير الطبي وتصميم وتصنيع علامات الأشعة تحت الحمراء المخصصة ، ودمج هذه العلامات في تطبيق AR ل HMD ، ونشرها للملاحة الجراحية. بالإضافة إلى ذلك ، فإنه يفصل إجراء التحقق من الصحة باستخدام تتبع EM لقياس دقة التصورات الثلاثية الأبعاد كميا في أشباح الكلى شبه القابلة للتشوه. لذلك ، يسهل هذا البروتوكول تتبع الأعضاء في الوقت الفعلي ويؤسس منهجية التحقق قبل السريري. يمكن أن يؤدي تنفيذ تتبع الأعضاء في الوقت الفعلي إلى تعزيز التوجيه الجراحي للأعضاء الحرة الحركة عن طريق تراكب الصور المجسمة بدقة ، مما قد يؤدي إلى تحسين الدقة الجراحية ونتائج أفضل للمرضى.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

في جراحة الأورام ، يعد التحديد الدقيق لموقع الورم وعلاقته بالأنسجة السليمة المجاورة أمرا بالغ الأهمية لتحقيق استئصال كامل للورم مع الحفاظ على الأنسجةالسليمة 1. يمكن أن يؤدي الاستئصال غير المكتمل إلى تكرار موضعي وانخفاض معدل البقاء على قيد الحياة2،3 ، في حين أن إزالة الأنسجة المفرطة قد تضعف الوظيفة ونوعية الحياة4. تبشر أنظمة الملاحة الجراحية بتحسين عمليات الاستئصال الجذرية مع الحفاظ على الأنسجة السليمة ، من خلال تزويد الجراحين بالتوجيه أثناء الجراحة التي يمكن أن تؤدي إلى تحسين النتائج السريرية5. ومع ذلك ، تقدم أنظمة الملاحة الجراحية التقليدية عادة معلومات تشريحية ثنائية الأبعاد (2D) على الشاشات الموضوعة خارج المجال الجراحي. يجبر هذا النهج الجراحين على الربط العقلي بين المعلومات ثنائية الأبعاد المعروضة وتشريح المريض الفعلي ثلاثي الأبعاد (3D) ، مما يزيد من الحمل المعرفي6. على الرغم من أن التطورات الحديثة في النمذجة ثلاثية الأبعاد توفر للجراحين فهما أفضل لعلاقة الورم بالهياكل التشريحية المحيطة7 ، إلا أن هذه المعلومات لا تزال مرئية خارج منطقة العمليات ، مما يحافظ على مشكلة تبديل التركيز6،8. يمكن أن تساهم هذه القيود في أنظمة الملاحة الجراحية في حدوث أخطاء محتملة في استخدام الملاحة الجراحية وربما تؤدي إلى نتائج جراحية دون المستوى الأمثل9.

للتغلب على القيود المذكورة أعلاه ، ظهر الواقع المعزز (AR) كحل واعد من خلال تصور الهياكل التشريحية وحدود الاستئصال في 3D على المريض10،11. من خلال تركيب نماذج ثلاثية الأبعاد قبل الجراحة ، والتي يتم تقسيمها بناء على بيانات التصوير بالرنين المغناطيسي (MRI) أو التصوير المقطعي المحوسب (CT) ، يمكن تصور علم التشريح. في المراجعات المنهجية ، تم تسليط الضوء على الفوائد المحتملة للواقع المعزز للجراحة المفتوحة لدى المرضىالمراهقين 12 ، ويوضح العمل الأولي في هذا المجال جدوى أدلة ثلاثية الأبعاد الخاصة بالمريض ومجهزة بعلامات مرئية للتسجيل التلقائي13. طور Van Doormaal et al. نظام ملاحة بجهاز AR باستخدام تسجيل قائم على النقاط ومؤشر مع هدف صورة لجراحة الأعصاب14. قاموا بتقييم تطبيق الواقع المعزز المطور في غرفة العمليات على المرضى قبل الجراحة وفي تجربة وهمية ، والتي أظهرت خطأ تسجيل ائتماني يبلغ 7.2 ملم و 4.4 ملم على التوالي.

على الرغم من التقدم الواعد، غالبا ما تكون أنظمة التسجيل هذه جامدة، وتفتقر إلى التتبع في الوقت الفعلي للأعضاء المستهدفة، وبالتالي لا تزال هناك حاجة إلى تتبع حركة الأعضاء في الوقت الفعلي15، 16. ينطبق هذا بشكل خاص على الأعضاء المتحركة ، التي يتم التلاعب بها أثناء الجراحة ، مثل الكلى والكبد ، والتي يمكن أن تؤدي إلى إرشادات غير دقيقة ، والحاجة إلى إعادة التسجيل ، والتي تستغرق وقتا طويلا ، والضرر المحتمل للأنسجة السليمة أو الاستئصال غير الصحيح17. لمعالجة هذه المشكلات بشكل أكبر ، تم تطوير نظام AR جديد يعتمد على تطبيق قدمه Iqbal et al. لدمج علامات الأشعة تحت الحمراء للتتبع المستمر للأعضاء18. يسمح هذا التطور لتراكب الواقع المعزز بالتكيف ديناميكيا مع التغييرات في الوقت الفعلي في موضع الأعضاء ، وبالتالي الحفاظ على الدقة المكانية وربما تعزيز الدقة الجراحية. من خلال الجمع بين التسجيل الصارم والتتبع الديناميكي القائم على علامات الأشعة تحت الحمراء ، يوفر هذا النظام تقدما كبيرا نحو تحقيق إرشادات ثلاثية الأبعاد دقيقة في الوقت الفعلي في الجراحة.

يقدم هذا البروتوكول نظام ملاحة AR قائم على علامات الأشعة تحت الحمراء ونظام التحقق قبل السريري لشاشة مثبتة على الرأس (HMD). نحن نهدف إلى تطوير والتحقق من صحة نظام ملاحة الواقع المعزز في الوقت الفعلي للحفاظ على تراكبات ثلاثية الأبعاد دقيقة للأعضاء المتحركة في بيئة ما قبل السريرية. أولا ، يوفر البروتوكول وصفا لكيفية إعداد تطبيق ثلاثي الأبعاد يستخدم علامات الأشعة تحت الحمراء بأبعاد 32 مم (عرض) × 15 مم (طول) × 6 مم (ارتفاع) لتتبع الأعضاء الوهمية في الوقت الفعلي ، مع الحفاظ على تراكب الصور الثلاثية الأبعاد ثلاثية الأبعاد بشكل مستقل عن الحركة. نستخدم شبح الكلى ، المطبوع بخيوط البولي يوريثين بالحرارة (TPU) ، كنموذج مثال لعضو متحرك. ثانيا ، يقدم نظرة عامة على كيفية تصميم وطباعة علامات الأشعة تحت الحمراء المخصصة وكيفية دمج هذه العلامات في تطبيق التصور الثلاثي الأبعاد. يسمح ذلك للباحثين والأطباء الآخرين بتكييف التطبيق مع سيناريوهات شبح ما قبل السريرية الأخرى التي تتضمن محاكاة الجراحة المفتوحة والأعضاء المتحركة. أخيرا ، توفر طريقة التحقق من الصحة القائمة على التتبع الكهرومغناطيسي قياسات كمية لحساب الدقة ، مما يوفر التحقق قبل السريري من صحة التوجيه الثلاثي الأبعاد في التجارب الوهمية. ويتمثل أحد القيود التي تواجهها هذه المنهجية في عدم وجود إجراء تسجيل آلي، مما يحد من دقة هذا النظام. ومع ذلك ، فإن هذا النهج يساعد المستخدمين في تحديد مدى ملاءمة تقنية الواقع المعزز المطورة لتطبيقهم السريري.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

اتبعت هذه الدراسة إرشادات مؤسستنا ولم تخضع لقانون البحوث الطبية التي تنطوي على أشخاص (WMO). لذلك ، لم يكن مطلوبا الحصول على موافقة مستنيرة من المشاركين.

1. إعداد حزم الأجهزة والبرامج للنمذجة ثلاثية الأبعاد ونشر تطبيقات الواقع المعزز

  1. قم بتنزيل البرامج التالية وتثبيتها على جهاز كمبيوتر شخصي (PC) يعمل بنظام التشغيل Microsoft Windows 10.
    1. قم بتنزيل Unity Hub v3.11.1 و Unity v. 2019.4.22f1 من https://unity.com/download. قم بتضمين Visual Studio 2019 أثناء تثبيت Unity 2019.4.22f1. رابط الدليل: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. قم بتنزيل MeshMixer v. 3.5.0 من https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64 ، الرابط إلى الدليل https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. قم بتنزيل 3DSlicer v. 5.6.2 من https://download.slicer.org/ ، الرابط إلى الدليل https://slicer.readthedocs.io/en/latest/
    4. تحميل Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal ، الرابط إلى الدليل https://help.autodesk.com/view/fusion360/ENU/
    5. قم بتنزيل Bambu Studio v. 01.09.07.52 من https://bambulab.com/en/download/studio ، رابط الدليل https://wiki.bambulab.com/en/studio-handy

2. تصميم وطباعة علامات الأشعة تحت الحمراء المخصصة

  1. تصميم علامات الأشعة تحت الحمراء في برنامج تصميم ثلاثي الأبعاد كما هو موضح أدناه.
    1. افتح برنامج التصميم بمساعدة الكمبيوتر ثلاثي الأبعاد (CAD) (انظر جدول المواد) وقم بإنشاء ملف جديد.
    2. حدد علامة التبويب SOLID وانقر فوق إنشاء رسم تخطيطي لبدء رسم تصميم جديد لعلامة الأشعة تحت الحمراء.
    3. أضف ثلاث أو أربع دوائر صغيرة بقطر 3 مم بالضغط على دائرة القطر المركزي. تعمل هذه الدوائر كنقاط ربط للبراغي.
    4. احسب النقطة المركزية لعلامة الأشعة تحت الحمراء عن طريق توصيل رؤوس المثلث بنقاط المنتصف للجوانب المتقابلة. اضغط على Line وقم بتوصيل جميع الدوائر عن طريق رسم خطوط من جانب واحد إلى نقطة الدائرة.
    5. قم بإنشاء دائرة كقاعدة لعلامة الأشعة تحت الحمراء على النقطة المركزية باستخدام دائرة القطر المركزي. استخدم مستطيلا من 3 نقاط لرسم مستطيلات تربط الدائرة المركزية بكل دوائر من الدوائر الثلاث أو الأربع الأصغر.
    6. بثق القاعدة الدائرية والمستطيلات بسمك 2 مم ، والدوائر الصغيرة إلى 5 مم.
    7. أضف خيطا إلى كل من المخاريط الثلاثة باستخدام ملف تعريف متري ISO (على سبيل المثال ، M3 × 0.5 ، 6 جم ، اليد اليمنى) لاستيعاب الكرات العاكسة للأشعة تحت الحمراء مقاس 6.4 مم بالضغط على إنشاء ثم Thread.
    8. قم بتصدير النموذج كملف كائن (OBJ) باستخدام وظيفة 3D Print أو Export.
    9. ضمن برنامج 3D CAD ، قم بقياس إحداثيات XYZ للمجالات العاكسة للأشعة تحت الحمراء بالارتباط مع نقطة المركز عن طريق تحديد قياس. قم بقياس مواقع النقاط المركزية للدوائر بالارتباط مع النقطة المركزية للشكل. أستخدم هذه الإحداثيات في الخطوة 4.1.2.
  2. اطبع علامات ثلاثية الأبعاد كما هو موضح أدناه.
    1. استيراد الطباعة الحجرية المجسمة المصدرة (. STL) لعلامة الأشعة تحت الحمراء في برنامج مناسب للطابعة ثلاثية الأبعاد عن طريق سحبها إلى المشهد (انظر جدول المواد).
    2. قم بتكوين معلمات التقطيع ، بما في ذلك ارتفاع الطبقة (0.08 مم هو أصغر ارتفاع ممكن للطبقة لتجنب الطباعة غير الدقيقة للخيط للكرة العاكسة بالأشعة تحت الحمراء) بالضغط على الجودة > ارتفاع الطبقة. أضف دعما إلى التصميم بالضغط على الدعم > تمكين البناء.
    3. قم بتصدير ملف التقطيع إلى طابعة 3D بالنقر فوق Slice All، وقم بتصدير الملف بالنقر فوق تصدير كل ملف Slice File، وقم بطباعة النموذج ثلاثي الأبعاد باستخدام طابعة ثلاثية الأبعاد (انظر جدول المواد) باستخدام خيوط حمض polylactic (على سبيل المثال، PLA؛ انظر جدول المواد).

3. إعداد نموذج الكلى ثلاثي الأبعاد الخاص بالمريض

  1. تجزئة النموذج
    1. افتح برنامج التجزئة ثلاثية الأبعاد (انظر جدول المواد) واستورد بيانات التصوير بالرنين المغناطيسي / التصوير المقطعي المحوسب للمريض باستخدام ملفات استيراد DICOM.
    2. انتقل إلى محرر الشرائح، واختر وحدة تخزين المصدر المناسبة، وأنشئ تقسيما جديدا بالنقر فوق إضافة.
    3. حدد التجزئة اليدوية أو شبه التلقائية بناء على طريقة التصوير.
    4. للتجزئة اليدوية ، استخدم أداة الطلاء والمسح لتقسيم الورم والهياكل ذات الصلة المحيطة في كل شريحة.
    5. بالنسبة للتجزئة شبه التلقائية ، ضع في اعتبارك استخدام خيارات مثل Threshold مع نطاق العتبة المناسب للهيكل المحدد ، و Scissors لتقسيم الهياكل غير ذات الصلة.
    6. في شاشة البيانات، حدد التقسيم الذي تم إنشاؤه ثم انقر بزر الماوس الأيمن للانتقال إلى الزر تصدير المقاطع المرئية إلى النماذج . تأكد من تحديد خيار العين على الجانب الأيمن من الشاشة.
    7. قم بتصدير ملفات STL الخاصة بالنماذج بالنقر فوق حفظ وحفظ الملفات كملف . ملف STL.
  2. المعالجة اللاحقة للنموذج الخاص بالمريض
    1. قم باستيراد ملف STL إلى محرر شبكي (انظر جدول المواد) وقلل عدد المثلثات عن طريق تحديد نموذج ثلاثي الأبعاد > تحرير ثم قم بتقليله بنسبة مئوية تقلل من المثلثات دون تشويه الجانب المرئي للنموذج ثلاثي الأبعاد ، واضغط على قبول.
    2. تأكد من تمثيل النقاط المستهدفة بشكل مرئي داخل النموذج ثلاثي الأبعاد للتطبيق الثلاثي الأبعاد لمزيد من التحقق من الصحة. اضغط على إضافة كرات وضعها على النموذج ثلاثي الأبعاد.
    3. قم بتصدير النماذج ثلاثية الأبعاد إلى تنسيق ملف OBJ بالضغط على File > Export. تأكد من أن النموذج ثلاثي الأبعاد يحتوي على ما يقرب من 100,000 مضلع عن طريق تحديد النموذج وتقليل المضلعات بالضغط على تحرير > تصغير. يتطلب عدد المضلعات الأعلى مزيدا من العمليات من وحدة معالجة الرسومات ، لذا فإن تقليل عدد المضلعات في المشهد يمكن أن يقلل بشكل كبير من وقت العرض.

4. تحضير التطبيق الثلاثي الأبعاد

  1. قم بتكوين مشروع IRTrackingOrgans_HoloLens كما هو موضح أدناه.
    1. قم بتشغيل برنامج تطوير اللعبة (انظر جدول المواد) وقم باستيراد مشروع IRTrackingOrgans_HoloLens وافتحه.
    2. قم بتكييف ملف JavaScript Object Notation (JSON) باستخدام محرر نصوص، باتباع التنسيق الافتراضي، لتنفيذ علامة الأشعة تحت الحمراء المخصصة استنادا إلى الإحداثيات المقاسة في الخطوة 2.1.10. يتم حفظ ملف JSON في Assets/StreamingAssets.
    3. انتقل إلى علامة التبويب DINO Unity، وحدد ملف ToolManager > ResearchModeController > ملف JSON والتحويل الأصلي ، وانقر فوق إنشاء كائنات وتطبيق إعداد JSON.
    4. قم باستيراد نموذج 3D لعلامة الأشعة تحت الحمراء الظاهرية كأصل تم إنشاؤه في الخطوة 1.1.
    5. قم بتحويل نموذج علامة الأشعة تحت الحمراء الظاهرية ثلاثية الأبعاد إلى موضع العلامات التي تم إنشاؤها في المشهد عن طريق تحديد النموذج وتغيير إحداثيات التحويل في نافذة المفتش.
    6. أدخل نموذجا ثلاثي الأبعاد خاصا بالمريض في المشهد عن طريق تحديده وسحبه إلى المشهد.
    7. قم بتحويل نموذج المريض ثلاثي الأبعاد إلى المكان الصحيح ، بحيث تلامس علامة الأشعة تحت الحمراء سطح النموذج ثلاثي الأبعاد. ضع علامة الأشعة تحت الحمراء بالقرب من مركز الكائن ثلاثي الأبعاد لتقليل عدم الدقة بسبب تأثير الرافعة.
  2. قم بتوصيل المشهد بقائمة اختيار المريض
    1. للاستخدام العملي واختيار الحالات المتعددة ، قم بتوصيل مشهد المريض بزر في شاشة القائمة. انتقل إلى المشاهد > الأصول > مشهد القائمة.
    2. في نافذة التسلسل الهرمي ، انتقل إلى NearMenu4x2 و ButtonCollection ثم الزر ذي الصلة.
    3. في نافذة المفتش، انتقل إلى الأحداث الأساسية وضمن MenuScript.LoadScene اكتب اسم مشهد المريض.
  3. إعداد HMD للنشر لأول مرة
    ملاحظة: هذا القسم ضروري فقط إذا تم نشر التطبيق لأول مرة.
    1. قم بتسجيل الدخول إلى جهاز HMD (انظر جدول المواد) واضبط الجهاز في وضع البحث. انتقل إلى الإعدادات > التحديث والأمان > للمطورين > تشغيل ميزات المطور واكتشاف الجهاز.
    2. قم بإقران HMD بجهاز كمبيوتر (Wi-Fi أو USB-C). إذا كانت هذه هي المرة الأولى التي يتم فيها الاتصال، فاتبع الخطوات التالية: ابحث عن عنوان IP الخاص ب HMD في علامة تبويب المطور، واملأ عنوان IP في مستعرض ويب للاتصال بمدخل الجهاز، وإقران الجهاز عن طريق إنشاء رمز PIN وملء رقم التعريف الشخصي.
  4. إنشاء التطبيق ونشره على HMD
    1. أضف المشاهد إلى الإصدار بالانتقال إلى إعدادات إنشاء > الملف، وإضافة المشهد بالترتيب التالي: القائمة > تتبع المشهد بالضغط على إضافة مشاهد مفتوحة.
    2. قم بإنشاء المشروع باستخدام النظام الأساسي العالمي ل Windows والجهاز المستهدف HoloLens والبنية x64. انقر فوق إنشاء وحدد خريطة بنية.
    3. افتح ملف الإنشاء (.sln) باستخدام Visual Studio 2019 وقم بتغيير النظام الأساسي إلى ARM64. ثم افتح الخصائص بالنقر بزر الماوس الأيمن على ملف .sln في مستكشف الحلول وداخل تصحيح الأخطاء ، اكتب عنوان IP الخاص ب HMD ضمن اسم الجهاز.
    4. انشر التطبيق إلى HMD عن طريق تحديد تصحيح الأخطاء > البدء بدون تصحيح الأخطاء.
    5. قم بتشغيل HMD وافتح التطبيق الثلاثي الأبعاد. بعد ذلك ، انتقل إلى شاشة قائمة المريض وحدد الحالة المناسبة لبدء التصور والتوجيه الثلاثي الأبعاد.

5. التحقق من صحة التصور الثلاثي الأبعاد للأعضاء المتحركة

  1. طباعة شبح شبه قابلة للتشوه
    1. قم بإنشاء أو الحصول على نموذج ثلاثي الأبعاد لشبح الكلى بهياكل تشريحية واقعية.
    2. قم باستيراد النموذج ثلاثي الأبعاد إلى برنامج نمذجة 3D CAD ودمج خمس نقاط محورية للتسجيل على جانب النموذج باستخدام Solid > Create > Hole > مع الإعدادات نوع الثقب: بسيط ، نوع صنبور الثقب: بسيط ، نقطة الحفر: الزاوية ، الارتفاع: 0.5 مم ، والقطر: 4.0 مم.
    3. قم بدمج أسطوانة بها فتحة في النموذج ثلاثي الأبعاد لتثبيت المستشعر المرجعي EM لمزيد من خطوات التحقق من الصحة.
      1. قم بإنشاء رسم تخطيطي بدائرة ودائرة داخلية بقطر 2.8 مم باستخدام دائرة القطر المركزي. بثق الدائرة الخارجية بمقدار 16.5 مم.
      2. اجمع بين الأسطوانة والنموذج ثلاثي الأبعاد عن طريق تعديل > الجمع > حدد نموذج ثلاثي الأبعاد والأسطوانة > الانضمام > موافق.
    4. قم بتصدير النموذج ثلاثي الأبعاد باستخدام وظيفة التصدير أو الطباعة ثلاثية الأبعاد.
    5. استخدم خيوطا مرنة أو شبه مرنة ، مثل TPU ، (انظر جدول المواد) لطباعة شبح الكلى وفقا للإجراء الموضح في الخطوة 2.2.
  2. إعداد قطاعة ثلاثية الأبعاد باستخدام نظام تتبع EM
    1. راجع البرنامج التعليمي الشامل لجهاز تقطيع البرش ثلاثي الأبعاد وجهاز التقطيع (https://www.slicerigt.org/wp/user-tutorial/) لإعداد نظام EM باستخدام 3D-Slicer.
      ملاحظة: يفترض هذا القسم من البروتوكول أن إعداد 3DSlicer وتكوين تتبع EM والاتصال مفهوم جيدا وتم إعداده بشكل صحيح.
    2. ضع المولد الميداني لنظام تتبع EM (انظر جدول المواد) أسفل الشبح مباشرة. قم بإزالة جميع المواد المغناطيسية من البيئة لتجنب عدم تجانس المجال الكهرومغناطيسي.
    3. قم بتوصيل مستشعر EM (انظر جدول المواد) ومؤشر EM (انظر جدول المواد) بنظام تتبع EM. تأكد من أن تحويلات هذه الأدوات مرئية بدقة في 3DSlicer.
    4. قم بتوصيل المستشعر المرجعي EM (على سبيل المثال ، أداة كابل NDI Aurora 6DOF) بالطراز ثلاثي الأبعاد عن طريق تثبيته في الأسطوانة بالغراء.
    5. في 3D Slicer، قم باستيراد النموذج ثلاثي الأبعاد مع النقاط المحورية وقم بتخصيص نقاط المعالم رقميا باستخدام معالج التسجيل الائتماني > وضع نقطة تحكم.
    6. قم بإجراء تسجيل المعالم عن طريق تحديد نقاط المعالم في الحياة الواقعية باستخدام مؤشر EM ، واضغط على وضع نقطة تحكم وتسجيلها في 3DSlicer. احسب تحويل التسجيل الخطي الصلب بالضغط على تحديث.
    7. بعد التسجيل ، قم بتطبيق تحويل التسجيل على النموذج ثلاثي الأبعاد لإنشاء رابط بينه وبين المستشعر المرجعي EM. بعد ذلك ، إذا تم نقل النموذج ثلاثي الأبعاد فعليا ، فيجب أن يتحرك نظيره الرقمي في 3DSlicer. وفقا لذلك ، تأكد من ذلك بصريا من خلال مراقبة الحركات.
  3. التحقق من الصحة الثلاثية الأبعاد
    1. قم بتشغيل الجهاز وافتح التطبيق الثلاثي الأبعاد للخطوة 4.4.5. بعد ذلك ، انتقل إلى نموذج المريض ثلاثي الأبعاد الصحيح ، والذي يتم تصوره أيضا في 3DSlicer.
    2. قم بتثبيت علامة الأشعة تحت الحمراء في المكان الصحيح باستخدام الغراء ، باستخدام علامات الأشعة تحت الحمراء المثبتة مقاس 6.4 مم (انظر جدول المواد) ، كما يتضح من تخطيط ما قبل الجراحة.
    3. استخدم مؤشر EM لتحديد النقاط المستهدفة رقميا بناء على التصور الثلاثي الأبعاد. احفظ مجموعة إحداثيات مستشعر EM.
    4. احسب الخطأ في تحديد موقع المعالم المستهدفة مقارنة بالمعالم الموضوعة للتحقق من صحة التصور الثلاثي الأبعاد كميا.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تم استخدام شبح الكلى لإثبات أداء نظام تتبع الأشعة تحت الحمراء لتتبع الأعضاء والتحقق من صحة إعداد التحقق المجسم في الأعضاء المتحركة. يتم توضيح سير العمل الكامل في الشكل 1.

أولا ، تم تقسيم الكلية بشكل شبه تلقائي بناء على بيانات التصوير بالرنين المغناطيسي باستخدام أداة العتبة في 3DSlicer. تم تصدير النموذج ثلاثي الأبعاد الناتج واستيراده إلى برنامج 3D CAD لتقليل عدد المضلعات. تم حفظ نموذج ثان ، وتم دمج خمس نقاط مستهدفة في هذا النموذج باستخدام أداة المجال (الشكل 2). تم استخدام هذا النموذج للتحقق الفني من شاشة العرض الثلاثية الأبعاد. تم استيراد الإصدار الأول من النموذج ، بدون نقاط مستهدفة ، إلى Autodesk Fusion. تم دمج خمس نقاط محورية في هذا النموذج ، وتم دمج الأسطوانة لتسهيل مستشعر EM. باستخدام برنامج التقطيع ثلاثي الأبعاد ، تم إعداد النموذج ثلاثي الأبعاد للطباعة ثلاثية الأبعاد. تم استخدام TPU بكثافة طباعة تبلغ 8٪ لإنشاء سطح كلوي مرن بالحد الأدنى.

تم تصميم علامة الأشعة تحت الحمراء القياسية ، وطباعتها ثلاثية الأبعاد ، ومزودة بكرات عاكسة للأشعة تحت الحمراء (قطر 6.4 مم). من علامة الأشعة تحت الحمراء هذه ، تم قياس إحداثيات علامة الأشعة تحت الحمراء بالارتباط بالنقطة المركزية. داخل تطبيق برنامج تطوير الألعاب ، تم استيراد ملف JSON الذي يحتوي على إحداثيات علامة الأشعة تحت الحمراء. ثانيا ، تم استيراد النموذج ثلاثي الأبعاد للكلية ، مع نقاط مستهدفة لأغراض التحقق من الصحة. أيضا ، لأغراض التصور ، تم استيراد نموذج علامة الأشعة تحت الحمراء وترجمته إلى موضع النقاط التي ينفذها ملف JSON. تم تحويل النموذج ثلاثي الأبعاد إلى مركز علامة الأشعة تحت الحمراء (الشكل 3) ، وتم تطبيق تظليل إضافي. بعد دمج مشهد قائمة المريض ، تم نشر التطبيق على HMD.

بناء على وضع علامات الأشعة تحت الحمراء ، يتم تصور النموذج ثلاثي الأبعاد ثلاثي الأبعاد على الكلى داخل شبح بطن الأطفال باستخدام HMD (الشكل 4). كان معدل التتبع 11.6 هرتز. ومع ذلك ، بالنسبة للمسافات التي تتجاوز 60 سم ، يفقد HMD القدرة على تتبع علامات الأشعة تحت الحمراء. ثانيا ، يتسبب التتبع المستمر والضوضاء في تتبع علامات الأشعة تحت الحمراء في وميض التراكب الثلاثي الأبعاد ، مما يؤدي إلى تصور غير دقيق.

لأغراض التحقق من الصحة ، تم توصيل نظام تتبع EM ب 3D Slicer من خلال Plus Server. تم وضع مستشعر EM على الكلية الوهمية للتتبع (الشكل 2). بعد التسجيل القائم على النقطة ، تم تسجيل النموذج ثلاثي الأبعاد بدقة متوسطة تبلغ 0.59 مم ، والتي أثبتت أنها طريقة دقيقة للتحقق من صحة الدقة الثلاثية الأبعاد (الشكل 5). كان متوسط خطأ توطين النقطة 8.74 ملم (النطاق الربيعي: 6.38 - 10.85) ، بناء على مدخلات من ثلاثة جراحين (الجدول 1).

يتضمن تنفيذ نظام تتبع وتصور الواقع المعزز بروتوكولا يمتد حوالي 45-60 دقيقة. قام طبيب تقني متمرس يتمتع بخبرة عامين بتنفيذ البروتوكول بأكمله مرة واحدة لتحديد مدة الخطوات الفردية للبروتوكول. والجدير بالذكر أن بعض الخطوات ضرورية ليتم تنفيذها مرة واحدة فقط. تشمل الخطوات الأساسية لكل مريض التجزئة وتكامل النموذج في برنامج تطوير اللعبة وتكوين المشهد. يتطلب تقسيم الهياكل التشريحية في الحالات الخاصة بالمريض وقتا أطول نسبيا بسبب الهياكل التشريحية المتعددة المعنية ، ولكن يمكن إكمال تجزئة الحمة الكلوية والورم في غضون 30 دقيقة. يستغرق دمج النماذج ثلاثية الأبعاد المجزأة في التطبيق ومواءمتها مع علامة الأشعة تحت الحمراء حوالي 5 دقائق من التعديلات اليدوية. لا يتطلب توصيل المشهد الصحيح أكثر من 5 دقائق. يختلف وقت إنشاء مشروع تطوير اللعبة اعتمادا على مواصفات الأجهزة ولكنه يستغرق عادة حوالي 3 دقائق ، تليها حوالي 10 دقائق للنشر على HoloLens 2. بشكل عام ، باستثناء إعداد التحقق من الصحة ، يوضح هذا البروتوكول طريقة لتتبع الأعضاء المتحركة في الإعدادات قبل السريرية.

figure-results-1
الشكل 1: نظرة عامة تخطيطية على سير العمل. يوضح سير العمل الخطوات المطلوبة لكل مريض في بيئة وهمية ، بما في ذلك مرحلة ما قبل الجراحة ، ومراحل التصوير المجسم ، وأثناء الجراحة. تتكون مرحلة ما قبل الجراحة من تجزئة (انظر الخطوة 3) التصوير الطبي قبل الجراحة. يتكون إعداد التطبيق الثلاثي الأبعاد من التخطيط الفعلي لوضع علامة الأشعة تحت الحمراء على النموذج ثلاثي الأبعاد (انظر الخطوة 4). في المرحلة أثناء الجراحة ، يمكن للجراحين اختيار المريض الصحيح وإصلاح علامة الأشعة تحت الحمراء للتصور الثلاثي الأبعاد والتتبع المستمر. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-2
الشكل 2: نظرة عامة على أشباح الكلى المستخدمة في منهجية التحقق من الصحة. إلى اليسار: صورة ثلاثية الأبعاد ثلاثية الأبعاد للكلية مع النقاط المستهدفة والتنسيب الافتراضي لعلامة الأشعة تحت الحمراء. الوسط: شبح ثلاثي الأبعاد مع مستشعر EM مدمج ونقاط محورية للتسجيل. على اليمين: شبح مطبوع ثلاثي الأبعاد ، مع علامة الأشعة تحت الحمراء والأسطوانة لمستشعر EM ، تستخدم لإجراء التحقق من الصحة. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-3
الشكل 3: إعداد التطبيق الثلاثي الأبعاد في برنامج تطوير الألعاب. يتحول نموذج الكلى إلى علامة الأشعة تحت الحمراء. ثانيا ، يتم تطبيق التظليل على الكلى والنقاط المستهدفة. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-4
الشكل 4: التصور الثلاثي الأبعاد للتجربة الوهمية. اليسار: وضع علامة الأشعة تحت الحمراء على الكلى. على اليمين: التصور الثلاثي الأبعاد للنقاط المستهدفة بالترتيب الصحيح (1 إلى 5). يحدث إزاحة التصور الثلاثي الأبعاد بسبب الارتعاش في تتبع علامة الأشعة تحت الحمراء. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-5
الشكل 5: الإعداد من بروتوكول التحقق من صحة تتبع EM للتصور الثلاثي الأبعاد للأعضاء المتحركة. يصور الأخضر والأحمر والأزرق تحويل أدوات EM اللازمة للتحقق من الصحة. يصور اللونان الأصفر والأخضر التحول فيما يتعلق بشاشة العرض المثبتة على الرأس (HMD). الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

المشاركقياسGT-X (مم)GT-Y (مم)GT-Z (مم)النقطة X (مم)النقطة Y (مم)النقطة Z (مم)PLE (مم)
الجراح 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
الجراح 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
الجراح 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

الجدول 1: لكل قياس ، يتم توفير إحداثيات الحقيقة الأرضية (GT) للمعالم المستهدفة ، وإحداثيات موقع النقطة المقابلة لها ، و PLE المقاسة لجميع الجراحين.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يحدد البروتوكول المقدم نهجا لتتبع الأعضاء في الوقت الفعلي والتصور الثلاثي الأبعاد ، بما في ذلك التحقق من صحة الأورام والأعضاء المتحركة في بيئة وهمية. من خلال الاستفادة من التتبع القائم على علامة الأشعة تحت الحمراء باستخدام HMD ، فإن هذه الطريقة لديها القدرة على الحفاظ بشكل أفضل على التراكبات الثلاثية الأبعاد التشريحية الصحيحة أثناء التلاعب بالأعضاء المتحركة. على الرغم من تطبيقها لتتبع الكلى ، يمكن أيضا استكشاف هذه الطريقة في مجالات سريرية أخرى ، مثل الجراحة المفتوحة للكبد أو الرئتين ، مع الحد الأدنى من التعديلات في بروتوكول التجزئة. ثانيا ، يمكن استخدام علامات الأشعة تحت الحمراء مع تقنيات جراحية مختلفة ، مثل الجراحة بالمنظار. في مثل هذه الحالات ، يمكن اكتشاف ملصقات عاكسة بالأشعة تحت الحمراء على الصور بالمنظار لتتبع الأعضاء أو الأدوات أو المعالم التشريحية. ومع ذلك ، فإن تطبيق هذه التقنية على المجالات السريرية الأخرى أو التقنيات الجراحية قد يؤدي إلى حدوث أخطاء بسبب الاختلافات في تشوه العضو المستهدف أو القيود الفنية ، مثل مجال الرؤية المحدود ، والتي تتطلب التحقق من الصحة في التجارب قبل السريرية.

تركز الخطوة 1 من البروتوكول بشكل أساسي على إعداد الأدوات الضرورية للأجهزة والبرامج. يتطلب هذا الإعداد العديد من التطبيقات والخطوات، لذلك من الأهمية بمكان تثبيت جميع حزم البرامج بشكل صحيح، بما في ذلك أي ملحقات ضرورية، لتجنب مشكلات النشر في اتجاه الخادم. ليس من المتوقع أن تتسبب الإصدارات المختلفة من البرامج في حدوث مشكلات ، على الرغم من أن الجمع بين برنامج تطوير الألعاب وبيئة التطوير المتكاملة أمر بالغ الأهمية.

في الخطوة 2 ، يتم وصف عملية إنشاء علامات الأشعة تحت الحمراء المخصصة. تصبح هذه الخطوة مهمة بشكل خاص إذا كان سيتم استخدام التتبع لتطبيقات أخرى. تضمن المرونة في تعديل شكل علامة الأشعة تحت الحمراء ملاءمتها المحتملة لتطبيقات ما قبل السريرية المتنوعة. علاوة على ذلك ، يمكن للمستخدمين استكشاف خيارات التصميم المختلفة لتحسين التزام علامة الأشعة تحت الحمراء بسطح العضو وتعزيز دقة تتبع علامة الأشعة تحت الحمراء. بالإضافة إلى ذلك ، يمكن أن يؤدي اختبار أقطار علامات الأشعة تحت الحمراء المتعددة إلى تحسين الكشف على مسافات تتجاوز 60 سم.

في الخطوة 3 ، يتم وصف النمذجة ثلاثية الأبعاد الخاصة بالمريض بناء على التصوير الطبي. يعد التجزئة الدقيقة للكلى والورم أمرا بالغ الأهمية ، لأنه يؤثر بشكل مباشر على دقة التوجيه الجراحي. قد يؤدي التجزئة الضعيفة إلى تصورات مضللة تضر بالدقةالجراحية 19. ثانيا ، هذه الخطوة هي الأكثر استهلاكا للوقت. يمكن أن يؤدي دمج طرق التجزئة التلقائية بالكامل إلى تسريع البروتوكول ، مما يقلل من ضرورة التعديلات اليدوية وشبه التلقائية مع ضمان التجزئة التشريحية الدقيقة20. يعد تحسين عدد المضلعات أمرا بالغ الأهمية لتحقيق الأداء الأمثل لعرض AR. إذا لم يتم إجراء هذا التحسين، اختراق أداء HMD بشكل كبير.

في الخطوة 4 ، يتم تحديد تكوين التطبيق الثلاثي الأبعاد ، بعد تنفيذ DINO-DLL. أحد الجوانب الحاسمة هو المحاذاة الصحيحة بين مواضع علامة الأشعة تحت الحمراء والنماذج التشريحية الثلاثية الأبعاد ، حيث يؤثر ذلك على دقة التسجيل اليدوي. على وجه الخصوص ، يجب تقليل تأثير الرافعة لمنع عدم الدقة على مسافات بعيدة من مركز علامة الأشعة تحت الحمراء. ويمكن أن تشمل التحسينات الأخرى تنفيذ أساليب تسجيل إضافية. علاوة على ذلك ، يظهر النظام الحالي معدل تتبع مقبول للتصور المستمر ، والذي يتماشى مع الأدبيات21. ثالثا ، يجب أن تتضمن التحسينات الإضافية تنفيذ مرشح كالمان لتقليل الضوضاء في بيانات تتبع علامة الأشعة تحت الحمراء ، وبالتالي القضاء على ارتعاش التصور الثلاثي الأبعاد.

في الخطوة 5 ، يوفر إطار العمل طريقة تحقق ثلاثية الأبعاد باستخدام تتبع EM. هذا البروتوكول مفيد للتحقق من صحة الصور المجسمة في بيئة وهمية ، لأنه يوفر تقييما كميا للدقة الثلاثية الأبعاد للأعضاء المتحركة. تتمثل الخطوة الحاسمة هنا في التكامل الدقيق لأجهزة استشعار تتبع EM داخل الأشباح المطبوعة ثلاثية الأبعاد شبه القابلة للتشويه. يجب على المستخدمين ضمان المعايرة الدقيقة لأجهزة استشعار EM وتسجيل المعالم في 3D Slicer. في حالة حدوث أخطاء في التحقق من الصحة ، يمكن أن تؤدي إعادة التسجيل أو إزالة أي أجسام معدنية إلى تحسين دقة التحقق من الصحة. لمزيد من التحقق من صحة الجدوى السريرية ، يمكن استخدام أعضاء خارج الجسم الحي لمحاكاة الأنسجة الجراحية بدقةأكبر 22.

يعمل هذا البروتوكول كدليل شامل للباحثين الذين يهدفون إلى تنفيذ حلول الواقع المعزز لتتبع الأعضاء والتحقق من صحة هذه الأنظمة في التجارب الوهمية. بالإضافة إلى ذلك ، فإنه يوفر إعداد تحقق قابل للتطبيق على نطاق واسع يمكن استخدامه بسهولة عبر سيناريوهات سريرية مختلفة ، لا سيما للتحقق من صحة طرق الواقع المعزز لتحريك الأعضاء. نظرا لتعقيد نشر التطبيقات الثلاثية الأبعاد ، يسهل هذا الإطار الانتقال من الحلول المفاهيمية القائمة على الواقع المعزز إلى التحقق قبل السريري.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

المؤلفون ليس لديهم ما يكشفون عنه.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نشكر هشام إقبال على خبرته ودعمه في إنشاء تتبع علامات الأشعة تحت الحمراء باستخدام HoloLens 2 ، استنادا إلى مستودع DINO-DLL المفتوح.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
مقسم طريقة عرض ثلاثية الأبعاد (الإصدار 5.6.2)القطاعهغير متاحبرنامج تجزئة الصور الطبية وضروري للتحقق من صحة التتبع الكهرومغناطيسي
6.4 مم (1/4 بوصة) علامات M3 علامات الأشعة تحت الحمراءبرنامج OptiTrackغير متاحالمجالات العاكسة للأشعة تحت الحمراء التي يجب ربطها بعلامة التتبع   ؛
أوتوديسك فيوجن 360 (الإصدار 2.0.21508)أوتوديسكغير متاحبرنامج CAD لتصميم علامات الأشعة تحت الحمراء والأشباح
استوديو بامبو (v01.09.07.52)مختبر بامبوغير متاحبرنامج تقطيع الطباعة ثلاثية الأبعاد لطابعات Bambu 3D
بامبو X1 الكربونمختبر بامبوغير متاحطابعة ثلاثية الأبعاد تستخدم لعلامات الأشعة تحت الحمراء والنماذج الوهمية
هولو لنس 2مايكروسوفتغير متاحشاشة عرض مثبتة على الرأس للواقع المعزز لتصور الواقع المعزز
IRTrackingOrgans_HoloLens المصدر المفتوحغير متاحتطبيق قائم على الوحدة يدعم تتبع علامة الأشعة تحت الحمراء
MeshMixer (الإصدار 3.5.0)أوتوديسكغير متاحتستخدم لتحرير الشبكة وتقليل المضلع
NDI أوروراشركة نورثرن ديجيتالغير متاحنظام التتبع الكهرومغناطيسي للتحقق من الصحة
NDI Aurora 6DOF أداة كابلشركة نورثرن ديجيتالغير متاحمستشعر لتسجيل حركة الأعضاء الوهمية
مسبار NDI Aurora 6DOFشركة نورثرن ديجيتالغير متاحتستخدم لتحديد مواقع المعالم على الشبح
خيوط حمض اللاكتيكأي مصنعغير متاحخيوط لطباعة الأجزاء الصلبة مثل علامات الأشعة تحت الحمراء
خيوط البولي يوريثين بالحرارةأي مصنعغير متاحخيوط شبه مرنة لطباعة شبح الكلى المشوه
مركز الوحدة (الإصدار 3.11.1) والوحدة (الإصدار 2019.4.22f1)تقنيات الوحدةغير متاحبرنامج تطوير الألعاب لتطوير تطبيقات الواقع المعزز ونشرها
فيجوال ستوديو 2019مايكروسوفتغير متاحIDE المطلوب لتكامل Unity ونشره

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles