Method Article

الجراحة التلقائية في استبدال الصمام الأبهري عبر القسطرة باستخدام الواقع المعزز

DOI:

10.3791/67096

⸱

August 9th, 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تقدم هذه المقالة تصميم وتنفيذ وحدة جراحية تلقائية تعتمد على إعادة بناء 3D القائمة على الواقع المعزز (AR). يتيح النظام الجراحة عن بعد من خلال السماح للجراحين بفحص الميزات المعاد بناؤها وتكرار حركات اليد الجراحية كما لو كانوا يجرون الجراحة على مقربة.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يزداد الطلب على الواقع المعزز (AR) في التطبيقات الطبية. الهدف من الورقة هو توفير الجراحة التلقائية باستخدام AR لاستبدال الصمام الأبهري عبر القسطرة (TAVR). استبدال الصمام الأبهري عبر القسطرة هو الإجراء الطبي البديل لجراحة القلب المفتوح. يستبدل استبدال الصمام الأبهري عبر القسطرة الصمام المصاب بالصمام الجديد باستخدام قسطرة. في النموذج الحالي ، يتم إعطاء التوجيه عن بعد ، في حين أن الجراحة ليست آلية بناء على الواقع المعزز. في هذه المقالة ، قمنا بنشر كاميرا محاذاة مكانيا متصلة بمحرك لأتمتة التقاط الصور في البيئة الجراحية. تتعقب الكاميرا الصورة عالية الدقة 2D لقلب المريض جنبا إلى جنب مع اختبار القسطرة. يتم تحميل هذه الصور الملتقطة باستخدام تطبيق الهاتف المحمول إلى جراح عن بعد وهو خبير في أمراض القلب. يتم استخدام هذه الصورة لإعادة بناء 3D من تتبع الصور 2D. يتم عرض هذا في HoloLens مثل المحاكي في جهاز كمبيوتر محمول. يمكن للجراح فحص الصور المعاد بناؤها 3D عن بعد مع ميزات تحويل إضافية مثل الدوران والقياس. يتم تمكين ميزات التحويل هذه من خلال إيماءات اليد. يتم نقل إرشادات الجراح إلى البيئة الجراحية لأتمتة العملية في سيناريوهات الوقت الفعلي. يتم التحكم في اختبار القسطرة في المجال الجراحي عن طريق توجيه إيماءات اليد للجراح عن بعد. يوضح النموذج الأولي المطور فعالية التوجيه الجراحي عن بعد من خلال الواقع المعزز.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يمكن للواقع المعزز تركيب نموذج 3D في بيئة العالم الحقيقي. أحدث التطور التكنولوجي نحو الواقع المعزز نقلة نوعية في العديد من المجالات ، وهي التعليم1 والطب2 والتصنيع3 والترفيه4. تثبت تقنية AR ، إلى جانب الاتصالات ذات الكمون المنخفض الموثوقة للغاية ، دورها الحتمي في المجال الطبي. من مرحلة تعلم التشريح البشري إلى التوجيه الجراحي ، يمكن تصور مراحل التعلم باستخدام البرامجالتي تعمل بالواقع المعزز 5,6 والأجهزة. يوفر الواقع المعزز حلا حاسما وموثوقا للممارس الطبي في بيئة جراحية 7,8.

تضيق الصمام الأبهري هو مرض صمام القلب ، وهو الأكثر شيوعا بين البشر9. السبب الجذري للمرض هو العادات الغذائية السيئة والروتين غير المنتظم للحياة اليومية. أعراض ونتائج المرض هي تضييق صمام القلب ، يليه انخفاض في تدفق الدم. يجب معالجة هذه المشكلة قبل حدوث أي ضرر لقلب الإنسان. وبالتالي ، فإن القلب مثقل بمعالجة تدفق الدم. لذلك ، قبل حدوث أي ضرر ، يجب إجراء عملية جراحية ، والتي ، بسبب التطورات التكنولوجية في الأيام الأخيرة ، يمكن إجراؤها أيضا باستخدام إجراء TAVR. يمكن اعتماد الإجراء بناء على حالة القلب وأجزاء الجسم الأخرى للمرضى. في TAVR10,11 ، يتم إدخال القسطرة لاستبدال الصمام التالف في القلب. ومع ذلك ، فإن وضع موضع القسطرة12 لاستبدال الصمام أمر شاق للممارس. دفعتنا هذه الفكرة إلى تصميم نموذج جراحة آلي يعتمد على AR13,14 ، مما يساعد الجراح على وضع الصمام بدقة أثناء عملية الاستبدال. علاوة على ذلك ، يمكن إجراء الجراحة بواسطة خوارزمية رسم خرائط الحركة ، والتي تحدد حركة الجراح التي تم التقاطها من مكان بعيد إلى الذراع الآلية.

في العمل الحالي15،16،17 ، يتم مراقبة تصور إجراء TAVR18 من خلال التنظير الفلوري. وبالتالي ، من الصعب تحليل صمام القلب ومملة للعثور على موقع الاستبدال. هذا يضع حاجزا أمام وضع القسطرة في قلب الإنسان. بالإضافة إلى ذلك ، يتم تعيين الحركة عن بعد إلى المجال الجراحي لجعل العملية آلية. ومع ذلك ، للتغلب على الفجوة البحثية ، نقترح إجراء جراحة آلية قائمة على الروبوت لاستبدال الصمام باستخدام تقنية بمساعدة الواقع المعزز.

البروتوكول هو نموذج عام يمكن تطبيقه على جميع البيئات الجراحية. في المرحلة الأولى من العمل ، يتم التقاط صور 2D في جميع أنحاء البيئة الجراحية مع أقصى دقة مكانية لأكبر درجة من الحرية. هذا يعني أنه يتم التقاط صور كافية لغرض إعادة الإعمار3D 19 ، تليها خرائط الحركة من خلال تتبع إيماءات اليد20.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. البيئة الجراحية

  1. تصميم بيئة جراحية كما هو موضح في الشكل 1. تأكد من أن البيئة تحتوي على طبق يحمل شيئا وذراعا آليا وذراعين معلقين جانبيا، أحدهما لحمل عنصر نائب للكاميرا والآخر للحصول على خلفية بيضاء متسقة مع وحدة الوزن لتحقيق التوازن.
  2. تطوير محركين ، أحدهما للقطة من البيئة الجراحية الحية ، كما هو مذكور في الخطوات من 2.1 إلى 2.10 ، والآخر للتحكم في الآلية الدوارة التي تدعم المراقبة بزاوية 360 درجة ، كما هو مذكور في الخطوات 3.1 إلى 3.4.
  3. قبل تنفيذ الوحدتين المذكورتين أعلاه ، قم بتمكين Bluetooth للجهاز المحمول والكمبيوتر المحمول ، والذي يعمل كمحاكي HoloLens للجراح.
  4. قم بإقران الأجهزة لنقل الصور دون انقطاع.

2. إعداد السائق للتحكم في الذراعين المعلقين

  1. تأكد من التحكم في الأذرع المعلقة بواسطة محرك متدرج بالترتيب كما هو موضح في الشكل 2 لثورة لا تشوبها شائبة تبلغ 360 درجة.
  2. قم بتوصيل المحرك بلوحة المتحكم الدقيق باستخدام برنامج تشغيل TB 6600. لتشغيل المحرك ، قم بتثبيت IDE المتحكم الدقيق من المتصفح.
  3. انقر فوق الزر تنزيل لتنزيل البرنامج. ثم ، في IDE متحكم دقيق ، انتقل إلى ملف > افتح رسما جديدا لكتابة التعليمات البرمجية.
  4. تأكد من توصيل لوحة المتحكم الدقيق بالتفاعل مع الرسم الجديد من خلال منفذ اتصال مخصص ، على سبيل المثال COM 4. تحقق من منفذ Com وتحقق من أنه يظهر لوحة المتحكم الدقيقة.
  5. تحقق من إعدادات تبديل الأجهزة لبرنامج تشغيل محرك السائر TB 6600. تأكد من أن الإعدادات بحيث يكون التدفق الحالي 2 أمبير ، والذي يمكن تحقيقه عن طريق ضبط SW4 ON و SW5 و SW6 OFF.
  6. تأكد من ضبط مواضع التبديل ل SW1 و SW2 و SW3 بحيث تكون الخطوة الدقيقة 1/8 خطوة لتحقيق خطوات الثورة وفقا للمتطلبات. تأكد من أن الإعدادات هي SW1 OFF و SW2 ON و SW3 OFF في TB6600.
  7. قم بتوصيل RTC 3231 بالمتحكم الدقيق للحصول على مزامنة زمنية عالمية حقيقية. تأكد من أن حجم خطوة الثورة هو 12 درجة وأن زيادة خطوة المحرك يتم تشغيلها فقط عندما تكون وحدة الوقت الفعلي ، أي الثواني المقروءة من وحدة RTC ، فردية في العدد.
  8. قم بتوصيل دبوس 5 فولت للوحة المتحكم الدقيق ب RTC VCC و GND الخاص بالمتحكم الدقيق ب GND الخاص ب RTC.
  9. قم بتوصيل دبوس SCL الخاص ب RTC بالدبوس A0 و SDA بدبوس A1 الخاص بوحدة التحكم الدقيقة. يمكن أن تضمن هذه الوحدة حجم خطوة 12 درجة ، مما يجعل 30 خطوة في دورة واحدة. تأكد من أن زيادة الخطوة تحدث كل ثانية فردية. دع وحدة البرنامج هذه تقود محرك السائر21.
  10. تحقق من أن الإعداد يعمل بشكل صحيح عن طريق تشغيل التعليمات البرمجية المتوفرة في صفحة GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. قم بتنزيل Android Studio لتطوير تطبيق الكاميرا التلقائي. تأكد من تلبية متطلبات النظام ، ثم قم بتنزيل البرنامج من موقع الويب.

3. تطوير برنامج تشغيل لمراقبة المشهد المستند إلى الهاتف المحمول ونقل الصور كوحدة نمطية للعميل

  1. قم بتطوير تطبيق كاميرا في نظام التشغيل Android يمكنه التقاط لقطات كل 2 ثانية ، خاصة عندما تكون الثواني أرقاما فردية.
  2. قم بتوصيل الهاتف المحمول بالنظام. في Android Studio، انقر على جديد > مشروع جديد واختر نشاط طرق العرض الفارغة. انقر فوق التالي لتطوير رمز Android ، والذي يتوفر على https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. تأكد من أن التطبيق يلتقط الصور تلقائيا ويرسلها إلى جهاز بعيد باستمرار.
  4. نقل اللقطات من تطبيق الهاتف المحمول فور التقاط اللقطة إلى الجهاز المقترن ، أي إلى نظام الجراح عن بعد ، من خلال البلوتوث.
    ملاحظة: تأكد من أن الوحدات المذكورة في القسمين 2 و 3 تعمل في مزامنة الوقت ، واحدة لكل عدد زوجي من الثواني والأخرى لكل عدد فردي من الثواني.

4. تطوير وحدة العميل لتلقي ومعالجة صور المراقبة

  1. افتح وحدة الخادم ، وهي واجهة مستخدم رسومية.
  2. أدخل رقم منفذ VVID في حقل النص VVID ، الذي تكون قيمته الافتراضية 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. انقر فوق إنشاء مقبس لإنشاء المقبس وربطه. انقر فوق اتصال لإنشاء اتصال بتطبيق الهاتف المحمول.
  4. انقر فوق التقاط لالتقاط وحفظ صور مراقبة المشهد في المجلد المحلي
  5. أدخل اسم المجلد المحلي في اسم مجلد الحقل إذا كان يجب أن يكون مختلفا عن الاسم الافتراضي المذكور.

5. تشغيل الذراع الروبوتية

  1. دع وحدة العميل تتضمن ذراعا روبوتية أيضا. صمم الذراع ليكون له حركة دورانية في قاعدته وكتفه وكوعه ومعصمه وأصابعه.
  2. تأكد من استخدام ماكينات MG 996R للتحكم في حركة الدوران عند القاعدة والكتف والمرفق. تأكد من استخدام محرك سيرفو SG 90 للتحكم في حركة الدوران عند الكوع والأصابع.
  3. قم بتجميع الكود الوارد في https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR في IDE المتحكم الدقيق لقيادة الذراع الروبوتية بناء على الأوامر الواردة من الجراح عن بعد.

إعادة بناء 6. 3D للواقع المعزز

  1. اقرأ صورتين في وقت واحد في تسلسل ، واحدة تلو الأخرى ، من المجلد المحلي للحصول على التداخل المحتمل (حيث يتم جمع الصور على مقربة ، سيكون هناك تداخل بين الصور المتتالية) بينهما.
  2. صمم مرشحا ثلاثيا وفقا لمتطلبات وصف الميزة المكثفة الاتجاهية باستخدام خوارزمية التصفية الثلاثية22 (DITF) للحصول على التدرج والاتجاه.
  3. استخرج الميزات باستخدام طريقة DITF22 ، كما هو موضح في الشكل 3.
  4. أعد إنشاء الصور ثلاثية الأبعاد من الميزات التي تم جمعها باستخدام SFM23.

7. التعرف على إيماءات اليد في موقع الجراح

  1. تسهيل الجراح لفحص ميزات الصورة المعاد بناؤها 3D من خلال تمكينه / تمكينها من تصور البيئة من جميع وجهات النظر من خلال توفير دوران قائم على إيماءات اليد وتكبير / تصغير الميزات المعاد بناؤها.
  2. تطبيع وتعيين المسافة بين طرف إبهام الجراح والسبابة من اليد اليمنى في زاوية دوران المقابلة. دع التطبيع يكون بطريقة تتوافق مع الحد الأدنى للمسافة العارية مع 0 درجة والحد الأقصى 180 درجة.
  3. نقل التحكم في إيماءات اليد ، من خلال البلوتوث ، إلى بيئة الجراحة عن بعد وكذلك لتدوير طبق الكائن ، مما يجعله يدور حول محوره حيث تدور الميزات المعاد بناؤها 3D في نهاية الجراح.
  4. أوجد المسافة بين طرف وإبهام اليد اليسرى للجراح للتحكم في حركة أصابع ذراع الروبوت.
  5. قم بقياس زاوية الارتفاع من المسافة المكانية بين طرف الإبهام والسبابة في اليد اليسرى للجراح فيما يتعلق بمستوى أرضي وهمي x-y لتحديد زاوية الارتفاع. قم بتعيين هذه الزاوية إلى زاوية ارتفاع يمكن لذراع الروبوت صنعها باستخدام المستوى x-y.
  6. أوجد زاوية السمت التي تصنعها يد الجراح مع زاوية الطائرة y-z الافتراضية. حدد هذه الزوايا من خلال التعرف القائم على إيماءات اليد.
  7. قم بتعيين زوايا المسافة والارتفاع والسمت للتحكم في حركة إصبع الروبوت ودوران الذراع ، وكلاهما يتوافق مع زوايا الارتفاع والسمت.
  8. دع الجراح يفحص الميزات المعاد بناؤها عن طريق التكبير والتدوير. دع الجراح ينقل الأوامر إلى ذراع الروبوت لإجراء الجراحة من مكان بعيد.
  9. تأكد من إرسال أوامر الجراحة كسلسلة تحكم من التسلسل تبدأ بتوافق سلسلة متبوعة بالقيم للتحكم في دوران الطبق ووحدة التحكم في الذراع الروبوتية. دع [θb ، θs ، θe ، θw ، θf] هي زاوية المتجه التي تتكون من قيم ، كل منها يتوافق مع إشارة التحكم المقابلة للقاعدة والكتف والكوع والمعصم وإصبع ذراع الروبوت.
    ملاحظة: يوفر رابط GitHub الكود لتمكين التحكم في إيماءات اليد في المجال الجراحي. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تم اختبار البروتوكول باستخدام نموذج القلب الوهمي. يوضح الشكل 2 الإعداد المتوقع للمراقبة الحية للمجال الجراحي بمساعدة الكاميرات الموزعة مكانيا. تساعد الكاميرات الموزعة ، كما هو موضح في الشكل 2 ، على زيادة الدقة المكانية للمجال من أجل إعادة بناء 3D فعالة. ومع ذلك ، فإن تحقيق الوضع المادي لتلك الكاميرات في مواقع مكانية مختلفة ينطوي على تعقيد. لذلك ، قمنا بتحسين تصميم الإعداد وتوصلنا إلى حل ترتيب الكاميرا ذاتي التوجه مكانيا الذي يدور بواسطة محرك NEMA مدفوعا بمحرك TB6600. هذا الهيكل ممكن ويتم تنفيذه في النموذج ويظهر نفس الشيء في الشكل 1.

في الشكل 1 ، تخضع لقطات الكاميرا التلقائية متبوعة بنقلها عبر بروتوكول Bluetooth لرمز Android. يتم تنظيم الوحدة بطريقة تجعل الالتقاط يحدث مرة واحدة في كل ثانية فردية ، ويتم نقلها مرة واحدة في كل ثانية زوجية ، كما هو مذكور في القسم 3. تهتم وحدة التحكم الدقيقة التي تربط محرك NEMA بتدوير الهيكل مرة كل ثانية حتى يتم ضمان وقت كاف لالتقاط الصور بشكل غير واضح. لذلك ، في المجموع ، يتم التقاط 30 صورة بزاوية 360 درجة من الدوران ، ويتم نقلها باستخدام Bluetooth.

أيضا ، في الشكل 1 ، يتم عرض العرض المعاد بناؤه 3D لواصفات DITF للبيئة الجراحية. تجدر الإشارة إلى أنه يمكن فحص عمليات إعادة البناء القائمة على الواصفات من قبل الجراحين عن طريق التكبير والدوران من خلال رسم خرائط الحركة اليدوية. أيضا ، يتم إرسال هذه الحركات إلى البيئة الجراحية لتقليد الجراحة بحيث يمكن إدخال القسطرة في المجال الحقيقي. يتم رسم خرائط الحركة بطريقة يتم تعيينها في ست زوايا مختلفة للتحكم في أجزاء الروبوت ، وهي القاعدة والكتف والكوع والمعصم والقابض والإصبع. يشار إلى هذه الزوايا في شكل متجه ك [θb ، θs ، θe ، θw ، θf]. في المتجه المعطى ، تتوافق القيمة θpمع تعيين الحركة لتدوير طبق الكائن البشري. يتم استخدام نفس θpلتوجيه الواصف المعروض في محاكي HoloLens إلى جانب الجراح أيضا.

يوضح الشكل 3 ميزات DITF للنموذج الوهمي ، وهي الخطوة الأساسية لإعادة البناء ثلاثي الأبعاد. بناء على الميزات المستخرجة ، يتم تحديد المراسلات في مطابقة الصور. يظهر الشكل 4 التطابق بين الصور المرجعية والنتائج المختلفة للدوران 45 درجة. تشير المراسلات ذات الألوان المختلفة بوضوح إلى فعالية تحديد الميزات المتشابهة ومطابقتها حتى عندما تكون الصور في اتجاهات عرض مختلفة. في الشكل 5 ، يتم تضمين دقة رسم خرائط الحركة ، مما يشير إلى أنه عندما تكون المسافة بين الإصبعين منخفضة ، تكون الدقة عالية. ومع ذلك ، عندما تزداد المسافة بين الأصابع ، تبدأ الدقة في التناقص.

من ناحية أخرى ، فإن الوقت الذي يستغرقه النموذج لمعالجة البيانات ضروري في الواقع المعزز. لذلك ، يتم تضمين هذه المعلمة للتحقق من صحة النموذج المقترح ، ويتم قياس التأخير الزمني لمعالجة الصورة ، ويتم التحقق من النتائج باستخدام الخوارزميات الحالية مثل FAST الموجه و BRIEF (ORB) 24 وواصف الصورة المحلية الثنائية المعززة (BEBLID) 25. تظهر النتائج أن DITF يتفوق على النماذج الحالية ، مثل ORB و BEBLID ، من حيث زمن الوصول ، كما هو موضح في الشكل 6. بالإضافة إلى ذلك ، يتم التحقق من صحة نموذج إعادة الإعمار 3D مع خطأ إعادة الإعمار ، ويشير الشكل الموضح في الشكل 7 إلى أن الرسم البياني ضيق ، مما يعني أن خطأ إعادة الإعمار ضئيل ؛ يوضح أن إعادة بناء الخوارزمية المقترحة يتم التحقق منها والتحقق من صحتها. يوضح الشكل 8 ناتج إعادة الإعمار 3D للنموذج المقترح. إنه يعكس الوضوح في التصور ، كما يتم التحقق من النتائج الكمية للصورة باستخدام المؤامرات. تثبت هذه النتائج أن النموذج المقترح استخرج جميع الميزات الضرورية مع تحويل الدوران لإعادة بناء نموذج 3D. لذلك ، يمكن للخبير عن بعد الحصول على تصور دقيق والتحكم في المجال الجراحي.

figure-results-1
الشكل 1: تنفيذ إعداد الأجهزة للجراحة الآلية لاستبدال الصمام الأبهري عبر القسطرة باستخدام الواقع المعزز. (أ) المجال الجراحي مع نظام المراقبة الحية. (ب) التصور القائم على الواقع المعزز. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-2
الشكل 2: النموذج المتوقع للبيئة الجراحية. النموذج الموضح مجهز بمراقبة حية للبيئة الجراحية باستخدام مستشعرات الكاميرا الموزعة مكانيا. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-3
الشكل 3: نموذج لقلب بشري يوضع في اختبار الجراحة وخصائصه المستخرجة باستخدام خوارزمية واصف المعالم. أ: النموذج الوهمي للقلب المدخل. (ب) وصف الميزة المكثفة الاتجاهية باستخدام ميزة التصفية الثلاثية لنموذج وهمية القلب. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-4
الشكل 4: مطابقة المعالم بين ميزتين للصورة. (أ) وصف معلم مكثف اتجاهي باستخدام استخراج ميزة التصفية الثلاثية للنموذج الوهمي للقلب. (ب) وصف الميزة المكثفة الاتجاهية باستخدام استخراج ميزة التصفية الثلاثية للنموذج الوهمي للقلب المستدير 45 درجة. تشير الخطوط إلى التطابق بين ميزات الصور المتشابهة في اتجاهين مختلفين. يشير لون الخط إلى الميزات المختلفة المختارة. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-5
الشكل 5: دقة تتبع إيماءات اليد. يوضح الشكل النسبة المئوية للدقة. تم اختيار رقم العينة (N) ليكون 500. يتم رسم خرائط الحركة 500 مرة ، تم العثور على عدد الخرائط الصحيحة منها. بعد ذلك ، يتم حساب الدقة كنسبة بين التعيين الصحيح والعدد الإجمالي للعينات. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-6
الشكل 6: زمن انتقال وصف الميزة المكثفة الاتجاهية باستخدام التصفية الثلاثية باستخدام FAST الموجه و BRIEF المستدير وخوارزمية واصف الصورة المحلية الثنائية المعززة. يتم رسم زمن الانتقال ، وهو الوقت المستغرق لاستخراج الميزات من الصورة. اخترنا N ك 500 ، مما يعني أن حساب التأخير الزمني يتم أكثر من 500 مرة ثم يتم حسابه في المتوسط. يتم الإجراء لثلاث خوارزميات ورسمها. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-7
الشكل 7: توزيع أخطاء إعادة البناء للنموذج المقترح. خطأ إعادة البناء هو الخطأ بين صورة 3D المعاد بناؤها من ميزتها والصورة الأصلية. مخطط الخطأ هو مدرج تكراري يشير إلى عدد تكرارات حدث معين. يكون العدد هو الحد الأقصى عندما يكون الخطأ صفرا ، ويتحلل على كلا الجانبين. هذه هي النتيجة المرجوة. يشير الشكل إلى أن تباين الرسم البياني (الكثافة العادية) أقل ، وبالتالي فإن الخطأ من المتوسط (0) لا ينتشر كثيرا في أي من الاتجاهين. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-8
الشكل 8: 3D إعادة بناء نموذج القلب. تشير كل نقطة ملونة إلى النقطة المعاد بناؤها 3D من الميزة المقابلة. اعتبارا من الآن ، تعمل خوارزمية إعادة بناء الميزات على تطبيع اللون ، وبهذا ، يتم تلوين الميزات الأخرى. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

في عمل موجود15 ، يتم فحص الأشعة السينية والأشعة المقطعية لتحديد موقع القسطرة في القلب. ومع ذلك ، فإن استبدال AR TAVR يؤسس إمكانية جديدة في الإجراء الجراحي TAVR18 من خلال تنفيذ نموذج آلي باستخدام إعادة البناء ثلاثية الأبعاد. كما هو مذكور في قسم البروتوكول ، يحتوي هذا العمل على خمس مراحل للتصميم. تم تعزيز المرحلة الأولى من DITF22 ، المذكورة في القسم 6 ، والتي اقترحناها في عملنا السابق22 ، بطريقة تدمج النموذج في التطبيقات الطبية. المرحلة الثانية من إعادة الإعمار ثلاثية الأبعاد هي المهمة الصعبة المتمثلة في بناء نموذج ثلاثي الأبعاد من نقاط 2D. اختبرنا النموذج بصور إدخال مختلفة للتحقق من صحة النموذج. تم اعتماد SFM23 لإعادة بناء الصور. يتم قياس مراسلات الصورة بمساعدة DITF22 ، جنبا إلى جنب مع مصفوفة المعايرة. المرحلة التالية هي تتبع إيماءات اليد. واجهة التحكم في إيماءات اليد في إعادة الإعمار 3D هي مهمة صعبة أخرى في الوقت الحقيقي. يتم تضمين التحكم في التحجيم واختلاف الدوران مع إيماءات اليد لسهولة الوصول إلى نماذج 3D بواسطة الخبير عن بعد. المرحلة الرابعة هي إنشاء تطبيق الجوال ، وهو مذكور في القسم 3 لالتقاط الصور تلقائيا. يقوم هذا التطبيق بتحميل البيانات إلى الخبير البعيد كنموذج 3D. المرحلة الأخيرة هي إعداد الأجهزة، وهو ما يوضح باستخدام النموذج الوهمي للقلب مع ذراع روبوتي، وهو مؤتمت لإدخال القسطرة لاستبدال صمام القلب المصاب، كما هو موضح في الشكل 1.

الطريقة المطورة هي نحو إجراء الجراحة عن بعد من مراقبة مكان الحادث للبيئة الجراحية باستخدام الواقع المعزز واستخراج الميزات. لا يتم عرض المساهمات المهمة المقترحة في هذه المقالة في الأدبيات وفقا لأفضل معرفتنا. الطريقة المطورة لديها زمن انتقال منخفض لإعادة بناء صورة 3D من الميزات. أيضا ، تحتوي الطريقة على خطأ منخفض جدا بين الميزات المعاد بناؤها والصورة الأصلية. يظهر هذا الكمون والخطأ في الشكل 6 والشكل 7 على التوالي. تظهر الأرقام أيضا أن الخوارزميات الأخرى ، وهي ORB24 و BEBLID25 دون المستوى المطلوب من الطريقة المقترحة.

التحديات التي واجهناها في تطوير الطريقة هي الإرسال المستند إلى بروتوكول Bluetooth بين تطبيق الهاتف المحمول والخادم البعيد. نظرا لأنه يجب إكمال التقاط المشهد ونقله كل 2 ثانية ، فقد تطلب ذلك اتصالا فائق السرعة. غالبا ما انتهى به الأمر في مقبس مكسور ، وتطلب الكثير من معالجة الاستثناءات والإدارة الروتينية المتوازية للمعالجة السلسة. بالإضافة إلى ذلك ، واجهنا بعض المشكلات أثناء تطوير وتنفيذ الطريقة.

ومع ذلك ، هناك بعض تقنيات استكشاف الأخطاء وإصلاحها لحلها. يتضمن اتصال Bluetooth اختيار القناة الصحيحة أو رقم منفذ VVID. أيضا ، يجب ضمان تبديل جهاز Bluetooth في أي من الطرفين قبل المضي قدما. فيما يتعلق بالروتين القائم على المعالجات الدقيقة لقيادة ذراع الروبوت وذراع الدوران المعلق ، يجب ضمان أرقام منافذ الاتصال التسلسلي. يجب ضمان اتصال سائق المحرك ، مع الأخذ في الاعتبار أن محرك NEMA ومحرك سيرفو يجب ضمانه بشكل صحيح. إذا لم يتم القيام به بشكل صحيح ، فإن محرك NEMA يدور بطريقة غير مرغوب فيها ، حتى لو تم الاتصال بالسائق بشكل خاطئ. يجب تحديد خيوط ملفين من محرك NEMA بشكل صحيح ؛ خلاف ذلك ، قد ينتهي الاتصال بالسائق بالدوران بطريقة غير مرغوب فيها أو حتى إتلاف المحرك. كان تصميم قارنة التوصيل لدعم تعليق ذراع دوارة ، والتي تزن حوالي 1 كجم ، تحديا. لمعالجة المشكلة ، قمنا بحفر ثقب بقطر 1 مم في عمود المحرك. كما يمثل تحقيق التوازن بين جانبي الذراع ، بما في ذلك وزن الجهاز المحمول ، تحديا أيضا. خلاف ذلك ، قد يسحب الهيكل على سطح الأرض ، مما يؤدي إلى هدم أو سحب الهيكل من عمود المحرك. يجب ضمان الشد المناسب في القاعدة والكتف والكوع والمعصم وأصابع ذراع الروبوت ؛ إذا لم يكن الأمر كذلك ، فقد تسقط الأجزاء عندما تدور وترفع الوزن. يجب الاهتمام بالتشغيل المتوازي لوحدتين من خلال تعيين بيئة Python مناسبة ، مع تشغيل خيوط مختلفة بالتوازي من أجل العمل السلس.

خلصت النتائج إلى أن نموذج TAVR18 التلقائي المقترح هو طريقة فعالة للتوجيه الجراحي في الواقع المعزز. هذا النموذج المقترح مرن لتطبيق هذا النموذج الأولي على أي عملية جراحية في المجال الطبي وفقا لإرشادات الخبراء الطبيين. النماذج القائمة على التعلم قد تحسن إعادة الإعمار 3D. لإعادة بناء نموذج 3D ، يجب إعطاء مناظر متعددة مع صور إضاءة جيدة كمدخلات. ومع ذلك ، يمكن معالجة هذا في المستقبل. علاوة على ذلك ، في المستقبل ، نود تطوير إرسال قائم على اتصالات 5G لضمان زمن انتقال منخفض واتصال موثوق للغاية من أجل تشغيل سلس لا تشوبه شائبة. أيضا ، نود تطوير جهاز AR الخاص بنا بدلا من المحاكي المستخدم حاليا. هذا يمكن أن يحسن تصور نموذج 3D في بيئة جراحية حية.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعلن أصحاب البلاغ عدم وجود تضارب في المصالح.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يقر المؤلفون بعدم وجود تمويل لهذا البحث.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
برنامجandroid IDE https://developer.android.com/studioSoftware من هذا الرابط
Arduino Boardو Ardunio Unoو Ardunio UnoMicrocontroller لمعالجة
برامجarduinohttps://www.arduino.cc/en/software.يمكن تنزيل البرنامج من هذا الرابط
نموذج شبح القلب البشريصانع ومصدر معدات مختبر الأحياءB071YBLX2V (8B-ZB2Q-H3MS-1)نموذج خفيف الوزن مع 3 أجزاء للتحليل العميق للقلب.
حامل المحمولاحتكار عالمي متواضعB07S9KNGVSلحمل الهاتف المحمول في المجال الجراحي
برنامجpycharm IDEhttps://www.jetbrains.com/pycharm/البرنامج من هذا
الرابط يمكن التحكم في ذراع الروبوتالمطبوعةB08R2JLKYM (P0-E2UT-JSOU)من خلال التحكم signal.it لديها 5 درجات من حرية الوصول.
محرك سيرفوKollmorgen Co-Engineers MotorsMG-966Rمحرك سيرفو عالي عزم الدوران ، نبضات مؤازرة تتراوح من 500 إلى 2500 ميكروثانية (وميكرو ؛ s) ، بتردد 50 هرتز إلى 333 هرتز.
محرك سيرفوكولمورجن المهندسون المشاركون  يمكن تطبيق المحركاتSG-90R1.8 كجم سم إلى 2.5 كجم سم على مضاعفات SG-90R.
محرك متدرج28BYJ-4828BYJ-48محرك Steper ، 5 فولت تيار مستمر ، تردد 100 هرتز ، عزم دوران 1200 Gf.cm
محركمتدرج Nema 23NemaSteper ، 9 فولت - 42 فولت تيار مستمر ، تردد 100 هرتز
يمكن تنزيل حامل ، يمكن تنزيل من محرك

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Augmented Reality SurgeryTranscatheter Aortic ValveRemote Surgical Guidance3D ReconstructionRobotic Arm ControlHand Gesture ControlReal Time SynchronizationFeature ExtractionCatheter TestbedTelemedicine Surgery

Related Articles