Method Article

ניתוח אוטומטי בהחלפת מסתם אבי העורקים באמצעות צנתר במציאות רבודה

DOI:

10.3791/67096

⸱

August 9th, 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מאמר זה מציג את התכנון והיישום של מודול ניתוח אוטומטי המבוסס על שחזור תלת ממדי מבוסס מציאות רבודה (AR). המערכת מאפשרת ניתוח מרחוק בכך שהיא מאפשרת למנתחים לבחון מאפיינים משוחזרים ולשכפל תנועות ידיים כירורגיות כאילו הם מבצעים את הניתוח בסמיכות.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מציאות רבודה (AR) מבוקשת מאוד ביישומים רפואיים. מטרת המאמר היא לספק ניתוח אוטומטי באמצעות AR עבור החלפת מסתם אבי העורקים Transcatheter (TAVR). TAVR הוא הליך רפואי חלופי לניתוחי לב פתוח. TAVR מחליף את המסתם הפגוע בחדש באמצעות קטטר. במודל הקיים ניתנת הנחיה מרחוק, בעוד שהניתוח אינו אוטומטי על בסיס מציאות רבודה. במאמר זה, פרסנו מצלמה מיושרת מרחבית המחוברת למנוע לצורך אוטומציה של לכידת תמונה בסביבה כירורגית. המצלמה עוקבת אחר התמונה הדו-ממדית ברזולוציה גבוהה של לב המטופל יחד עם מיטת הבדיקה של הצנתר. התמונות שצולמו מועלות באמצעות האפליקציה לנייד למנתח מרחוק שהוא מומחה לקרדיולוגיה. תמונה זו משמשת לשחזור תלת-ממדי ממעקב אחר תמונות דו-ממדיות. זה נראה ב- HoloLens כמו אמולטור במחשב נייד. המנתח יכול לבדוק מרחוק את התמונות המשוחזרות בתלת ממד עם תכונות טרנספורמציה נוספות כגון סיבוב וקנה מידה. תכונות טרנספורמציה אלה מופעלות באמצעות מחוות ידיים. הנחיית המנתח מועברת לסביבה הניתוחית כדי להפוך את התהליך לאוטומטי בתרחישים בזמן אמת. הצנתר הנבדק בתחום הכירורגי נשלט על ידי הנחיית מחוות היד של המנתח מרחוק. מודל האבטיפוס שפותח מדגים את היעילות של הנחיה כירורגית מרחוק באמצעות מציאות רבודה.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מציאות רבודה יכולה להציב את המודל התלת-ממדי בסביבה בעולם האמיתי. ההתפתחות הטכנולוגית לכיוון מציאות רבודה עשתה שינוי פרדיגמה בתחומים רבים, כלומר חינוך1, רפואה2, ייצור3 ובידור4. טכנולוגיית AR, יחד עם תקשורת אמינה במיוחד בהשהיה נמוכה, מוכיחה את תפקידה הבלתי נמנע בתחום הרפואי. משלב הלמידה של האנטומיה האנושית ועד להדרכה כירורגית, ניתן לדמיין את שלבי הלמידה באמצעות תוכנה 5,6 וחומרה המופעלות על ידי AR. מציאות רבודה מספקת פתרון חיוני ואמין לרופא בסביבה כירורגית 7,8.

היצרות מסתם אבי העורקים היא מחלת מסתמי הלב, הנפוצה ביותר בקרב האנושות9. שורש המחלה הוא הרגלי מזון לקויים ושגרה לא סדירה של חיי היומיום. הסימפטום והתוצאה של המחלה הוא היצרות של שסתום הלב, ואחריו ירידה בזרימת הדם. יש לטפל בבעיה זו לפני שנגרם נזק כלשהו ללב האדם. לכן, הלב עמוס יתר על המידה כדי לעבד את זרימת הדם. לכן, לפני שנגרם נזק, יש לבצע ניתוח, אשר בשל ההתפתחויות הטכנולוגיות בימים האחרונים, ניתן לעשות זאת גם באמצעות הליך TAVR. ניתן לאמץ את ההליך בהתבסס על מצב הלב וחלקי גוף אחרים של החולים. ב- TAVR10,11 זה, מחדירים את הצנתר כדי להחליף את המסתם הפגוע בלב. עם זאת, מיקום הצנתר12 כדי להחליף את המסתם הוא מייגע עבור המטפל. רעיון זה הניע אותנו לתכנן מודל ניתוח אוטומטי המבוסס על AR13,14, המסייע למנתח למקם במדויק את המסתם במהלך תהליך ההחלפה. יתר על כן, ניתן לבצע את הניתוח באמצעות אלגוריתם מיפוי תנועה, הממפה את תנועת המנתח שנלכדה ממקום מרוחק אל הזרוע הרובוטית.

בעבודה הקיימת 15,16,17, ההדמיה של הליך TAVR 18 מנוטרת באמצעות פלואורוסקופיה. לפיכך, קשה לנתח את שסתום הלב ומייגע למצוא את מיקום ההחלפה. זה מציב מחסום למיקום הצנתר בלב האדם. בנוסף, התנועה מרחוק ממופה לשדה הניתוח כדי להפוך את התהליך לאוטומטי. עם זאת, כדי להתגבר על הפער המחקרי, אנו מציעים ניתוח אוטומטי מבוסס רובוטיקה להחלפת מסתם באמצעות טכנולוגיית AR.

הפרוטוקול הוא מודל גנרי שניתן ליישם בכל סביבות הניתוח. בשלב הראשון של העבודה, תמונות דו-ממדיות נלכדות בכל רחבי הסביבה הכירורגית ברזולוציה המרחבית המלאה ביותר של דרגת החופש הגדולה ביותר. משמעות הדבר היא כי מספיק תמונות נלכדות עבור שחזור 3D19 מטרה, ואחריו מיפוי תנועה באמצעות מחוות יד מעקב20.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. סביבה כירורגית

  1. תכננו סביבת ניתוח כפי שמוצג באיור 1. ודא שלסביבה יש פלטה נושאת חפצים, זרוע רובוטית ושתי זרועות תלויות לצדדים, אחת להחזיק שומר מיקום למצלמה והשנייה בעלת רקע לבן עקבי יחד עם מודול השקילה לאיזון.
  2. לפתח שני דרייברים, אחד לתמונת מצב של הסביבה הכירורגית החיה, כפי שהוזכר בשלבים 2.1 עד 2.10, והשני לשלוט במנגנון המסתובב התומך במעקב 360°, כפי שהוזכר בשלבים 3.1 עד 3.4.
  3. לפני יישום שני המודולים לעיל, הפעל Bluetooth של המכשיר הנייד והמחשב הנייד, המשמשים אמולטור HoloLens של המנתח.
  4. שייך את ההתקנים לשידור תמונה ללא הפרעות.

2. הגדרת הנהג לשליטה בשתי הזרועות התלויות

  1. ודא שהזרועות התלויות נשלטות על-ידי מנוע צעד עם הסידור כפי שמוצג באיור 2 לסיבוב מושלם של 360°.
  2. חבר את המנוע ללוח המיקרו-בקר באמצעות מנהל ההתקן TB 6600. כדי להפעיל את המנוע, התקן את IDE המיקרו-בקר מהדפדפן.
  3. לחץ על לחצן הורד כדי להוריד את התוכנה. לאחר מכן, ב- IDE של המיקרו-בקר, עבור אל קובץ > פתח סקיצה חדשה כדי לכתוב את הקוד.
  4. הקפד לחבר את לוח המיקרו-בקר לממשק עם השרטוט החדש באמצעות יציאת חיבור ייעודית, נניח COM 4. בדוק את יציאת Com וודא שהיא מציגה את לוח המיקרו-בקר.
  5. בדוק את הגדרות מתג החומרה של מנהל ההתקן של מנוע הצעד TB 6600. ודא שההגדרות הן כאלה שהזרימה הנוכחית היא 2 A, שניתן להשיג על ידי הגדרת SW4 מופעל ו- SW5 ו- SW6 כבוי.
  6. ודא שמיקומי המתגים של SW1, SW2 ו- SW3 מוגדרים כך שהמיקרו-שלב הוא 1/8 צעדים להשגת שלבי המהפכה בהתאם לדרישה. ודא שההגדרות הן SW1 כבוי, SW2 מופעל ו- SW3 כבוי ב- TB6600.
  7. חברו את RTC 3231 עם המיקרו-בקר כדי לקבל סנכרון זמן גלובלי אמיתי. ודא כי גודל צעד המהפכה הוא 12° וכי תוספת צעד המנוע מופעלת רק כאשר היחידה בזמן אמת, כלומר, השניות שנקראו ממודול RTC, היא אי-זוגית במספר.
  8. חבר את פין 5 V של לוח המיקרו-בקר ל- RTC VCC ואת ה- GND של המיקרו-בקר ל- GND של RTC.
  9. חבר את פין ה- SCL של RTC לסיכת A0 ואת ה- SDA לסיכת A1 של המיקרו-בקר. מודול זה יכול להבטיח גודל צעד של 12°, ביצוע 30 צעדים בסיבוב אחד. ודא שהפרש הצעדים מתרחש בכל שנייה אי-זוגית. תן למודול תוכנה זה להניע את מנוע הצעד21.
  10. ודא שתוכנית ההתקנה פועלת כראוי על-ידי הפעלת הקוד, הזמין בדף GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. הורד את Android Studio כדי לפתח את אפליקציית המצלמה האוטומטית. ודא שדרישות המערכת מתקיימות, ולאחר מכן הורד את התוכנה מהאתר.

3. פיתוח דרייבר למעקב סצנות מבוסס מובייל והעברת תמונות כמודול לקוח

  1. פתח יישום מצלמה במערכת ההפעלה אנדרואיד שיכול לצלם תמונות כל 2 שניות, במיוחד כאשר השניות הן מספרים אי-זוגיים.
  2. חבר את הטלפון הנייד למערכת. ב-Android Studio, לחץ על חדש > פרויקט חדש ובחר פעילות תצוגות ריקות. לחץ על הבא כדי לפתח קוד אנדרואיד, הזמין בכתובת https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. ודא שהאפליקציה לוכדת את התמונות באופן אוטומטי ושולחת אותן להתקן מרוחק באופן עקבי.
  4. שדר תמונות מהאפליקציה לנייד מיד לאחר צילום התמונה למכשיר המשויך, כלומר למערכת המנתח מרחוק, באמצעות Bluetooth.
    הערה: ודא שהמודולים המוזכרים בסעיפים 2 ו-3 פועלים בסנכרון זמן, אחד עבור כל מספר זוגי של שניות והשני עבור כל מספר אי-זוגי של שניות.

4. פיתוח מודול לקוח לקליטה וטיפול בתמונות מעקב

  1. פתח את מודול השרת, שהוא ממשק משתמש גרפי.
  2. הזן את מספר יציאת VVID בשדה הטקסט VVID, שערך ברירת המחדל שלו הוא 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. לחץ על צור שקע כדי ליצור ולקשור את השקע. לחץ על התחבר כדי ליצור חיבור לאפליקציה לנייד.
  4. לחץ על לכידה כדי ללכוד ולשמור את תמונות מעקב הסצנה בתיקיה המקומית
  5. הזן את שם התיקיה המקומית בשם תיקיית השדה אם עליו להיות שונה משם ברירת המחדל שהוזכר.

5. הפעלת הזרוע הרובוטית

  1. תן למודול הלקוח לכלול גם זרוע רובוטית. עצבו את הזרוע כך שתהיה לה תנועה סיבובית בבסיס, בכתף, במרפק, בשורש כף היד ובאצבעות.
  2. ודא כי סרוו MG 996R משמשים לשליטה על התנועה הסיבובית בבסיס, בכתף ובמרפק. ודא כי מנוע סרוו SG 90 משמש לשליטה על התנועה הסיבובית במרפק ובאצבעות.
  3. הידור הקוד שניתן בשנת https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR במיקרו-בקר IDE כדי להניע את הזרוע הרובוטית בהתבסס על הפקודות שהתקבלו מהמנתח מרחוק.

שחזור 6. 3D למציאות רבודה

  1. קרא שתי תמונות בכל פעם ברצף, אחת אחת, מהתיקייה המקומית כדי לקבל את החפיפה האפשרית (מכיוון שהתמונות נאספות בסמיכות, תהיה חפיפה בין התמונות העוקבות) ביניהן.
  2. עצב מסנן שלישוני בהתאם לדרישה של תיאור התכונה המועצם כיווני באמצעות האלגוריתם סינון שלישוני22 (DITF) כדי להשיג את מעבר הצבע ואת הכיוון.
  3. חלץ את התכונות באמצעות שיטת DITF22, כפי שמוצג באיור 3.
  4. שחזר תמונות תלת-ממדיות מהתכונות שנאספו באמצעות SFM23.

7. זיהוי מחוות יד במקום המנתח

  1. להקל על המנתח לבדוק את תכונות התמונה המשוחזרת בתלת ממד על ידי מתן אפשרות לו / לה לדמיין את הסביבה מכל נקודות המבט על ידי מתן סיבוב מבוסס מחוות יד וזום פנימה / החוצה של תכונות משוחזרות.
  2. נרמלו ומיפו את המרחק בין קצה האגודל של המנתח לבין האצבע המורה של יד ימין לזווית סיבוב מתאימה. תן לנורמליזציה להיות באופן כזה שהמרחק המינימלי החשוף מתאים ל 0° והמקסימום ל 180°.
  3. שדר את בקרת מחוות היד, באמצעות Bluetooth, גם לסביבת הניתוח המרוחקת לסיבוב מגש האובייקטים, מה שגורם לו להסתובב על צירו כאשר התכונות המשוחזרות בתלת ממד מסתובבות בקצה המנתח.
  4. מצא את המרחק בין קצה האגודל של יד שמאל של המנתח כדי לשלוט בתנועת אצבעות זרוע הרובוט.
  5. מדדו את זווית ההגבהה מהמרחק המרחבי בין קצה האגודל לאצבעות המורה של יד שמאל של המנתח ביחס למישור קרקע x-y דמיוני כדי לקבוע את זווית הגובה. מפה זווית זו לזווית גובה שזרוע הרובוט יכולה ליצור עם מישור x-y.
  6. מצא את זווית האזימוט שהיד של המנתח עושה עם זו של מישור y-z הווירטואלי. זהה זוויות אלה באמצעות זיהוי המבוסס על מחוות יד.
  7. מפה את זוויות המרחק, הגובה והאזימוט כדי לשלוט בתנועת האצבעות של הרובוט ובסיבוב הזרוע, ששניהם תואמים לזוויות גובה ואזימוט.
  8. תן למנתח לבדוק את התכונות המשוחזרות על ידי זום וסיבוב. תן למנתח להעביר פקודות לזרוע הרובוט לבצע ניתוח ממקום מרוחק.
  9. ודא כי פקודות הניתוח מועברות כמחרוזת בקרה של רצף המתחיל בהסכמת מחרוזת ואחריה הערכים לשליטה על סיבוב הפלטה ובקר הזרוע הרובוטי. תן [θb, θs, θe, θw, θf] להיות הזווית של הווקטור המורכב מערכים, שכל אחד מהם מתאים לאות הבקרה המתאים לבסיס, לכתף, למרפק, לפרק כף היד ולאצבע של זרוע הרובוט.
    הערה: הקישור GitHub מספק את הקוד כדי לאפשר שליטה במחוות יד בתחום הניתוח. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול נבדק עם מודל פנטום הלב. איור 2 מראה את ההיערכות הצפויה למעקב חי אחר שדה הניתוח בעזרת מצלמות מפוזרות מרחבית. המצלמות המבוזרות, כפי שניתן לראות באיור 2, עוזרות להגדיל את הרזולוציה המרחבית של השדה לצורך שחזור תלת-ממדי יעיל. עם זאת, מימוש המיקום הפיזי של מצלמות אלה במקומות מרחביים שונים כרוך במורכבות. לכן, ביצענו אופטימיזציה של תכנון ההתקנה והגענו לפתרון של סידור מצלמות בעל אוריינטציה עצמית מרחבית המסתובב על ידי מנוע NEMA המונע על ידי נהג TB6600. מבנה זה אפשרי ומיושם במודל, וכך גם מוצג באיור 1.

באיור 1, תצלומי המצלמה האוטומטיים ולאחר מכן שידורם באמצעות פרוטוקול Bluetooth נשלטים על-ידי קוד אנדרואיד. המודול מאורגן כך שהלכידה מתבצעת אחת בכל שנייה אי-זוגית, והשידור שלהם נעשה אחת לשנייה אפילו, כאמור בסעיף 3. מודול המיקרו-בקר המתממשק למנוע NEMA דואג לסובב את המבנה אחת לשנייה אפילו, כך שמובטח מספיק זמן לצילום תמונות לא מטושטש. אז, בסך הכל, 30 תמונות נלקחים מעל 360° של סיבוב, והם מועברים באמצעות Bluetooth.

כמו כן, באיור 1 מוצגת התצוגה המשוחזרת התלת-ממדית של תיאורי DITF של סביבת הניתוח. יש לציין כי שחזורים מבוססי תיאור אלה ניתנים לבדיקה על ידי המנתחים על ידי זום וסיבוב באמצעות מיפוי תנועת יד. כמו כן, תנועות אלה נשלחות לסביבה הניתוחית כדי לחקות את הניתוח כך שניתן יהיה להחדיר את הצנתר לשדה האמיתי. מיפוי התנועה נעשה באופן כזה שהם ממופים לשש זוויות שונות כדי לשלוט בחלקי הרובוט, כלומר בסיס, כתף, מרפק, שורש כף היד, אחיזה ואצבע. זוויות אלה מסומנות בצורה וקטורית כ- [θb, θs, θe, θw, θf]. בווקטור הנתון, הערך θpמתאים למיפוי תנועה כדי לסובב את הפלטה של האובייקט האנושי. אותו θpמשמש לכוון את המתאר המוצג באמולטור HoloLens גם בצד המנתח.

איור 3 מראה את תכונות ה-DITF של מודל הפנטום, שהוא השלב החיוני לשחזור תלת-ממדי. בהתבסס על התכונות שחולצו, ההתכתבויות מזוהות בהתאמת תמונות. ההתאמה בין תמונות הייחוס לבין תוצאות שונות של סיבוב 45° מוצגת באיור 4. ההתכתבות עם צבעים שונים מצביעה בבירור על יעילות הזיהוי וההתאמה של תכונות דומות גם כאשר התמונות נמצאות בכיווני ראייה שונים. באיור 5 נכלל דיוק מיפוי התנועה, מה שמצביע על כך שכאשר המרחק בין שתי האצבעות נמוך, הדיוק גבוה. עם זאת, כאשר המרחק בין האצבעות גדל, הדיוק מתחיל לרדת.

מצד שני, הזמן שלוקח למודל לעבד את הנתונים הוא חיוני במציאות רבודה. לכן, פרמטר זה נכלל עבור אימות המודל המוצע, עיכוב הזמן לעיבוד התמונה נמדד, והתוצאות מאומתות עם אלגוריתמים קיימים כגון Oriented FAST ו- Rotd BRIEF (ORB)24 ו- Boosted Efficient Binary Local Image Descriptor (BEBLID)25. התוצאות מראות כי ה-DITF עולה על המודלים הקיימים, כגון ORB ו-BEBLID, במונחים של השהיה, כפי שמוצג באיור 6. בנוסף לכך, מודל השחזור התלת-ממדי מאומת עם שגיאת השחזור, והאיור המוצג באיור 7 מצביע על כך שההיסטוגרמה צרה, מה שמרמז על כך שטעות השחזור היא מינימלית; זה מראה כי שחזור האלגוריתם המוצע מאומת ומאומת. איור 8 מציג את התפוקה של השחזור התלת-ממדי עבור המודל המוצע. זה משקף את הבהירות ויזואליזציה, ואת התוצאות הכמותיות של התמונה מאומתים גם באמצעות מגרשים. תוצאות אלה מוכיחות כי המודל המוצע חילץ את כל התכונות הדרושות עם טרנספורמציית הסיבוב כדי לשחזר את המודל התלת-ממדי. לכן, מומחה מרחוק יכול להיות הדמיה מדויקת ושליטה של שדה הניתוח.

figure-results-1
איור 1: יישום התקנת חומרה עבור ניתוח אוטומטי להחלפת מסתם אבי העורקים באמצעות צנתר באמצעות מציאות רבודה. (A) שדה כירורגי עם מערכת ניטור חיה. (B) ויזואליזציה מבוססת מציאות רבודה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-2
איור 2: המודל הצפוי של סביבת הניתוח. המודל המוצג מצויד במעקב חי אחר סביבת הניתוח באמצעות חיישני מצלמה מבוזרים מרחבית. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-3
איור 3: מודל של לב אנושי שהונח במיטת הניתוח ותכונותיו שחולצו באמצעות אלגוריתם מתאר תכונות. (A) הזן מודל פנטום לב. (B) תיאור תכונות מועצמות כיווניות באמצעות מיצוי תכונות סינון שלישוני של מודל פנטום הלב. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-4
איור 4: התאמת תכונות בין שתי תכונות תמונה. (A) תיאור תכונות מועצמות כיווניות באמצעות מיצוי תכונות סינון שלישוני עבור מודל פנטום לב. (B) תיאור תכונות מועצמות כיווניות באמצעות מיצוי תכונות סינון שלישוני של מודל פנטום לב מסובב של 45°. הקווים מציינים את ההתאמה בין התכונות של תמונות דומות בשני כיוונים שונים. צבע הקו מציין את התכונות השונות שנבחרו. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-5
איור 5: דיוק המעקב אחר מחוות יד. האיור מציג דיוק באחוזים. מספר המדגם (N) נבחר להיות 500. מיפוי התנועה נעשה 500 פעמים, מתוכם נמצא מספר המפות הנכונות. לאחר מכן, הדיוק מחושב כיחס בין המיפוי הנכון למספר הכולל של הדגימות. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-6
איור 6: השהיה של תיאור תכונות מועצם כיווני באמצעות סינון שלישוני עם Oriented FAST ו-BRIEF מסובב ו-Boosted Efficient Binary Local Image Descriptor Algorithm. ההשהיה, שהיא הזמן שלוקח לחלץ את התכונות מתמונה, מתווה. בחרנו ב-N כ-500, מה שאומר שחישוב עיכוב הזמן נעשה מעל 500 פעמים ואז ממוצע. ההליך נעשה עבור שלושה אלגוריתמים ומשורטט. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-7
תרשים 7: התפלגות שגיאות השחזור של המודל המוצע. שגיאת שחזור היא השגיאה בין התמונה התלת-ממדית המשוחזרת מהתכונה שלה לבין התמונה המקורית. תרשים השגיאה הוא היסטוגרמה המציינת את ספירת המופעים של אירוע מסוים. הספירה היא מקסימלית כאשר השגיאה היא אפס, והיא דועכת משני הצדדים. זו התוצאה הרצויה. האיור מצביע על כך שהשונות של ההיסטוגרמה (צפיפות נורמלית) קטנה יותר, ולכן השגיאה מהממוצע (0) אינה מתפשטת הרבה לשני הכיוונים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-8
איור 8: שחזור תלת-ממדי של מודל הלב. כל נקודה צבעונית מציינת את נקודת השחזור התלת-ממדית מהתכונה המתאימה. נכון לעכשיו, אלגוריתם שחזור התכונות מנרמל את הצבע, ועם זאת, תכונות אחרות צבועות. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

בעבודה קיימת15 נבדקות סריקות רנטגן ו-CT לאיתור הצנתר בלב. עם זאת, החלפת AR TAVR מבססת אפשרות חדשה בפרוצדורה כירורגית TAVR18 על ידי יישום מודל אוטומטי באמצעות שחזור תלת ממדי. כפי שהוזכר בסעיף הפרוטוקול, לעבודה זו יש חמישה שלבים לתכנון. השלב הראשון של DITF22, המוזכר בסעיף 6, אותו הצענו בעבודתנו הקודמת22, משופר באופן המטמיע את המודל ביישומים רפואיים. השלב השני של שחזור תלת מימד הוא המשימה המאתגרת של בניית המודל התלת-ממדי מנקודות דו-ממדיות. בדקנו את המודל עם תמונות קלט שונות כדי לאמת את המודל. SFM23 אומץ כדי לשחזר את התמונות. ההתכתבות של התמונה נמדדת בעזרת DITF22, יחד עם מטריצת כיול. השלב הבא הוא מעקב אחר מחוות ידיים; הממשק של בקרת מחוות היד בשחזור תלת מימד הוא משימה מאתגרת נוספת בזמן אמת. בקרת קנה המידה ווריאציית הסיבוב מוטמעות במחוות ידיים לגישה קלה למודלים התלת-ממדיים על-ידי המומחה מרחוק. השלב הרביעי הוא יצירת אפליקציה לנייד, המצוין בסעיף 3 ללכידת תמונה אוטומטית. יישום זה טוען את הנתונים למומחה מרחוק כמודל תלת-ממדי. השלב האחרון הוא התקנת חומרה, אשר מודגמת באמצעות מודל פנטום הלב עם זרוע רובוט, אשר אוטומטית להחדיר את הצנתר כדי להחליף את המסתם הפגוע של הלב, כפי שמוצג באיור 1.

השיטה שפותחה היא לביצוע הניתוח מרחוק מזירת הניתוח, מעקב אחר הסביבה הניתוחית באמצעות מציאות רבודה וחילוץ תכונות. התרומות המשמעותיות המוצעות במאמר זה אינן נראות בספרות לפי מיטב ידיעתנו. השיטה שפותחה יש שיהוי נמוך כדי לשחזר את התמונה 3D מן התכונות. כמו כן, לשיטה יש שגיאה נמוכה מאוד בין התכונות המשוחזרות לבין התמונה המקורית. השהיה זו והשגיאה מוצגות באיור 6 ובאיור 7, בהתאמה. הנתונים מראים גם כי האלגוריתמים האחרים, כלומר ORB24 ו-BEBLID25 , אינם תקניים מהשיטה המוצעת.

האתגרים שעמדו בפנינו בפיתוח השיטה הם שידור מבוסס פרוטוקול Bluetooth בין האפליקציה למובייל לשרת המרוחק. מכיוון שיש להשלים את לכידת הסצנה ושידורה כל 2 שניות, היא דרשה תקשורת במהירות גבוהה במיוחד. לעתים קרובות זה הסתיים בשקע שבור, וזה דרש הרבה טיפול חריג וניהול שגרתי מקביל לעיבוד חלק. בנוסף לכך, התמודדנו עם כמה בעיות במהלך הפיתוח והיישום של השיטה.

עם זאת, קיימות כמה טכניקות לפתרון בעיות כדי לפתור אותן. תקשורת Bluetooth כרוכה בבחירת מספר הערוץ או יציאת ה- VVID הנכון. כמו כן, יש להבטיח החלפת התקן Bluetooth בשני הקצוות לפני שתמשיך הלאה. לגבי השגרה מבוססת המיקרו-מעבד להנעת זרוע הרובוט וזרוע הסיבוב התלויה, יש להבטיח את מספרי היציאות לתקשורת טורית. חיבור נהג מנועי, בהתחשב במנוע NEMA וסרוו יש להבטיח כראוי. אם לא נעשה כראוי, מנוע NEMA מסתובב בצורה לא רצויה, גם אם רק החיבור לנהג נעשה לא נכון. יש לזהות כראוי את המוליכים של שני סלילים של מנוע NEMA; אחרת, החיבור עם הנהג עלול בסופו של דבר להסתובב בצורה לא רצויה או אפילו לפגוע במנוע. העיצוב של מצמד לתמיכה בתלייה של זרוע מסתובבת, אשר שוקל סביב 1 ק"ג, היה אתגר. כדי לטפל בבעיה, קדחנו חור בקוטר 1 מ"מ בפיר המנוע. איזון משני צדי הזרוע, כולל משקלו של מכשיר נייד, הוא גם אתגר; אחרת, המבנה עלול להיגרר על פני הקרקע, מה שיוביל לקריעה או משיכה של המבנה מפיר המנוע. יש להבטיח הברגה נכונה בבסיס, בכתף, במרפק, בשורש כף היד ובאצבעות זרוע הרובוט; אם לא, החלקים עלולים ליפול כאשר הוא מסתובב ומרים את המשקל. יש לטפל בהפעלה מקבילה של שני מודולים על ידי הגדרת סביבת Python מתאימה, עם חוטים שונים הפועלים במקביל לעבודה חלקה.

התוצאות מסיקות כי מודל TAVR18 האוטומטי המוצע הוא שיטה יעילה להנחיה כירורגית במציאות רבודה. מודל מוצע זה גמיש ליישום אב טיפוס זה על כל ניתוח בתחום הרפואי בהתאם להנחיות המומחה הרפואי. מודלים מבוססי למידה עשויים לשפר את השחזור התלת-ממדי. כדי לשחזר את המודל התלת-ממדי, תצוגות מרובות עם תמונות תאורה טובות צריכות להינתן כקלט; עם זאת, ניתן לטפל בכך בעתיד. יתר על כן, בעתיד, ברצוננו לפתח שידור מבוסס תקשורת 5G כדי להבטיח השהיה נמוכה ותקשורת אמינה במיוחד לפעולה חלקה וללא תקלות. כמו כן, ברצוננו לפתח מכשיר AR משלנו במקום אמולטור המשמש כיום. זה יכול לשפר את ההדמיה של מודל 3D בסביבה כירורגית חיה.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים כי אין ניגודי עניינים.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מודים כי אין מימון למחקר זה.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
תוכנתhttps://developer.android.com/studio אנדרואיד IDEמקישור זה
Arduino BoardArdunio UnoArdunio UnoMicrocontroller לעיבוד
תוכנת Arduinohttps://www.arduino.cc/en/software.ניתן להוריד תוכנה מקישור זה
מודל פנטום לב אנושייצרן ויצואן ציוד מעבדה ביולוגיהB071YBLX2V (8B-ZB2Q-H3MS-1)דגם קל משקל עם 3 חלקים לניתוח עמוק של הלב.
מחזיק ניידמחזיק מונופוד אוניברסלי צנועB07S9KNGVSלשאת את הנייד בתחום הכירורגי
תוכנתhttps://www.jetbrains.com/pycharm/IDEמקישור זה ניתן להוריד
זרוע רובוטבוטים מודפסיםB08R2JLKYM(P0-E2UT-JSOU)באמצעות שליטה signal.it יש 5 דרגות חופש גישה.
מנוע סרווKollmorgen Co-Engineers מנועיםMG-966Rמנוע סרוו מומנט גבוה, פולסים סרוו הנעים בין 500 ל 2500 מיקרו שניות (&מיקרו; s), בתדר של 50 הרץ עד 333 הרץ.
מנועי סרווקולמורגן מהנדסים שותפים  ניתן להחיל מנועיםSG-90Rעומס של 1.8 ק"ג-ס"מ עד 2.5 ק"ג-ס"מ על סרוו SG-90R.
מנוע צעד28BYJ-4828BYJ-48מנוע סטפר, 5V DC, תדר 100 הרץ, מומנט 1200 Gf.cm
מנועצעד Nema 23NemaSteper, 9V - 42 V DC, תדר 100 הרץ
ניתן להוריד ניתן להוריד ניתן לשלוט בזרוע

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Augmented Reality SurgeryTranscatheter Aortic ValveRemote Surgical Guidance3D ReconstructionRobotic Arm ControlHand Gesture ControlReal Time SynchronizationFeature ExtractionCatheter TestbedTelemedicine Surgery

Related Articles