Method Article

Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

DOI:

10.3791/67096

⸱

August 9th, 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rozszerzona rzeczywistość (AR) cieszy się dużym zainteresowaniem w zastosowaniach medycznych. Celem pracy jest przedstawienie automatycznej chirurgii z wykorzystaniem AR w celu przezcewnikowej wymiany zastawki aortalnej (TAVR). TAVR jest alternatywną procedurą medyczną dla operacji na otwartym sercu. TAVR zastępuje uszkodzoną zastawkę nową za pomocą cewnika. W dotychczasowym modelu prowadzone jest zdalne prowadzenie, natomiast operacja nie jest zautomatyzowana w oparciu o AR. W tym artykule zastosowaliśmy kamerę ustawioną przestrzennie, która jest podłączona do silnika w celu automatyzacji przechwytywania obrazu w środowisku chirurgicznym. Kamera śledzi obraz 2D serca pacjenta w wysokiej rozdzielczości wraz z stanowiskiem testowym cewnika. Te przechwycone obrazy są przesyłane za pomocą aplikacji mobilnej do zdalnego chirurga, który jest ekspertem w dziedzinie kardiologii. Ten obraz jest wykorzystywany do rekonstrukcji 3D ze śledzenia obrazu 2D. Jest to wyświetlane w urządzeniu HoloLens jak emulator w laptopie. Chirurg może zdalnie sprawdzić zrekonstruowane obrazy 3D z dodatkowymi funkcjami transformacji, takimi jak rotacja i skalowanie. Te funkcje transformacji są włączane za pomocą gestów dłoni. Wskazówki chirurga są przekazywane do środowiska chirurgicznego w celu zautomatyzowania procesu w scenariuszach w czasie rzeczywistym. Stanowisko do badania cewnika w polu operacyjnym jest kontrolowane przez pilota zdalnego chirurga za pomocą gestów dłoni. Opracowany prototypowy model demonstruje skuteczność zdalnego kierowania chirurgicznego za pomocą AR.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AR może nałożyć model 3D na rzeczywiste środowisko. Rozwój technologiczny w kierunku AR dokonał zmiany paradygmatu w wielu dziedzinach, a mianowicie education1, medical2, manufacturing3 i entertainment4. Technologia AR, wraz z ultraniezawodną komunikacją o niskich opóźnieniach, udowadnia swoją nieuniknioną rolę w medycynie. Od etapu uczenia się anatomii człowieka po wskazówki chirurgiczne, etapy uczenia się można wizualizować za pomocą oprogramowania opartego na AR5,6 i sprzętu. AR zapewnia kluczowe i niezawodne rozwiązanie dla lekarza w środowisku chirurgicznym7,8.

Zwężenie zastawki aortalnej to choroba zastawek serca, która występuje najczęściej wśród ludzkości9. Główną przyczyną choroby są złe nawyki żywieniowe i nieregularna rutyna życia codziennego. Objawem i skutkiem choroby jest zwężenie zastawki serca, a następnie zmniejszenie przepływu krwi. Ten problem należy rozwiązać, zanim dojdzie do jakiegokolwiek uszkodzenia ludzkiego serca. W ten sposób serce jest przeciążone, aby przetworzyć przepływ krwi. Tak więc, zanim dojdzie do jakiegokolwiek uszkodzenia, należy wykonać operację, która dzięki postępowi technologicznemu w ostatnich dniach może być również wykonana za pomocą procedury TAVR. Procedura może być dostosowana w zależności od stanu serca i innych części ciała pacjentów. W tym TAVR10,11, cewnik jest wprowadzany w celu zastąpienia uszkodzonej zastawki w sercu. Jednak umieszczenie pozycji cewnika12 w celu wymiany zastawki jest żmudne dla praktyka. Ten pomysł zmotywował nas do zaprojektowania zautomatyzowanego modelu chirurgicznego opartego na AR13,14, który pomaga chirurgowi precyzyjnie ustawić zastawkę podczas procesu wymiany. Co więcej, operacja może być wykonana przez algorytm mapowania ruchu, który mapuje ruch chirurga uchwycony z odległego miejsca na ramię robota.

W istniejącym work15,16,17, wizualizacja procedury TAVR18 jest monitorowana za pomocą fluoroskopii. W związku z tym trudno jest przeanalizować zastawkę serca i żmudne jest znalezienie miejsca wymiany. Stwarza to barierę w umieszczeniu cewnika w ludzkim sercu. Ponadto zdalny ruch jest odwzorowywany na pole operacyjne, aby proces był zautomatyzowany. Jednak, aby wypełnić lukę badawczą, proponujemy zautomatyzowaną chirurgię opartą na robotach do wymiany zastawki przy użyciu technologii wspomaganej przez AR.

Protokół jest ogólnym modelem, który może być stosowany we wszystkich środowiskach chirurgicznych. W początkowym etapie pracy wykonywane są obrazy 2D w całym środowisku operacyjnym z najpełniejszą rozdzielczością przestrzenną o największym stopniu swobody. Oznacza to, że przechwytywana jest wystarczająca ilość obrazów do rekonstrukcji 3D19, a następnie mapowania ruchu poprzez śledzenie gestów dłoni20.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Środowisko chirurgiczne

  1. Zaprojektuj środowisko chirurgiczne, jak pokazano na rysunku Rysunek 1. Upewnij się, że w pomieszczeniu znajduje się talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku, jedno do trzymania symbolu zastępczego kamery, a drugie do spójnego białego tła wraz z modułem wagowym do ważenia.
  2. Opracuj dwa sterowniki, jeden do migawki środowiska chirurgicznego na żywo, jak wspomniano w krokach od 2.1 do 2.10, a drugi do sterowania mechanizmem obrotowym, który obsługuje nadzór 360°, jak wspomniano w krokach od 3.1 do 3.4.
  3. Przed wdrożeniem powyższych dwóch modułów włącz Bluetooth urządzenia mobilnego i laptopa, które służą jako emulator HoloLens chirurga.
  4. Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu.

2. Ustawienie kierowcy do sterowania dwoma wiszącymi ramionami

  1. Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy w układzie pokazanym na Rysunek 2, aby uzyskać bezbłędny obrót o 360°.
  2. Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB 6600. Aby uruchomić silnik, zainstaluj IDE mikrokontrolera z przeglądarki.
  3. Kliknij przycisk Pobierz, aby pobrać oprogramowanie. Następnie w IDE mikrokontrolera przejdź do Plik > Otwórz nowy szkic, aby napisać kod.
  4. Upewnij się, że płytka mikrokontrolera jest podłączona do interfejsu z nowym szkicem przez dedykowany port połączeniowy, powiedzmy COM 4. Sprawdź port Com i upewnij się, że pokazuje płytkę mikrokontrolera.
  5. Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB 6600. Upewnij się, że ustawienia są takie, aby przepływ prądu wynosił 2 A, co można osiągnąć, ustawiając SW4 ON i SW5 i SW6 OFF.
  6. Upewnij się, że pozycje przełączników SW1, SW2 i SW3 są ustawione tak, aby mikrokrok wynosił 1/8 kroku, aby osiągnąć kroki obrotu zgodnie z wymaganiami. Upewnij się, że ustawienia to SW1 OFF, SW2 ON i SW3 OFF w TB6600.
  7. Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12° i że przyrost kroku silnika jest wyzwalany tylko wtedy, gdy jednostka czasu rzeczywistego, tj. sekundy odczytane z modułu RTC, jest nieparzysta
    8. .
  8. Podłącz pin 5 V płytki mikrokontrolera do RCC RTC, a GND mikrokontrolera do GND RTC.
  9. Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł może zapewnić rozmiar kroku 12°, wykonując 30 kroków w jednym obrocie. Upewnij się, że przyrost kroku następuje co nieparzystą sekundę. Niech ten moduł oprogramowania napędza silnik krokowy21.
  10. Sprawdź, czy konfiguracja działa poprawnie, uruchamiając kod, który jest dostępny na stronie GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Upewnij się, że wymagania systemowe są spełnione, a następnie pobierz oprogramowanie ze strony internetowej.

3. Opracowanie sterownika do mobilnego nadzoru scen i transmisji obrazu jako modułu klienta

  1. Opracuj aplikację aparatu w systemie operacyjnym Android, która może robić zdjęcia co 2 sekundy, zwłaszcza gdy sekundy są liczbami nieparzystymi.
  2. Połącz telefon komórkowy z systemem. W Android Studio kliknij Nowy > Nowy projekt i wybierz Działanie pustych widoków. Kliknij przycisk Dalej, aby opracować kod systemu Android, który jest dostępny pod adresem https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.
  4. Przesyłaj migawki z aplikacji mobilnej natychmiast po wykonaniu migawki do sparowanego urządzenia, tj. do systemu zdalnego chirurga, przez Bluetooth.
    UWAGA: Upewnij się, że moduły wymienione w sekcjach 2 i 3 działają w synchronizacji czasu, jeden dla każdej parzystej liczby sekund, a drugi dla każdej nieparzystej liczby sekund.

4. Rozwijanie modułu klienta do odbioru i obsługi obrazów z monitoringu

  1. Otwórz moduł serwera, który jest graficznym interfejsem użytkownika.
  2. Wprowadź numer portu VVID w polu tekstowym VVID, którego wartość domyślna to 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną.
  4. Kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu w folderze lokalnym
  5. Wprowadź nazwę folderu lokalnego w polu nazwa folderu, jeśli musi być inna niż domyślna wymieniona.

5. Obsługa ramienia robota

  1. Niech moduł klienta zawiera również ramię robota. Zaprojektuj ramię tak, aby miało ruch obrotowy w podstawie, barku, łokciu, nadgarstku i palcach.
  2. Upewnij się, że serwomechanizmy MG 996R są używane do sterowania ruchem obrotowym u podstawy, ramienia i łokcia. Upewnij się, że serwomotor SG 90 jest używany do sterowania ruchem obrotowym łokcia i palców.
  3. Skompiluj kod podany w https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR w IDE mikrokontrolera, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga.

6. 3D rekonstrukcja dla rozszerzonej rzeczywistości

  1. Odczytaj dwa obrazy naraz w sekwencji, jeden po drugim, z folderu lokalnego, aby uzyskać możliwe nakładanie się (ponieważ obrazy są zbierane w bliskiej odległości, będzie następować nakładanie się między kolejnymi obrazami) między nimi.
  2. Zaprojektuj filtr trzeciorzędny zgodnie z wymaganiami opisu cechy zintensyfikowanej kierunkowej przy użyciu algorytmu filtrowania trzeciorzędnego22 (DITF) w celu uzyskania gradientu i orientacji.
  3. Wyodrębnij cechy za pomocą metody DITF22, jak pokazano w Rysunek 3.
  4. Zrekonstruuj obrazy 3D na podstawie zebranych obiektów za pomocą SFM23.

7. Rozpoznawanie gestów dłoni w lokalizacji chirurga

  1. Ułatw chirurgowi inspekcję zrekonstruowanych cech obrazu 3D, umożliwiając mu wizualizację otoczenia ze wszystkich perspektyw, zapewniając obracanie oparte na gestach dłoni oraz powiększanie/pomniejszanie zrekonstruowanych cech.
  2. Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu. Niech normalizacja będzie w taki sposób, aby minimalna odległość odpowiadała 0°, a maksymalna 180°.
  3. Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego, a także w celu obrócenia talerza obiektu, co sprawia, że obraca się on wokół własnej osi, podczas gdy zrekonstruowane w 3D cechy obracają się po stronie chirurga.
  4. Znajdź odległość między czubkiem a kciukiem lewej ręki chirurga, aby kontrolować ruch palców ramienia robota.
  5. Zmierz kąt podniesienia na podstawie odległości przestrzennej między czubkiem kciuka a palcami wskazującymi lewej ręki chirurga w stosunku do wyimaginowanej płaszczyzny podłoża x-y, aby określić kąt elewacji. Odwzoruj ten kąt na kąt elewacji, który ramię robota może wykonać za pomocą płaszczyzny x-y.
  6. Znajdź kąt azymutu, jaki ręka chirurga tworzy z ręką wirtualnej płaszczyzny y-z. Zidentyfikuj te kąty za pomocą rozpoznawania opartego na gestach dłoni.
  7. Zmapuj odległość, wysokość i kąty azymutu, aby kontrolować ruch palca robota i obrót ramienia, które odpowiadają kątom elewacji i azymutu.
  8. Pozwól chirurgowi sprawdzić zrekonstruowane elementy, powiększając i obracając. Pozwól chirurgowi przekazywać polecenia do ramienia robota, aby wykonać operację ze zdalnej lokalizacji.
  9. Upewnij się, że polecenia chirurgiczne są przesyłane jako ciąg sterujący sekwencją, rozpoczynający się od zbieżności ciągów, po których następują wartości sterujące obrotem talerza i kontrolerem ramienia robota. Niech [θb, θs, θe, θw, θf] będzie kątem wektora, który składa się z wartości, z których każda odpowiada sygnałowi sterującemu odpowiadającemu podstawie, ramieniu, łokciu, nadgarstku i palcu ramienia robota.
    UWAGA: Link GitHub zawiera kod umożliwiający sterowanie gestami dłoni w polu operacyjnym. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół został przetestowany z modelem fantomowym serca. Rysunek 2 pokazuje oczekiwaną konfigurację do obserwacji pola operacyjnego na żywo za pomocą przestrzennie rozmieszczonych kamer. Rozproszone kamery, jak pokazano na rysunku Rysunek 2, pomagają zwiększyć rozdzielczość przestrzenną pola w celu efektywnej rekonstrukcji 3D. Jednak uświadomienie sobie fizycznego rozmieszczenia tych kamer w różnych lokalizacjach przestrzennych wiąże się ze złożonością. Dlatego zoptymalizowaliśmy projekt konfiguracji i opracowaliśmy rozwiązanie przestrzennego samoorientującego układu kamer obracanych przez silnik NEMA napędzany przez sterownik TB6600. Ta struktura jest wykonalna i jest zaimplementowana w modelu, a to samo pokazano w Rysunek 1.

W Rysunek 1, automatyczne migawki z kamery, a następnie ich transmisja przez protokół Bluetooth, są zarządzane przez kod Androida. Moduł jest zorganizowany w taki sposób, że przechwytywanie odbywa się raz na każdą sekundę nieparzystą, a ich transmisja odbywa się raz na każdą parzystą sekundę, jak wspomniano w sekcji 3. Moduł mikrokontrolera, który łączy się z silnikiem NEMA, dba o obracanie konstrukcji raz na sekundę, dzięki czemu gwarantowana jest wystarczająca ilość czasu na niezamazane zrobienie zdjęcia. Tak więc w sumie wykonywanych jest 30 zdjęć w zakresie obrotu o 360° i są one przesyłane za pomocą Bluetooth.

Ponadto, w Rysunek 1, pokazany jest zrekonstruowany w 3D widok deskryptorów DITF środowiska chirurgicznego. Należy zauważyć, że te rekonstrukcje oparte na deskryptorach mogą być sprawdzane przez chirurgów poprzez powiększanie i obracanie za pomocą mapowania ruchu dłoni. Ruchy te są również wysyłane do środowiska chirurgicznego, aby naśladować operację, aby cewnik mógł zostać wprowadzony w rzeczywiste pole. Mapowanie ruchu odbywa się w taki sposób, że są one mapowane pod sześcioma różnymi kątami w celu sterowania częściami robota, a mianowicie podstawą, ramieniem, łokciem, nadgarstkiem, chwytakiem i palcem. Kąty te są oznaczone w postaci wektorowej jako [θb, θs, θe, θw, θf]. W podanym wektorze wartość θp odpowiada odwzorowaniu ruchu w celu obrócenia talerza obiektu ludzkiego. Ta sama wartość θp jest używana do orientowania deskryptora wyświetlanego w emulatorze HoloLens po stronie chirurga.

Rysunek 3 pokazuje cechy DITF modelu fantomowego, który jest niezbędnym krokiem do rekonstrukcji 3D. Na podstawie wyodrębnionych cech korespondencje są identyfikowane w dopasowywaniu obrazów. Zgodność między obrazami referencyjnymi a różnymi wynikami obrotu o 45° jest pokazana na Rysunek 4. Zgodność z różnymi kolorami wyraźnie wskazuje na skuteczność identyfikowania i dopasowywania podobnych cech, nawet jeśli obrazy znajdują się w różnych orientacjach widoku. W Rysunek 5, uwzględniona jest dokładność mapowania ruchu, co wskazuje, że gdy odległość między dwoma palcami jest niska, dokładność jest wysoka. Jednak wraz ze wzrostem odległości między palcami dokładność zaczyna spadać.

Z drugiej strony, czas potrzebny modelowi na przetworzenie danych jest kluczowy w AR. W związku z tym parametr ten jest uwzględniany w walidacji proponowanego modelu, mierzone jest opóźnienie czasowe przetwarzania obrazu, a wyniki są weryfikowane za pomocą istniejących algorytmów, takich jak Oriented FAST i rotated BRIEF (ORB)24 oraz Boosted Efficient Binary Local Image Descriptor (BEBLID)25. Wyniki pokazują, że DITF przewyższa istniejące modele, takie jak ORB i BEBLID, pod względem opóźnień, jak pokazano na Rysunek 6. Oprócz tego model rekonstrukcji 3D jest weryfikowany z błędem rekonstrukcji, a rysunek pokazany w Rysunek 7 wskazuje, że histogram jest wąski, co oznacza, że błąd rekonstrukcji jest minimalny; Wynika z niego, że rekonstrukcja proponowanego algorytmu została zweryfikowana i zwalidowana. Rysunek 8 pokazuje wynik rekonstrukcji 3D dla proponowanego modelu. Odzwierciedla to przejrzystość wizualizacji, a wyniki ilościowe obrazu są również weryfikowane za pomocą wykresów. Wyniki te dowodzą, że proponowany model wyodrębnił wszystkie niezbędne cechy za pomocą transformacji obrotu w celu zrekonstruowania modelu 3D. Dzięki temu zdalny ekspert może mieć precyzyjną wizualizację i kontrolę pola operacyjnego.

figure-results-1
Rysunek 1: Implementacja konfiguracji sprzętowej do automatycznej operacji przezcewnikowej wymiany zastawki aortalnej przy użyciu rzeczywistości rozszerzonej. (A) Pole operacyjne z systemem monitorowania na żywo. (b) Wizualizacja oparta na rzeczywistości rozszerzonej. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 2: Oczekiwany model środowiska chirurgicznego. Prezentowany model wyposażony jest w podgląd na żywo środowiska operacyjnego za pomocą przestrzennie rozmieszczonych czujników kamerowych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Model ludzkiego serca umieszczony na stanowisku testowym do operacji i jego wyodrębnione cechy za pomocą algorytmu deskryptora cech. (A) Wejściowy model fantomu serca. (B) Kierunkowy zintensyfikowany opis cech przy użyciu trzeciorzędowej ekstrakcji cech filtrowania modelu fantomowego serca. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 4: Dopasowanie cech między dwoma cechami obrazu. (A) Kierunkowy wzmocniony opis cech przy użyciu trzeciorzędnej ekstrakcji cech filtrowania dla modelu fantomowego serca. (B) Kierunkowy zintensyfikowany opis cech przy użyciu trzeciorzędnej ekstrakcji cech filtrowania modelu fantomu serca obróconego o 45°. Linie wskazują zgodność między cechami podobnych obrazów w dwóch różnych orientacjach. Kolor linii wskazuje różne wybrane obiekty. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-5
Rysunek 5: Dokładność śledzenia gestów dłoni. Rysunek przedstawia dokładność procentową. Wybiera się liczbę próby (N) na 500. Mapowanie ruchu jest wykonywane 500 razy, z czego znajdowana jest liczba poprawnych map. Następnie dokładność jest obliczana jako stosunek między prawidłowym odwzorowaniem a całkowitą liczbą próbek. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-6
Rysunek 6: Opóźnienie kierunkowego zintensyfikowanego opisu funkcji przy użyciu trzeciorzędnego filtrowania z Zorientowanym SZYBKIM i obróconym KRÓTKIM oraz Wzmocnionym Wydajnym Binarnym Algorytmem Deskryptora Lokalnego Obrazu. Opóźnienie, czyli czas potrzebny na wyodrębnienie obiektów z obrazu, jest wykreślane. Wybraliśmy N jako 500, co oznacza, że obliczenie opóźnienia czasowego jest wykonywane ponad 500 razy, a następnie uśredniane. Procedura jest wykonywana dla trzech algorytmów i wykreślana. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-7
Rysunek 7: Rozkład błędów rekonstrukcji proponowanego modelu. Błąd rekonstrukcji to błąd między zrekonstruowanym obrazem 3D na podstawie jego cechy a oryginalnym obrazem. Wykres błędu to histogram, który wskazuje liczbę wystąpień określonego zdarzenia. Liczba jest maksymalna, gdy błąd wynosi zero i zanika po obu stronach. To jest pożądany rezultat. Rysunek wskazuje, że wariancja histogramu (gęstość normalna) jest mniejsza, więc błąd od średniej (0) nie jest bardzo rozłożony w żadnym kierunku. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-8
Rysunek 8: Rekonstrukcja 3D modelu serca. Każda kolorowa kropka wskazuje zrekonstruowany punkt 3D na podstawie odpowiedniego elementu. W tej chwili algorytm rekonstrukcji funkcji normalizuje kolor, a wraz z nim inne cechy są kolorowane. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W istniejącej pracy15 bada się zdjęcia rentgenowskie i tomografię komputerową w celu zlokalizowania cewnika w sercu. Jednak wymiana AR TAVR stwarza nową możliwość w procedurze chirurgicznej TAVR18 poprzez implementację zautomatyzowanego modelu z wykorzystaniem rekonstrukcji 3D. Jak wspomniano w sekcji dotyczącej protokołu, praca ta składa się z pięciu etapów do zaprojektowania. Pierwszy etap DITF22, wspomniany w sekcji 6, który zaproponowaliśmy w naszej poprzedniej pracy22, jest ulepszony w sposób, który osadza model w zastosowaniach medycznych. Drugim etapem rekonstrukcji 3D jest trudne zadanie polegające na skonstruowaniu modelu 3D z punktów 2D. Przetestowaliśmy model z różnymi obrazami wejściowymi, aby zweryfikować model. SFM23 jest przystosowany do rekonstrukcji obrazów. Zgodność obrazu jest mierzona za pomocą DITF22 wraz z matrycą kalibracyjną. Kolejnym etapem jest śledzenie gestów dłoni; interfejs sterowania gestami dłoni w rekonstrukcji 3D to kolejne trudne zadanie w czasie rzeczywistym. Sterowanie skalowaniem i warianty obrotu są wbudowane w gesty dłoni, co zapewnia łatwy dostęp do modeli 3D przez zdalnego eksperta. Czwartym etapem jest tworzenie aplikacji mobilnej, która jest opisana w sekcji 3 dotyczącej automatycznego przechwytywania obrazu. Ta aplikacja ładuje dane do zdalnego eksperta jako model 3D. Ostatnim etapem jest konfiguracja sprzętu, która jest demonstrowana przy użyciu modelu fantomu serca z ramieniem robota, które jest zautomatyzowane w celu wprowadzenia cewnika w celu zastąpienia uszkodzonej zastawki serca, jak pokazano na rysunku 1.

Opracowana metoda ma na celu przeprowadzenie zdalnej operacji z miejsca zdarzenia, nadzór środowiska operacyjnego przy użyciu rzeczywistości rozszerzonej i ekstrakcji cech. Znaczący wkład zaproponowany w tym artykule nie jest widoczny w literaturze zgodnie z naszą najlepszą wiedzą. Opracowana metoda charakteryzuje się niskim opóźnieniem w rekonstrukcji obrazu 3D na podstawie cech. Ponadto metoda ta ma bardzo niski błąd między zrekonstruowanymi cechami a oryginalnym obrazem. To opóźnienie i błąd pokazano odpowiednio na rysunku 6 i rysunku 7. Z danych liczbowych wynika również, że inne algorytmy, a mianowicie ORB24 i BEBLID25 , nie spełniają norm w porównaniu z proponowaną metodą.

Wyzwaniem, z którym musieliśmy się zmierzyć podczas opracowywania metody, jest transmisja oparta na protokole Bluetooth między aplikacją mobilną a zdalnym serwerem. Ponieważ przechwytywanie i transmisja sceny musiały być wykonywane co 2 sekundy, wymagało to ultraszybkiej komunikacji. Często kończyło się to uszkodzonym gniazdem i wymagało wielu wyjątków i równoległego zarządzania procedurami w celu płynnego przetwarzania. Ponadto napotkaliśmy pewne problemy podczas opracowywania i wdrażania metody.

Istnieje jednak kilka technik rozwiązywania problemów, aby je rozwiązać. Komunikacja Bluetooth polega na wybraniu odpowiedniego kanału lub numeru portu VVID. Ponadto przed kontynuowaniem należy upewnić się, że przed kontynuowaniem należy przełączyć urządzenie Bluetooth na dowolnym końcu. Jeśli chodzi o opartą na mikroprocesorze procedurę sterowania ramieniem robota i wiszącym ramieniem obrotowym, należy zapewnić numery portów do komunikacji szeregowej. Podłączenie sterownika silnika, biorąc pod uwagę NEMA i serwomotor, musi być zapewnione prawidłowo. Jeśli nie zostanie to zrobione prawidłowo, silnik NEMA obraca się w niepożądany sposób, nawet jeśli samo połączenie ze sterownikiem jest nieprawidłowe. Przewody dwóch cewek silnika NEMA muszą być prawidłowo zidentyfikowane; W przeciwnym razie połączenie ze sterownikiem może skończyć się niepożądanym obracaniem się, a nawet uszkodzeniem silnika. Wyzwaniem było zaprojektowanie łącznika wspomagającego zawieszenie ramienia obrotowego, które waży około 1 kg. Aby rozwiązać ten problem, wywierciliśmy otwór o średnicy 1 mm w wale silnika. Wyzwaniem jest również zrównoważenie obu stron ramienia, w tym ciężaru urządzenia mobilnego; W przeciwnym razie konstrukcja może ciągnąć się po powierzchni gruntu, co doprowadzi do zburzenia lub ściągnięcia konstrukcji z wału silnika. Należy zapewnić prawidłowe wkręcenie podstawy, ramienia, łokcia, nadgarstka i palców ramienia robota; Jeśli nie, części mogą spaść, gdy obraca się i podnosi ciężar. Równoległe działanie dwóch modułów powinno być zadbane poprzez ustawienie odpowiedniego środowiska Pythona, z różnymi wątkami biegnącymi równolegle, aby zapewnić płynną pracę.

Wyniki wskazują, że proponowany model Automatic TAVR18 jest skuteczną metodą prowadzenia chirurgicznego w AR. Ten proponowany model jest elastyczny, aby można go było zastosować do dowolnej operacji w dziedzinie medycyny zgodnie z wytycznymi ekspertów medycznych. Modele oparte na uczeniu się mogą usprawnić rekonstrukcję 3D. Aby zrekonstruować model 3D, jako dane wejściowe należy podać wiele widoków z dobrymi obrazami oświetleniowymi; Można jednak rozwiązać ten problem w przyszłości. Ponadto w przyszłości chcielibyśmy opracować transmisję opartą na komunikacji 5G, aby zapewnić niskie opóźnienia i wyjątkowo niezawodną komunikację, zapewniając bezbłędne i płynne działanie. Chcielibyśmy również opracować własne urządzenie AR zamiast obecnie używanego emulatora. Może to poprawić wizualizację modelu 3D w rzeczywistym środowisku chirurgicznym.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy deklarują brak konfliktu interesów.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy przyznają, że nie finansują tych badań.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Oprogramowanie https://developer.android.com/studio oprogramowanie IDE systemu Androidmożna pobrać z tego linku
Płytka ArduinoArdunio UnoMikrokontroler Ardunio Unodo przetwarzania
oprogramowania Arduinohttps://www.arduino.cc/en/software.Oprogramowanie można pobrać z tego linku
Model fantomowy ludzkiego sercaProducent i eksporter sprzętu do laboratorium biologicznegoB071YBLX2V (8B-ZB2Q-H3MS-1)lekki model z 3 częściami do głębokiej analizy serca.
uchwyt mobilnySkromny uniwersalny uchwyt monopoadB07S9KNGVSDo przenoszenia telefonu komórkowego w polu chirurgicznym
oprogramowanie pycharm IDEhttps://www.jetbrains.com/pycharm/oprogramowanie można pobrać z tego linku
Ramię robotaDrukowane robotyB08R2JLKYM(P0-E2UT-JSOU)ramię może być sterowane za pomocą sterowania signal.it ma 5 stopni swobody dostępu.
silnik serwoKollmorgen Co-Engineers MotorsMG-966Rserwomotor o wysokim momencie obrotowym, impulsy serwo w zakresie od 500 do 2500 mikrosekund (i mikro; s), o częstotliwości od 50 Hz do 333 Hz.
Współinżynierowie serwomotoruKollmorgen  SilnikiSG-90Ro obciążeniu od 1,8 kg-cm do 2,5 kg-cm mogą być stosowane do serwomechanizmu SG-90R.
Silnik krokowy28BYJ-4828BYJ-48Silnik Steper, 5 V DC, częstotliwość 100 Hz, moment obrotowy 1200 Gf.cm
Silnik krokowyNema 23SilnikSteper, 9 V - 42 V DC, częstotliwość 100 Hz

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Augmented Reality SurgeryTranscatheter Aortic ValveRemote Surgical Guidance3D ReconstructionRobotic Arm ControlHand Gesture ControlReal Time SynchronizationFeature ExtractionCatheter TestbedTelemedicine Surgery

Related Articles