Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.
Artykuł metodologiczny
Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości
W tym artykule
Podsumowanie
Streszczenie
Rozszerzona rzeczywistość (AR) cieszy się dużym zainteresowaniem w zastosowaniach medycznych. Celem pracy jest przedstawienie automatycznej chirurgii z wykorzystaniem AR w celu przezcewnikowej wymiany zastawki aortalnej (TAVR). TAVR jest alternatywną procedurą medyczną dla operacji na otwartym sercu. TAVR zastępuje uszkodzoną zastawkę nową za pomocą cewnika. W dotychczasowym modelu prowadzone jest zdalne prowadzenie, natomiast operacja nie jest zautomatyzowana w oparciu o AR. W tym artykule zastosowaliśmy kamerę ustawioną przestrzennie, która jest podłączona do silnika w celu automatyzacji przechwytywania obrazu w środowisku chirurgicznym. Kamera śledzi obraz 2D serca pacjenta w wysokiej rozdzielczości wraz z stanowiskiem testowym cewnika. Te przechwycone obrazy są przesyłane za pomocą aplikacji mobilnej do zdalnego chirurga, który jest ekspertem w dziedzinie kardiologii. Ten obraz jest wykorzystywany do rekonstrukcji 3D ze śledzenia obrazu 2D. Jest to wyświetlane w urządzeniu HoloLens jak emulator w laptopie. Chirurg może zdalnie sprawdzić zrekonstruowane obrazy 3D z dodatkowymi funkcjami transformacji, takimi jak rotacja i skalowanie. Te funkcje transformacji są włączane za pomocą gestów dłoni. Wskazówki chirurga są przekazywane do środowiska chirurgicznego w celu zautomatyzowania procesu w scenariuszach w czasie rzeczywistym. Stanowisko do badania cewnika w polu operacyjnym jest kontrolowane przez pilota zdalnego chirurga za pomocą gestów dłoni. Opracowany prototypowy model demonstruje skuteczność zdalnego kierowania chirurgicznego za pomocą AR.
Wprowadzenie
AR może nałożyć model 3D na rzeczywiste środowisko. Rozwój technologiczny w kierunku AR dokonał zmiany paradygmatu w wielu dziedzinach, a mianowicie education1, medical2, manufacturing3 i entertainment4. Technologia AR, wraz z ultraniezawodną komunikacją o niskich opóźnieniach, udowadnia swoją nieuniknioną rolę w medycynie. Od etapu uczenia się anatomii człowieka po wskazówki chirurgiczne, etapy uczenia się można wizualizować za pomocą oprogramowania opartego na AR5,6 i sprzętu. AR zapewnia kluczowe i niezawodne rozwiązanie dla lekarza w środowisku chirurgicznym7,8.
Zwężenie zastawki aortalnej to choroba zastawek serca, która występuje najczęściej wśród ludzkości9. Główną przyczyną choroby są złe nawyki żywieniowe i nieregularna rutyna życia codziennego. Objawem i skutkiem choroby jest zwężenie zastawki serca, a następnie zmniejszenie przepływu krwi. Ten problem należy rozwiązać, zanim dojdzie do jakiegokolwiek uszkodzenia ludzkiego serca. W ten sposób serce jest przeciążone, aby przetworzyć przepływ krwi. Tak więc, zanim dojdzie do jakiegokolwiek uszkodzenia, należy wykonać operację, która dzięki postępowi technologicznemu w ostatnich dniach może być również wykonana za pomocą procedury TAVR. Procedura może być dostosowana w zależności od stanu serca i innych części ciała pacjentów. W tym TAVR10,11, cewnik jest wprowadzany w celu zastąpienia uszkodzonej zastawki w sercu. Jednak umieszczenie pozycji cewnika12 w celu wymiany zastawki jest żmudne dla praktyka. Ten pomysł zmotywował nas do zaprojektowania zautomatyzowanego modelu chirurgicznego opartego na AR13,14, który pomaga chirurgowi precyzyjnie ustawić zastawkę podczas procesu wymiany. Co więcej, operacja może być wykonana przez algorytm mapowania ruchu, który mapuje ruch chirurga uchwycony z odległego miejsca na ramię robota.
W istniejącym work15,16,17, wizualizacja procedury TAVR18 jest monitorowana za pomocą fluoroskopii. W związku z tym trudno jest przeanalizować zastawkę serca i żmudne jest znalezienie miejsca wymiany. Stwarza to barierę w umieszczeniu cewnika w ludzkim sercu. Ponadto zdalny ruch jest odwzorowywany na pole operacyjne, aby proces był zautomatyzowany. Jednak, aby wypełnić lukę badawczą, proponujemy zautomatyzowaną chirurgię opartą na robotach do wymiany zastawki przy użyciu technologii wspomaganej przez AR.
Protokół jest ogólnym modelem, który może być stosowany we wszystkich środowiskach chirurgicznych. W początkowym etapie pracy wykonywane są obrazy 2D w całym środowisku operacyjnym z najpełniejszą rozdzielczością przestrzenną o największym stopniu swobody. Oznacza to, że przechwytywana jest wystarczająca ilość obrazów do rekonstrukcji 3D19, a następnie mapowania ruchu poprzez śledzenie gestów dłoni20.
Protokół
1. Środowisko chirurgiczne
- Zaprojektuj środowisko chirurgiczne, jak pokazano na rysunku Rysunek 1. Upewnij się, że w pomieszczeniu znajduje się talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku, jedno do trzymania symbolu zastępczego kamery, a drugie do spójnego białego tła wraz z modułem wagowym do ważenia.
- Opracuj dwa sterowniki, jeden do migawki środowiska chirurgicznego na żywo, jak wspomniano w krokach od 2.1 do 2.10, a drugi do sterowania mechanizmem obrotowym, który obsługuje nadzór 360°, jak wspomniano w krokach od 3.1 do 3.4.
- Przed wdrożeniem powyższych dwóch modułów włącz Bluetooth urządzenia mobilnego i laptopa, które służą jako emulator HoloLens chirurga.
- Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu.
2. Ustawienie kierowcy do sterowania dwoma wiszącymi ramionami
- Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy w układzie pokazanym na Rysunek 2, aby uzyskać bezbłędny obrót o 360°.
- Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB 6600. Aby uruchomić silnik, zainstaluj IDE mikrokontrolera z przeglądarki.
- Kliknij przycisk Pobierz, aby pobrać oprogramowanie. Następnie w IDE mikrokontrolera przejdź do Plik > Otwórz nowy szkic, aby napisać kod.
- Upewnij się, że płytka mikrokontrolera jest podłączona do interfejsu z nowym szkicem przez dedykowany port połączeniowy, powiedzmy COM 4. Sprawdź port Com i upewnij się, że pokazuje płytkę mikrokontrolera.
- Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB 6600. Upewnij się, że ustawienia są takie, aby przepływ prądu wynosił 2 A, co można osiągnąć, ustawiając SW4 ON i SW5 i SW6 OFF.
- Upewnij się, że pozycje przełączników SW1, SW2 i SW3 są ustawione tak, aby mikrokrok wynosił 1/8 kroku, aby osiągnąć kroki obrotu zgodnie z wymaganiami. Upewnij się, że ustawienia to SW1 OFF, SW2 ON i SW3 OFF w TB6600.
- Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12° i że przyrost kroku silnika jest wyzwalany tylko wtedy, gdy jednostka czasu rzeczywistego, tj. sekundy odczytane z modułu RTC, jest nieparzysta .
- Podłącz pin 5 V płytki mikrokontrolera do RCC RTC, a GND mikrokontrolera do GND RTC.
- Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł może zapewnić rozmiar kroku 12°, wykonując 30 kroków w jednym obrocie. Upewnij się, że przyrost kroku następuje co nieparzystą sekundę. Niech ten moduł oprogramowania napędza silnik krokowy21.
- Sprawdź, czy konfiguracja działa poprawnie, uruchamiając kod, który jest dostępny na stronie GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
- Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Upewnij się, że wymagania systemowe są spełnione, a następnie pobierz oprogramowanie ze strony internetowej.
3. Opracowanie sterownika do mobilnego nadzoru scen i transmisji obrazu jako modułu klienta
- Opracuj aplikację aparatu w systemie operacyjnym Android, która może robić zdjęcia co 2 sekundy, zwłaszcza gdy sekundy są liczbami nieparzystymi.
- Połącz telefon komórkowy z systemem. W Android Studio kliknij Nowy > Nowy projekt i wybierz Działanie pustych widoków. Kliknij przycisk Dalej, aby opracować kod systemu Android, który jest dostępny pod adresem https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
- Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.
- Przesyłaj migawki z aplikacji mobilnej natychmiast po wykonaniu migawki do sparowanego urządzenia, tj. do systemu zdalnego chirurga, przez Bluetooth.
UWAGA: Upewnij się, że moduły wymienione w sekcjach 2 i 3 działają w synchronizacji czasu, jeden dla każdej parzystej liczby sekund, a drugi dla każdej nieparzystej liczby sekund.
4. Rozwijanie modułu klienta do odbioru i obsługi obrazów z monitoringu
- Otwórz moduł serwera, który jest graficznym interfejsem użytkownika.
- Wprowadź numer portu VVID w polu tekstowym VVID, którego wartość domyślna to 94f39d29 7d6d 437d 973b fba39e49d4ee.
- Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną.
- Kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu w folderze lokalnym
- Wprowadź nazwę folderu lokalnego w polu nazwa folderu, jeśli musi być inna niż domyślna wymieniona.
5. Obsługa ramienia robota
- Niech moduł klienta zawiera również ramię robota. Zaprojektuj ramię tak, aby miało ruch obrotowy w podstawie, barku, łokciu, nadgarstku i palcach.
- Upewnij się, że serwomechanizmy MG 996R są używane do sterowania ruchem obrotowym u podstawy, ramienia i łokcia. Upewnij się, że serwomotor SG 90 jest używany do sterowania ruchem obrotowym łokcia i palców.
- Skompiluj kod podany w https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR w IDE mikrokontrolera, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga.
6. 3D rekonstrukcja dla rozszerzonej rzeczywistości
- Odczytaj dwa obrazy naraz w sekwencji, jeden po drugim, z folderu lokalnego, aby uzyskać możliwe nakładanie się (ponieważ obrazy są zbierane w bliskiej odległości, będzie następować nakładanie się między kolejnymi obrazami) między nimi.
- Zaprojektuj filtr trzeciorzędny zgodnie z wymaganiami opisu cechy zintensyfikowanej kierunkowej przy użyciu algorytmu filtrowania trzeciorzędnego22 (DITF) w celu uzyskania gradientu i orientacji.
- Wyodrębnij cechy za pomocą metody DITF22, jak pokazano w Rysunek 3.
- Zrekonstruuj obrazy 3D na podstawie zebranych obiektów za pomocą SFM23.
7. Rozpoznawanie gestów dłoni w lokalizacji chirurga
- Ułatw chirurgowi inspekcję zrekonstruowanych cech obrazu 3D, umożliwiając mu wizualizację otoczenia ze wszystkich perspektyw, zapewniając obracanie oparte na gestach dłoni oraz powiększanie/pomniejszanie zrekonstruowanych cech.
- Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu. Niech normalizacja będzie w taki sposób, aby minimalna odległość odpowiadała 0°, a maksymalna 180°.
- Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego, a także w celu obrócenia talerza obiektu, co sprawia, że obraca się on wokół własnej osi, podczas gdy zrekonstruowane w 3D cechy obracają się po stronie chirurga.
- Znajdź odległość między czubkiem a kciukiem lewej ręki chirurga, aby kontrolować ruch palców ramienia robota.
- Zmierz kąt podniesienia na podstawie odległości przestrzennej między czubkiem kciuka a palcami wskazującymi lewej ręki chirurga w stosunku do wyimaginowanej płaszczyzny podłoża x-y, aby określić kąt elewacji. Odwzoruj ten kąt na kąt elewacji, który ramię robota może wykonać za pomocą płaszczyzny x-y.
- Znajdź kąt azymutu, jaki ręka chirurga tworzy z ręką wirtualnej płaszczyzny y-z. Zidentyfikuj te kąty za pomocą rozpoznawania opartego na gestach dłoni.
- Zmapuj odległość, wysokość i kąty azymutu, aby kontrolować ruch palca robota i obrót ramienia, które odpowiadają kątom elewacji i azymutu.
- Pozwól chirurgowi sprawdzić zrekonstruowane elementy, powiększając i obracając. Pozwól chirurgowi przekazywać polecenia do ramienia robota, aby wykonać operację ze zdalnej lokalizacji.
- Upewnij się, że polecenia chirurgiczne są przesyłane jako ciąg sterujący sekwencją, rozpoczynający się od zbieżności ciągów, po których następują wartości sterujące obrotem talerza i kontrolerem ramienia robota. Niech [θb, θs, θe, θw, θf] będzie kątem wektora, który składa się z wartości, z których każda odpowiada sygnałowi sterującemu odpowiadającemu podstawie, ramieniu, łokciu, nadgarstku i palcu ramienia robota.
UWAGA: Link GitHub zawiera kod umożliwiający sterowanie gestami dłoni w polu operacyjnym. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
Wyniki
Protokół został przetestowany z wykorzystaniem modelu fantoma serca. Rycina 2 przedstawia oczekiwany układ do monitorowania pola operacyjnego w czasie rzeczywistym przy użyciu rozproszonych przestrzennie kamer. Rozproszone kamery, jak pokazano na Rycynie 2, pomagają zwiększyć rozdzielczość przestrzenną pola w celu efektywnej rekonstrukcji 3D. Jednakże fizyczne rozmieszczenie tych kamer w różnych lokalizacjach przestrzennych wiąże się z pewnymi komplikacjami. W związku z tym zoptymalizowaliśmy projekt układu i opracowaliśmy rozwiązanie w postaci samoorientującej się przestrzennie konfiguracji kamer obracanych przez silnik NEMA sterowany przez sterownik TB6600. Taka struktura jest wykonalna i została zaimplementowana w modelu, co przedstawiono na Rycynie 1.
Na Rysunku 1 automatyczne migawki aparatu, a następnie ich przesyłanie za pomocą protokołu Bluetooth, są sterowane kodem Android. Moduł został zorganizowany w taki sposób, aby przechwytywanie zdjęć odbywało się raz w każdej nieparzystej sekundzie, a ich transmisja raz w każdej parzystej sekundzie, zgodnie z opisem w sekcji 3. Moduł mikrokontrolera obsługujący silnik NEMA odpowiada za obracanie konstrukcji raz w każdej parzystej sekundzie, aby zagwarantować wystarczająco dużo czasu na wykonanie nierozmazanych zdjęć. W rezultacie, w trakcie pełnego obrotu o 360° wykonywanych jest łącznie 30 zdjęć, które są przesyłane przez Bluetooth.
Ponadto na Rysunku 1 przedstawiono trójwymiarową rekonstrukcję deskryptorów DITF środowiska chirurgicznego. Należy zauważyć, że rekonstrukcje oparte na deskryptorach mogą być przeglądane przez chirurgów poprzez powiększanie i obracanie za pomocą mapowania ruchów dłoni. Ruchy te są przesyłane do środowiska chirurgicznego w celu symulacji zabiegu, co umożliwia wprowadzenie cewnika do rzeczywistego pola operacyjnego. Mapowanie ruchu jest realizowane w taki sposób, że zostaje ono przeniesione na sześć różnych kątów sterujących elementami robota, mianowicie: podstawą, barkiem, łokciem, nadgarstkiem, chwytakiem i palcem. Kąty te są zapisane w formie wektora [θb, θs, θe, θw, θf]. W podanym wektorze wartość θp odpowiada mapowaniu ruchu w celu obrócenia tacy obiektu ludzkiego. Ta sama wartość θp jest wykorzystywana do orientacji deskryptora wyświetlanego w emulatorze HoloLens po stronie chirurga.
Rysunek 3 przedstawia cechy DITF modelu fantoma, co stanowi kluczowy etap rekonstrukcji 3D. Na podstawie wyekstrahowanych cech, w procesie dopasowywania obrazów identyfikowane są punkty odpowiadające. Zależność między obrazami referencyjnymi a różnymi wynikami obrotu o 45° pokazano na Rysunku 4. Punkty odpowiadające zaznaczone różnymi kolorami wyraźnie wskazują na skuteczność identyfikacji i dopasowywania podobnych cech, nawet gdy obrazy są w różnych orientacjach widoku.Na Rysunku 5 przedstawiono dokładność mapowania ruchu, która wskazuje, że przy małej odległości między dwoma palcami dokładność jest wysoka. Jednakże, wraz ze zwiększaniem się odległości między palcami, dokładność zaczyna spadać.
Z drugiej strony, czas przetwarzania danych przez model jest kluczowy w AR. Dlatego parametr ten został uwzględniony w walidacji proponowanego modelu; zmierzono opóźnienie w przetwarzaniu obrazu, a wyniki zweryfikowano z istniejącymi algorytmami, takimi jak Oriented FAST and rotated BRIEF (ORB)24 oraz Boosted Efficient Binary Local Image Descriptor (BEBLID)25. Wyniki pokazują, że DITF przewyższa istniejące modele, takie jak ORB i BEBLID, pod względem opóźnienia, co przedstawiono na Rysunku 6. Dodatkowo model rekonstrukcji 3D został zwalidowany pod kątem błędu rekonstrukcji, a wykres przedstawiony na Rysunku 7 wskazuje, że histogram jest wąski, co oznacza minimalny błąd rekonstrukcji; dowodzi to, że rekonstrukcja w proponowanym algorytmie została zweryfikowana i zwalidowana. Rysunek 8 przedstawia wynik rekonstrukcji 3D dla proponowanego modelu. Odzwierciedla on przejrzystość wizualizacji, a ilościowe wyniki obrazu zostały również zweryfikowane za pomocą wykresów. Wyniki te dowodzą, że proponowany model wyodrębnił wszystkie niezbędne cechy wraz z transformacją obrotu w celu zrekonstruowania modelu 3D. Dzięki temu zdalny ekspert może uzyskać precyzyjną wizualizację i kontrolę nad polem operacyjnym.
Rycina 1: Implementacja konfiguracji sprzętowej dla zautomatyzowanej operacji przezskórnej implantacji zastawki aortalnej z wykorzystaniem rzeczywistości rozszerzonej. (A) Pole operacyjne z systemem monitorowania w czasie rzeczywistym. (B) Wizualizacja oparta na rzeczywistości rozszerzonej. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Rysunek 2: Przewidywany model środowiska chirurgicznego. Przedstawiony model jest wyposażony w system nadzoru środowiska chirurgicznego w czasie rzeczywistym z wykorzystaniem rozproszonych przestrzennie czujników kamer. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Rycina 3: Model ludzkiego serca umieszczony w testbedzie chirurgicznym oraz jego cechy wyodrębnione za pomocą algorytmu deskryptora cech. (A) Wejściowy model fantoma serca. (B) Kierunkowy intensyfikowany opis cech z wykorzystaniem tercjarnych filtrowania do ekstrakcji cech modelu fantoma serca. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rycina 4: Dopasowanie cech pomiędzy dwiema cechami obrazu. (A) Kierunkowy zintensyfikowany opis cech z wykorzystaniem ekstrakcji cech poprzez filtrowanie trzeciorzędowe dla modelu fantoma serca. (B) Kierunkowy zintensyfikowany opis cech z wykorzystaniem ekstrakcji cech poprzez filtrowanie trzeciorzędowe dla modelu fantoma serca obróconego o 45°. Linie wskazują odpowiedniość pomiędzy cechami podobnych obrazów w dwóch różnych orientacjach. Kolor linii oznacza różne wybrane cechy. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rycina 5: Dokładność śledzenia gestów dłoni. Na rysunku przedstawiono procentową dokładność. Liczbę próbek (N) ustalono na 500. Mapowanie ruchu wykonano 500 razy, z czego określono liczbę poprawnych mapowań. Następnie dokładność obliczono jako stosunek liczby poprawnych mapowań do całkowitej liczby próbek. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 6: Opóźnienie kierunkowego intensyfikowanego opisu cech z wykorzystaniem filtrowania trzeciorzędowego z Oriented FAST and rotated BRIEF oraz Boosted Efficient Binary Local Image Descriptor Algorithm. Wykreślono opóźnienie, czyli czas potrzebny na ekstrakcję cech z obrazu. Wybrano wartość N równą 500, co oznacza, że obliczenie opóźnienia czasu zostało wykonane 500 razy, a następnie wyciągnięto średnią. Procedurę przeprowadzono dla trzech algorytmów i przedstawiono na wykresie. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Rycina 7: Rozkład błędu rekonstrukcji proponowanego modelu. Błąd rekonstrukcji to różnica między zrekonstruowanym obrazem 3D na podstawie jego cech a obrazem oryginalnym. Wykres błędu jest histogramem wskazującym liczbę wystąpień danego zdarzenia. Liczba ta jest maksymalna, gdy błąd wynosi zero i maleje po obu stronach. Jest to pożądany wynik. Rycina wskazuje, że wariancja histogramu (gęstość rozkładu normalnego) jest mała, zatem odchylenie błędu od średniej (0) nie jest duże w żadnym z kierunków. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 8: Rekonstrukcja 3D modelu serca. Każda kolorowa kropka oznacza zrekonstruowany punkt 3D z odpowiadającej mu cechy. Obecnie algorytm rekonstrukcji cech normalizuje kolor, a na tej podstawie kolorowane są pozostałe cechy. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Dyskusja
W istniejącej pracy15 bada się zdjęcia rentgenowskie i tomografię komputerową w celu zlokalizowania cewnika w sercu. Jednak wymiana AR TAVR stwarza nową możliwość w procedurze chirurgicznej TAVR18 poprzez implementację zautomatyzowanego modelu z wykorzystaniem rekonstrukcji 3D. Jak wspomniano w sekcji dotyczącej protokołu, praca ta składa się z pięciu etapów do zaprojektowania. Pierwszy etap DITF22, wspomniany w sekcji 6, który zaproponowaliśmy w naszej poprzedniej pracy22, jest ulepszony w sposób, który osadza model w zastosowaniach medycznych. Drugim etapem rekonstrukcji 3D jest trudne zadanie polegające na skonstruowaniu modelu 3D z punktów 2D. Przetestowaliśmy model z różnymi obrazami wejściowymi, aby zweryfikować model. SFM23 jest przystosowany do rekonstrukcji obrazów. Zgodność obrazu jest mierzona za pomocą DITF22 wraz z matrycą kalibracyjną. Kolejnym etapem jest śledzenie gestów dłoni; interfejs sterowania gestami dłoni w rekonstrukcji 3D to kolejne trudne zadanie w czasie rzeczywistym. Sterowanie skalowaniem i warianty obrotu są wbudowane w gesty dłoni, co zapewnia łatwy dostęp do modeli 3D przez zdalnego eksperta. Czwartym etapem jest tworzenie aplikacji mobilnej, która jest opisana w sekcji 3 dotyczącej automatycznego przechwytywania obrazu. Ta aplikacja ładuje dane do zdalnego eksperta jako model 3D. Ostatnim etapem jest konfiguracja sprzętu, która jest demonstrowana przy użyciu modelu fantomu serca z ramieniem robota, które jest zautomatyzowane w celu wprowadzenia cewnika w celu zastąpienia uszkodzonej zastawki serca, jak pokazano na rysunku 1.
Opracowana metoda ma na celu przeprowadzenie zdalnej operacji z miejsca zdarzenia, nadzór środowiska operacyjnego przy użyciu rzeczywistości rozszerzonej i ekstrakcji cech. Znaczący wkład zaproponowany w tym artykule nie jest widoczny w literaturze zgodnie z naszą najlepszą wiedzą. Opracowana metoda charakteryzuje się niskim opóźnieniem w rekonstrukcji obrazu 3D na podstawie cech. Ponadto metoda ta ma bardzo niski błąd między zrekonstruowanymi cechami a oryginalnym obrazem. To opóźnienie i błąd pokazano odpowiednio na rysunku 6 i rysunku 7. Z danych liczbowych wynika również, że inne algorytmy, a mianowicie ORB24 i BEBLID25 , nie spełniają norm w porównaniu z proponowaną metodą.
Wyzwaniem, z którym musieliśmy się zmierzyć podczas opracowywania metody, jest transmisja oparta na protokole Bluetooth między aplikacją mobilną a zdalnym serwerem. Ponieważ przechwytywanie i transmisja sceny musiały być wykonywane co 2 sekundy, wymagało to ultraszybkiej komunikacji. Często kończyło się to uszkodzonym gniazdem i wymagało wielu wyjątków i równoległego zarządzania procedurami w celu płynnego przetwarzania. Ponadto napotkaliśmy pewne problemy podczas opracowywania i wdrażania metody.
Istnieje jednak kilka technik rozwiązywania problemów, aby je rozwiązać. Komunikacja Bluetooth polega na wybraniu odpowiedniego kanału lub numeru portu VVID. Ponadto przed kontynuowaniem należy upewnić się, że przed kontynuowaniem należy przełączyć urządzenie Bluetooth na dowolnym końcu. Jeśli chodzi o opartą na mikroprocesorze procedurę sterowania ramieniem robota i wiszącym ramieniem obrotowym, należy zapewnić numery portów do komunikacji szeregowej. Podłączenie sterownika silnika, biorąc pod uwagę NEMA i serwomotor, musi być zapewnione prawidłowo. Jeśli nie zostanie to zrobione prawidłowo, silnik NEMA obraca się w niepożądany sposób, nawet jeśli samo połączenie ze sterownikiem jest nieprawidłowe. Przewody dwóch cewek silnika NEMA muszą być prawidłowo zidentyfikowane; W przeciwnym razie połączenie ze sterownikiem może skończyć się niepożądanym obracaniem się, a nawet uszkodzeniem silnika. Wyzwaniem było zaprojektowanie łącznika wspomagającego zawieszenie ramienia obrotowego, które waży około 1 kg. Aby rozwiązać ten problem, wywierciliśmy otwór o średnicy 1 mm w wale silnika. Wyzwaniem jest również zrównoważenie obu stron ramienia, w tym ciężaru urządzenia mobilnego; W przeciwnym razie konstrukcja może ciągnąć się po powierzchni gruntu, co doprowadzi do zburzenia lub ściągnięcia konstrukcji z wału silnika. Należy zapewnić prawidłowe wkręcenie podstawy, ramienia, łokcia, nadgarstka i palców ramienia robota; Jeśli nie, części mogą spaść, gdy obraca się i podnosi ciężar. Równoległe działanie dwóch modułów powinno być zadbane poprzez ustawienie odpowiedniego środowiska Pythona, z różnymi wątkami biegnącymi równolegle, aby zapewnić płynną pracę.
Wyniki wskazują, że proponowany model Automatic TAVR18 jest skuteczną metodą prowadzenia chirurgicznego w AR. Ten proponowany model jest elastyczny, aby można go było zastosować do dowolnej operacji w dziedzinie medycyny zgodnie z wytycznymi ekspertów medycznych. Modele oparte na uczeniu się mogą usprawnić rekonstrukcję 3D. Aby zrekonstruować model 3D, jako dane wejściowe należy podać wiele widoków z dobrymi obrazami oświetleniowymi; Można jednak rozwiązać ten problem w przyszłości. Ponadto w przyszłości chcielibyśmy opracować transmisję opartą na komunikacji 5G, aby zapewnić niskie opóźnienia i wyjątkowo niezawodną komunikację, zapewniając bezbłędne i płynne działanie. Chcielibyśmy również opracować własne urządzenie AR zamiast obecnie używanego emulatora. Może to poprawić wizualizację modelu 3D w rzeczywistym środowisku chirurgicznym.
Oświadczenia
Autorzy deklarują brak konfliktu interesów.
Podziękowania
Autorzy przyznają, że nie finansują tych badań.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Oprogramowanie https://developer.android.com/studio oprogramowanie IDE systemu Android | można pobrać z tego linku | ||
| Płytka Arduino | Ardunio Uno | Mikrokontroler Ardunio Uno | do przetwarzania |
| oprogramowania Arduino | https://www.arduino.cc/en/software. | Oprogramowanie można pobrać z tego linku | |
| Model fantomowy ludzkiego serca | Producent i eksporter sprzętu do laboratorium biologicznego | B071YBLX2V (8B-ZB2Q-H3MS-1) | lekki model z 3 częściami do głębokiej analizy serca. |
| uchwyt mobilny | Skromny uniwersalny uchwyt monopoad | B07S9KNGVS | Do przenoszenia telefonu komórkowego w polu chirurgicznym |
| oprogramowanie pycharm IDE | https://www.jetbrains.com/pycharm/ | oprogramowanie można pobrać z tego linku | |
| Ramię robota | Drukowane roboty | B08R2JLKYM(P0-E2UT-JSOU) | ramię może być sterowane za pomocą sterowania signal.it ma 5 stopni swobody dostępu. |
| silnik serwo | Kollmorgen Co-Engineers Motors | MG-966R | serwomotor o wysokim momencie obrotowym, impulsy serwo w zakresie od 500 do 2500 mikrosekund (i mikro; s), o częstotliwości od 50 Hz do 333 Hz. |
| Współinżynierowie serwomotoru | Kollmorgen Silniki | SG-90R | o obciążeniu od 1,8 kg-cm do 2,5 kg-cm mogą być stosowane do serwomechanizmu SG-90R. |
| Silnik krokowy | 28BYJ-48 | 28BYJ-48 | Silnik Steper, 5 V DC, częstotliwość 100 Hz, moment obrotowy 1200 Gf.cm |
| Silnik krokowy | Nema 23 | Silnik | Steper, 9 V - 42 V DC, częstotliwość 100 Hz |
Bibliografia
- Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
- Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
- Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
- Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
- Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
- Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
- Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
- Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
- Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
- Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
- Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
- Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
- Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
- Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
- de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
- Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
- Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
- Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
- Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
- Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
- Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
- Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
- Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
- Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
- Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).
Przedruki i uprawnienia
