Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł metodologiczny
Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości
W tym artykule
Podsumowanie
Streszczenie
Rozszerzona rzeczywistość (AR) cieszy się dużym zainteresowaniem w zastosowaniach medycznych. Celem pracy jest przedstawienie automatycznej chirurgii z wykorzystaniem AR w celu przezcewnikowej wymiany zastawki aortalnej (TAVR). TAVR jest alternatywną procedurą medyczną dla operacji na otwartym sercu. TAVR zastępuje uszkodzoną zastawkę nową za pomocą cewnika. W dotychczasowym modelu prowadzone jest zdalne prowadzenie, natomiast operacja nie jest zautomatyzowana w oparciu o AR. W tym artykule zastosowaliśmy kamerę ustawioną przestrzennie, która jest podłączona do silnika w celu automatyzacji przechwytywania obrazu w środowisku chirurgicznym. Kamera śledzi obraz 2D serca pacjenta w wysokiej rozdzielczości wraz z stanowiskiem testowym cewnika. Te przechwycone obrazy są przesyłane za pomocą aplikacji mobilnej do zdalnego chirurga, który jest ekspertem w dziedzinie kardiologii. Ten obraz jest wykorzystywany do rekonstrukcji 3D ze śledzenia obrazu 2D. Jest to wyświetlane w urządzeniu HoloLens jak emulator w laptopie. Chirurg może zdalnie sprawdzić zrekonstruowane obrazy 3D z dodatkowymi funkcjami transformacji, takimi jak rotacja i skalowanie. Te funkcje transformacji są włączane za pomocą gestów dłoni. Wskazówki chirurga są przekazywane do środowiska chirurgicznego w celu zautomatyzowania procesu w scenariuszach w czasie rzeczywistym. Stanowisko do badania cewnika w polu operacyjnym jest kontrolowane przez pilota zdalnego chirurga za pomocą gestów dłoni. Opracowany prototypowy model demonstruje skuteczność zdalnego kierowania chirurgicznego za pomocą AR.
Wprowadzenie
AR może nałożyć model 3D na rzeczywiste środowisko. Rozwój technologiczny w kierunku AR dokonał zmiany paradygmatu w wielu dziedzinach, a mianowicie education1, medical2, manufacturing3 i entertainment4. Technologia AR, wraz z ultraniezawodną komunikacją o niskich opóźnieniach, udowadnia swoją nieuniknioną rolę w medycynie. Od etapu uczenia się anatomii człowieka po wskazówki chirurgiczne, etapy uczenia się można wizualizować za pomocą oprogramowania opartego na AR5,6 i sprzętu. AR zapewnia kluczowe i niezawodne rozwiązanie dla lekarza w środowisku chirurgicznym7,8.
Zwężenie zastawki aortalnej to choroba zastawek serca, która występuje najczęściej wśród ludzkości9. Główną przyczyną choroby są złe nawyki żywieniowe i nieregularna rutyna życia codziennego. Objawem i skutkiem choroby jest zwężenie zastawki serca, a następnie zmniejszenie przepływu krwi. Ten problem należy rozwiązać, zanim dojdzie do jakiegokolwiek uszkodzenia ludzkiego serca. W ten sposób serce jest przeciążone, aby przetworzyć przepływ krwi. Tak więc, zanim dojdzie do jakiegokolwiek uszkodzenia, należy wykonać operację, która dzięki postępowi technologicznemu w ostatnich dniach może być również wykonana za pomocą procedury TAVR. Procedura może być dostosowana w zależności od stanu serca i innych części ciała pacjentów. W tym TAVR10,11, cewnik jest wprowadzany w celu zastąpienia uszkodzonej zastawki w sercu. Jednak umieszczenie pozycji cewnika12 w celu wymiany zastawki jest żmudne dla praktyka. Ten pomysł zmotywował nas do zaprojektowania zautomatyzowanego modelu chirurgicznego opartego na AR13,14, który pomaga chirurgowi precyzyjnie ustawić zastawkę podczas procesu wymiany. Co więcej, operacja może być wykonana przez algorytm mapowania ruchu, który mapuje ruch chirurga uchwycony z odległego miejsca na ramię robota.
W istniejącym work15,16,17, wizualizacja procedury TAVR18 jest monitorowana za pomocą fluoroskopii. W związku z tym trudno jest przeanalizować zastawkę serca i żmudne jest znalezienie miejsca wymiany. Stwarza to barierę w umieszczeniu cewnika w ludzkim sercu. Ponadto zdalny ruch jest odwzorowywany na pole operacyjne, aby proces był zautomatyzowany. Jednak, aby wypełnić lukę badawczą, proponujemy zautomatyzowaną chirurgię opartą na robotach do wymiany zastawki przy użyciu technologii wspomaganej przez AR.
Protokół jest ogólnym modelem, który może być stosowany we wszystkich środowiskach chirurgicznych. W początkowym etapie pracy wykonywane są obrazy 2D w całym środowisku operacyjnym z najpełniejszą rozdzielczością przestrzenną o największym stopniu swobody. Oznacza to, że przechwytywana jest wystarczająca ilość obrazów do rekonstrukcji 3D19, a następnie mapowania ruchu poprzez śledzenie gestów dłoni20.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Protokół
1. Środowisko chirurgiczne
- Zaprojektuj środowisko chirurgiczne, jak pokazano na rysunku Rysunek 1. Upewnij się, że w pomieszczeniu znajduje się talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku, jedno do trzymania symbolu zastępczego kamery, a drugie do spójnego białego tła wraz z modułem wagowym do ważenia.
- Opracuj dwa sterowniki, jeden do migawki środowiska chirurgicznego na żywo, jak wspomniano w krokach od 2.1 do 2.10, a drugi do sterowania mechanizmem obrotowym, który obsługuje nadzór 360°, jak wspomniano w krokach od 3.1 do 3.4.
- Przed wdrożeniem powyższych dwóch modułów włącz Bluetooth urządzenia mobilnego i laptopa, które służą jako emulator HoloLens chirurga.
- Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu.
2. Ustawienie kierowcy do sterowania dwoma wiszącymi ramionami
- Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy w układzie pokazanym na Rysunek 2, aby uzyskać bezbłędny obrót o 360°.
- Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB 6600. Aby uruchomić silnik, zainstaluj IDE mikrokontrolera z przeglądarki.
- Kliknij przycisk Pobierz, aby pobrać oprogramowanie. Następnie w IDE mikrokontrolera przejdź do Plik > Otwórz nowy szkic, aby napisać kod.
- Upewnij się, że płytka mikrokontrolera jest podłączona do interfejsu z nowym szkicem przez dedykowany port połączeniowy, powiedzmy COM 4. Sprawdź port Com i upewnij się, że pokazuje płytkę mikrokontrolera.
- Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB 6600. Upewnij się, że ustawienia są takie, aby przepływ prądu wynosił 2 A, co można osiągnąć, ustawiając SW4 ON i SW5 i SW6 OFF.
- Upewnij się, że pozycje przełączników SW1, SW2 i SW3 są ustawione tak, aby mikrokrok wynosił 1/8 kroku, aby osiągnąć kroki obrotu zgodnie z wymaganiami. Upewnij się, że ustawienia to SW1 OFF, SW2 ON i SW3 OFF w TB6600.
- Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12° i że przyrost kroku silnika jest wyzwalany tylko wtedy, gdy jednostka czasu rzeczywistego, tj. sekundy odczytane z modułu RTC, jest nieparzysta .
- Podłącz pin 5 V płytki mikrokontrolera do RCC RTC, a GND mikrokontrolera do GND RTC.
- Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł może zapewnić rozmiar kroku 12°, wykonując 30 kroków w jednym obrocie. Upewnij się, że przyrost kroku następuje co nieparzystą sekundę. Niech ten moduł oprogramowania napędza silnik krokowy21.
- Sprawdź, czy konfiguracja działa poprawnie, uruchamiając kod, który jest dostępny na stronie GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
- Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Upewnij się, że wymagania systemowe są spełnione, a następnie pobierz oprogramowanie ze strony internetowej.
3. Opracowanie sterownika do mobilnego nadzoru scen i transmisji obrazu jako modułu klienta
- Opracuj aplikację aparatu w systemie operacyjnym Android, która może robić zdjęcia co 2 sekundy, zwłaszcza gdy sekundy są liczbami nieparzystymi.
- Połącz telefon komórkowy z systemem. W Android Studio kliknij Nowy > Nowy projekt i wybierz Działanie pustych widoków. Kliknij przycisk Dalej, aby opracować kod systemu Android, który jest dostępny pod adresem https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
- Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.
- Przesyłaj migawki z aplikacji mobilnej natychmiast po wykonaniu migawki do sparowanego urządzenia, tj. do systemu zdalnego chirurga, przez Bluetooth.
UWAGA: Upewnij się, że moduły wymienione w sekcjach 2 i 3 działają w synchronizacji czasu, jeden dla każdej parzystej liczby sekund, a drugi dla każdej nieparzystej liczby sekund.
4. Rozwijanie modułu klienta do odbioru i obsługi obrazów z monitoringu
- Otwórz moduł serwera, który jest graficznym interfejsem użytkownika.
- Wprowadź numer portu VVID w polu tekstowym VVID, którego wartość domyślna to 94f39d29 7d6d 437d 973b fba39e49d4ee.
- Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną.
- Kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu w folderze lokalnym
- Wprowadź nazwę folderu lokalnego w polu nazwa folderu, jeśli musi być inna niż domyślna wymieniona.
5. Obsługa ramienia robota
- Niech moduł klienta zawiera również ramię robota. Zaprojektuj ramię tak, aby miało ruch obrotowy w podstawie, barku, łokciu, nadgarstku i palcach.
- Upewnij się, że serwomechanizmy MG 996R są używane do sterowania ruchem obrotowym u podstawy, ramienia i łokcia. Upewnij się, że serwomotor SG 90 jest używany do sterowania ruchem obrotowym łokcia i palców.
- Skompiluj kod podany w https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR w IDE mikrokontrolera, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga.
6. 3D rekonstrukcja dla rozszerzonej rzeczywistości
- Odczytaj dwa obrazy naraz w sekwencji, jeden po drugim, z folderu lokalnego, aby uzyskać możliwe nakładanie się (ponieważ obrazy są zbierane w bliskiej odległości, będzie następować nakładanie się między kolejnymi obrazami) między nimi.
- Zaprojektuj filtr trzeciorzędny zgodnie z wymaganiami opisu cechy zintensyfikowanej kierunkowej przy użyciu algorytmu filtrowania trzeciorzędnego22 (DITF) w celu uzyskania gradientu i orientacji.
- Wyodrębnij cechy za pomocą metody DITF22, jak pokazano w Rysunek 3.
- Zrekonstruuj obrazy 3D na podstawie zebranych obiektów za pomocą SFM23.
7. Rozpoznawanie gestów dłoni w lokalizacji chirurga
- Ułatw chirurgowi inspekcję zrekonstruowanych cech obrazu 3D, umożliwiając mu wizualizację otoczenia ze wszystkich perspektyw, zapewniając obracanie oparte na gestach dłoni oraz powiększanie/pomniejszanie zrekonstruowanych cech.
- Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu. Niech normalizacja będzie w taki sposób, aby minimalna odległość odpowiadała 0°, a maksymalna 180°.
- Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego, a także w celu obrócenia talerza obiektu, co sprawia, że obraca się on wokół własnej osi, podczas gdy zrekonstruowane w 3D cechy obracają się po stronie chirurga.
- Znajdź odległość między czubkiem a kciukiem lewej ręki chirurga, aby kontrolować ruch palców ramienia robota.
- Zmierz kąt podniesienia na podstawie odległości przestrzennej między czubkiem kciuka a palcami wskazującymi lewej ręki chirurga w stosunku do wyimaginowanej płaszczyzny podłoża x-y, aby określić kąt elewacji. Odwzoruj ten kąt na kąt elewacji, który ramię robota może wykonać za pomocą płaszczyzny x-y.
- Znajdź kąt azymutu, jaki ręka chirurga tworzy z ręką wirtualnej płaszczyzny y-z. Zidentyfikuj te kąty za pomocą rozpoznawania opartego na gestach dłoni.
- Zmapuj odległość, wysokość i kąty azymutu, aby kontrolować ruch palca robota i obrót ramienia, które odpowiadają kątom elewacji i azymutu.
- Pozwól chirurgowi sprawdzić zrekonstruowane elementy, powiększając i obracając. Pozwól chirurgowi przekazywać polecenia do ramienia robota, aby wykonać operację ze zdalnej lokalizacji.
- Upewnij się, że polecenia chirurgiczne są przesyłane jako ciąg sterujący sekwencją, rozpoczynający się od zbieżności ciągów, po których następują wartości sterujące obrotem talerza i kontrolerem ramienia robota. Niech [θb, θs, θe, θw, θf] będzie kątem wektora, który składa się z wartości, z których każda odpowiada sygnałowi sterującemu odpowiadającemu podstawie, ramieniu, łokciu, nadgarstku i palcu ramienia robota.
UWAGA: Link GitHub zawiera kod umożliwiający sterowanie gestami dłoni w polu operacyjnym. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wyniki
Protokół został przetestowany z wykorzystaniem modelu fantoma serca. Rycina 2 przedstawia oczekiwany układ do monitorowania pola operacyjnego w czasie rzeczywistym przy użyciu rozproszonych przestrzennie kamer. Rozproszone kamery, jak pokazano na Rycynie 2, pomagają zwiększyć rozdzielczość przestrzenną pola w celu efektywnej rekonstrukcji 3D. Jednakże fizyczne rozmieszczenie tych kamer w różnych lokalizacjach przestrzennych wiąże się z pewnymi komplikacjami. W z...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
W istniejącej pracy15 bada się zdjęcia rentgenowskie i tomografię komputerową w celu zlokalizowania cewnika w sercu. Jednak wymiana AR TAVR stwarza nową możliwość w procedurze chirurgicznej TAVR18 poprzez implementację zautomatyzowanego modelu z wykorzystaniem rekonstrukcji 3D. Jak wspomniano w sekcji dotyczącej protokołu, praca ta składa się z pięciu etapów do zaprojektowania. Pierwszy etap DITF22, wspomniany w sekcji 6, który zaproponowaliśmy w nas...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Autorzy deklarują brak konfliktu interesów.
Podziękowania
Autorzy przyznają, że nie finansują tych badań.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Oprogramowanie https://developer.android.com/studio oprogramowanie IDE systemu Android | można pobrać z tego linku | ||
| Płytka Arduino | Ardunio Uno | Mikrokontroler Ardunio Uno | do przetwarzania |
| oprogramowania Arduino | https://www.arduino.cc/en/software. | Oprogramowanie można pobrać z tego linku | |
| Model fantomowy ludzkiego serca | Producent i eksporter sprzętu do laboratorium biologicznego | B071YBLX2V (8B-ZB2Q-H3MS-1) | lekki model z 3 częściami do głębokiej analizy serca. |
| uchwyt mobilny | Skromny uniwersalny uchwyt monopoad | B07S9KNGVS | Do przenoszenia telefonu komórkowego w polu chirurgicznym |
| oprogramowanie pycharm IDE | https://www.jetbrains.com/pycharm/ | oprogramowanie można pobrać z tego linku | |
| Ramię robota | Drukowane roboty | B08R2JLKYM(P0-E2UT-JSOU) | ramię może być sterowane za pomocą sterowania signal.it ma 5 stopni swobody dostępu. |
| silnik serwo | Kollmorgen Co-Engineers Motors | MG-966R | serwomotor o wysokim momencie obrotowym, impulsy serwo w zakresie od 500 do 2500 mikrosekund (i mikro; s), o częstotliwości od 50 Hz do 333 Hz. |
| Współinżynierowie serwomotoru | Kollmorgen Silniki | SG-90R | o obciążeniu od 1,8 kg-cm do 2,5 kg-cm mogą być stosowane do serwomechanizmu SG-90R. |
| Silnik krokowy | 28BYJ-48 | 28BYJ-48 | Silnik Steper, 5 V DC, częstotliwość 100 Hz, moment obrotowy 1200 Gf.cm |
| Silnik krokowy | Nema 23 | Silnik | Steper, 9 V - 42 V DC, częstotliwość 100 Hz |
Bibliografia
- Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
- Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
- Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
- Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
- Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
- Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
- Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
- Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
- Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
- Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
- Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
- Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
- Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
- Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
- de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
- Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
- Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
- Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
- Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
- Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
- Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
- Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
- Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
- Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
- Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Przedruki i uprawnienia
