Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

Nasze badania koncentrują się na zrewolucjonizowaniu chirurgii zdalnej poprzez rzeczywistość rozszerzoną i robotykę, mając na celu zwiększenie precyzji i dostępności procedur medycznych. Badamy, w jaki sposób rekonstrukcja 3D w czasie rzeczywistym i ekstrakcja cech może zapewnić chirurgom bezprecedensową kontrolę i wizualizację, nawet na odległość. Wdrożyliśmy własną kierunkowo-intensyfikowaną ekstrakcję cech, aby zapewnić precyzyjne i dokładne wykrywanie cech chirurgicznych, zwiększając kontrolę chirurga nad ramieniem robota.

Korzystając z rekonstrukcji 3D z minimalnych obrazów 2D, znacznie zmniejszyliśmy złożoność sprzętu i poprawiliśmy wydajność naszego systemu. Nasz system zapewnia najlepszy nadzór nad środowiskiem chirurgicznym za pomocą jednej kamery mobilnej, zsynchronizowanej tak, aby robić zdjęcia co dwie sekundy, zapewniając aktualizacje w czasie rzeczywistym dla zdalnego chirurga. Opracowaliśmy bezproblemowe protokoły komunikacyjne o niskich opóźnieniach i wysokiej niezawodności z wykorzystaniem Bluetooth i LAN, zapewniając nieprzerwaną i dokładną transmisję danych.

Nasze podejście do osiągnięcia precyzyjnej synchronizacji w czasie rzeczywistym między strumieniami wideo a reakcjami ramienia robota może posłużyć jako punkt odniesienia dla przyszłych badań w zakresie chirurgii zdalnej i telemedycyny. Oferuje model integracji danych w czasie rzeczywistym z zrobotyzowanymi systemami sterowania. Nasze podejście do osiągnięcia precyzyjnej synchronizacji w czasie rzeczywistym między strumieniami wideo a reakcjami ramienia robota może posłużyć jako punkt odniesienia dla przyszłych badań w zakresie chirurgii zdalnej i telemedycyny.

Oferuje model integracji danych w czasie rzeczywistym z zrobotyzowanymi systemami sterowania. Aby przygotować środowisko zabiegowe, na platformie roboczej należy ustawić talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku. Po zablokowaniu telefonu komórkowego w uchwycie telefonu komórkowego włącz funkcję Bluetooth między urządzeniem mobilnym a laptopem, które służą jako emulator HoloLens chirurga.

Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu. Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy, aby zapewnić bezbłędny obrót o 360 stopni. Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB6600.

Kliknij przycisk Pobierz, aby pobrać środowisko programistyczne zintegrowane z mikrokontrolerem z przeglądarki. Następnie przejdź do Plik i otwórz nowy szkic, aby napisać kod. Podłącz płytkę mikrokontrolera do interfejsu z nowym szkicem za pomocą numeru portu komunikacyjnego dla portu połączeniowego.

Sprawdź port komunikacyjny i upewnij się, że pokazuje płytkę mikrokontrolera. Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB6600, aby zapewnić przepływ prądu o wartości dwóch amperów. Ustaw SW4 na włączone, a SW5 i SW6 na wyłączone.

Ustaw SW1 i SW3 na wyłączone, a SW2 na włączone, aby osiągnąć jedną ósmą mikrokrok, spełniając wymagane kroki obrotu. Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12 stopni, a krok silnika zwiększa się tylko wtedy, gdy sekundy odczytane z modułu RTC są nieparzyste.

Podłącz pin pięciowoltowy płytki mikrokontrolera do RTCVCC, a masę mikrokontrolera do masy RTC. Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł zapewnia rozmiar kroku 12 stopni, wykonując 30 kroków na obrót, z przyrostami występującymi co nieparzystą sekundę.

Uruchom kod dostępny na stronie GitHub, aby sprawdzić, czy konfiguracja działa poprawnie. Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Podłącz telefon komórkowy do systemu.

W Android Studio kliknij pozycję Nowy, Nowy projekt i wybierz opcję Działanie pustych widoków. Kliknij Dalej, aby opracować kod Androida dostępny na danej stronie. Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.

Przesyłaj migawki z aplikacji mobilnej natychmiast do systemu zdalnego chirurga przez Bluetooth. Aby rozpocząć, otwórz moduł serwera graficznego interfejsu użytkownika. Wprowadź numer portu VVID w polu tekstowym VVID.

Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Następnie kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną. Teraz kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu sceny w folderze lokalnym.

Niech moduł klienta zawiera ramię robota zaprojektowane tak, aby miało ruch obrotowy w podstawie, ramieniu, łokciu, nadgarstku i palcach. Upewnij się, że serwomechanizmy MG996R są używane do regulowania ruchu obrotowego u podstawy, ramienia i łokcia. Użyj serwomotoru SG90, aby kontrolować ruch obrotowy na nadgarstku i palcach.

Skompiluj kod podany w środowisku programistycznym zintegrowanym z mikrokontrolerem, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga. Odczytywanie dwóch obrazów naraz w sekwencji, jeden po drugim, z folderu lokalnego, w celu zidentyfikowania możliwego nakładania się między nimi. Wyodrębnij obiekty przy użyciu metody DITF.

Rekonstrukcja trójwymiarowych obrazów na podstawie zebranych obiektów za pomocą SFM. Pozwól chirurgowi na oględziny trójwymiarowych zrekonstruowanych cech obrazu za pomocą elementów sterujących gestami dłoni do obracania i powiększania lub pomniejszania, co umożliwia wizualizację ze wszystkich perspektyw. Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu.

Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego. Upewnij się, że obrót talerza obiektu w odległym miejscu odzwierciedla obrót trójwymiarowych zrekonstruowanych elementów po stronie chirurga. Dokładność odwzorowania ruchu zmniejszała się wraz ze wzrostem odległości między dwoma palcami.

Algorytm DITF osiągnął najniższe opóźnienia w porównaniu z ORB i BEBLID.