Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości
August 9th, 2024
Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.
Nasze badania koncentrują się na zrewolucjonizowaniu chirurgii zdalnej poprzez rzeczywistość rozszerzoną i robotykę, mając na celu zwiększenie precyzji i dostępności procedur medycznych. Badamy, w jaki sposób rekonstrukcja 3D w czasie rzeczywistym i ekstrakcja cech może zapewnić chirurgom bezprecedensową kontrolę i wizualizację, nawet na odległość. Wdrożyliśmy własną kierunkowo-intensyfikowaną ekstrakcję cech, aby zapewnić precyzyjne i dokładne wykrywanie cech chirurgicznych, zwiększając kontrolę chirurga nad ramieniem robota.
Korzystając z rekonstrukcji 3D z minimalnych obrazów 2D, znacznie zmniejszyliśmy złożoność sprzętu i poprawiliśmy wydajność naszego systemu. Nasz system zapewnia najlepszy nadzór nad środowiskiem chirurgicznym za pomocą jednej kamery mobilnej, zsynchronizowanej tak, aby robić zdjęcia co dwie sekundy, zapewniając aktualizacje w czasie rzeczywistym dla zdalnego chirurga. Opracowaliśmy bezproblemowe protokoły komunikacyjne o niskich opóźnieniach i wysokiej niezawodności z wykorzystaniem Bluetooth i LAN, zapewniając nieprzerwaną i dokładną transmisję danych.
Nasze podejście do osiągnięcia precyzyjnej synchronizacji w czasie rzeczywistym między strumieniami wideo a reakcjami ramienia robota może posłużyć jako punkt odniesienia dla przyszłych badań w zakresie chirurgii zdalnej i telemedycyny. Oferuje model integracji danych w czasie rzeczywistym z zrobotyzowanymi systemami sterowania. Nasze podejście do osiągnięcia precyzyjnej synchronizacji w czasie rzeczywistym między strumieniami wideo a reakcjami ramienia robota może posłużyć jako punkt odniesienia dla przyszłych badań w zakresie chirurgii zdalnej i telemedycyny.
Oferuje model integracji danych w czasie rzeczywistym z zrobotyzowanymi systemami sterowania. Aby przygotować środowisko zabiegowe, na platformie roboczej należy ustawić talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku. Po zablokowaniu telefonu komórkowego w uchwycie telefonu komórkowego włącz funkcję Bluetooth między urządzeniem mobilnym a laptopem, które służą jako emulator HoloLens chirurga.
Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu. Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy, aby zapewnić bezbłędny obrót o 360 stopni. Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB6600.
Kliknij przycisk Pobierz, aby pobrać środowisko programistyczne zintegrowane z mikrokontrolerem z przeglądarki. Następnie przejdź do Plik i otwórz nowy szkic, aby napisać kod. Podłącz płytkę mikrokontrolera do interfejsu z nowym szkicem za pomocą numeru portu komunikacyjnego dla portu połączeniowego.
Sprawdź port komunikacyjny i upewnij się, że pokazuje płytkę mikrokontrolera. Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB6600, aby zapewnić przepływ prądu o wartości dwóch amperów. Ustaw SW4 na włączone, a SW5 i SW6 na wyłączone.
Ustaw SW1 i SW3 na wyłączone, a SW2 na włączone, aby osiągnąć jedną ósmą mikrokrok, spełniając wymagane kroki obrotu. Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12 stopni, a krok silnika zwiększa się tylko wtedy, gdy sekundy odczytane z modułu RTC są nieparzyste.
Podłącz pin pięciowoltowy płytki mikrokontrolera do RTCVCC, a masę mikrokontrolera do masy RTC. Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł zapewnia rozmiar kroku 12 stopni, wykonując 30 kroków na obrót, z przyrostami występującymi co nieparzystą sekundę.
Uruchom kod dostępny na stronie GitHub, aby sprawdzić, czy konfiguracja działa poprawnie. Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Podłącz telefon komórkowy do systemu.
W Android Studio kliknij pozycję Nowy, Nowy projekt i wybierz opcję Działanie pustych widoków. Kliknij Dalej, aby opracować kod Androida dostępny na danej stronie. Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.
Przesyłaj migawki z aplikacji mobilnej natychmiast do systemu zdalnego chirurga przez Bluetooth. Aby rozpocząć, otwórz moduł serwera graficznego interfejsu użytkownika. Wprowadź numer portu VVID w polu tekstowym VVID.
Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Następnie kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną. Teraz kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu sceny w folderze lokalnym.
Niech moduł klienta zawiera ramię robota zaprojektowane tak, aby miało ruch obrotowy w podstawie, ramieniu, łokciu, nadgarstku i palcach. Upewnij się, że serwomechanizmy MG996R są używane do regulowania ruchu obrotowego u podstawy, ramienia i łokcia. Użyj serwomotoru SG90, aby kontrolować ruch obrotowy na nadgarstku i palcach.
Skompiluj kod podany w środowisku programistycznym zintegrowanym z mikrokontrolerem, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga. Odczytywanie dwóch obrazów naraz w sekwencji, jeden po drugim, z folderu lokalnego, w celu zidentyfikowania możliwego nakładania się między nimi. Wyodrębnij obiekty przy użyciu metody DITF.
Rekonstrukcja trójwymiarowych obrazów na podstawie zebranych obiektów za pomocą SFM. Pozwól chirurgowi na oględziny trójwymiarowych zrekonstruowanych cech obrazu za pomocą elementów sterujących gestami dłoni do obracania i powiększania lub pomniejszania, co umożliwia wizualizację ze wszystkich perspektyw. Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu.
Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego. Upewnij się, że obrót talerza obiektu w odległym miejscu odzwierciedla obrót trójwymiarowych zrekonstruowanych elementów po stronie chirurga. Dokładność odwzorowania ruchu zmniejszała się wraz ze wzrostem odległości między dwoma palcami.
Algorytm DITF osiągnął najniższe opóźnienia w porównaniu z ORB i BEBLID.
Przegląd
Ten artykuł przedstawia innowacyjne podejście do zdalnej chirurgii z wykorzystaniem rzeczywistości rozszerzonej (AR) i robotyki. System zwiększa precyzję chirurgiczną i dostępność poprzez rekonstitucję 3D w czasie rzeczywistym i ekstrakcje cech.
Kluczowe elementy badania
Obszar nauki
- Neurochirurgia
- Robotyka
- Rzeczywistość rozszerzona
Tło
- Zdalna chirurgia staje się coraz ważniejsza we współczesnej medycynie.
- Rzeczywistość rozszerzona może zapewnić ulepszoną wizualizację dla chirurgów.
- Transmisja danych w czasie rzeczywistym jest kluczowa dla skutecznych operacji zdalnych.
- Minimalizowanie złożoności sprzętowej może poprawić efektywność systemu.
Cel badania
- Opracować automatyczny moduł chirurgiczny z wykorzystaniem rekonstrukcji 3D opartej na AR.
- Zezwól chirurgom na wykonywanie zdalnych operacji z wysoką precyzją.
- Poprawić możliwości kontroli i wizualizacji chirurgów.
Stosowane metody
- Kierunkowe wzmocnienie ekstrakcji cech dla dokładnego wykrywania.
- Rekonstrukcja 3D z minimalnych obrazów 2D w celu zmniejszenia złożoności.
- Wykorzystanie pojedynczej mobilnej kamery do nadzoru w czasie rzeczywistym.
- Protokoły komunikacyjne wykorzystujące Bluetooth i LAN dla niskiej opóźnienia.
Główne wyniki
- System pozwala na bezprecedensową kontrolę i wizualizację dla zdalnych chirurgów.
- Aktualizacje w czasie rzeczywistym są dostarczane co dwie sekundy.
- Poprawiono kontrolę chirurgów nad ramionami robotycznymi.
- Zwiększono efektywność i zmniejszono złożoność sprzętową.
Wnioski
- Integracja AR w zdalnej chirurgii może znacząco poprawić wyniki.
- Rekonstrukcja 3D w czasie rzeczywistym poprawia precyzję chirurgiczną.
- Przyszłe rozwój może jeszcze bardziej zrewolucjonizować praktyki chirurgiczne.
Często zadawane pytania
Executive Industry Relevance
Integrating augmented reality (AR) and robotics into transcatheter aortic valve replacement (TAVR) workflows addresses the need for precision, real-time visualization, and remote expert intervention in complex cardiovascular procedures. This approach enhances predictive confidence and operational efficiency at critical inflection points in device-based intervention pipelines. The system's real-time 3D reconstruction and remote control capabilities position it as a reusable platform for scalable, cross-site surgical innovation.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables precise interrogation of device-tissue interactions through real-time 3D visualization.
- Supports mechanistic de-risking by allowing remote experts to validate procedural steps and outcomes.
- Facilitates functional validation of robotic and AR-guided interventions in preclinical models.
Screening & Assay Development
- Prepares validated procedural testbeds for downstream device evaluation and optimization.
- Standardizes image capture and feature extraction for reproducible quantitative assessment.
- Enables scalable, remote-controlled assay environments for iterative device testing.
Translational & Preclinical Research
- Aligns procedural fidelity with disease-relevant anatomical models for translational continuity.
- Supports risk-adjusted advancement of AR-guided interventions from benchtop to preclinical validation.
- Provides a platform for benchmarking remote surgical guidance technologies in translational settings.
Pipeline & Workflow Integration
This AR-robotics platform bridges early device discovery, procedural validation, and translational research by enabling real-time, remote-controlled interventions and quantitative feedback loops.
- Discovery Biology: Supports hypothesis testing of device performance and procedural safety in controlled environments.
- Screening: Delivers standardized, reproducible image-based outputs for comparative device evaluation.
- Analytics: Provides quantitative 3D reconstructions and feature extraction for robust data analysis.
- Translational Research: Ensures procedural alignment with clinical models and supports biomarker-driven validation.
- Enterprise Reuse: Offers a modular, scalable platform adaptable to diverse device and procedural development pipelines.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in device-guided interventions.
- Operational Value: Enhances standardization, reproducibility, and remote scalability of procedural workflows.
- Strategic Value: Improves go/no-go decision-making and capital efficiency by enabling remote expert oversight.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of AR-enabled surgical technologies.
Implementation Considerations
- Requires expertise in AR, robotics, and real-time image analysis.
- Demands robust instrumentation and synchronized communication infrastructure.
- Necessitates cross-team standardization of image capture and feature extraction protocols.
- Adaptable across procedural models but may require calibration for specific anatomical contexts.
- Latency and motion-mapping accuracy are practical limitations to monitor during deployment.
