Name: Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości (Wideo) | JoVE Journal
Uploaded: 2024-08-09T14:25:00.000+00:00
Duration: 7 min 46 s
Description: Poznaj automatyczną chirurgię przezcewnikową z wykorzystaniem rozszerzonej rzeczywistości i rekonstrukcji 3D w czasie rzeczywistym. Ta metoda zwiększa precyzję i kontrolę chirurga podczas zdalnych operacji.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy przyznają, że nie finansują tych badań.

1. Środowisko chirurgiczne
<ol>
	<li>Zaprojektuj środowisko chirurgiczne, jak pokazano na rysunku Rysunek 1. Upewnij się, że w pomieszczeniu znajduje się talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku, jedno do trzymania symbolu zastępczego kamery, a drugie do spójnego białego tła wraz z modułem wagowym do ważenia.</li>
	<li>Opracuj dwa sterowniki, jeden do migawki środowiska chirurgicznego na żywo, jak wspomniano w krokach od 2.1 do 2.10, a drugi do sterowania mechanizmem obrotowym, który obsługuje nadzór 360°, jak wspomniano w krokach od 3.1 do 3.4.</li>
	<li>Przed wdrożeniem powyższych dwóch modułów włącz Bluetooth urządzenia mobilnego i laptopa, które służą jako emulator HoloLens chirurga.</li>
	<li>Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu.</li>
</ol>
2. Ustawienie kierowcy do sterowania dwoma wiszącymi ramionami
<ol>
	<li>Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy w układzie pokazanym na Rysunek 2, aby uzyskać bezbłędny obrót o 360°.</li>
	<li>Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB 6600. Aby uruchomić silnik, zainstaluj IDE mikrokontrolera z przeglądarki.</li>
	<li>Kliknij przycisk Pobierz, aby pobrać oprogramowanie. Następnie w IDE mikrokontrolera przejdź do Plik > Otwórz nowy szkic, aby napisać kod.</li>
	<li>Upewnij się, że płytka mikrokontrolera jest podłączona do interfejsu z nowym szkicem przez dedykowany port połączeniowy, powiedzmy COM 4. Sprawdź port Com i upewnij się, że pokazuje płytkę mikrokontrolera.</li>
	<li>Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB 6600. Upewnij się, że ustawienia są takie, aby przepływ prądu wynosił 2 A, co można osiągnąć, ustawiając SW4 ON i SW5 i SW6 OFF.</li>
	<li>Upewnij się, że pozycje przełączników SW1, SW2 i SW3 są ustawione tak, aby mikrokrok wynosił 1/8 kroku, aby osiągnąć kroki obrotu zgodnie z wymaganiami. Upewnij się, że ustawienia to SW1 OFF, SW2 ON i SW3 OFF w TB6600.</li>
	<li>Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12° i że przyrost kroku silnika jest wyzwalany tylko wtedy, gdy jednostka czasu rzeczywistego, tj. sekundy odczytane z modułu RTC, jest nieparzysta</li>.
	<li>Podłącz pin 5 V płytki mikrokontrolera do RCC RTC, a GND mikrokontrolera do GND RTC.</li>
	<li>Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł może zapewnić rozmiar kroku 12°, wykonując 30 kroków w jednym obrocie. Upewnij się, że przyrost kroku następuje co nieparzystą sekundę. Niech ten moduł oprogramowania napędza silnik krokowy21.</li>
	<li>Sprawdź, czy konfiguracja działa poprawnie, uruchamiając kod, który jest dostępny na stronie GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Upewnij się, że wymagania systemowe są spełnione, a następnie pobierz oprogramowanie ze strony internetowej.</li>
</ol>
3. Opracowanie sterownika do mobilnego nadzoru scen i transmisji obrazu jako modułu klienta
<ol>
	<li>Opracuj aplikację aparatu w systemie operacyjnym Android, która może robić zdjęcia co 2 sekundy, zwłaszcza gdy sekundy są liczbami nieparzystymi.</li>
	<li>Połącz telefon komórkowy z systemem. W Android Studio kliknij Nowy > Nowy projekt i wybierz Działanie pustych widoków. Kliknij przycisk Dalej, aby opracować kod systemu Android, który jest dostępny pod adresem https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.</li>
	<li>Przesyłaj migawki z aplikacji mobilnej natychmiast po wykonaniu migawki do sparowanego urządzenia, tj. do systemu zdalnego chirurga, przez Bluetooth. 
	UWAGA: Upewnij się, że moduły wymienione w sekcjach 2 i 3 działają w synchronizacji czasu, jeden dla każdej parzystej liczby sekund, a drugi dla każdej nieparzystej liczby sekund.</li>
</ol>
4. Rozwijanie modułu klienta do odbioru i obsługi obrazów z monitoringu
<ol>
	<li>Otwórz moduł serwera, który jest graficznym interfejsem użytkownika.</li>
	<li>Wprowadź numer portu VVID w polu tekstowym VVID, którego wartość domyślna to 94f39d29 7d6d 437d 973b fba39e49d4ee.</li>
	<li>Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną.</li>
	<li>Kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu w folderze lokalnym</li>
	<li>Wprowadź nazwę folderu lokalnego w polu nazwa folderu, jeśli musi być inna niż domyślna wymieniona.</li>
</ol>
5. Obsługa ramienia robota
<ol>
	<li>Niech moduł klienta zawiera również ramię robota. Zaprojektuj ramię tak, aby miało ruch obrotowy w podstawie, barku, łokciu, nadgarstku i palcach.</li>
	<li>Upewnij się, że serwomechanizmy MG 996R są używane do sterowania ruchem obrotowym u podstawy, ramienia i łokcia. Upewnij się, że serwomotor SG 90 jest używany do sterowania ruchem obrotowym łokcia i palców.</li>
	<li>Skompiluj kod podany w https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR w IDE mikrokontrolera, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga.</li>
</ol>
6. 3D rekonstrukcja dla rozszerzonej rzeczywistości
<ol>
	<li>Odczytaj dwa obrazy naraz w sekwencji, jeden po drugim, z folderu lokalnego, aby uzyskać możliwe nakładanie się (ponieważ obrazy są zbierane w bliskiej odległości, będzie następować nakładanie się między kolejnymi obrazami) między nimi.</li>
	<li>Zaprojektuj filtr trzeciorzędny zgodnie z wymaganiami opisu cechy zintensyfikowanej kierunkowej przy użyciu algorytmu filtrowania trzeciorzędnego22 (DITF) w celu uzyskania gradientu i orientacji.</li>
	<li>Wyodrębnij cechy za pomocą metody DITF22, jak pokazano w Rysunek 3.</li>
	<li>Zrekonstruuj obrazy 3D na podstawie zebranych obiektów za pomocą SFM23.</li>
</ol>
7. Rozpoznawanie gestów dłoni w lokalizacji chirurga
<ol>
	<li>Ułatw chirurgowi inspekcję zrekonstruowanych cech obrazu 3D, umożliwiając mu wizualizację otoczenia ze wszystkich perspektyw, zapewniając obracanie oparte na gestach dłoni oraz powiększanie/pomniejszanie zrekonstruowanych cech.</li>
	<li>Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu. Niech normalizacja będzie w taki sposób, aby minimalna odległość odpowiadała 0°, a maksymalna 180°.</li>
	<li>Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego, a także w celu obrócenia talerza obiektu, co sprawia, że obraca się on wokół własnej osi, podczas gdy zrekonstruowane w 3D cechy obracają się po stronie chirurga.</li>
	<li>Znajdź odległość między czubkiem a kciukiem lewej ręki chirurga, aby kontrolować ruch palców ramienia robota.</li>
	<li>Zmierz kąt podniesienia na podstawie odległości przestrzennej między czubkiem kciuka a palcami wskazującymi lewej ręki chirurga w stosunku do wyimaginowanej płaszczyzny podłoża x-y, aby określić kąt elewacji. Odwzoruj ten kąt na kąt elewacji, który ramię robota może wykonać za pomocą płaszczyzny x-y.</li>
	<li>Znajdź kąt azymutu, jaki ręka chirurga tworzy z ręką wirtualnej płaszczyzny y-z. Zidentyfikuj te kąty za pomocą rozpoznawania opartego na gestach dłoni.</li>
	<li>Zmapuj odległość, wysokość i kąty azymutu, aby kontrolować ruch palca robota i obrót ramienia, które odpowiadają kątom elewacji i azymutu.</li>
	<li>Pozwól chirurgowi sprawdzić zrekonstruowane elementy, powiększając i obracając. Pozwól chirurgowi przekazywać polecenia do ramienia robota, aby wykonać operację ze zdalnej lokalizacji.</li>
	<li>Upewnij się, że polecenia chirurgiczne są przesyłane jako ciąg sterujący sekwencją, rozpoczynający się od zbieżności ciągów, po których następują wartości sterujące obrotem talerza i kontrolerem ramienia robota. Niech [θb, θs, θe, θw, θf] będzie kątem wektora, który składa się z wartości, z których każda odpowiada sygnałowi sterującemu odpowiadającemu podstawie, ramieniu, łokciu, nadgarstku i palcu ramienia robota. 
	UWAGA: Link GitHub zawiera kod umożliwiający sterowanie gestami dłoni w polu operacyjnym. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
</ol>

Optimized 3D Reconstruction and Motion Mapping for Remote AR-Assisted Surgery

<ol><li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smartphone-based+augmented+reality+patient+education+in+radiation+oncology%5BTitle%5D)+AND+%22Tech+Innov+Patient+Supp+Radiation+Oncol%22%5BJournal%5D)">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).</li>
<li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation%5BTitle%5D)+AND+%22Comput+Anim+Virtual+Worlds%22%5BJournal%5D)">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223(2024).</li>
<li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop%5BTitle%5D)+AND+%22Robotic+Comput+Integ+Manufac%22%5BJournal%5D)">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664(2024).</li>
<li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time+to+imagine+an+escape%3A+investigating+the+consumer+timework+at+play+in+augmented+reality%5BTitle%5D)+AND+%22Eur+J+Market%22%5BJournal%5D)">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li>
<li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+augmented+reality+in+surgical+training%3A+a+systematic+review%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618(2020).</li>
<li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualization%2C+registration+and+tracking+techniques+for+augmented+reality+guided+surgery%3A+a+review%5BTitle%5D)+AND+%22Phys+Med+Biol%22%5BJournal%5D)">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02(2023).</li>
<li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li>
<li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bicuspid+aortic+valve%3A+The+most+frequent+and+not+so+benign+congenital+heart+disease%5BTitle%5D)+AND+%22Cardiovasc+Pathol%22%5BJournal%5D)">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604(2024).</li>
<li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years%5BTitle%5D)+AND+%22New+Engl+J+Med%22%5BJournal%5D)">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li>
<li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement%5BTitle%5D)+AND+%22J+Thorac+Cardiovas+Surg%22%5BJournal%5D)">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li>
<li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology%3A+phantom+study+results%5BTitle%5D)+AND+%22EJVES+Vascular+Forum%22%5BJournal%5D)">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li>
<li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Surgical+tele-mentoring+using+a+robotic+platform%3A+initial+experience+in+a+military+institution%5BTitle%5D)+AND+%22Surg+Endosc%22%5BJournal%5D)">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li>
<li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mentoring+approaches+in+a+safe+surgery+program+in+tanzania%3A+Lessons+learned+during+covid-19+and+recommendations+for+the+future%5BTitle%5D)+AND+%22Surg+Open+Sci%22%5BJournal%5D)">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li>
<li>de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Catheter+navigation+support+for+mechanical+thrombectomy+guidance%3A+3d%2F2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li>
<li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569(2023).</li>
<li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy%5BTitle%5D)+AND+%22Appl+Sci%22%5BJournal%5D)">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483(2023).</li>
<li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients%3A+a+contemporary+trial+benchmark%5BTitle%5D)+AND+%22Ann+Thorac+Surg%22%5BJournal%5D)">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li>
<li>Domínguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+simulation+as+training+model+of+ventricular+puncture%3A+Evidence+in+the+improvement+of+the+quality+of+punctures%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529(2023).</li>
<li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arias%3A+An+ar-based+interactive+advertising+system%5BTitle%5D)+AND+%22Plos+One%22%5BJournal%5D)">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838(2023).</li>
<li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines%5BTitle%5D)+AND+%22Mining%2CMetal+Explor%22%5BJournal%5D)">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li>
<li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311(2023).</li>
<li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+multi-view+3D+reconstruction+technology+based+on+SFM%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366(2022).</li>
<li>Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BEBLID%3A+Boosted+efficient+binary+local+image+descriptor%5BTitle%5D)+AND+%22Pattern+Recog+Lett%22%5BJournal%5D)">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li>
<li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid%5BTitle%5D)+AND+%22Int+J+Adv+Comp+Sci+Appl%22%5BJournal%5D)">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li>
</ol>

Autorzy deklarują brak konfliktu interesów.

W istniejącej pracy15 bada się zdjęcia rentgenowskie i tomografię komputerową w celu zlokalizowania cewnika w sercu. Jednak wymiana AR TAVR stwarza nową możliwość w procedurze chirurgicznej TAVR18 poprzez implementację zautomatyzowanego modelu z wykorzystaniem rekonstrukcji 3D. Jak wspomniano w sekcji dotyczącej protokołu, praca ta składa się z pięciu etapów do zaprojektowania. Pierwszy etap DITF22, wspomniany w sekcji 6, który zaproponowaliśmy w naszej poprzedniej pracy22, jest ulepszony w sposób, który osadza model w zastosowaniach medycznych. Drugim etapem rekonstrukcji 3D jest trudne zadanie polegające na skonstruowaniu modelu 3D z punktów 2D. Przetestowaliśmy model z różnymi obrazami wejściowymi, aby zweryfikować model. SFM23 jest przystosowany do rekonstrukcji obrazów. Zgodność obrazu jest mierzona za pomocą DITF22 wraz z matrycą kalibracyjną. Kolejnym etapem jest śledzenie gestów dłoni; interfejs sterowania gestami dłoni w rekonstrukcji 3D to kolejne trudne zadanie w czasie rzeczywistym. Sterowanie skalowaniem i warianty obrotu są wbudowane w gesty dłoni, co zapewnia łatwy dostęp do modeli 3D przez zdalnego eksperta. Czwartym etapem jest tworzenie aplikacji mobilnej, która jest opisana w sekcji 3 dotyczącej automatycznego przechwytywania obrazu. Ta aplikacja ładuje dane do zdalnego eksperta jako model 3D. Ostatnim etapem jest konfiguracja sprzętu, która jest demonstrowana przy użyciu modelu fantomu serca z ramieniem robota, które jest zautomatyzowane w celu wprowadzenia cewnika w celu zastąpienia uszkodzonej zastawki serca, jak pokazano na rysunku 1. 
Opracowana metoda ma na celu przeprowadzenie zdalnej operacji z miejsca zdarzenia, nadzór środowiska operacyjnego przy użyciu rzeczywistości rozszerzonej i ekstrakcji cech. Znaczący wkład zaproponowany w tym artykule nie jest widoczny w literaturze zgodnie z naszą najlepszą wiedzą. Opracowana metoda charakteryzuje się niskim opóźnieniem w rekonstrukcji obrazu 3D na podstawie cech. Ponadto metoda ta ma bardzo niski błąd między zrekonstruowanymi cechami a oryginalnym obrazem. To opóźnienie i błąd pokazano odpowiednio na rysunku 6 i rysunku 7. Z danych liczbowych wynika również, że inne algorytmy, a mianowicie ORB24 i BEBLID25 , nie spełniają norm w porównaniu z proponowaną metodą.
 
Wyzwaniem, z którym musieliśmy się zmierzyć podczas opracowywania metody, jest transmisja oparta na protokole Bluetooth między aplikacją mobilną a zdalnym serwerem. Ponieważ przechwytywanie i transmisja sceny musiały być wykonywane co 2 sekundy, wymagało to ultraszybkiej komunikacji. Często kończyło się to uszkodzonym gniazdem i wymagało wielu wyjątków i równoległego zarządzania procedurami w celu płynnego przetwarzania. Ponadto napotkaliśmy pewne problemy podczas opracowywania i wdrażania metody.
Istnieje jednak kilka technik rozwiązywania problemów, aby je rozwiązać. Komunikacja Bluetooth polega na wybraniu odpowiedniego kanału lub numeru portu VVID. Ponadto przed kontynuowaniem należy upewnić się, że przed kontynuowaniem należy przełączyć urządzenie Bluetooth na dowolnym końcu. Jeśli chodzi o opartą na mikroprocesorze procedurę sterowania ramieniem robota i wiszącym ramieniem obrotowym, należy zapewnić numery portów do komunikacji szeregowej. Podłączenie sterownika silnika, biorąc pod uwagę NEMA i serwomotor, musi być zapewnione prawidłowo. Jeśli nie zostanie to zrobione prawidłowo, silnik NEMA obraca się w niepożądany sposób, nawet jeśli samo połączenie ze sterownikiem jest nieprawidłowe. Przewody dwóch cewek silnika NEMA muszą być prawidłowo zidentyfikowane; W przeciwnym razie połączenie ze sterownikiem może skończyć się niepożądanym obracaniem się, a nawet uszkodzeniem silnika. Wyzwaniem było zaprojektowanie łącznika wspomagającego zawieszenie ramienia obrotowego, które waży około 1 kg. Aby rozwiązać ten problem, wywierciliśmy otwór o średnicy 1 mm w wale silnika. Wyzwaniem jest również zrównoważenie obu stron ramienia, w tym ciężaru urządzenia mobilnego; W przeciwnym razie konstrukcja może ciągnąć się po powierzchni gruntu, co doprowadzi do zburzenia lub ściągnięcia konstrukcji z wału silnika. Należy zapewnić prawidłowe wkręcenie podstawy, ramienia, łokcia, nadgarstka i palców ramienia robota; Jeśli nie, części mogą spaść, gdy obraca się i podnosi ciężar. Równoległe działanie dwóch modułów powinno być zadbane poprzez ustawienie odpowiedniego środowiska Pythona, z różnymi wątkami biegnącymi równolegle, aby zapewnić płynną pracę.
Wyniki wskazują, że proponowany model Automatic TAVR18 jest skuteczną metodą prowadzenia chirurgicznego w AR. Ten proponowany model jest elastyczny, aby można go było zastosować do dowolnej operacji w dziedzinie medycyny zgodnie z wytycznymi ekspertów medycznych. Modele oparte na uczeniu się mogą usprawnić rekonstrukcję 3D. Aby zrekonstruować model 3D, jako dane wejściowe należy podać wiele widoków z dobrymi obrazami oświetleniowymi; Można jednak rozwiązać ten problem w przyszłości. Ponadto w przyszłości chcielibyśmy opracować transmisję opartą na komunikacji 5G, aby zapewnić niskie opóźnienia i wyjątkowo niezawodną komunikację, zapewniając bezbłędne i płynne działanie. Chcielibyśmy również opracować własne urządzenie AR zamiast obecnie używanego emulatora. Może to poprawić wizualizację modelu 3D w rzeczywistym środowisku chirurgicznym.

AR może nałożyć model 3D na rzeczywiste środowisko. Rozwój technologiczny w kierunku AR dokonał zmiany paradygmatu w wielu dziedzinach, a mianowicie education1, medical2, manufacturing3 i entertainment4. Technologia AR, wraz z ultraniezawodną komunikacją o niskich opóźnieniach, udowadnia swoją nieuniknioną rolę w medycynie. Od etapu uczenia się anatomii człowieka po wskazówki chirurgiczne, etapy uczenia się można wizualizować za pomocą oprogramowania opartego na AR5,6 i sprzętu. AR zapewnia kluczowe i niezawodne rozwiązanie dla lekarza w środowisku chirurgicznym7,8.
Zwężenie zastawki aortalnej to choroba zastawek serca, która występuje najczęściej wśród ludzkości9. Główną przyczyną choroby są złe nawyki żywieniowe i nieregularna rutyna życia codziennego. Objawem i skutkiem choroby jest zwężenie zastawki serca, a następnie zmniejszenie przepływu krwi. Ten problem należy rozwiązać, zanim dojdzie do jakiegokolwiek uszkodzenia ludzkiego serca. W ten sposób serce jest przeciążone, aby przetworzyć przepływ krwi. Tak więc, zanim dojdzie do jakiegokolwiek uszkodzenia, należy wykonać operację, która dzięki postępowi technologicznemu w ostatnich dniach może być również wykonana za pomocą procedury TAVR. Procedura może być dostosowana w zależności od stanu serca i innych części ciała pacjentów. W tym TAVR10,11, cewnik jest wprowadzany w celu zastąpienia uszkodzonej zastawki w sercu. Jednak umieszczenie pozycji cewnika12 w celu wymiany zastawki jest żmudne dla praktyka. Ten pomysł zmotywował nas do zaprojektowania zautomatyzowanego modelu chirurgicznego opartego na AR13,14, który pomaga chirurgowi precyzyjnie ustawić zastawkę podczas procesu wymiany. Co więcej, operacja może być wykonana przez algorytm mapowania ruchu, który mapuje ruch chirurga uchwycony z odległego miejsca na ramię robota.
W istniejącym work15,16,17, wizualizacja procedury TAVR<sup="xref">18 jest monitorowana za pomocą fluoroskopii. W związku z tym trudno jest przeanalizować zastawkę serca i żmudne jest znalezienie miejsca wymiany. Stwarza to barierę w umieszczeniu cewnika w ludzkim sercu. Ponadto zdalny ruch jest odwzorowywany na pole operacyjne, aby proces był zautomatyzowany. Jednak, aby wypełnić lukę badawczą, proponujemy zautomatyzowaną chirurgię opartą na robotach do wymiany zastawki przy użyciu technologii wspomaganej przez AR.
Protokół jest ogólnym modelem, który może być stosowany we wszystkich środowiskach chirurgicznych. W początkowym etapie pracy wykonywane są obrazy 2D w całym środowisku operacyjnym z najpełniejszą rozdzielczością przestrzenną o największym stopniu swobody. Oznacza to, że przechwytywana jest wystarczająca ilość obrazów do rekonstrukcji 3D19, a następnie mapowania ruchu poprzez śledzenie gestów dłoni20.

<table><tbody><tr><td>Oprogramowanie https://developer.android.com/studio oprogramowanie IDE systemu Android</td><td></td><td></td><td>można pobrać z tego linku</td></tr><tr><td>Płytka Arduino</td><td>Ardunio Uno</td><td>Mikrokontroler Ardunio Uno</td><td>do przetwarzania</td></tr><tr><td>oprogramowania Arduino</td><td></td><td>https://www.arduino.cc/en/software.</td><td>Oprogramowanie można pobrać z tego linku</td></tr><tr><td>Model fantomowy ludzkiego serca</td><td>Producent i eksporter sprzętu do laboratorium biologicznego</td><td>B071YBLX2V (8B-ZB2Q-H3MS-1)</td> <td>lekki model z 3 częściami do głębokiej analizy serca.</td></tr><tr><td>uchwyt mobilny</td><td>Skromny uniwersalny uchwyt monopoad</td><td>B07S9KNGVS</td><td>Do przenoszenia telefonu komórkowego w polu chirurgicznym</td></tr><tr><td>oprogramowanie pycharm IDE</td><td></td><td>https://www.jetbrains.com/pycharm/</td> <td>oprogramowanie można pobrać z tego linku</td></tr><tr><td>Ramię robota</td><td>Drukowane roboty</td><td>B08R2JLKYM(P0-E2UT-JSOU)</td><td>ramię może być sterowane za pomocą sterowania signal.it ma 5 stopni swobody dostępu.</td></tr><tr><td>silnik serwo</td><td>Kollmorgen Co-Engineers Motors</td><td>MG-966R</td><td>serwomotor o wysokim momencie obrotowym, impulsy serwo w zakresie od 500 do 2500 mikrosekund (i mikro; s), o częstotliwości od 50 Hz do 333 Hz.</td></tr><tr><td>Współinżynierowie serwomotoru</td><td>Kollmorgen&nbsp; Silniki</td><td>SG-90R</td><td>o obciążeniu od 1,8 kg-cm do 2,5 kg-cm mogą być stosowane do serwomechanizmu SG-90R.</td></tr><tr><td>Silnik krokowy</td><td>28BYJ-48</td><td>28BYJ-48</td><td>Silnik Steper, 5 V DC, częstotliwość 100 Hz, moment obrotowy 1200 Gf.cm</td></tr><tr><td>Silnik krokowy</td><td>Nema 23</td><td>Silnik</td><td>Steper, 9 V - 42 V DC, częstotliwość 100 Hz</td></tr></tbody></table>

automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

Rozszerzona rzeczywistość (AR) cieszy się dużym zainteresowaniem w zastosowaniach medycznych. Celem pracy jest przedstawienie automatycznej chirurgii z wykorzystaniem AR w celu przezcewnikowej wymiany zastawki aortalnej (TAVR). TAVR jest alternatywną procedurą medyczną dla operacji na otwartym sercu. TAVR zastępuje uszkodzoną zastawkę nową za pomocą cewnika. W dotychczasowym modelu prowadzone jest zdalne prowadzenie, natomiast operacja nie jest zautomatyzowana w oparciu o AR. W tym artykule zastosowaliśmy kamerę ustawioną przestrzennie, która jest podłączona do silnika w celu automatyzacji przechwytywania obrazu w środowisku chirurgicznym. Kamera śledzi obraz 2D serca pacjenta w wysokiej rozdzielczości wraz z stanowiskiem testowym cewnika. Te przechwycone obrazy są przesyłane za pomocą aplikacji mobilnej do zdalnego chirurga, który jest ekspertem w dziedzinie kardiologii. Ten obraz jest wykorzystywany do rekonstrukcji 3D ze śledzenia obrazu 2D. Jest to wyświetlane w urządzeniu HoloLens jak emulator w laptopie. Chirurg może zdalnie sprawdzić zrekonstruowane obrazy 3D z dodatkowymi funkcjami transformacji, takimi jak rotacja i skalowanie. Te funkcje transformacji są włączane za pomocą gestów dłoni. Wskazówki chirurga są przekazywane do środowiska chirurgicznego w celu zautomatyzowania procesu w scenariuszach w czasie rzeczywistym. Stanowisko do badania cewnika w polu operacyjnym jest kontrolowane przez pilota zdalnego chirurga za pomocą gestów dłoni. Opracowany prototypowy model demonstruje skuteczność zdalnego kierowania chirurgicznego za pomocą AR.

Protokół został przetestowany z wykorzystaniem modelu fantoma serca. Rycina 2 przedstawia oczekiwany układ do monitorowania pola operacyjnego w czasie rzeczywistym przy użyciu rozproszonych przestrzennie kamer. Rozproszone kamery, jak pokazano na Rycynie 2, pomagają zwiększyć rozdzielczość przestrzenną pola w celu efektywnej rekonstrukcji 3D. Jednakże fizyczne rozmieszczenie tych kamer w różnych lokalizacjach przestrzennych wiąże się z pewnymi komplikacjami. W związku z tym zoptymalizowaliśmy projekt układu i opracowaliśmy rozwiązanie w postaci samoorientującej się przestrzennie konfiguracji kamer obracanych przez silnik NEMA sterowany przez sterownik TB6600. Taka struktura jest wykonalna i została zaimplementowana w modelu, co przedstawiono na Rycynie 1.
Na Rysunku 1 automatyczne migawki aparatu, a następnie ich przesyłanie za pomocą protokołu Bluetooth, są sterowane kodem Android. Moduł został zorganizowany w taki sposób, aby przechwytywanie zdjęć odbywało się raz w każdej nieparzystej sekundzie, a ich transmisja raz w każdej parzystej sekundzie, zgodnie z opisem w sekcji 3. Moduł mikrokontrolera obsługujący silnik NEMA odpowiada za obracanie konstrukcji raz w każdej parzystej sekundzie, aby zagwarantować wystarczająco dużo czasu na wykonanie nierozmazanych zdjęć. W rezultacie, w trakcie pełnego obrotu o 360° wykonywanych jest łącznie 30 zdjęć, które są przesyłane przez Bluetooth.
Ponadto na Rysunku 1 przedstawiono trójwymiarową rekonstrukcję deskryptorów DITF środowiska chirurgicznego. Należy zauważyć, że rekonstrukcje oparte na deskryptorach mogą być przeglądane przez chirurgów poprzez powiększanie i obracanie za pomocą mapowania ruchów dłoni. Ruchy te są przesyłane do środowiska chirurgicznego w celu symulacji zabiegu, co umożliwia wprowadzenie cewnika do rzeczywistego pola operacyjnego. Mapowanie ruchu jest realizowane w taki sposób, że zostaje ono przeniesione na sześć różnych kątów sterujących elementami robota, mianowicie: podstawą, barkiem, łokciem, nadgarstkiem, chwytakiem i palcem. Kąty te są zapisane w formie wektora [θb, θs, θe, θw, θf]. W podanym wektorze wartość θp odpowiada mapowaniu ruchu w celu obrócenia tacy obiektu ludzkiego. Ta sama wartość θp jest wykorzystywana do orientacji deskryptora wyświetlanego w emulatorze HoloLens po stronie chirurga.
Rysunek 3 przedstawia cechy DITF modelu fantoma, co stanowi kluczowy etap rekonstrukcji 3D. Na podstawie wyekstrahowanych cech, w procesie dopasowywania obrazów identyfikowane są punkty odpowiadające. Zależność między obrazami referencyjnymi a różnymi wynikami obrotu o 45° pokazano na Rysunku 4. Punkty odpowiadające zaznaczone różnymi kolorami wyraźnie wskazują na skuteczność identyfikacji i dopasowywania podobnych cech, nawet gdy obrazy są w różnych orientacjach widoku.Na Rysunku 5 przedstawiono dokładność mapowania ruchu, która wskazuje, że przy małej odległości między dwoma palcami dokładność jest wysoka. Jednakże, wraz ze zwiększaniem się odległości między palcami, dokładność zaczyna spadać.
Z drugiej strony, czas przetwarzania danych przez model jest kluczowy w AR. Dlatego parametr ten został uwzględniony w walidacji proponowanego modelu; zmierzono opóźnienie w przetwarzaniu obrazu, a wyniki zweryfikowano z istniejącymi algorytmami, takimi jak Oriented FAST and rotated BRIEF (ORB)24 oraz Boosted Efficient Binary Local Image Descriptor (BEBLID)25. Wyniki pokazują, że DITF przewyższa istniejące modele, takie jak ORB i BEBLID, pod względem opóźnienia, co przedstawiono na Rysunku 6. Dodatkowo model rekonstrukcji 3D został zwalidowany pod kątem błędu rekonstrukcji, a wykres przedstawiony na Rysunku 7 wskazuje, że histogram jest wąski, co oznacza minimalny błąd rekonstrukcji; dowodzi to, że rekonstrukcja w proponowanym algorytmie została zweryfikowana i zwalidowana. Rysunek 8 przedstawia wynik rekonstrukcji 3D dla proponowanego modelu. Odzwierciedla on przejrzystość wizualizacji, a ilościowe wyniki obrazu zostały również zweryfikowane za pomocą wykresów. Wyniki te dowodzą, że proponowany model wyodrębnił wszystkie niezbędne cechy wraz z transformacją obrotu w celu zrekonstruowania modelu 3D. Dzięki temu zdalny ekspert może uzyskać precyzyjną wizualizację i kontrolę nad polem operacyjnym.
<img alt="Rzeczywistość rozszerzona w chirurgii: ramię robota, zdalne sterowanie, śledzenie gestów dłoni, rekonstrukcja 3D." class="xfigimg" src="/files/ftp_upload/67096/67096fig01.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 1"> 
Rycina 1: Implementacja konfiguracji sprzętowej dla zautomatyzowanej operacji przezskórnej implantacji zastawki aortalnej z wykorzystaniem rzeczywistości rozszerzonej. (A) Pole operacyjne z systemem monitorowania w czasie rzeczywistym. (B) Wizualizacja oparta na rzeczywistości rozszerzonej. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig01large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.</a>
<img alt="Ćwiczenia z chirurgii serca z użyciem ramienia robotycznego; model anatomiczny; zestaw do szkolenia medycznego; demonstracja techniki chirurgicznej." class="xfigimg" src="/files/ftp_upload/67096/67096fig02.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 2"> 
Rysunek 2: Przewidywany model środowiska chirurgicznego. Przedstawiony model jest wyposażony w system nadzoru środowiska chirurgicznego w czasie rzeczywistym z wykorzystaniem rozproszonych przestrzennie czujników kamer. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig02large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.</a>
<img alt="Porównanie modelu ludzkiego serca przedstawiające strukturę anatomiczną, wizualizację edukacyjną, schemat." class="xfigimg" src="/files/ftp_upload/67096/67096fig03.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 3"> 
Rycina 3: Model ludzkiego serca umieszczony w testbedzie chirurgicznym oraz jego cechy wyodrębnione za pomocą algorytmu deskryptora cech. (A) Wejściowy model fantoma serca. (B) Kierunkowy intensyfikowany opis cech z wykorzystaniem tercjarnych filtrowania do ekstrakcji cech modelu fantoma serca. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig03large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Schemat algorytmu śledzenia; kolorowe linie i znaczniki nałożone na obiekt, proces analizy obrazu." class="xfigimg" src="/files/ftp_upload/67096/67096fig04.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 4"> 
Rycina 4: Dopasowanie cech pomiędzy dwiema cechami obrazu. (A) Kierunkowy zintensyfikowany opis cech z wykorzystaniem ekstrakcji cech poprzez filtrowanie trzeciorzędowe dla modelu fantoma serca. (B) Kierunkowy zintensyfikowany opis cech z wykorzystaniem ekstrakcji cech poprzez filtrowanie trzeciorzędowe dla modelu fantoma serca obróconego o 45°. Linie wskazują odpowiedniość pomiędzy cechami podobnych obrazów w dwóch różnych orientacjach. Kolor linii oznacza różne wybrane cechy. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig04large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Wykres dokładności w funkcji odległości, odstępy między pikselami a dokładność, analiza danych, wykres trendu." class="xfigimg" src="/files/ftp_upload/67096/67096fig05.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 5"> 
Rycina 5: Dokładność śledzenia gestów dłoni. Na rysunku przedstawiono procentową dokładność. Liczbę próbek (N) ustalono na 500. Mapowanie ruchu wykonano 500 razy, z czego określono liczbę poprawnych mapowań. Następnie dokładność obliczono jako stosunek liczby poprawnych mapowań do całkowitej liczby próbek. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig05large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Wykres słupkowy porównujący opóźnienia algorytmów: ORB, BEBLID, DITF w milisekundach." class="xfigimg" src="/files/ftp_upload/67096/67096fig06.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 6"> 
Rysunek 6: Opóźnienie kierunkowego intensyfikowanego opisu cech z wykorzystaniem filtrowania trzeciorzędowego z Oriented FAST and rotated BRIEF oraz Boosted Efficient Binary Local Image Descriptor Algorithm. Wykreślono opóźnienie, czyli czas potrzebny na ekstrakcję cech z obrazu. Wybrano wartość N równą 500, co oznacza, że obliczenie opóźnienia czasu zostało wykonane 500 razy, a następnie wyciągnięto średnią. Procedurę przeprowadzono dla trzech algorytmów i przedstawiono na wykresie. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig06large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.</a>
<img alt="Histogram ilustrujący rozkład błędu rekonstrukcji; analiza danych dotycząca dokładności modelu." class="xfigimg" src="/files/ftp_upload/67096/67096fig07.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 7"> 
Rycina 7: Rozkład błędu rekonstrukcji proponowanego modelu. Błąd rekonstrukcji to różnica między zrekonstruowanym obrazem 3D na podstawie jego cech a obrazem oryginalnym. Wykres błędu jest histogramem wskazującym liczbę wystąpień danego zdarzenia. Liczba ta jest maksymalna, gdy błąd wynosi zero i maleje po obu stronach. Jest to pożądany wynik. Rycina wskazuje, że wariancja histogramu (gęstość rozkładu normalnego) jest mała, zatem odchylenie błędu od średniej (0) nie jest duże w żadnym z kierunków. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig07large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Diagram równowagi statycznej z rozkładem punktów danych; wizualizacja korelacji przestrzennych." class="xfigimg" src="/files/ftp_upload/67096/67096fig08.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 8"> 
Rysunek 8: Rekonstrukcja 3D modelu serca. Każda kolorowa kropka oznacza zrekonstruowany punkt 3D z odpowiadającej mu cechy. Obecnie algorytm rekonstrukcji cech normalizuje kolor, a na tej podstawie kolorowane są pozostałe cechy. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig08large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>

Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.

Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter ...

Nasze badania koncentrują się na zrewolucjonizowaniu chirurgii zdalnej poprzez rzeczywistość rozszerzoną i robotykę, mając na celu zwiększenie precyzji i dostępności procedur medycznych. Badamy, w jaki sposób rekonstrukcja 3D w czasie rzeczywistym i ekstrakcja cech może zapewnić chirurgom bezprecedensową kontrolę i wizualizację, nawet na odległość. Wdrożyliśmy własną kierunkowo-intensyfikowaną ekstrakcję cech, aby zapewnić precyzyjne i dokładne wykrywanie cech chirurgicznych, zwiększając kontrolę chirurga nad ramieniem robota.Korzystając z rekonstrukcji 3D z minimalnych obrazów 2D, znacznie zmniejszyliśmy złożoność sprzętu i poprawiliśmy wydajność naszego systemu. Nasz system zapewnia najlepszy nadzór nad środowiskiem chirurgicznym za pomocą jednej kamery mobilnej, zsynchronizowanej tak, aby robić zdjęcia co dwie sekundy, zapewniając aktualizacje w czasie rzeczywistym dla zdalnego chirurga. Opracowaliśmy bezproblemowe protokoły komunikacyjne o niskich opóźnieniach i wysokiej niezawodności z wykorzystaniem Bluetooth i LAN, zapewniając nieprzerwaną i dokładną transmisję danych.Nasze podejście do osiągnięcia precyzyjnej synchronizacji w czasie rzeczywistym między strumieniami wideo a reakcjami ramienia robota może posłużyć jako punkt odniesienia dla przyszłych badań w zakresie chirurgii zdalnej i telemedycyny. Oferuje model integracji danych w czasie rzeczywistym z zrobotyzowanymi systemami sterowania. Nasze podejście do osiągnięcia precyzyjnej synchronizacji w czasie rzeczywistym między strumieniami wideo a reakcjami ramienia robota może posłużyć jako punkt odniesienia dla przyszłych badań w zakresie chirurgii zdalnej i telemedycyny.Oferuje model integracji danych w czasie rzeczywistym z zrobotyzowanymi systemami sterowania. Aby przygotować środowisko zabiegowe, na platformie roboczej należy ustawić talerz do przenoszenia przedmiotów, ramię robota i dwa ramiona zwisające z boku. Po zablokowaniu telefonu komórkowego w uchwycie telefonu komórkowego włącz funkcję Bluetooth między urządzeniem mobilnym a laptopem, które służą jako emulator HoloLens chirurga.Sparuj urządzenia, aby zapewnić nieprzerwaną transmisję obrazu. Upewnij się, że wiszące ramiona są sterowane przez silnik krokowy, aby zapewnić bezbłędny obrót o 360 stopni. Podłącz silnik do płytki mikrokontrolera za pomocą sterownika TB6600.Kliknij przycisk Pobierz, aby pobrać środowisko programistyczne zintegrowane z mikrokontrolerem z przeglądarki. Następnie przejdź do Plik i otwórz nowy szkic, aby napisać kod. Podłącz płytkę mikrokontrolera do interfejsu z nowym szkicem za pomocą numeru portu komunikacyjnego dla portu połączeniowego.Sprawdź port komunikacyjny i upewnij się, że pokazuje płytkę mikrokontrolera. Sprawdź ustawienia przełącznika sprzętowego sterownika silnika krokowego TB6600, aby zapewnić przepływ prądu o wartości dwóch amperów. Ustaw SW4 na włączone, a SW5 i SW6 na wyłączone.Ustaw SW1 i SW3 na wyłączone, a SW2 na włączone, aby osiągnąć jedną ósmą mikrokrok, spełniając wymagane kroki obrotu. Połącz RTC 3231 z mikrokontrolerem, aby uzyskać rzeczywistą synchronizację czasu globalnego. Upewnij się, że rozmiar kroku obrotu wynosi 12 stopni, a krok silnika zwiększa się tylko wtedy, gdy sekundy odczytane z modułu RTC są nieparzyste.Podłącz pin pięciowoltowy płytki mikrokontrolera do RTCVCC, a masę mikrokontrolera do masy RTC. Podłącz pin SCL zegara czasu rzeczywistego do pinu A0, a pin SDA do pinu A1 mikrokontrolera. Ten moduł zapewnia rozmiar kroku 12 stopni, wykonując 30 kroków na obrót, z przyrostami występującymi co nieparzystą sekundę.Uruchom kod dostępny na stronie GitHub, aby sprawdzić, czy konfiguracja działa poprawnie. Pobierz Android Studio, aby opracować aplikację automatycznego aparatu. Podłącz telefon komórkowy do systemu.W Android Studio kliknij pozycję Nowy, Nowy projekt i wybierz opcję Działanie pustych widoków. Kliknij Dalej, aby opracować kod Androida dostępny na danej stronie. Upewnij się, że aplikacja automatycznie przechwytuje obrazy i konsekwentnie wysyła je do urządzenia zdalnego.Przesyłaj migawki z aplikacji mobilnej natychmiast do systemu zdalnego chirurga przez Bluetooth. Aby rozpocząć, otwórz moduł serwera graficznego interfejsu użytkownika. Wprowadź numer portu VVID w polu tekstowym VVID.Kliknij Utwórz gniazdo, aby utworzyć i powiązać gniazdo. Następnie kliknij Połącz, aby nawiązać połączenie z aplikacją mobilną. Teraz kliknij Przechwyć, aby przechwycić i zapisać obrazy z monitoringu sceny w folderze lokalnym.Niech moduł klienta zawiera ramię robota zaprojektowane tak, aby miało ruch obrotowy w podstawie, ramieniu, łokciu, nadgarstku i palcach. Upewnij się, że serwomechanizmy MG996R są używane do regulowania ruchu obrotowego u podstawy, ramienia i łokcia. Użyj serwomotoru SG90, aby kontrolować ruch obrotowy na nadgarstku i palcach.Skompiluj kod podany w środowisku programistycznym zintegrowanym z mikrokontrolerem, aby sterować ramieniem robota na podstawie poleceń otrzymanych od zdalnego chirurga. Odczytywanie dwóch obrazów naraz w sekwencji, jeden po drugim, z folderu lokalnego, w celu zidentyfikowania możliwego nakładania się między nimi. Wyodrębnij obiekty przy użyciu metody DITF.Rekonstrukcja trójwymiarowych obrazów na podstawie zebranych obiektów za pomocą SFM. Pozwól chirurgowi na oględziny trójwymiarowych zrekonstruowanych cech obrazu za pomocą elementów sterujących gestami dłoni do obracania i powiększania lub pomniejszania, co umożliwia wizualizację ze wszystkich perspektyw. Znormalizuj i odwzoruj odległość między czubkiem kciuka chirurga a palcem wskazującym prawej ręki do odpowiedniego kąta obrotu.Przesyłaj sterowanie gestami dłoni przez Bluetooth do zdalnego środowiska chirurgicznego. Upewnij się, że obrót talerza obiektu w odległym miejscu odzwierciedla obrót trójwymiarowych zrekonstruowanych elementów po stronie chirurga. Dokładność odwzorowania ruchu zmniejszała się wraz ze wzrostem odległości między dwoma palcami.Algorytm DITF osiągnął najniższe opóźnienia w porównaniu z ORB i BEBLID.

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

JoVE Journal

Medicine

Medycyna

Celem tego badania było ulepszenie korejestracji do fuzji obrazów (IF) danych przedinterwencyjnej CT z fluoroskopią rentgenowską w czasie rzeczywistym (XR) podczas przezudowej przezcewnikowej implantacji zastawki aortalnej (TAVI).

Ulepszona rejestracja angiografii 3D CT z fluoroskopią rentgenowską w celu fuzji obrazu podczas przezcewnikowej implantacji zastawki aortalnej

Technologia rozszerzonej rzeczywistości została zastosowana do dekompresji rdzenia w przypadku martwicy kości głowy kości udowej, aby uzyskać wizualizację tego zabiegu chirurgicznego w czasie rzeczywistym. Metoda ta może skutecznie poprawić bezpieczeństwo i precyzję dekompresji rdzenia.

Dekompresja rdzenia sterowana nawigacją w rzeczywistości rozszerzonej w przypadku martwicy kości głowy kości udowej

Zdalnie sterowane, wspomagane przez system robota, przezskórne przezbiodrowo-krzyżowe mocowanie śrubowe jest wykonalną techniką. Kanały śrubowe mogą być realizowane z dużą dokładnością dzięki doskonałej swobodzie ruchów i stabilności ramion robota.

Zdalnie sterowana, wspomagana przez system robotyczny, przezskórna technika przezbiodrowo-krzyżowego mocowania śrubowego

Postęp w leczeniu wewnątrznaczyniowym zastąpił skomplikowane otwarte procedury chirurgiczne minimalnie inwazyjnymi opcjami, takimi jak wymiana zastawki i naprawa tętniaka. W artykule zaproponowano wykorzystanie modelowania trójwymiarowego (3D) i rzeczywistości wirtualnej do pomocy w pozycjonowaniu ramienia C, pomiarach kąta i generowaniu mapy drogowej do planowania procedur w laboratorium cewnikowania neurointerwencyjnego, minimalizując czas zabiegu.

Pionierskie podejścia do precyzyjnej chirurgii dostosowanej do potrzeb pacjenta z wykorzystaniem obrazowania i rzeczywistości wirtualnej

Dostęp wtórny kończyny górnej podczas przezcewnikowej implantacji zastawki aortalnej przez odcinek udowy wiąże się z mniejszą liczbą powikłań krwawienia związanych z miejscem dostępu wtórnego i skraca czas do mobilizacji u pacjentów wymagających wydłużonej stymulacji. Protokół ten ma na celu zapewnienie obszernego przeglądu podejścia do kończyn górnych i udzielenie wskazówek operatorom w stosowaniu tej metodologii.

Dostęp do kończyny górnej w celu uzyskania dostępu wtórnego w przezcewnikowej implantacji zastawki aortalnej przezudowej

Aby zrozumieć komórkowe i molekularne mechanizmy leżące u podstaw powstawania nowotworów i rozwoju zwężeń w zastawkach serca z inżynierii tkankowej, opracowano mysi model heterotopowego przeszczepu zastawki serca. Zastawkę płucną serca przeszczepiono biorcy przy użyciu techniki heterotopowego przeszczepiania serca.

Przeszczepienie zastawki płucnej z wykorzystaniem mysiego modelu heterotopowego przeszczepienia serca

Wymiana pełnej zastawki aortalnej na bezstentowy ksenoprzeszczep aorty jest realną opcją u pacjentów z małymi korzeniami aorty. Opisujemy technikę implantacji pełnego korzenia bezstentowych ksenoprzeszczepów aorty, z naciskiem na postępowanie z linią szwów proksymalnych i zespoleniami wieńcowymi, a także omawiamy jej ograniczenia i alternatywne opcje.

Wymiana zastawki aortalnej z pełnym korzeniem za pomocą bezstentowych ksenoprzeszczepów aorty u pacjentów z małymi korzeniami aorty

Wymiana korzenia aorty oszczędzająca zastawkę ma tę zaletę, że pozwala zachować własną zastawkę aortalną pacjenta. Złożoność zgłoszonych do tej pory technik ogranicza ich stosowanie do ograniczonej liczby kardiochirurgów. Protokół ten opisuje krok po kroku ustandaryzowaną technikę, którą może odtworzyć większa liczba kardiochirurgów.

Standaryzowana technika reimplantacji zastawki aortalnej w celu wymiany korzenia aorty oszczędzającej zastawkę

Celem tego protokołu jest szczegółowe opisanie techniki minimalnie inwazyjnej wymiany zastawki aortalnej poprzez mini-torakotomię prawego przedniego odcinka i kaniulację centralnej aorty. Technika ta może potencjalnie zwiększyć komfort pacjentów, a poprzez zmniejszenie zachorowalności pooperacyjnej przyczynić się do skrócenia długości pobytu i kosztów globalnych.

Technika i kryteria doboru pacjentów do minitorakotomii prawej przedniej części w celu wymiany zastawki aortalnej o minimalnym dostępie

Obrzęk limfatyczny związany z rakiem piersi jest częsty u osób, które przeżyły raka piersi, ale nie ma powszechnie stosowanych wytycznych do jego diagnozy i kwantyfikacji. W tym miejscu przedstawiamy niezawodny i opłacalny protokół definiowania, ilościowego określania i porównywania objętości kończyn górnych u pacjentek z rakiem piersi.

Integracja narzędzi rzeczywistości rozszerzonej w prognozowaniu i diagnostyce obrzęku limfatycznego związanego z rakiem piersi

Poznaj automatyczną chirurgię przezcewnikową z wykorzystaniem rozszerzonej rzeczywistości i rekonstrukcji 3D w czasie rzeczywistym. Ta metoda zwiększa precyzję i kontrolę chirurga podczas zdalnych operacji.

Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

Przeglądaj więcej filmów