Name: Automatische Chirurgie beim Transkatheter-Aortenklappenersatz mit Augmented Reality (Video) | JoVE Journal
Uploaded: 2024-08-09T14:25:00.000+00:00
Duration: 7 min 46 s
Description: Erfahren Sie automatische Chirurgie mit Augmented Reality für präzise Fernoperationen. Diese Methode nutzt Echtzeit-3D-Rekonstruktion und robotergestützte Steuerung zur Verbesserung chirurgischer Ergebnisse.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Die Autoren erkennen an, dass diese Forschung nicht finanziert wird.

1. Chirurgische Umgebung
<ol><li>Entwerfen Sie eine Operationsumgebung, wie in Abbildung 1 dargestellt. Stellen Sie sicher, dass die Umgebung über eine Platte für den Objekttransport, einen Roboterarm und zwei seitlich hängende Arme verfügt, von denen einer einen Platzhalter für die Kamera und der andere einen einheitlichen weißen Hintergrund hat, zusammen mit dem Wägemodul für das Gleichgewicht.</li>
	<li>Entwickeln Sie zwei Treiber, einen für den Snapshot der chirurgischen Live-Umgebung, wie in den Schritten 2.1 bis 2.10 beschrieben, und den anderen für die Steuerung des revolvierenden Mechanismus, der die 360°-Überwachung unterstützt, wie in den Schritten 3.1 bis 3.4 beschrieben.</li>
	<li>Aktivieren Sie vor der Implementierung der beiden oben genannten Module Bluetooth des mobilen Geräts und des Laptops, die als HoloLens-Emulator des Chirurgen dienen.</li>
	<li>Koppeln Sie die Geräte für eine ununterbrochene Bildübertragung.</li>
</ol>2. Einrichten des Treibers zur Steuerung der beiden hängenden Arme
<ol><li>Stellen Sie sicher, dass die Aufhängearme von einem Schrittmotor mit der in Abbildung 2 gezeigten Anordnung gesteuert werden, um eine einwandfreie Drehung von 360° zu gewährleisten.</li>
	<li>Verbinden Sie den Motor mit dem Treiber TB 6600 mit der Mikrocontroller-Platine. Um den Motor auszuführen, installieren Sie die Mikrocontroller-IDE über den Browser.</li>
	<li>Klicken Sie auf die Schaltfläche Download , um die Software herunterzuladen. Wechseln Sie dann in der Mikrocontroller-IDE zu Datei > Öffnen Sie einen neuen Sketch , um den Code zu schreiben.</li>
	<li>Stellen Sie sicher, dass Sie die Mikrocontrollerplatine so anschließen, dass sie über einen dedizierten Verbindungsport, z. B. COM 4, mit dem neuen Sketch verbunden ist. Überprüfen Sie den Com-Port, und stellen Sie sicher, dass die Mikrocontroller-Platine angezeigt wird.</li>
	<li>Überprüfen Sie die Hardware-Switch-Einstellungen des Schrittmotortreibers TB 6600. Stellen Sie sicher, dass die Einstellungen so sind, dass der Stromfluss 2 A beträgt, was durch Einstellen von SW4 ON und SW5 und SW6 OFF erreicht werden kann.</li>
	<li>Stellen Sie sicher, dass die Schaltpositionen von SW1, SW2 und SW3 so eingestellt sind, dass der Mikroschritt 1/8 Schritte beträgt, um die erforderlichen Umdrehungsschritte zu erreichen. Stellen Sie sicher, dass die Einstellungen in TB6600 SW1 OFF, SW2 ON und SW3 OFF sind.</li>
	<li>Verbinden Sie die RTC 3231 mit dem Mikrocontroller, um eine globale Zeitsynchronisation in Echtzeit zu erhalten. Stellen Sie sicher, dass die Drehzahlschrittweite 12° beträgt und dass das Motorschrittinkrement nur ausgelöst wird, wenn die Echtzeiteinheit, d. h. die vom RTC-Modul gelesenen Sekunden, ungerade ist.</li>
	<li>Verbinden Sie den 5-V-Pin der Mikrocontrollerplatine mit der RTC VCC und den GND des Mikrocontrollers mit dem GND der RTC.</li>
	<li>Verbinden Sie den SCL-Pin der RTC mit dem A0-Pin und den SDA mit dem A1-Pin des Mikrocontrollers. Dieses Modul kann eine Schrittweite von 12° gewährleisten und 30 Schritte in einer Umdrehung ausführen. Stellen Sie sicher, dass das Schrittinkrement jede ungerade Sekunde erfolgt. Lassen Sie dieses Softwaremodul den Schrittmotor21 antreiben.</li>
	<li>Stellen Sie sicher, dass das Setup ordnungsgemäß funktioniert, indem Sie den Code ausführen, der auf der GitHub-Seite https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR verfügbar ist.</li>
	<li>Laden Sie Android Studio herunter, um die automatische Kamera-App zu entwickeln. Stellen Sie sicher, dass die Systemanforderungen erfüllt sind, und laden Sie dann die Software von der Website herunter.</li>
</ol>3. Entwicklung eines Treibers für die mobile Szenenüberwachung und Bildübertragung als Client-Modul
<ol><li>Entwickeln Sie eine Kameraanwendung im Android-Betriebssystem, die alle 2 s Schnappschüsse machen kann, insbesondere wenn es sich bei den Sekunden um ungerade Zahlen handelt.</li>
	<li>Verbinden Sie das Mobiltelefon mit dem System. Klicken Sie in Android Studio auf Neu > Neues Projekt und wählen Sie Aktivität "Leere Ansichten" aus. Klicken Sie auf Weiter , um einen Android-Code zu entwickeln, der unter https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR verfügbar ist.</li>
	<li>Stellen Sie sicher, dass die App die Bilder automatisch erfasst und konsistent an ein Remotegerät sendet.</li>
	<li>Übertragen Sie Schnappschüsse aus der mobilen App sofort nach der Aufnahme des Schnappschusses über Bluetooth an das gekoppelte Gerät, d. h. an das System des entfernten Chirurgen. HINWEIS: Stellen Sie sicher, dass die in den Abschnitten 2 und 3 erwähnten Module in Zeitsynchronisation ausgeführt werden, eines für jede gerade Anzahl von Sekunden und das andere für jede ungerade Anzahl von Sekunden.</li>
</ol>4. Entwicklung eines Client-Moduls zum Empfangen und Bearbeiten von Überwachungsbildern
<ol><li>Öffnen Sie das Servermodul, bei dem es sich um eine grafische Benutzeroberfläche handelt.</li>
	<li>Geben Sie die VVID-Portnummer in das Textfeld VVID ein, deren Standardwert 94f39d29 7d6d 437d 973b fba39e49d4ee ist.</li>
	<li>Klicken Sie auf Create Socket , um den Socket zu erstellen und zu binden. Klicken Sie auf Verbinden , um eine Verbindung mit der mobilen App herzustellen.</li>
	<li>Klicken Sie auf Aufnehmen , um die Szenenüberwachungsbilder aufzunehmen und im lokalen Ordner zu speichern</li>
	<li>Geben Sie den Namen des lokalen Ordners in das Feld Ordnername ein, wenn er ein anderer als der angegebene Standardname sein muss.</li>
</ol>5. Bedienung des Roboterarms
<ol><li>Lassen Sie das Client-Modul auch einen Roboterarm enthalten. Gestalten Sie den Arm so, dass er eine Rotationsbewegung in der Basis, der Schulter, dem Ellbogen, dem Handgelenk und den Fingern hat.</li>
	<li>Stellen Sie sicher, dass MG 996R Servos verwendet werden, um die Rotationsbewegung an der Basis, der Schulter und dem Ellbogen zu steuern. Stellen Sie sicher, dass der Servomotor SG 90 verwendet wird, um die Drehbewegung an Ellenbogen und Fingern zu steuern.</li>
	<li>Kompilieren Sie den in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR angegebenen Code in der Mikrocontroller-IDE, um den Roboterarm basierend auf den vom entfernten Chirurgen empfangenen Befehlen zu steuern.</li>
</ol>6. 3D Rekonstruktion für Augmented Reality
<ol><li>Lesen Sie jeweils zwei Bilder in einer Sequenz nacheinander aus dem lokalen Ordner, um die mögliche Überlappung (da die Bilder in unmittelbarer Nähe gesammelt werden, kommt es zu einer Überlappung zwischen den aufeinanderfolgenden Bildern) zwischen ihnen zu erhalten.</li>
	<li>Entwerfen Sie einen Tertiärfilter gemäß den Anforderungen der Beschreibung des gerichteten verstärkten Merkmals unter Verwendung des DITF-Algorithmus (Tertiary Filtering22 ), um den Gradienten und die Ausrichtung zu erhalten.</li>
	<li>Extrahieren Sie die Features mit der DITF-Methode22, wie in Abbildung 3 dargestellt.</li>
	<li>Rekonstruieren Sie 3D-Bilder aus den erfassten Features mit SFM23.</li>
</ol>7. Erkennung von Handgesten am Standort des Chirurgen
<ol><li>Erleichtern Sie dem Chirurgen die Inspektion der rekonstruierten 3D-Bildmerkmale, indem Sie ihm ermöglichen, die Umgebung aus allen Perspektiven zu visualisieren, indem Sie eine auf Handgesten basierende Drehung und das Vergrößern/Verkleinern von rekonstruierten Merkmalen ermöglichen.</li>
	<li>Normalisieren Sie den Abstand zwischen der Daumenspitze des Chirurgen und dem Zeigefinger der rechten Hand und ordnen Sie ihn in einen entsprechenden Drehwinkel ein. Die Normalisierung sei so, dass der minimale Abstand 0° und der maximale 180° entspricht.</li>
	<li>Übertragen Sie die Handgestensteuerung über Bluetooth auch an die Remote-Operationsumgebung für die Drehung der Objektplatte, wodurch sie sich um ihre Achse dreht, während sich die 3D-rekonstruierten Merkmale am Ende des Chirurgen drehen.</li>
	<li>Ermitteln Sie den Abstand zwischen der Spitze und dem Daumen der linken Hand des Chirurgen, um die Bewegung der Finger des Roboterarms zu steuern.</li>
	<li>Messen Sie den Höhenwinkel aus dem räumlichen Abstand zwischen der Daumenspitze und dem Zeigefinger der linken Hand des Chirurgen in Bezug auf eine imaginäre x-y-Grundebene, um den Höhenwinkel zu bestimmen. Ordnen Sie diesen Winkel einem Höhenwinkel zu, den der Roboterarm mit der x-y-Ebene erstellen kann.</li>
	<li>Ermitteln Sie den Azimutwinkel, den die Hand des Chirurgen mit der der virtuellen y-z-Ebene bildet. Identifizieren Sie diese Winkel durch handgestenbasierte Erkennung.</li>
	<li>Ordnen Sie den Abstand, die Höhe und die Azimutwinkel zu, um die Fingerbewegung des Roboters und die Armdrehung zu steuern, die beide dem Höhen- und Azimutwinkel entsprechen.</li>
	<li>Lassen Sie den Chirurgen die rekonstruierten Merkmale durch Zoomen und Drehen untersuchen. Lassen Sie den Chirurgen Befehle an den Roboterarm senden, um die Operation von einem entfernten Ort aus durchzuführen.</li>
	<li>Stellen Sie sicher, dass die Operationsbefehle als Steuerzeichenfolge der Sequenz übertragen werden, die mit einer Zeichenfolgenübereinstimmung beginnt, gefolgt von den Werten zur Steuerung der Plattentellerdrehung und der Roboterarmsteuerung. Sei [θb, θs, θe, θw, θf] der Winkel des Vektors, der aus Werten besteht, die jeweils dem Steuersignal entsprechen, das der Basis, der Schulter, dem Ellbogen, dem Handgelenk und dem Finger des Roboterarms entspricht. HINWEIS: Der GitHub-Link enthält den Code zum Aktivieren der Handgestensteuerung im chirurgischen Bereich. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
</ol>

Optimierte 3D-Rekonstruktion und Motion Mapping für AR-assistierte Chirurgie aus der Ferne

<ol><li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smartphone-based+augmented+reality+patient+education+in+radiation+oncology%5BTitle%5D)+AND+%22Tech+Innov+Patient+Supp+Radiation+Oncol%22%5BJournal%5D)">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).</li>
<li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation%5BTitle%5D)+AND+%22Comput+Anim+Virtual+Worlds%22%5BJournal%5D)">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223(2024).</li>
<li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop%5BTitle%5D)+AND+%22Robotic+Comput+Integ+Manufac%22%5BJournal%5D)">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664(2024).</li>
<li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time+to+imagine+an+escape%3A+investigating+the+consumer+timework+at+play+in+augmented+reality%5BTitle%5D)+AND+%22Eur+J+Market%22%5BJournal%5D)">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li>
<li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+augmented+reality+in+surgical+training%3A+a+systematic+review%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618(2020).</li>
<li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualization%2C+registration+and+tracking+techniques+for+augmented+reality+guided+surgery%3A+a+review%5BTitle%5D)+AND+%22Phys+Med+Biol%22%5BJournal%5D)">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02(2023).</li>
<li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li>
<li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bicuspid+aortic+valve%3A+The+most+frequent+and+not+so+benign+congenital+heart+disease%5BTitle%5D)+AND+%22Cardiovasc+Pathol%22%5BJournal%5D)">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604(2024).</li>
<li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years%5BTitle%5D)+AND+%22New+Engl+J+Med%22%5BJournal%5D)">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li>
<li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement%5BTitle%5D)+AND+%22J+Thorac+Cardiovas+Surg%22%5BJournal%5D)">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li>
<li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology%3A+phantom+study+results%5BTitle%5D)+AND+%22EJVES+Vascular+Forum%22%5BJournal%5D)">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li>
<li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Surgical+tele-mentoring+using+a+robotic+platform%3A+initial+experience+in+a+military+institution%5BTitle%5D)+AND+%22Surg+Endosc%22%5BJournal%5D)">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li>
<li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mentoring+approaches+in+a+safe+surgery+program+in+tanzania%3A+Lessons+learned+during+covid-19+and+recommendations+for+the+future%5BTitle%5D)+AND+%22Surg+Open+Sci%22%5BJournal%5D)">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li>
<li>de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Catheter+navigation+support+for+mechanical+thrombectomy+guidance%3A+3d%2F2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li>
<li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569(2023).</li>
<li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy%5BTitle%5D)+AND+%22Appl+Sci%22%5BJournal%5D)">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483(2023).</li>
<li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients%3A+a+contemporary+trial+benchmark%5BTitle%5D)+AND+%22Ann+Thorac+Surg%22%5BJournal%5D)">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li>
<li>Domínguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+simulation+as+training+model+of+ventricular+puncture%3A+Evidence+in+the+improvement+of+the+quality+of+punctures%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529(2023).</li>
<li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arias%3A+An+ar-based+interactive+advertising+system%5BTitle%5D)+AND+%22Plos+One%22%5BJournal%5D)">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838(2023).</li>
<li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines%5BTitle%5D)+AND+%22Mining%2CMetal+Explor%22%5BJournal%5D)">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li>
<li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311(2023).</li>
<li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+multi-view+3D+reconstruction+technology+based+on+SFM%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366(2022).</li>
<li>Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BEBLID%3A+Boosted+efficient+binary+local+image+descriptor%5BTitle%5D)+AND+%22Pattern+Recog+Lett%22%5BJournal%5D)">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li>
<li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid%5BTitle%5D)+AND+%22Int+J+Adv+Comp+Sci+Appl%22%5BJournal%5D)">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li>
</ol>

Die Autoren erklären, dass keine Interessenkonflikte bestehen.

In einer bestehenden Arbeit15 werden Röntgen- und CT-Scans untersucht, um den Katheter im Herzen zu lokalisieren. Der AR-TAVR-Ersatz schafft jedoch eine neue Möglichkeit im chirurgischen Eingriff von TAVR18 durch die Implementierung eines automatisierten Modells unter Verwendung der 3D-Rekonstruktion. Wie im Protokoll-Abschnitt erwähnt, besteht diese Arbeit aus fünf Phasen, die es zu entwerfen gilt. Die erste Stufe von DITF22, die in Abschnitt 6 erwähnt wurde und die wir in unserer vorherigen Arbeit22 vorgeschlagen haben, wird so erweitert, dass das Modell in medizinische Anwendungen eingebettet wird. Die zweite Stufe der 3D-Rekonstruktion ist die anspruchsvolle Aufgabe, das 3D-Modell aus 2D-Punkten zu konstruieren. Wir haben das Modell mit verschiedenen Eingabebildern getestet, um das Modell zu validieren. SFM23 wird verwendet, um die Bilder zu rekonstruieren. Die Korrespondenz des Bildes wird mit Hilfe von DITF22 zusammen mit einer Kalibriermatrix gemessen. Die nächste Stufe ist die Verfolgung von Handgesten; Das Interface der Handgestensteuerung in der 3D-Rekonstruktion ist eine weitere herausfordernde Aufgabe in Echtzeit. Die Skalierungssteuerung und die Rotationsvariation sind mit Handgesten eingebettet, um dem Remote-Experten einen einfachen Zugriff auf die 3D-Modelle zu ermöglichen. Die vierte Phase ist die Erstellung mobiler Apps, die in Abschnitt 3 für die automatische Bildaufnahme angegeben ist. Diese App lädt die Daten als 3D-Modell in den Remote-Experten. Die letzte Phase ist die Hardware-Einrichtung, die am Beispiel des Herzphantommodells mit einem Roboterarm demonstriert wird, der automatisiert den Katheter einführt, um die verletzte Herzklappe zu ersetzen, wie in Abbildung 1 gezeigt. 
Das entwickelte Verfahren zielt darauf ab, die Fernoperation von der Szenenüberwachung der chirurgischen Umgebung aus mit Hilfe von Augmented Reality und Merkmalsextraktion durchzuführen. Die in diesem Artikel vorgeschlagenen wesentlichen Beiträge werden nach bestem Wissen und Gewissen in der Literatur nicht berücksichtigt. Die entwickelte Methode hat eine geringe Latenz, um das 3D-Bild aus den Merkmalen zu rekonstruieren. Außerdem weist die Methode einen sehr geringen Fehler zwischen den rekonstruierten Features und dem Originalbild auf. Diese Latenz und der Fehler sind in Abbildung 6 bzw. Abbildung 7 dargestellt. Die Zahlen zeigen auch, dass die anderen Algorithmen, nämlich ORB24 und BEBLID25 , minderwertig sind als die vorgeschlagene Methode.
 
Die Herausforderung, mit der wir bei der Entwicklung des Verfahrens konfrontiert waren, ist die auf dem Bluetooth-Protokoll basierende Übertragung zwischen der mobilen App und dem Remote-Server. Da die Szenenerfassung und -übertragung alle 2 Sekunden abgeschlossen werden muss, war eine Ultrahochgeschwindigkeitskommunikation erforderlich. Es endete oft in einem defekten Sockel und erforderte eine Menge Ausnahmebehandlung und paralleles Routinemanagement für eine reibungslose Verarbeitung. Darüber hinaus hatten wir bei der Entwicklung und Implementierung der Methode einige Probleme.
Es gibt jedoch einige Techniken zur Fehlerbehebung, um sie zu lösen. Bei der Bluetooth-Kommunikation müssen Sie den richtigen Kanal oder die richtige VVID-Portnummer auswählen. Außerdem muss sichergestellt werden, dass das Bluetooth-Gerät an beiden Enden umgeschaltet wird, bevor Sie fortfahren. Hinsichtlich der mikroprozessorbasierten Routine zur Ansteuerung des Roboterarms und des hängenden Rotationsarms sind die Portnummern für die serielle Kommunikation sicherzustellen. Der Anschluss des Motortreibers unter Berücksichtigung des NEMA- und Servomotors ist ordnungsgemäß sicherzustellen. Wenn es nicht richtig gemacht wird, dreht sich der NEMA-Motor auf unerwünschte Weise, auch wenn nur die Verbindung zum Fahrer falsch gemacht wird. Die Leitungen von zwei Spulen des NEMA-Motors müssen korrekt identifiziert werden. Andernfalls kann es passieren, dass sich die Verbindung mit dem Treiber unerwünscht dreht oder sogar der Motor beschädigt wird. Die Konstruktion einer Kupplung zur Unterstützung des Aufhängens eines rotierenden Arms, der etwa 1 kg wiegt, war eine Herausforderung. Um das Problem zu lösen, haben wir ein Loch mit einem Durchmesser von 1 mm in die Welle des Motors gebohrt. Das Ausbalancieren beider Seiten des Arms, einschließlich des Gewichts eines mobilen Geräts, ist ebenfalls eine Herausforderung. Andernfalls kann die Struktur an der Bodenoberfläche schleifen, was dazu führt, dass die Struktur von der Motorwelle abgerissen oder heruntergezogen wird. Das ordnungsgemäße Einschrauben der Basis, der Schulter, des Ellbogens, des Handgelenks und der Finger des Roboterarms muss sichergestellt werden. Ist dies nicht der Fall, können die Teile herunterfallen, wenn er sich dreht und das Gewicht anhebt. Der parallele Betrieb von zwei Modulen sollte durch das Einrichten einer geeigneten Python-Umgebung sichergestellt werden, in der verschiedene Threads parallel laufen, um ein reibungsloses Arbeiten zu gewährleisten.
Die Ergebnisse kommen zu dem Schluss, dass das vorgeschlagene Modell Automatic TAVR18 eine effektive Methode für die chirurgische Führung bei AR ist. Dieses vorgeschlagene Modell ist flexibel, um diesen Prototyp auf jede Operation im medizinischen Bereich gemäß der medizinischen Expertenanleitung anzuwenden. Lernbasierte Modelle können die 3D-Rekonstruktion verbessern. Um das 3D-Modell zu rekonstruieren, müssen mehrere Ansichten mit guten Lichtbildern als Eingabe angegeben werden. Dies kann jedoch in Zukunft behoben werden. Darüber hinaus möchten wir in Zukunft eine auf 5G-Kommunikation basierende Übertragung entwickeln, um eine geringe Latenz und eine äußerst zuverlässige Kommunikation für einen fehlerfreien und reibungslosen Betrieb zu gewährleisten. Außerdem möchten wir ein eigenes AR-Gerät entwickeln, anstatt eines derzeit verwendeten Emulators. Dies kann die Visualisierung des 3D-Modells in einer chirurgischen Live-Umgebung verbessern.

AR kann das 3D-Modell in einer realen Umgebung überlagern. Die technologische Entwicklung hin zu AR hat in vielen Bereichen einen Paradigmenwechsel vollzogen, nämlich in der Bildung1, in der Medizin2, in der Fertigung3 und in der Unterhaltung4. Die AR-Technologie erweist sich zusammen mit der äußerst zuverlässigen Kommunikation mit geringer Latenz als unvermeidlich im medizinischen Bereich. Von der Lernphase der menschlichen Anatomie bis hin zur chirurgischen Anleitung können die Lernphasen mit AR-gestützter Software 5,6 und Hardware visualisiert werden. AR bietet dem Arzt in einer chirurgischen Umgebung eine entscheidende und zuverlässige Lösung 7,8.
Die Aortenklappenstenose ist die Herzklappenerkrankung, die bei der Menschheit am häufigsten auftritt9. Die Hauptursache der Krankheit sind schlechte Ernährungsgewohnheiten und unregelmäßige Routinen des täglichen Lebens. Symptom und Folge der Erkrankung ist die Verengung der Herzklappe, gefolgt von einer Verminderung des Blutflusses. Dieses Problem muss angegangen werden, bevor das menschliche Herz geschädigt wird. Somit ist das Herz überlastet, um den Blutfluss zu verarbeiten. Bevor also ein Schaden entsteht, muss eine Operation durchgeführt werden, die aufgrund der technologischen Entwicklungen in den letzten Tagen auch mit dem TAVR-Verfahren durchgeführt werden kann. Das Verfahren kann je nach Zustand des Herzens und anderer Körperteile des Patienten angewendet werden. Bei diesem TAVR10,11 wird der Katheter eingeführt, um die beschädigte Klappe im Herzen zu ersetzen. Das Platzieren des Katheters in Position12 zum Austausch der Klappe ist für den Behandler jedoch mühsam. Diese Idee motivierte uns, ein automatisiertes Operationsmodell auf Basis von AR13,14 zu entwickeln, das dem Chirurgen hilft, die Klappe während des Wechselprozesses präzise zu positionieren. Darüber hinaus kann die Operation mit einem Motion-Mapping-Algorithmus durchgeführt werden, der die Bewegung des Chirurgen, die von einem entfernten Ort aus erfasst wird, auf den Roboterarm abbildet.
In der bestehenden Arbeit 15,16,17 wird die Visualisierung des TAVR 18-Verfahrens durch Fluoroskopie überwacht. Daher ist es schwierig, die Herzklappe zu analysieren und mühsam, die Ersatzstelle zu finden. Dies stellt eine Barriere für die Positionierung des Katheters im menschlichen Herzen dar. Darüber hinaus wird die Fernbewegung auf das Operationsfeld abgebildet, um den Prozess zu automatisieren. Um die Forschungslücke zu schließen, schlagen wir jedoch eine automatisierte roboterbasierte Chirurgie für den Klappenersatz mit Hilfe von AR-gestützter Technologie vor.
Das Protokoll ist ein generisches Modell, das auf alle chirurgischen Umgebungen angewendet werden kann. In der Anfangsphase der Arbeit werden 2D-Bilder rund um die chirurgische Umgebung mit der vollsten räumlichen Auflösung und dem größten Freiheitsgrad aufgenommen. Dies bedeutet, dass genügend Bilder für die 3D-Rekonstruktion19 aufgenommen werden, gefolgt von Motion Mapping durch Handgestenverfolgung20.

<table><tbody><tr><td>Android IDE-Software</td><td></td><td>https://developer.android.com/studio</td><td>Software kann unter diesem Link heruntergeladen werden</td></tr><tr><td>Arduino Board</td><td>Ardunio Uno</td><td>Ardunio Uno</td><td>Mikrocontroller für die Verarbeitung</td></tr><tr><td>von Arduino-Software-Software</td><td></td><td>https://www.arduino.cc/en/software.</td><td>Die Software kann unter diesem Link heruntergeladen werden.</td></tr><tr><td>Menschliches Herz Phantommodell</td><td>Hersteller und Exporteur von Biologie Laborgeräten</td><td>B071YBLX2V(8B-ZB2Q-H3MS-1)</td><td>leichtes Modell mit 3 Teilen zur tiefen Analyse des Herzens.</td></tr><tr><td>Mobiler Halter</td><td>Humble Universal Monopoad Halter</td><td>B07S9KNGVS</td><td>Um das Handy im chirurgischen Bereich zu tragen</td></tr><tr><td>, kann die Pycharm IDE-Software</td><td></td><td>https://www.jetbrains.com/pycharm/</td> <td>Software kann von diesem Link heruntergeladen werden</td></tr><tr><td>Roboterarm</td><td>Printed-Bots</td><td>B08R2JLKYM(P0-E2UT-JSOU)</td><td>Arm kann durch Steuerung gesteuert werden signal.it hat 5 Freiheitsgrade für den Zugang.</td></tr><tr><td>Servomotor</td><td>Kollmorgen Co-Engineers Motors</td><td>MG-966R</td><td>Hochleistungs-Servomotor, Servoimpulse von 500 bis 2500 Mikrosekunden (&micro; s) mit einer Frequenz von 50 Hz bis 333 Hz.</td></tr><tr><td>Servomotor</td><td>Kollmorgen Co-Ingenieure&nbsp; Motoren</td><td>SG-90R</td> mit <td>einer Last von 1,8 kg-cm bis 2,5 kg-cm können auf das Servo SG-90R aufgebracht werden.</td></tr><tr><td>Schrittmotor</td><td>28BYJ-48</td><td>28BYJ-48</td><td>Schrittmotor, 5V DC, Frequenz 100 Hz, Drehmoment 1200 Gf.cm</td></tr><tr><td>Schrittmotor</td><td>Nema 23</td><td>Nema</td><td>Schrittmotor, 9V - 42 V DC, Frequenz 100 Hz</td></tr></tbody></table>

automatische chirurgie beim transkatheter-aortenklappenersatz mit augmented reality

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

Augmented Reality (AR) ist in medizinischen Anwendungen sehr gefragt. Das Ziel der Arbeit ist es, die automatische Chirurgie mit AR für den Transkatheter-Aortenklappenersatz (TAVR) bereitzustellen. TAVR ist das alternative medizinische Verfahren für Operationen am offenen Herzen. TAVR ersetzt die verletzte Klappe mit Hilfe eines Katheters durch die neue. Im bestehenden Modell ist eine Fernführung gegeben, während die Operation nicht auf Basis von AR automatisiert wird. In diesem Artikel haben wir eine räumlich ausgerichtete Kamera eingesetzt, die mit einem Motor verbunden ist, um die Bilderfassung im chirurgischen Umfeld zu automatisieren. Die Kamera verfolgt das hochauflösende 2D-Bild des Herzens des Patienten zusammen mit dem Katheterprüfstand. Diese aufgenommenen Bilder werden über die mobile App an einen entfernten Chirurgen hochgeladen, der ein Kardiologieexperte ist. Dieses Bild wird für die 3D-Rekonstruktion aus der 2D-Bildverfolgung verwendet. Dies wird in einer HoloLens wie ein Emulator auf einem Laptop angezeigt. Der Chirurg kann die rekonstruierten 3D-Bilder mit zusätzlichen Transformationsfunktionen wie Rotation und Skalierung aus der Ferne inspizieren. Diese Transformationsfunktionen werden durch Handgesten aktiviert. Die Anweisungen des Chirurgen werden an die chirurgische Umgebung übertragen, um den Prozess in Echtzeitszenarien zu automatisieren. Der Katheterprüfstand im Operationsfeld wird durch die Handgestenführung des Remote-Chirurgen gesteuert. Das entwickelte Prototypmodell demonstriert die Wirksamkeit der chirurgischen Fernführung durch AR.

Das Protokoll wurde mit dem Herzphantom-Modell getestet. Abbildung 2 zeigt den zu erwartenden Aufbau für die Live-Überwachung des Operationsfeldes mit Hilfe von räumlich verteilten Kameras. Die verteilten Kameras, wie in Abbildung 2 gezeigt, tragen dazu bei, die räumliche Auflösung des Feldes für eine effektive 3D-Rekonstruktion zu erhöhen. Die physische Platzierung dieser Kameras an verschiedenen räumlichen Orten ist jedoch mit Komplexität verbunden. Daher haben wir das Setup-Design optimiert und die Lösung für eine räumlich selbstorientierte Kameraanordnung gefunden, die von einem NEMA-Motor gedreht wird, der von einem TB6600-Treiber angetrieben wird. Diese Struktur ist machbar und wird im Modell implementiert und ist in Abbildung 1 dargestellt.
In Abbildung 1 werden die automatischen Kamera-Schnappschüsse, gefolgt von ihrer Übertragung über das Bluetooth-Protokoll, durch einen Android-Code gesteuert. Das Modul ist so organisiert, dass die Erfassung einmal in jeder ungeraden Sekunde stattfindet und ihre Übertragung einmal in jeder geraden Sekunde erfolgt, wie in Abschnitt 3 erwähnt. Das Mikrocontroller-Modul, das mit dem NEMA-Motor verbunden ist, sorgt dafür, dass sich die Struktur einmal pro Sekunde dreht, so dass genügend Zeit für unscharfe Fotoaufnahmen gewährleistet ist. Insgesamt werden also 30 Fotos über 360° Drehung aufgenommen und per Bluetooth übertragen.
In Abbildung 1 ist auch die 3D-rekonstruierte Ansicht der DITF-Deskriptoren der chirurgischen Umgebung dargestellt. Es ist zu beachten, dass diese deskriptorbasierten Rekonstruktionen von den Chirurgen durch Zoomen und Drehen durch Handbewegungsmapping inspiziert werden können. Außerdem werden diese Bewegungen in die chirurgische Umgebung gesendet, um die Operation zu imitieren, so dass der Katheter in das reale Feld eingeführt werden kann. Das Motion Mapping erfolgt so, dass sie in sechs verschiedenen Winkeln abgebildet werden, um die Roboterteile zu steuern, nämlich Basis, Schulter, Ellbogen, Handgelenk, Greifer und Finger. Diese Winkel werden in Vektorform als [θb, θs, θe, θw, θf] bezeichnet. Im gegebenen Vektor entspricht der Wert θpdem Motion-Mapping, um die Platte des menschlichen Objekts zu drehen. Derselbe θpwird auch verwendet, um den Deskriptor auszurichten, der im HoloLens-Emulator an der Seite des Chirurgen angezeigt wird.
Abbildung 3 zeigt die DITF-Merkmale des Phantommodells, das den wesentlichen Schritt für die 3D-Rekonstruktion darstellt. Anhand der extrahierten Merkmale werden die Entsprechungen im Bildabgleich identifiziert. Die Übereinstimmung zwischen den Referenzbildern und den verschiedenen Ergebnissen der 45°-Drehung ist in Abbildung 4 dargestellt. Die Entsprechung mit unterschiedlichen Farben zeigt deutlich, wie effektiv es ist, ähnliche Merkmale zu identifizieren und abzugleichen, selbst wenn sich die Bilder in unterschiedlichen Ansichtsausrichtungen befinden. In Abbildung 5 ist die Genauigkeit des Motion Mapping enthalten, was darauf hinweist, dass die Genauigkeit hoch ist, wenn der Abstand zwischen den beiden Fingern gering ist. Wenn jedoch der Abstand zwischen den Fingern zunimmt, beginnt die Genauigkeit abzunehmen.
Auf der anderen Seite ist die Zeit, die das Modell benötigt, um die Daten zu verarbeiten, in AR entscheidend. Daher wird dieser Parameter für die Validierung des vorgeschlagenen Modells einbezogen, die Zeitverzögerung für die Verarbeitung des Bildes wird gemessen und die Ergebnisse werden mit bestehenden Algorithmen wie Oriented FAST und Rotated BRIEF (ORB)24 und Boosted Efficient Binary Local Image Descriptor (BEBLID)25 verifiziert. Die Ergebnisse zeigen, dass die DITF die bestehenden Modelle wie ORB und BEBLID in Bezug auf die Latenz übertrifft, wie in Abbildung 6 dargestellt. Darüber hinaus wird das 3D-Rekonstruktionsmodell mit dem Rekonstruktionsfehler validiert, und die in Abbildung 7 gezeigte Abbildung zeigt, dass das Histogramm schmal ist, was bedeutet, dass der Rekonstruktionsfehler minimal ist. Es zeigt, dass die Rekonstruktion des vorgeschlagenen Algorithmus verifiziert und validiert ist. Abbildung 8 zeigt die Ausgabe der 3D-Rekonstruktion für das vorgeschlagene Modell. Es spiegelt die Klarheit in der Visualisierung wider, und die quantitativen Ergebnisse des Bildes werden auch anhand der Diagramme überprüft. Diese Ergebnisse beweisen, dass das vorgeschlagene Modell mit der Rotationstransformation alle notwendigen Merkmale extrahiert hat, um das 3D-Modell zu rekonstruieren. Daher kann der Remote-Experte das Operationsfeld präzise visualisieren und steuern.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67096/67096fig01.jpg"> Abbildung 1: Implementierung des Hardware-Setups für die automatisierte Chirurgie des Transkatheter-Aortenklappenersatzes mittels Augmented Reality. (A) Operationsfeld mit einem Live-Monitoring-System. (b) Augmented Reality-basierte Visualisierung. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig01large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67096/67096fig02.jpg"> Abbildung 2: Erwartetes Modell der chirurgischen Umgebung. Das gezeigte Modell ist mit einer Live-Überwachung der chirurgischen Umgebung mittels räumlich verteilter Kamerasensoren ausgestattet. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig02large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/67096/67096fig03.jpg"> Abbildung 3: Modell eines menschlichen Herzens, das in einem chirurgischen Prüfstand platziert wurde, und seine extrahierten Merkmale unter Verwendung des Merkmalsdeskriptor-Algorithmus. (A) Eingabe des Herzphantommodells. (B) Richtungsverstärkte Merkmalsbeschreibung unter Verwendung der tertiären Filtermerkmalsextraktion des Herzphantommodells. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig03large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/67096/67096fig04.jpg"> Abbildung 4: Merkmalsabgleich zwischen zwei Bildmerkmalen. (A) Richtungsverstärkte Merkmalsbeschreibung unter Verwendung der tertiären Filtermerkmalsextraktion für das Herzphantommodell. (B) Richtungsverstärkte Merkmalsbeschreibung unter Verwendung der tertiären Filtermerkmalsextraktion eines um 45° gedrehten Herzphantommodells. Die Linien zeigen die Entsprechung zwischen den Merkmalen ähnlicher Bilder in zwei unterschiedlichen Ausrichtungen an. Die Linienfarbe zeigt die verschiedenen ausgewählten Features an. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig04large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/67096/67096fig05.jpg"> Abbildung 5: Genauigkeit der Verfolgung von Handgesten. Die Abbildung zeigt die prozentuale Genauigkeit. Die Probennummer (N) wird auf 500 gewählt. Das Motion Mapping wird 500 Mal durchgeführt, wobei die Anzahl der richtigen Maps gefunden wird. Dann wird die Genauigkeit als Verhältnis zwischen der korrekten Kartierung und der Gesamtzahl der Stichproben berechnet. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig05large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/67096/67096fig06.jpg"> Abbildung 6: Latenz der direktional intensivierten Merkmalsbeschreibung unter Verwendung der tertiären Filterung mit Oriented FAST und rotated BRIEF und Boosted Efficient Binary Local Image Descriptor Algorithmus. Die Latenz, d. h. die Zeit, die benötigt wird, um die Features aus einem Bild zu extrahieren, wird grafisch dargestellt. Wir haben N als 500 gewählt, was bedeutet, dass die Berechnung der Zeitverzögerung über 500 Mal durchgeführt und dann gemittelt wird. Das Verfahren wird für drei Algorithmen durchgeführt und grafisch dargestellt. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig06large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/67096/67096fig07.jpg"> Abbildung 7: Verteilung der Rekonstruktionsfehler des vorgeschlagenen Modells. Der Rekonstruktionsfehler ist der Fehler zwischen dem rekonstruierten 3D-Bild aus seinem Merkmal und dem Originalbild. Das Fehlerdiagramm ist ein Histogramm, das die Anzahl der Vorkommen eines bestimmten Ereignisses angibt. Die Anzahl ist maximal, wenn der Fehler Null ist, und er zerfällt auf beiden Seiten. Das ist das gewünschte Ergebnis. Die Abbildung zeigt, dass die Varianz des Histogramms (Normale Dichte) geringer ist, so dass der Fehler vom Mittelwert (0) nicht sehr stark in beide Richtungen gestreut ist. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig07large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 8" class="xfigimg" src="/files/ftp_upload/67096/67096fig08.jpg"> Abbildung 8: 3D-Rekonstruktion des Herzmodells. Jeder farbige Punkt zeigt den 3D-rekonstruierten Punkt aus dem entsprechenden Feature an. Ab sofort normalisiert der Merkmalsrekonstruktionsalgorithmus die Farbe, und damit werden andere Merkmale eingefärbt. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig08large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>

In diesem Artikel wird das Design und die Implementierung eines Moduls für die automatische Chirurgie vorgestellt, das auf Augmented Reality (AR)-basierter 3D-Rekonstruktion basiert. Das System ermöglicht die Fernchirurgie, indem es Chirurgen ermöglicht, rekonstruierte Merkmale zu inspizieren und chirurgische Handbewegungen zu replizieren, als ob sie die Operation in unmittelbarer Nähe durchführen würden.

Automatische Chirurgie beim Transkatheter-Aortenklappenersatz mit Augmented Reality

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter ...

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

Forschung

JoVE Journal

Medicine

Medizin

Das Ziel dieser Studie war, die Co-Registrierung für Bild Fusion (IF) von Pre-interventionelle CT-Daten mit Echtzeit-(XR) Röntgendurchleuchtung während der transfemorale Transkatheter-Aortenklappe-Implantation (TAVI) zu verbessern.

Registrierung von 3D CT-Angiographie mit Röntgen-Durchleuchtung für Image Fusion bei Transkatheter-Aortenklappe-Implantation verbessert

Die Augmented-Reality-Technologie wurde auf die Kerndekompression bei Osteonekrose des Hüftkopfes angewendet, um eine Echtzeit-Visualisierung dieses chirurgischen Eingriffs zu realisieren. Diese Methode kann die Sicherheit und Präzision der Kerndekompression effektiv verbessern.

Augmented Reality Navigationsgesteuerte Kerndekompression bei Osteonekrose des Oberschenkelkopfes

Die teleoperierte robotergestützte perkutane transiliakral-transsakrale Schraubenfixation ist eine praktikable Technik. Durch die hervorragende Bewegungsfreiheit und Stabilität der Roboterarme können Schraubkanäle mit hoher Genauigkeit realisiert werden.

Eine teleoperierte robotergestützte perkutane transiliakral-transsakrale Schraubenfixationstechnik

Fortschritte in der endovaskulären Behandlung haben komplexe offene chirurgische Verfahren durch minimalinvasive Optionen wie Klappenersatz und Aneurysmareparatur ersetzt. In diesem Artikel wird vorgeschlagen, dreidimensionale (3D) Modellierung und virtuelle Realität zu verwenden, um die C-Bogen-Positionierung, Winkelmessungen und die Erstellung von Roadmaps für die neurointerventionelle Katheterlabor-Verfahrensplanung zu unterstützen und die Verfahrenszeit zu minimieren.

Wegweisende patientenspezifische Ansätze für die Präzisionschirurgie mit Bildgebung und Virtual Reality

Ein Ansatz für den sekundären Zugang der oberen Extremitäten während der Implantation einer transfemoralen Transkatheter-Aortenklappe ist mit weniger Blutungskomplikationen an der sekundären Zugangsstelle verbunden und verkürzt die Zeit bis zur Mobilisierung bei Patienten, die eine längere Stimulation benötigen. Dieses Protokoll soll einen umfassenden Überblick über den Ansatz der oberen Extremitäten geben und die Bediener bei der Anwendung dieser Methode unterstützen.

Zugang der oberen Extremitäten für den sekundären Zugang bei der Implantation der transfemoralen Transkatheter-Aortenklappe

Um die zellulären und molekularen Mechanismen neotissue Bildung und Stenose Entwicklung in Gewebezüchtungen Herzklappen zugrunde liegen, wurde ein Maus-Modell der heterotopen Herzklappentransplantation entwickelt. Eine Lungenherzklappe wurde mit der heterotopen Herztransplantation Technik, um Empfänger transplantiert.

Transplantation von Pulmonalklappe Mit einem Maus-Modell der heterotopen Herztransplantation

Vollwurzel-Aortenklappenersatz durch stentless Aorten-Xenotransplantat ist eine praktikable Option bei Patienten mit kleinen Aortenwurzeln. Wir beschreiben eine Technik für die Vollwurzelimplantation von stentlosen Aorten-Xenotransplantaten mit Schwerpunkt auf der Verwaltung der proximalen Nahtlinie und koronaren Anastomosen und diskutieren ihre Grenzen und Alternativen.

Vollwurzel Aortenklappenaustausch durch stentless Aortic Xenotransplantate bei Patienten mit kleinen Aortenwurzeln

Ventil-schonende Aortenwurzel Ersatz hat den Vorteil der Erhaltung der patienteneigenen Aortenklappe. Die Komplexität der gemeldeten Techniken bisher schränkt ihre Verwendung auf eine begrenzte Anzahl von Herzchirurgen. Dieses Protokoll beschreibt Schritt für Schritt eine standardisierte Technik, die durch eine größere Anzahl von Herzchirurgen reproduzierbar.

Standardisierte Technik der Aortenklappe erneute Implantation für Ventil-sparing Aortic Root Ersatz

Das Ziel dieses Protokolls ist es, im Detail zu beschreiben, die Technik der minimal-invasiver Aortenklappenersatz durch eine rechts anterior Mini-Thorakotomie und zentralen Aorta Kanülierung. Diese Technik kann potenziell steigern den Komfort des Patienten und durch die Reduzierung der postoperativen Morbidität, fördern die Dauer des Aufenthalts und die Gesamtkosten zu senken.

Technik und geduldige Auswahlkriterien der rechten vorderen Mini-Thorakotomie für Minimal Access Aortenklappenersatz

Brustkrebs-bedingte Lymphödeme sind häufig bei Brustkrebs-Überlebenden, aber es gibt nicht weit verbreitete Richtlinien für seine Diagnose und Quantifizierung. Hier führen wir ein zuverlässiges und kostengünstiges Protokoll ein, um das Volumen der oberen Gliedmaßen bei Brustkrebspatientinnen zu definieren, zu quantifizieren und zu vergleichen.

Integration von Augmented Reality Tools in Breast Cancer Related Lymphödem Prognostication and Diagnosis

Erfahren Sie automatische Chirurgie mit Augmented Reality für präzise Fernoperationen. Diese Methode nutzt Echtzeit-3D-Rekonstruktion und robotergestützte Steuerung zur Verbesserung chirurgischer Ergebnisse.

Automatische Chirurgie beim Transkatheter-Aortenklappenersatz mit Augmented Reality

Weitere Videos entdecken