Name: Cirugía automática en reemplazo valvular aórtico transcatéter mediante realidad aumentada (Video) | JoVE Journal
Uploaded: 2024-08-09T14:25:00.000+00:00
Duration: 7 min 46 s
Description: Aprende cirugía remota automática mediante realidad aumentada y robótica para mejorar la precisión quirúrgica. Este método utiliza reconstrucción 3D en tiempo real y extracción de características intensificadas.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Los autores reconocen que no hay fondos para esta investigación.

1. Entorno quirúrgico
<ol><li>Diseñe un entorno quirúrgico como se muestra en la Figura 1. Asegúrese de que el entorno tenga un plato para transportar objetos, un brazo robótico y dos brazos para colgar lateralmente, uno para sostener un marcador de posición de la cámara y el otro para tener un fondo blanco consistente junto con el módulo de pesaje para el equilibrio.</li>
	<li>Desarrolle dos controladores, uno para la instantánea del entorno quirúrgico en vivo, como se menciona en los pasos 2.1 a 2.10, y el otro para controlar el mecanismo giratorio que admite la vigilancia de 360°, como se mencionó en los pasos 3.1 a 3.4.</li>
	<li>Antes de implementar los dos módulos anteriores, habilite Bluetooth del dispositivo móvil y la computadora portátil, que sirven como emulador de HoloLens del cirujano.</li>
	<li>Empareje los dispositivos para una transmisión de imágenes ininterrumpida.</li>
</ol>2. Configurar el controlador para controlar los dos brazos colgantes
<ol><li>Asegúrese de que los brazos colgantes estén controlados por un motor paso a paso con la disposición que se muestra en la Figura 2 para una revolución impecable de 360°.</li>
	<li>Conecte el motor a la placa del microcontrolador mediante el controlador TB 6600. Para hacer funcionar el motor, instale el IDE del microcontrolador desde el navegador.</li>
	<li>Haga clic en el botón Descargar para descargar el software. A continuación, en el IDE del microcontrolador, vaya a Archivo > Abrir un nuevo boceto para escribir el código.</li>
	<li>Asegúrese de conectar la placa del microcontrolador para interactuar con el nuevo boceto a través de un puerto de conexión dedicado, por ejemplo, COM 4. Verifique el puerto Com y verifique que muestre la placa del microcontrolador.</li>
	<li>Compruebe la configuración del interruptor de hardware del controlador del motor paso a paso TB 6600. Asegúrese de que los ajustes sean tales que el flujo de corriente sea de 2 A, lo que se puede lograr configurando SW4 ON y SW5 y SW6 OFF.</li>
	<li>Asegúrese de que las posiciones de los interruptores SW1, SW2 y SW3 estén configuradas de modo que el micropaso sea de 1/8 de paso para alcanzar los pasos de revolución según el requisito. Asegúrese de que la configuración sea SW1 OFF, SW2 ON y SW3 OFF en TB6600.</li>
	<li>Conecte el RTC 3231 con el microcontrolador para tener una sincronización en tiempo global real. Asegúrese de que el tamaño del paso de revolución sea de 12° y que el incremento del paso del motor se active solo cuando la unidad en tiempo real, es decir, los segundos leídos del módulo RTC, sea impar.</li>
	<li>Conecte el pin de 5 V de la placa del microcontrolador al RTC VCC y el GND del microcontrolador al GND del RTC.</li>
	<li>Conecte el pin SCL del RTC al pin A0 y el SDA al pin A1 del microcontrolador. Este módulo puede garantizar un tamaño de paso de 12 °, haciendo 30 pasos en una revolución. Asegúrese de que el incremento de pasos se produzca cada segundo impar. Deje que este módulo de software accione el motor paso a paso21.</li>
	<li>Compruebe que la instalación funciona correctamente ejecutando el código, que está disponible en la página de GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Descarga Android Studio para desarrollar la app de cámara automática. Asegúrese de que se cumplan los requisitos del sistema y, a continuación, descargue el software del sitio web.</li>
</ol>3. Desarrollo de un controlador para la vigilancia de escenas y la transmisión de imágenes basadas en dispositivos móviles como módulo cliente
<ol><li>Desarrollar una aplicación de cámara en el sistema operativo Android que pueda tomar instantáneas cada 2 s, especialmente cuando los segundos son números impares.</li>
	<li>Conecte el teléfono móvil con el sistema. En Android Studio, haz clic en Nuevo > Nuevo proyecto y elige Empty Views Activity. Haga clic en Siguiente para desarrollar un código de Android, que está disponible en https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Asegúrese de que la aplicación capture las imágenes automáticamente y las envíe a un dispositivo remoto de forma coherente.</li>
	<li>Transmita instantáneas desde la aplicación móvil inmediatamente después de tomar la instantánea al dispositivo emparejado, es decir, al sistema del cirujano remoto, a través de Bluetooth. NOTA: Asegúrese de que los módulos mencionados en las secciones 2 y 3 se ejecuten en sincronización de tiempo, uno para cada número par de segundos y el otro para cada número impar de segundos.</li>
</ol>4. Desarrollo de un módulo cliente para recibir y manejar imágenes de vigilancia
<ol><li>Abra el módulo servidor, que es una interfaz gráfica de usuario.</li>
	<li>Introduzca el número de puerto VVID en el campo de texto VVID, cuyo valor predeterminado es 94f39d29 7d6d 437d 973b fba39e49d4ee.</li>
	<li>Haga clic en Crear socket para crear y vincular el socket. Haga clic en Conectar para establecer una conexión con la aplicación móvil.</li>
	<li>Haga clic en Capturar para capturar y guardar las imágenes de vigilancia de la escena en la carpeta local</li>
	<li>Introduzca el nombre de la carpeta local en el campo nombre de la carpeta si debe ser diferente del predeterminado mencionado.</li>
</ol>5. Manejo del brazo robótico
<ol><li>Deje que el módulo cliente incluya también un brazo robótico. Diseñe el brazo para que tenga un movimiento de rotación en su base, hombro, codo, muñeca y dedos.</li>
	<li>Asegúrese de que los servos MG 996R se utilizan para gobernar el movimiento de rotación en la base, el hombro y el codo. Asegúrese de que el servomotor SG 90 se utilice para controlar el movimiento de rotación en el codo y los dedos.</li>
	<li>Compile el código dado en https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR en el IDE del microcontrolador para impulsar el brazo robótico en función de los comandos recibidos del cirujano remoto.</li>
</ol>Reconstrucción 6. 3D para realidad aumentada
<ol><li>Leer dos imágenes a la vez en una secuencia, una a una, de la carpeta local para obtener la posible superposición (al estar las imágenes recogidas muy cerca, habrá una superposición entre las imágenes consecutivas) entre ellas.</li>
	<li>Diseñe un filtro terciario según los requisitos de la Descripción de características intensificadas direccionales utilizando el algoritmo de filtrado terciario22 (DITF) para obtener el gradiente y la orientación.</li>
	<li>Extraiga las entidades utilizando el método DITF22, como se muestra en la Figura 3.</li>
	<li>Reconstruya imágenes 3D a partir de las entidades recopiladas utilizando SFM23.</li>
</ol>7. Reconocimiento de gestos con la mano en la ubicación del cirujano
<ol><li>Facilitar al cirujano la inspección de las características de la imagen reconstruida en 3D permitiéndole visualizar el entorno desde todas las perspectivas al proporcionar rotación basada en gestos de la mano y acercar/alejar las características reconstruidas.</li>
	<li>Normalice y mapee la distancia entre la punta del pulgar del cirujano y el dedo índice de la mano derecha en un ángulo de rotación correspondiente. Que la normalización sea de tal manera que la distancia mínima mínima corresponda a 0° y la máxima a 180°.</li>
	<li>Transmita el control de gestos de la mano, a través de Bluetooth, al entorno de cirugía remota, así como para la rotación del plato de objetos, lo que lo hace girar sobre su eje mientras las características reconstruidas en 3D giran en el extremo del cirujano.</li>
	<li>Encuentre la distancia entre la punta y el pulgar de la mano izquierda del cirujano para controlar el movimiento de los dedos del brazo del robot.</li>
	<li>Mida el ángulo de elevación a partir de la distancia espacial entre la punta del pulgar y los dedos índices de la mano izquierda del cirujano con respecto a un plano de tierra x-y imaginario para determinar el ángulo de elevación. Asigne este ángulo a un ángulo de elevación que el brazo del robot pueda hacer con el plano x-y.</li>
	<li>Halla el ángulo de acimut que forma la mano del cirujano con la del plano virtual y-z. Identifique estos ángulos a través del reconocimiento basado en gestos con las manos.</li>
	<li>Asigne la distancia, la elevación y los ángulos de acimut para controlar el movimiento de los dedos y la rotación del brazo del robot, que corresponden a los ángulos de elevación y acimut.</li>
	<li>Deje que el cirujano inspeccione las características reconstruidas haciendo zoom y girando. Deje que el cirujano transmita comandos al brazo robótico para realizar la cirugía desde una ubicación remota.</li>
	<li>Asegúrese de que los comandos de cirugía se transmitan como una cadena de control de secuencia, comenzando con una cadena concurrente seguida de los valores para controlar la rotación del plato y el controlador del brazo robótico. Sea [θb, θs, θe, θw, θf] el ángulo del vector que consta de valores, cada uno correspondiente a la señal de control correspondiente a la base, el hombro, el codo, la muñeca y el dedo del brazo del robot. NOTA: El enlace de GitHub proporciona el código para habilitar el control de gestos con la mano en el campo quirúrgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
</ol>

Reconstrucción 3D optimizada y mapeo de movimiento para cirugía asistida por RA a distancia

<ol><li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smartphone-based+augmented+reality+patient+education+in+radiation+oncology%5BTitle%5D)+AND+%22Tech+Innov+Patient+Supp+Radiation+Oncol%22%5BJournal%5D)">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).</li>
<li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation%5BTitle%5D)+AND+%22Comput+Anim+Virtual+Worlds%22%5BJournal%5D)">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223(2024).</li>
<li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop%5BTitle%5D)+AND+%22Robotic+Comput+Integ+Manufac%22%5BJournal%5D)">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664(2024).</li>
<li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time+to+imagine+an+escape%3A+investigating+the+consumer+timework+at+play+in+augmented+reality%5BTitle%5D)+AND+%22Eur+J+Market%22%5BJournal%5D)">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li>
<li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+augmented+reality+in+surgical+training%3A+a+systematic+review%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618(2020).</li>
<li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualization%2C+registration+and+tracking+techniques+for+augmented+reality+guided+surgery%3A+a+review%5BTitle%5D)+AND+%22Phys+Med+Biol%22%5BJournal%5D)">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02(2023).</li>
<li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li>
<li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bicuspid+aortic+valve%3A+The+most+frequent+and+not+so+benign+congenital+heart+disease%5BTitle%5D)+AND+%22Cardiovasc+Pathol%22%5BJournal%5D)">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604(2024).</li>
<li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years%5BTitle%5D)+AND+%22New+Engl+J+Med%22%5BJournal%5D)">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li>
<li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement%5BTitle%5D)+AND+%22J+Thorac+Cardiovas+Surg%22%5BJournal%5D)">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li>
<li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology%3A+phantom+study+results%5BTitle%5D)+AND+%22EJVES+Vascular+Forum%22%5BJournal%5D)">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li>
<li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Surgical+tele-mentoring+using+a+robotic+platform%3A+initial+experience+in+a+military+institution%5BTitle%5D)+AND+%22Surg+Endosc%22%5BJournal%5D)">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li>
<li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mentoring+approaches+in+a+safe+surgery+program+in+tanzania%3A+Lessons+learned+during+covid-19+and+recommendations+for+the+future%5BTitle%5D)+AND+%22Surg+Open+Sci%22%5BJournal%5D)">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li>
<li>de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Catheter+navigation+support+for+mechanical+thrombectomy+guidance%3A+3d%2F2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li>
<li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569(2023).</li>
<li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy%5BTitle%5D)+AND+%22Appl+Sci%22%5BJournal%5D)">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483(2023).</li>
<li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients%3A+a+contemporary+trial+benchmark%5BTitle%5D)+AND+%22Ann+Thorac+Surg%22%5BJournal%5D)">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li>
<li>Domínguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+simulation+as+training+model+of+ventricular+puncture%3A+Evidence+in+the+improvement+of+the+quality+of+punctures%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529(2023).</li>
<li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arias%3A+An+ar-based+interactive+advertising+system%5BTitle%5D)+AND+%22Plos+One%22%5BJournal%5D)">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838(2023).</li>
<li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines%5BTitle%5D)+AND+%22Mining%2CMetal+Explor%22%5BJournal%5D)">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li>
<li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311(2023).</li>
<li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+multi-view+3D+reconstruction+technology+based+on+SFM%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366(2022).</li>
<li>Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BEBLID%3A+Boosted+efficient+binary+local+image+descriptor%5BTitle%5D)+AND+%22Pattern+Recog+Lett%22%5BJournal%5D)">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li>
<li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid%5BTitle%5D)+AND+%22Int+J+Adv+Comp+Sci+Appl%22%5BJournal%5D)">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li>
</ol>

Los autores declaran no tener conflictos de intereses.

En un trabajo existente15, se examinan las radiografías y las tomografías computarizadas para localizar el catéter en el corazón. Sin embargo, el reemplazo del AR TAVR establece una nueva posibilidad en el procedimiento quirúrgico TAVR18 mediante la implementación de un modelo automatizado mediante reconstrucción 3D. Como se mencionó en la sección de protocolo, este trabajo tiene cinco etapas para diseñar. La primera etapa del DITF22, mencionada en la sección 6, que propusimos en nuestro trabajo anterior22, se mejora de una manera que incorpora el modelo en aplicaciones médicas. La segunda etapa de la reconstrucción 3D es la desafiante tarea de construir el modelo 3D a partir de puntos 2D. Probamos el modelo con varias imágenes de entrada para validar el modelo. Se adopta el SFM23 para reconstruir las imágenes. La correspondencia de la imagen se mide con la ayuda de DITF22, junto con una matriz de calibración. La siguiente etapa es el seguimiento de los gestos de la mano; la interfaz del control de gestos de la mano en la reconstrucción 3D es otra tarea desafiante en tiempo real. El control de escala y la variación de rotación están integrados con gestos con las manos para facilitar el acceso a los modelos 3D por parte del experto remoto. La cuarta etapa es la creación de la aplicación móvil, que se indica en la sección 3 para la captura automática de imágenes. Esta aplicación carga los datos al experto remoto como un modelo 3D. La etapa final es la configuración del hardware, que se demuestra utilizando el modelo de maniquí cardíaco con un brazo robótico, que está automatizado para insertar el catéter para reemplazar la válvula lesionada del corazón, como se muestra en la Figura 1. 
El método desarrollado consiste en realizar la cirugía a distancia desde la vigilancia del entorno quirúrgico mediante realidad aumentada y extracción de características. Las contribuciones significativas propuestas en este artículo no se ven en la literatura según nuestro mejor conocimiento. El método desarrollado tiene baja latencia para reconstruir la imagen 3D a partir de las características. Además, el método tiene un error muy bajo entre las entidades reconstruidas y la imagen original. Esta latencia y el error se muestran en la Figura 6 y la Figura 7, respectivamente. Las cifras también muestran que los otros algoritmos, a saber, ORB24 y BEBLID25 , son inferiores al método propuesto.
 
Los retos a los que nos enfrentamos en el desarrollo del método es la transmisión basada en el protocolo Bluetooth entre la aplicación móvil y el servidor remoto. Dado que la captura y transmisión de la escena debe completarse cada 2 segundos, exigía una comunicación de ultra alta velocidad. A menudo terminaba en un socket roto y requería una gran cantidad de manejo de excepciones y administración de rutinas paralelas para un procesamiento sin problemas. Además de eso, nos enfrentamos a algunos problemas durante el desarrollo y la implementación del método.
Sin embargo, existen algunas técnicas de solución de problemas para resolverlos. La comunicación Bluetooth implica elegir el canal correcto o el número de puerto VVID. Además, debe asegurarse de cambiar el dispositivo Bluetooth en cualquiera de los extremos antes de continuar. Con respecto a la rutina basada en microprocesador para accionar el brazo robótico y el brazo de rotación colgante, se deben garantizar los números de puerto para la comunicación en serie. La conexión del controlador del motor, teniendo en cuenta el NEMA y el servomotor, debe garantizarse correctamente. Si no se hace correctamente, el motor NEMA gira de manera no deseada, incluso si solo se realiza una conexión incorrecta con el controlador. Los cables de dos bobinas del motor NEMA deben identificarse correctamente; De lo contrario, la conexión con el controlador puede terminar girando de manera no deseada o incluso dañar el motor. El diseño de un acoplador para soportar la suspensión de un brazo giratorio, que pesa alrededor de 1 kg, fue un desafío. Para solucionar el problema, perforamos un orificio de 1 mm de diámetro en el eje del motor. Equilibrar ambos lados del brazo, incluido el peso de un dispositivo móvil, también es un desafío; De lo contrario, la estructura puede arrastrarse sobre la superficie del suelo, lo que provocará el derribo o el derribo de la estructura desde el eje del motor. Es necesario garantizar el atornillado adecuado en la base, el hombro, el codo, la muñeca y los dedos del brazo del robot; De lo contrario, las piezas podrían caerse cuando gire y levante el peso. La ejecución paralela de dos módulos debe cuidarse configurando un entorno de Python adecuado, con diferentes subprocesos ejecutándose en paralelo para un funcionamiento sin problemas.
Los resultados concluyen que el modelo propuesto de TAVRAutomático 18 es un método eficaz para la guía quirúrgica en la RA. Este modelo propuesto es flexible para aplicar este prototipo a cualquier cirugía en el campo de la medicina según la orientación de expertos médicos. Los modelos basados en el aprendizaje pueden mejorar la reconstrucción 3D. Para reconstruir el modelo 3D, es necesario proporcionar varias vistas con imágenes de buena iluminación como entrada; sin embargo, esto se puede abordar en el futuro. Además, en el futuro, nos gustaría desarrollar una transmisión basada en la comunicación 5G para garantizar una baja latencia y una comunicación ultra confiable para un funcionamiento impecable y fluido. Además, nos gustaría desarrollar nuestro propio dispositivo de realidad aumentada en lugar de un emulador que se utiliza actualmente. Esto puede mejorar la visualización del modelo 3D en un entorno quirúrgico en vivo.

La RA puede superponer el modelo 3D en un entorno real. El desarrollo tecnológico hacia la RA ha supuesto un cambio de paradigma en muchos campos, a saber, la educación1, la medicina2, la fabricación3 y el entretenimiento4. La tecnología de realidad aumentada, junto con una comunicación ultrafiable de baja latencia, demuestra su papel inevitable en el campo de la medicina. Desde la etapa de aprendizaje de la anatomía humana hasta la guía quirúrgica, las etapas de aprendizaje se pueden visualizar con software 5,6 y hardware impulsados por AR. La RA proporciona una solución crucial y fiable para el médico en un entorno quirúrgico 7,8.
La estenosis de la válvula aórtica es la enfermedad de las válvulas cardíacas, que es más común entre la humanidad9. La causa principal de la enfermedad son los malos hábitos alimenticios y las rutinas irregulares de la vida cotidiana. El síntoma y resultado de la enfermedad es el estrechamiento de la válvula cardíaca, seguido de una reducción del flujo sanguíneo. Este problema debe abordarse antes de que se produzca algún daño en el corazón humano. Por lo tanto, el corazón está sobrecargado para procesar el flujo sanguíneo. Por lo tanto, antes de que ocurra cualquier daño, es necesario realizar una cirugía, que, debido a los desarrollos tecnológicos en los últimos días, también se puede realizar mediante el procedimiento TAVR. El procedimiento se puede adoptar en función de la condición del corazón y otras partes del cuerpo de los pacientes. En este TAVI10,11, se inserta el catéter para reemplazar la válvula dañada en el corazón. Sin embargo, colocar el catéter en la posición12 para reemplazar la válvula es tedioso para el médico. Esta idea nos motivó a diseñar un modelo de cirugía automatizada basado en AR13,14, que ayuda al cirujano a posicionar con precisión la válvula durante el proceso de reemplazo. Además, la cirugía se puede realizar mediante un algoritmo de mapeo de movimiento, que mapea el movimiento del cirujano capturado desde una ubicación remota hasta el brazo robótico.
En el trabajo existente 15,16,17, la visualización del procedimiento TAVI 18 es monitoreada a través de fluoroscopia. Por lo tanto, es difícil analizar la válvula cardíaca y tedioso encontrar la ubicación del reemplazo. Esto establece una barrera para colocar el catéter en el corazón humano. Además, el movimiento remoto se asigna al campo quirúrgico para automatizar el proceso. Sin embargo, para superar el vacío de investigación, proponemos una cirugía robótica automatizada para el reemplazo valvular utilizando tecnología asistida por RA.
El protocolo es un modelo genérico que se puede aplicar a todos los entornos quirúrgicos. En la etapa inicial del trabajo, se capturan imágenes 2D de todo el entorno quirúrgico con la resolución espacial más completa y el mayor grado de libertad. Esto significa que se capturan suficientes imágenes para la reconstrucción 3D19 , seguida de un mapeo de movimiento a través del seguimiento de gestos con la mano20.

<table><tbody><tr><td>El software IDE de Android</td><td></td><td>https://developer.android.com/studio</td><td>software se puede descargar desde este enlace</td></tr><tr><td>Placa Arduino</td><td>Ardunio Uno</td><td>Ardunio Uno</td><td>Microcontrolador para el procesamiento</td></tr> de <tr><td>software</td><td>https://www.arduino.cc/en/software de software Arduino</td><td>.</td><td>El software se puede descargar desde este enlace</td></tr><tr><td>Modelo fantasma del corazón humano</td><td>Fabricante y exportador de equipos de laboratorio de biología</td><td>B071YBLX2V(8B-ZB2Q-H3MS-1)</td> <td>modelo liviano con 3 partes para el análisis profundo del corazón.</td></tr><tr><td>soporte móvil</td><td>Humilde soporte universal de monopoada</td><td>B07S9KNGVS</td><td>Para llevar el móvil en el campo quirúrgico</td></tr><tr><td>pycharm IDE</td><td>software</td><td>https://www.jetbrains.com/pycharm/</td> <td>software se puede descargar desde este enlace</td></tr><tr><td>Brazo robótico</td><td>Bots impresos</td><td>B08R2JLKYM(P0-E2UT-JSOU)</td><td>brazo se puede controlar a través del control signal.it tiene 5 grados de libertad de acceso.</td></tr><tr><td>servomotor</td><td>Kollmorgen Co-Engineers Motors</td><td>MG-966R</td><td>servomotor de alto par, servo pulsos que van desde 500 a 2500 microsegundos (&micro; s), con una frecuencia de 50 Hz a 333 Hz.</td></tr><tr><td>servomotor</td><td>Kollmorgen Co-Ingenieros&nbsp; Los motores</td><td>SG-90R</td> de <td>1,8 kg-cm a 2,5 kg-cm de carga se pueden aplicar al servo SG-90R.</td></tr><tr><td>Motor paso a paso</td><td>28BYJ-48</td><td>28BYJ-48</td><td>Motor Steper, 5V DC, 100 Hz frecuencia, par 1200 Gf.cm</td></tr><tr><td>Motor paso a paso</td><td>Nema 23</td><td>Nema</td><td>Motor Steper, 9V - 42 V DC, frecuencia 100 Hz</td></tr></tbody></table>

cirugía automática en reemplazo valvular aórtico transcatéter mediante realidad aumentada

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

La Realidad Aumentada (RA) tiene una gran demanda en aplicaciones médicas. El objetivo del trabajo es proporcionar cirugía automática mediante RA para el reemplazo valvular aórtico transcatéter (TAVI). El TAVR es el procedimiento médico alternativo para la cirugía a corazón abierto. El TAVR reemplaza la válvula lesionada por la nueva mediante un catéter. En el modelo actual, se da orientación remota, mientras que la cirugía no está automatizada en base a la RA. En este artículo, implementamos una cámara alineada espacialmente que está conectada a un motor para la automatización de la captura de imágenes en el entorno quirúrgico. La cámara rastrea la imagen 2D de alta resolución del corazón del paciente junto con el banco de pruebas del catéter. Estas imágenes capturadas se cargan mediante la aplicación móvil a un cirujano remoto experto en cardiología. Esta imagen se utiliza para la reconstrucción 3D a partir del seguimiento de imágenes 2D. Esto se ve en un HoloLens como un emulador en una computadora portátil. El cirujano puede inspeccionar de forma remota las imágenes reconstruidas en 3D con funciones de transformación adicionales, como la rotación y el escalado. Estas características de transformación se habilitan a través de gestos con las manos. La orientación del cirujano se transmite al entorno quirúrgico para automatizar el proceso en escenarios en tiempo real. El banco de pruebas del catéter en el campo quirúrgico se controla mediante la guía de gestos de la mano del cirujano remoto. El modelo prototipo desarrollado demuestra la eficacia de la guía quirúrgica a distancia a través de la RA.

El protocolo se probó con el modelo de corazón fantasma. La Figura 2 muestra la configuración esperada para la vigilancia en vivo del campo quirúrgico con la ayuda de cámaras distribuidas espacialmente. Las cámaras distribuidas, como se muestra en la Figura 2, ayudan a aumentar la resolución espacial del campo para una reconstrucción 3D efectiva. Sin embargo, darse cuenta de la ubicación física de esas cámaras en varias ubicaciones espaciales implica complejidad. Por lo tanto, hemos optimizado el diseño de la configuración y hemos ideado la solución de la disposición de la cámara espacialmente autoorientada girada por un motor NEMA accionado por un controlador TB6600. Esta estructura es factible y está implementada en el modelo y la misma se muestra en la Figura 1.
En la Figura 1, las instantáneas automáticas de la cámara seguidas de su transmisión a través del protocolo Bluetooth se rigen por un código de Android. El módulo está organizado de tal manera que la captura se realiza una vez cada segundo impar, y su transmisión se realiza una vez cada segundo par, como se mencionó en la sección 3. El módulo de microcontrolador que conecta el motor NEMA se encarga de rotar la estructura una vez cada segundo par para que se garantice el tiempo suficiente para la captura de fotos sin desenfoque. Así, en total, se toman 30 fotos con una rotación de 360° y se transmiten por Bluetooth.
Además, en la Figura 1 se muestra la vista reconstruida en 3D de los descriptores DITF del entorno quirúrgico. Cabe señalar que estas reconstrucciones basadas en descriptores pueden ser inspeccionadas por los cirujanos mediante el zoom y la rotación a través del mapeo de movimiento de la mano. Además, estos movimientos se envían al entorno quirúrgico para imitar la cirugía, de modo que el catéter pueda insertarse en el campo real. El mapeo de movimiento se realiza de tal manera que se mapean en seis ángulos diferentes para controlar las partes del robot, a saber, base, hombro, codo, muñeca, pinza y dedo. Estos ángulos se denotan en forma vectorial como [θb, θs, θe, θw, θf]. En el vector dado, el valor θpcorresponde al mapeo de movimiento para rotar el plato del objeto humano. El mismo θpse usa para orientar el descriptor que se muestra en el emulador de HoloLens también en el lado del cirujano.
La Figura 3 muestra las características DITF del modelo fantasma, que es el paso esencial para la reconstrucción 3D. En función de las características extraídas, las correspondencias se identifican en la coincidencia de imágenes. La correspondencia entre las imágenes de referencia y varios resultados de rotación de 45° se muestra en la Figura 4. La correspondencia con diferentes colores indica claramente la eficacia de identificar y hacer coincidir características similares incluso cuando las imágenes están en diferentes orientaciones de vista. En la Figura 5, se incluye la precisión del mapeo de movimiento, que indica que cuando la distancia entre los dos dedos es baja, la precisión es alta. Sin embargo, cuando aumenta la distancia entre los dedos, la precisión comienza a disminuir.
Por otro lado, el tiempo que tarda el modelo en procesar los datos es esencial en la RA. Por lo tanto, se incluye este parámetro para la validación del modelo propuesto, se mide el tiempo de procesamiento de la imagen y se verifican los resultados con los algoritmos existentes como Oriented FAST and rotated BRIEF (ORB)24 y Boosted Efficient Binary Local Image Descriptor (BEBLID)25. Los resultados muestran que el DITF supera a los modelos existentes, como ORB y BEBLID, en términos de latencia, como se muestra en la Figura 6. Además de eso, el modelo de reconstrucción 3D se valida con el error de reconstrucción, y la figura que se muestra en la Figura 7 indica que el histograma es estrecho, lo que implica que el error de reconstrucción es mínimo; Demuestra que la reconstrucción del algoritmo propuesto está verificada y validada. La Figura 8 muestra el resultado de la reconstrucción 3D para el modelo propuesto. Refleja la claridad en la visualización, y los resultados cuantitativos de la imagen también se verifican utilizando los gráficos. Estos resultados demuestran que el modelo propuesto extrajo todas las características necesarias con la transformación de rotación para reconstruir el modelo 3D. Por lo tanto, el experto remoto puede tener una visualización y un control precisos del campo quirúrgico.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67096/67096fig01.jpg"> Figura 1: Implementación de la configuración de hardware para la cirugía automatizada de reemplazo de válvula aórtica transcatéter utilizando realidad aumentada. (A) Campo quirúrgico con un sistema de monitoreo en vivo. (b) Visualización basada en realidad aumentada. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig01large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67096/67096fig02.jpg"> Figura 2: Modelo esperado del entorno quirúrgico. El modelo que se muestra está equipado con vigilancia en vivo del entorno quirúrgico mediante sensores de cámara distribuidos espacialmente. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig02large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/67096/67096fig03.jpg"> Figura 3: Modelo de un corazón humano colocado en un banco de pruebas de cirugía y sus características extraídas utilizando el algoritmo descriptor de características. (A) Modelo de fantasma cardíaco de entrada. (B) Descripción de características direccionales intensificadas utilizando la extracción de características de filtrado terciario del modelo fantasma cardíaco. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig03large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/67096/67096fig04.jpg"> Figura 4: Coincidencia de características entre dos características de la imagen. (A) Descripción de la característica intensificada direccional utilizando la extracción de características de filtrado terciario para el modelo de fantasma cardíaco. (B) Descripción de características direccionales intensificadas utilizando la extracción de características de filtrado terciario del modelo de fantasma cardíaco girado 45°. Las líneas indican la correspondencia entre las características de imágenes similares en dos orientaciones diferentes. El color de la línea indica las diferentes características elegidas. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig04large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/67096/67096fig05.jpg"> Figura 5: Precisión del seguimiento de los gestos de la mano. La figura muestra la precisión porcentual. Se elige que el número de muestra (N) sea 500. El mapeo de movimiento se realiza 500 veces, de las cuales se encuentra el número de mapas correctos. A continuación, la precisión se calcula como la relación entre el mapeo correcto y el número total de muestras. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig05large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/67096/67096fig06.jpg"> Figura 6: Latencia de la descripción de características direccionales intensificadas utilizando filtrado terciario con FAST orientado y BRIEF rotado y algoritmo de descriptor de imagen local binario eficiente impulsado. Se traza la latencia, que es el tiempo que se tarda en extraer las características de una imagen. Elegimos N como 500, lo que significa que el cálculo del retardo de tiempo se realiza más de 500 veces y luego se promedia. El procedimiento se realiza para tres algoritmos y se traza. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig06large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/67096/67096fig07.jpg"> Figura 7: Distribución de errores de reconstrucción del modelo propuesto. El error de reconstrucción es el error entre la imagen 3D reconstruida a partir de su entidad y la imagen original. El gráfico de error es un histograma que indica el recuento de ocurrencias de un evento en particular. El recuento es máximo cuando el error es cero y decae en ambos lados. Este es el resultado deseado. La figura indica que la varianza del histograma (densidad normal) es menor, por lo que el error de la media (0) no se extiende mucho en ninguna dirección. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig07large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 8" class="xfigimg" src="/files/ftp_upload/67096/67096fig08.jpg"> Figura 8: Reconstrucción 3D del modelo de corazón. Cada punto de color indica el punto reconstruido en 3D a partir de la entidad correspondiente. A partir de ahora, el algoritmo de reconstrucción de características normaliza el color y, con eso, se colorean otras características. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig08large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>

En este artículo se presenta el diseño e implementación de un módulo de cirugía automática basado en reconstrucción 3D basado en realidad aumentada (RA). El sistema permite la cirugía a distancia al permitir a los cirujanos inspeccionar las características reconstruidas y replicar los movimientos quirúrgicos de la mano como si estuvieran realizando la cirugía en estrecha proximidad.

Cirugía automática en reemplazo valvular aórtico transcatéter mediante realidad aumentada

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter ...

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

Investigación

JoVE Journal

Medicine

Medicina

El objetivo de este estudio fue mejorar el co-registro para fusión de imágenes (IF) de datos de la TC previa intervención con fluoroscopia de rayos x en tiempo real (XR) durante la implantación de válvula aórtica transfemoral transcatéter (TAVI).

Mejor registro de 3D CT angiografía con rayos x fluoroscopia para fusión de imágenes durante la implantación de válvula aórtica transcatéter

La tecnología de realidad aumentada se aplicó a la descompresión del núcleo para la osteonecrosis de la cabeza femoral para realizar la visualización en tiempo real de este procedimiento quirúrgico. Este método puede mejorar eficazmente la seguridad y la precisión de la descompresión del núcleo.

Descompresión del núcleo guiada por navegación de realidad aumentada para la osteonecrosis de la cabeza femoral

La fijación robótica con tornillo transilíaco-transsacral asistida por sistema robótico teleoperado es una técnica factible. Los canales de tornillo se pueden implementar con alta precisión debido a la excelente libertad de movimiento y estabilidad de los brazos robóticos.

Una técnica de fijación de tornillo transilíaco-transsacral percutánea asistida por sistema robótico teleoperado

Los avances en el tratamiento endovascular han reemplazado los procedimientos quirúrgicos abiertos complejos con opciones mínimamente invasivas, como el reemplazo de válvulas y la reparación de aneurismas. Este artículo propone el uso de modelos tridimensionales (3D) y realidad virtual para ayudar en el posicionamiento del arco en C, las mediciones de ángulos y la generación de hojas de ruta para la planificación de procedimientos de laboratorio de cateterismo neurointervencionista, minimizando...

Enfoques pioneros específicos para el paciente para la cirugía de precisión mediante imágenes y realidad virtual

Un abordaje de las extremidades superiores para el acceso secundario durante el implante de la válvula aórtica transcatéter transfemoral se asocia con menos complicaciones hemorrágicas relacionadas con el sitio de acceso secundario y reduce el tiempo de movilización en pacientes que requieren estimulación prolongada. Este protocolo tiene como objetivo proporcionar una descripción general extensa del enfoque de las extremidades superiores y guiar a los operadores en la adopción de esta...

Abordaje de las extremidades superiores para el acceso secundario en el implante de válvula aórtica transcatéter transfemoral

Con el fin de comprender los mecanismos celulares y moleculares que subyacen a la formación de neotejido y el desarrollo de estenosis en las válvulas del corazón de la ingeniería tisular, se desarrolló un modelo murino de trasplante heterotópico de válvula cardiaca. Una válvula cardíaca pulmonar fue trasplantado al receptor mediante la técnica de trasplante cardíaco heterotópico.

El trasplante de la válvula pulmonar Utilizando un modelo de ratón de heterotópico trasplante cardiaco

El reemplazo de la válvula aórtica de raíz completa por el xenoinjerto aórtico sin stent es una opción viable en pacientes con raíces aórticas pequeñas. Describimos una técnica para el implante de raíces completas de xenoinjertos aórticos sin stent, con énfasis en el manejo de la línea de sutura proximal y anastomosis coronarias, y discutimos sus limitaciones y opciones alternativas.

Reemplazo de la válvula aórtica de raíz completa por los xenoinjertos aórticos sin stent en pacientes con raíces aórticas pequeñas

Conservación de la válvula de reemplazo aórtico de la raíz tiene la ventaja de preservar la válvula aórtica del paciente. La complejidad de las técnicas divulgadas hasta la fecha restringe su uso a un número limitado de cirujanos cardíacos. Este protocolo describe paso a paso una técnica estandarizada y reproducible por un mayor número de cirujanos cardíacos.

Técnica estandarizada de nueva implantación de válvula aórtica para conservadora de válvula aórtica de la raíz recambio

El objetivo de este protocolo es describir en detalle la técnica de reemplazo de válvula aórtica mínimamente invasiva a través de una minitoracotomía derecha anterior y canulación aórtica central. Esta técnica puede potencialmente mejorar la comodidad de pacientes y, al reducir la morbilidad postoperatoria, promover bajar la longitud de la estancia y los costos globales.

Técnica y selección de pacientes criterios de minitoracotomía derecha Anterior por acceso mínimo reemplazo de válvula aórtica

El linfedema relacionado con el cáncer de mama es frecuente en sobrevivientes de cáncer de mama, pero no hay pautas ampliamente empleadas para su diagnóstico y cuantificación. Aquí, introducimos un protocolo confiable y rentable para definir, cuantificar y comparar el volumen de las extremidades superiores en pacientes con cáncer de mama.

Integración de herramientas de realidad aumentada en el pronóstico y diagnóstico de linfedema relacionado con el cáncer de mama

Aprende cirugía remota automática mediante realidad aumentada y robótica para mejorar la precisión quirúrgica. Este método utiliza reconstrucción 3D en tiempo real y extracción de características intensificadas.

Cirugía automática en reemplazo valvular aórtico transcatéter mediante realidad aumentada

Explorar más videos