Method Article

Enfoque técnico para el seguimiento infrarrojo para la navegación de tejidos blandos con una pantalla holográfica montada en la cabeza y validación preclínica

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo ofrece una guía para implementar el seguimiento de marcadores infrarrojos para fantasmas que se mueven libremente (por ejemplo, órganos) y visualización holográfica mediante realidad aumentada. Además, describe una configuración para la validación preclínica de los sistemas de navegación holográfica utilizando el seguimiento electromagnético en fantasmas de movimiento libre.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La realidad aumentada (RA) tiene el potencial de mejorar la guía quirúrgica mediante la superposición de información anatómica tridimensional (3D) directamente sobre el paciente durante los procedimientos quirúrgicos. Sin embargo, la implementación práctica de la RA se enfrenta a importantes desafíos, particularmente en el seguimiento preciso de los órganos que se mueven libremente durante la manipulación quirúrgica. En consecuencia, se necesitan métodos confiables de seguimiento de órganos para mantener superposiciones holográficas precisas intraoperatorias. La validación preclínica de las visualizaciones holográficas con respecto a la precisión plantea desafíos adicionales, lo que requiere protocolos experimentales para la evaluación cuantitativa. Este protocolo aborda estos dos desafíos: describe un enfoque integral para desarrollar aplicaciones de visualización de RA utilizando marcadores infrarrojos personalizados para el seguimiento de órganos en tiempo real utilizando una pantalla montada en la cabeza (HMD), y proporciona un marco de validación que aprovecha el seguimiento electromagnético (EM) para validar la precisión holográfica en experimentos fantasma. Este trabajo describe una guía paso a paso para crear modelos 3D específicos del paciente a partir de imágenes médicas, diseñar y fabricar marcadores infrarrojos personalizados, integrar estos marcadores en una aplicación de realidad aumentada para un HMD e implementarlos para la navegación quirúrgica. Además, detalla un procedimiento de validación mediante el uso de seguimiento EM para medir cuantitativamente la precisión de las visualizaciones holográficas en fantasmas renales semideformables. Por lo tanto, este protocolo facilita el seguimiento de órganos en tiempo real y establece una metodología de validación preclínica. La implementación del seguimiento de órganos en tiempo real podría mejorar la guía quirúrgica para órganos que se mueven libremente al superponer hologramas con precisión, lo que podría conducir a una mayor precisión quirúrgica y mejores resultados para los pacientes.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

En oncología quirúrgica, la identificación precisa de la ubicación del tumor y su relación con los tejidos sanos adyacentes es crucial para lograr la resección completa del tumor mientras se preserva el tejido sano1. Las resecciones incompletas pueden conducir a la recurrencia local y a una disminución de la tasa de supervivencia 2,3, mientras que la extirpación excesiva de tejido puede afectar la función y la calidad de vida4. Los sistemas de navegación quirúrgica son prometedores para mejorar las resecciones radicales al tiempo que preservan el tejido sano, al proporcionar a los cirujanos una guía intraoperatoria que puede conducir a mejores resultados clínicos5. Sin embargo, los sistemas de navegación quirúrgica convencionales suelen presentar información anatómica bidimensional (2D) en pantallas colocadas fuera del campo quirúrgico. Este enfoque obliga a los cirujanos a correlacionar mentalmente la información 2D mostrada con la anatomía tridimensional (3D) real del paciente, aumentando la carga cognitiva6. Aunque los avances recientes en el modelado 3D proporcionan a los cirujanos una mejor comprensión de la relación del tumor con las estructuras anatómicas circundantes7, esta información aún se visualiza fuera del área operatoria, manteniendo el problema del foco de conmutación 6,8. Estas limitaciones de los sistemas de navegación quirúrgica pueden contribuir a posibles errores en el uso de la navegación quirúrgica y potencialmente conducir a resultados quirúrgicos subóptimos9.

Para superar las limitaciones mencionadas anteriormente, la realidad aumentada (RA) ha surgido como una solución prometedora al visualizar estructuras anatómicas y bordes de resección en 3D en el paciente10,11. Mediante la superposición de modelos 3D preoperatorios, que se segmentan en función de los datos de resonancia magnética (RM) o tomografía computarizada (TC), se puede visualizar la anatomía. En revisiones sistemáticas, se destacaron los beneficios potenciales de la RA para la cirugía abierta en pacientes adolescentes12, y el trabajo preliminar en este campo demuestra la viabilidad de guías 3D específicas para pacientes equipadas con marcadores visuales para el registro automático13. Van Doormaal et al. desarrollaron un sistema de navegación con un dispositivo de RA mediante el uso de un registro basado en puntos y un puntero con un objetivo de imagen para neurocirugía14. Evaluaron la aplicación de RA desarrollada en el quirófano en pacientes antes de la cirugía y en un experimento fantasma, que mostró un error de registro fiducial de 7,2 mm y 4,4 mm, respectivamente.

A pesar del progreso prometedor, estos sistemas de registro a menudo son rígidos, carecen de seguimiento en tiempo real de los órganos diana, por lo que sigue siendo necesario un seguimiento en tiempo real del movimiento de los órganos15,16. Esto es particularmente cierto para los órganos móviles, que se manipulan durante la cirugía, como el riñón y el hígado, lo que puede resultar en una orientación inexacta, la necesidad de volver a registrarse, lo que lleva un tiempo considerable, y el daño potencial al tejido sano o resecciones incorrectas17. Para abordar aún más estos problemas, se desarrolló un novedoso sistema de RA basado en una aplicación presentada por Iqbal et al. para incorporar marcadores infrarrojos para el seguimiento continuo de órganos18. Este desarrollo permite que la superposición de RA se adapte dinámicamente a los cambios en tiempo real en la posición del órgano, manteniendo así la precisión espacial y mejorando potencialmente la precisión quirúrgica. Al combinar el registro rígido con el seguimiento dinámico basado en marcadores infrarrojos, este sistema ofrece un avance significativo para lograr una guía holográfica precisa y en tiempo real en la cirugía.

Este protocolo presenta un sistema de validación preclínica y navegación AR basado en marcadores infrarrojos para una pantalla montada en la cabeza (HMD). Nuestro objetivo es desarrollar y validar un sistema de navegación de realidad aumentada en tiempo real para mantener superposiciones holográficas precisas de órganos en movimiento en un entorno preclínico. En primer lugar, el protocolo proporciona una descripción de cómo se prepara una aplicación holográfica que utiliza marcadores infrarrojos con una dimensión de 32 mm (ancho) x 15 mm (largo) x 6 mm (alto) para rastrear órganos fantasmas en tiempo real, manteniendo la superposición de hologramas 3D independientemente del movimiento. Utilizamos un maniquí renal, impreso con filamento de poliuretano termoplástico (TPU), como modelo de ejemplo para un órgano en movimiento. En segundo lugar, ofrece una visión general de cómo diseñar e imprimir marcadores infrarrojos personalizados y cómo integrar estos marcadores en la aplicación de visualización holográfica. Esto permite a otros investigadores y médicos adaptar la aplicación a otros escenarios fantasmas preclínicos que implican la simulación de cirugía abierta y órganos en movimiento. Finalmente, un método de validación basado en el seguimiento electromagnético ofrece mediciones cuantitativas para calcular la precisión, ofreciendo una validación preclínica de la guía holográfica en experimentos fantasma. Una limitación de esta metodología es la ausencia de un procedimiento de registro automatizado, lo que limita la precisión de este sistema. Sin embargo, este enfoque ayuda a los usuarios a determinar la idoneidad de su técnica de RA desarrollada para su aplicación clínica.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudio siguió las directrices de nuestra institución y no fue sometido a la Ley de Investigación Médica con Sujetos Humanos (OMM). Por lo tanto, no se requirió obtener el consentimiento informado de los participantes.

1. Preparación de paquetes de hardware y software para el modelado 3D y la implementación de aplicaciones de realidad aumentada

  1. Descargue e instale los siguientes programas de software en una computadora personal (PC) con Microsoft Windows 10.
    1. Descargue Unity Hub v3.11.1 y Unity v. 2019.4.22f1 desde https://unity.com/download. Incluya Visual Studio 2019 durante la instalación de Unity 2019.4.22f1. Enlace al manual: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Descargue MeshMixer v. 3.5.0 desde https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, el enlace al manual está https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Descargue 3DSlicer v. 5.6.2 desde https://download.slicer.org/, el enlace al manual es https://slicer.readthedocs.io/en/latest/
    4. Descargue Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, el enlace al manual está https://help.autodesk.com/view/fusion360/ENU/
    5. Descargue Bambu Studio v. 01.09.07.52 desde https://bambulab.com/en/download/studio, el enlace al manual está https://wiki.bambulab.com/en/studio-handy

2. Diseño e impresión de marcadores infrarrojos personalizados

  1. Diseñe marcadores infrarrojos en un software de diseño 3D como se describe a continuación.
    1. Abra el software de diseño asistido por computadora (CAD) 3D (consulte Tabla de materiales) y cree un nuevo archivo.
    2. Seleccione la ficha SÓLIDO y haga clic en Crear boceto para empezar a crear un boceto de un nuevo diseño para un marcador infrarrojo.
    3. Agregue tres o cuatro círculos pequeños con un diámetro de 3 mm presionando Círculo de diámetro central. Estos círculos sirven como puntos de fijación para los tornillos.
    4. Calcula el punto central del marcador infrarrojo conectando los vértices del triángulo con los puntos medios de los lados opuestos. Presione Línea y conecte todos los círculos dibujando líneas desde un lado hasta el punto de un círculo.
    5. Cree un círculo como base del marcador infrarrojo en el punto central usando Círculo de diámetro central. Usa un rectángulo de 3 puntos para dibujar rectángulos que conecten el círculo central con cada uno de los tres o cuatro círculos más pequeños.
    6. Extruya la base circular y los rectángulos a un grosor de 2 mm, y los círculos pequeños a 5 mm.
    7. Agregue un hilo a cada uno de los tres conos usando un perfil métrico ISO (por ejemplo, M3 × 0.5, 6g, mano derecha) para acomodar esferas reflectantes infrarrojas de 6.4 mm presionando Crear y luego Rosca.
    8. Exporte el modelo como un archivo de objeto (OBJ) utilizando la función Impresión 3D o Exportación.
    9. Dentro del software CAD 3D, mida las coordenadas XYZ de las esferas reflectantes infrarrojas en correlación con el punto central seleccionando Medir. Mida las ubicaciones de los puntos centrales de los círculos en correlación con el punto central de la forma. Utilice estas coordenadas en el paso 4.1.2.
  2. Imprima marcadores 3D como se describe a continuación.
    1. Importe la estereolitografía exportada (. STL) del marcador infrarrojo en un software adecuado para la impresora 3D arrastrándolo a la escena (ver Tabla de materiales).
    2. Configure los parámetros de corte, incluida la altura de la capa (0,08 mm es la altura de capa más pequeña posible para evitar la impresión inexacta del hilo para la esfera reflectante infrarroja) presionando Calidad > Altura de capa. Agregue soporte al diseño presionando Soporte > Habilitar estructura.
    3. Exporte el archivo de corte a la impresora 3D haciendo clic en Cortar todo, exporte el archivo haciendo clic en Exportar todo el archivo de corte e imprima el modelo 3D usando una impresora 3D (consulte Tabla de materiales) con filamento de ácido poliláctico (por ejemplo, PLA; consulte Tabla de materiales).

3. Preparación del modelo 3D específico del riñón para el paciente

  1. Segmentación del modelo
    1. Abra el software de segmentación 3D (consulte Tabla de materiales) e importe los datos de resonancia magnética / tomografía computarizada del paciente utilizando los archivos DICOM de importación.
    2. Vaya al Editor de segmentos, elija el volumen de origen adecuado y cree una nueva segmentación haciendo clic en Agregar.
    3. Seleccione la segmentación manual o semiautomática según la modalidad de imagen.
    4. Para la segmentación manual, utilice la herramienta Pintar y borrar para segmentar el tumor y las estructuras relevantes circundantes en cada corte.
    5. Para la segmentación semiautomática, considere usar opciones como Umbral con el rango de umbral apropiado para la estructura específica y Tijeras para segmentar las estructuras irrelevantes.
    6. En la pantalla Datos, seleccione la segmentación creada y luego haga clic con el botón derecho para ir al botón Exportar segmentos visibles a modelos . Asegúrese de que la opción Ojo esté seleccionada en el lado derecho de la pantalla.
    7. Exporte los archivos STL de los modelos haciendo clic en Guardar y guarde los archivos como archivo . STL.
  2. Post-procesamiento del modelo específico del paciente
    1. Importe el archivo STL en un editor de malla (consulte Tabla de materiales) y reduzca el número de triángulos seleccionando modelo 3D > Editar y, a continuación, reduzca en un porcentaje que reduzca los triángulos sin deformar el aspecto visual del modelo 3D, y pulse Aceptar.
    2. Asegúrese de que los puntos de destino estén representados visualmente dentro del modelo 3D de la aplicación holográfica para su posterior validación. Presione Agregar esferas y colóquelas en el modelo 3D.
    3. Exporte los modelos 3D a un formato de archivo OBJ presionando Archivo > Exportar. Asegúrese de que el modelo 3D tenga aproximadamente 100.000 polígonos seleccionando el modelo y reduzca los polígonos pulsando Editar > Reducir. Un mayor número de polígonos requiere más operaciones de la unidad de procesamiento de gráficos, por lo que reducir el número de polígonos en la escena puede disminuir sustancialmente el tiempo de renderizado.

4. Preparación de la aplicación holográfica

  1. Configure el proyecto IRTrackingOrgans_HoloLens como se describe a continuación.
    1. Inicie el software de desarrollo de juegos (consulte Tabla de materiales) e importe el proyecto IRTrackingOrgans_HoloLens y ábralo.
    2. Adapte el archivo JavaScript Object Notation (JSON) utilizando un editor de texto, siguiendo el formato predeterminado, para implementar un marcador infrarrojo personalizado basado en las coordenadas medidas en el paso 2.1.10. El archivo JSON se guarda en Assets/StreamingAssets.
    3. Vaya a la pestaña DINO Unity, seleccione el Administrador de herramientas > ResearchModeController > archivo JSON y la transformación principal , y haga clic en Crear objetos y aplicar configuración JSON.
    4. Importe el modelo 3D de marcador infrarrojo virtual como un activo que se creó en el paso 1.1.
    5. Transforme el modelo 3D de marcador infrarrojo virtual en la posición de los marcadores generados en la escena seleccionando el modelo y cambiando las coordenadas de transformación en la ventana del inspector.
    6. Inserte un modelo 3D específico del paciente en la escena seleccionándolo y arrastrándolo a la escena.
    7. Transforme el modelo 3D del paciente en el lugar correcto, de modo que el marcador infrarrojo toque la superficie del modelo 3D. Coloque el marcador infrarrojo cerca del centro del objeto 3D para minimizar las imprecisiones debidas al efecto palanca.
  2. Conecte la escena con un menú de selección de pacientes
    1. Para un uso práctico y la selección de múltiples casos, conecte la escena del paciente a un botón en la pantalla del menú. Vaya a Activos > escenas > escena de menú.
    2. En la ventana Jerarquía, vaya a NearMenu4x2 y ButtonCollection y, a continuación, al botón correspondiente.
    3. En la ventana Inspector, vaya a Eventos básicos y en MenuScript.LoadScene escriba el nombre de la escena del paciente.
  3. Preparar el HMD para la implementación por primera vez
    NOTA: Esta sección solo es necesaria si la aplicación se implementa por primera vez.
    1. Inicie sesión en el dispositivo HMD (consulte la tabla de materiales) y configure el dispositivo en modo de investigación. Ve a Configuración > Actualización y seguridad > Para desarrolladores > activa Funciones para desarrolladores y Detección de dispositivos.
    2. Empareje el HMD con una PC (Wi-Fi o USB-C). Si es la primera vez que se conecta, siga estos pasos: Busque la dirección IP del HMD en la pestaña de desarrollador, complete la dirección IP en un navegador web para conectarse al Portal de dispositivos y empareje el dispositivo generando un PIN y completando el PIN.
  4. Compilación e implementación de la aplicación en un HMD
    1. Agregue las escenas a la compilación yendo a Archivo > Configuración de compilación, agregando la escena en el siguiente orden: Menú > Escena de seguimiento presionando Agregar escenas abiertas.
    2. Compilación del proyecto mediante la Plataforma universal de Windows, HoloLens de dispositivo de destino y Arquitectura x64. Haga clic en Crear y seleccione un mapa de compilación.
    3. Abra el archivo de compilación (.sln) con Visual Studio 2019 y cambie la plataforma a ARM64. Luego abra Propiedades haciendo clic derecho en el archivo .sln en el Explorador de soluciones y dentro de Depuración, escriba la dirección IP del HMD en Nombre de la máquina.
    4. Implemente la aplicación en el HMD seleccionando Depurar > Iniciar sin depurar.
    5. Inicie el HMD y abra la aplicación holográfica. Posteriormente, navegue a la pantalla del menú del paciente y seleccione el caso apropiado para iniciar la visualización holográfica y la orientación.

5. Validación de la visualización holográfica de órganos en movimiento

  1. Impresión fantasma semideformable
    1. Cree u obtenga un modelo 3D de un maniquí renal con estructuras anatómicas realistas.
    2. Importe el modelo 3D en un software de modelado CAD 3D e integre cinco puntos de pivote de registro en el lateral del modelo utilizando Solid > Crear > > de agujeros con la configuración Tipo de agujero: Simple, Tipo de agujero: Simple, Punto de perforación: Ángulo, Altura: 0,5 mm y Diámetro: 4,0 mm.
    3. Integre un cilindro con un orificio en el modelo 3D para fijar el sensor de referencia EM para otros pasos de validación.
      1. Cree un boceto con un círculo y un círculo interior con un diámetro de 2,8 mm utilizando Círculo de diámetro central. Extruya el círculo exterior en 16,5 mm.
      2. Combine el cilindro con el modelo 3D modificando > Combinando > Seleccione el modelo 3D y el cilindro > Unir > Aceptar.
    4. Exporte el modelo 3D utilizando la función Exportar o imprimir 3D.
    5. Utilice un filamento flexible o semiflexible, como TPU, (consulte la tabla de materiales) para imprimir el maniquí renal de acuerdo con el procedimiento descrito en el paso 2.2.
  2. Configuración de 3D Slicer mediante sistema de seguimiento EM
    1. Consulte el extenso tutorial 3D Slicer y SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/) para configurar un sistema EM con 3D-Slicer.
      NOTA: Esta sección del protocolo supone que la configuración de 3DSlicer, la configuración de seguimiento de EM y la conexión se comprenden bien y se configuran correctamente.
    2. Coloque el generador de campo del sistema de seguimiento EM (consulte la tabla de materiales) directamente debajo del fantasma. Elimine todos los materiales ferromagnéticos del medio ambiente para evitar la falta de homogeneidad de los campos electromagnéticos.
    3. Conecte el sensor EM (consulte la tabla de materiales) y el puntero EM (consulte la tabla de materiales) al sistema de seguimiento EM. Asegúrese de que las transformaciones de estas herramientas se visualicen con precisión en 3DSlicer.
    4. Conecte el sensor de referencia EM (por ejemplo, NDI Aurora 6DOF Cable Tool) al modelo 3D asegurándolo en el cilindro con pegamento.
    5. En 3D Slicer, importe el modelo 3D con puntos de pivote y asigne los puntos de referencia digitalmente mediante el Asistente para registro fiducial > colocar un punto de control.
    6. Realice el registro de puntos de referencia identificando los puntos de referencia en la vida real con el puntero EM, presione Colocar un punto de control y regístrelos en 3DSlicer. Calcule la transformación de registro lineal rígido presionando Actualizar.
    7. Después del registro, aplique la transformación de registro al modelo 3D para establecer un vínculo entre él y el sensor de referencia EM. Posteriormente, si el modelo 3D se mueve físicamente, su contraparte digital en 3DSlicer debería moverse; En consecuencia, confírmelo visualmente observando los movimientos.
  3. Validación holográfica
    1. Inicie el dispositivo y abra la aplicación holográfica del paso 4.4.5. Posteriormente, navegue hasta el modelo 3D correcto del paciente, que también se visualiza en 3DSlicer.
    2. Fije el marcador infrarrojo en el lugar correcto con pegamento, con los marcadores infrarrojos de 6,4 mm instalados (consulte la Tabla de materiales), según lo visualizado por la planificación preoperatoria.
    3. Utilice el puntero EM para identificar digitalmente los puntos de destino en función de la visualización holográfica. Guarde el conjunto de coordenadas del sensor EM.
    4. Calcule el error en la ubicación de los puntos de referencia de destino en comparación con los puntos de referencia colocados para validar cuantitativamente la visualización holográfica.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Se utilizó un maniquí de riñón para demostrar el rendimiento del sistema de seguimiento infrarrojo para el seguimiento de órganos y para validar la configuración de validación holográfica en órganos en movimiento. El flujo de trabajo completo se describe en la Figura 1.

Primero, el riñón se segmentó de forma semiautomática en función de los datos de resonancia magnética utilizando la herramienta de umbral en 3DSlicer. El modelo 3D resultante se exportó e importó al software CAD 3D para reducir el número de polígonos. Se guardó un segundo modelo y se integraron cinco puntos de destino en este modelo utilizando la herramienta de esfera (Figura 2). Este modelo se utilizó para la validación técnica de la pantalla holográfica. La primera versión del modelo, sin puntos de destino, se importó a Autodesk Fusion. Se integraron cinco puntos de pivote en este modelo, y el cilindro se integró para facilitar el sensor EM. Utilizando un software de corte 3D, el modelo 3D se preparó para la impresión 3D. Se utilizó TPU con una densidad de impresión del 8% para crear una superficie renal mínimamente flexible.

Se diseñó un marcador infrarrojo estandarizado, impreso en 3D y equipado con esferas reflectantes infrarrojas (6,4 mm de diámetro). A partir de este marcador infrarrojo, las coordenadas del marcador infrarrojo se midieron en correlación con el punto central. Dentro de la aplicación de software de desarrollo de juegos, se importó el archivo JSON que contiene las coordenadas del marcador infrarrojo. En segundo lugar, se importó el modelo 3D del riñón, con puntos objetivo para fines de validación. Además, con fines de visualización, el modelo de marcador infrarrojo se importó y se tradujo a la posición de los puntos implementados por el archivo JSON. El modelo 3D se transformó en el centro del marcador infrarrojo (Figura 3) y se aplicaron sombreadores adicionales. Después de integrar la escena del menú del paciente, la aplicación se implementó en el HMD.

Con base en la colocación de los marcadores IR, el modelo 3D holográfico se visualiza en el riñón dentro de un maniquí abdominal pediátrico usando el HMD (Figura 4). Tenía una velocidad de seguimiento de 11,6 Hz. Sin embargo, para distancias superiores a 60 cm, el HMD pierde la capacidad de rastrear los marcadores infrarrojos. En segundo lugar, el seguimiento continuo y el ruido en el seguimiento de marcado infrarrojo hacen que la superposición holográfica parpadee, lo que resulta en una visualización inexacta.

Para fines de validación, el sistema de seguimiento EM se conectó a 3D Slicer a través del servidor Plus. Se colocó un sensor EM en el riñón fantasma para su seguimiento (Figura 2). Después del registro basado en puntos, el modelo 3D se registró con una precisión media de 0,59 mm, lo que resultó ser un método preciso para validar la precisión holográfica (Figura 5). La mediana del error de localización puntual fue de 8,74 mm (rango intercuartílico: 6,38 - 10,85), según los aportes de tres cirujanos (Tabla 1).

La implementación de este sistema de seguimiento y visualización de RA implica un protocolo que abarca aproximadamente 45-60 min. Un médico técnico experimentado con 2 años de experiencia ejecutó todo el protocolo una vez para determinar la duración de los pasos individuales del protocolo. En particular, ciertos pasos solo son necesarios para ejecutarse una vez. Los pasos esenciales para cada paciente incluyen la segmentación, la integración del modelo en el software de desarrollo del juego y la configuración de escenas. La segmentación de estructuras anatómicas en casos específicos del paciente requiere relativamente más tiempo debido a las múltiples estructuras anatómicas involucradas, pero la segmentación del parénquima renal y el tumor se puede completar en 30 minutos. La integración de los modelos 3D segmentados en la aplicación y su alineación con el marcador infrarrojo requiere aproximadamente 5 minutos de ajustes manuales. Conectar la escena correcta no requiere más de 5 minutos. El tiempo de compilación del proyecto de desarrollo de juegos varía en función de las especificaciones de hardware, pero normalmente tarda unos 3 minutos, seguidos de aproximadamente 10 minutos para la implementación en HoloLens 2. En general, excluyendo la configuración de validación, este protocolo demuestra un método para mover el seguimiento de órganos en entornos preclínicos.

figure-results-1
Figura 1: Descripción general del esquema del flujo de trabajo. El flujo de trabajo muestra los pasos que se requieren por paciente en un entorno fantasma, incluida la fase preoperatoria, la holográfica y la fase intraoperatoria. La fase preoperatoria consiste en segmentar (ver paso 3) imágenes médicas preoperatorias. La preparación de la aplicación holográfica consiste en planificar virtualmente la ubicación del marcador infrarrojo en el modelo 3D (ver paso 4). En la fase intraoperatoria, los cirujanos pueden seleccionar al paciente correcto y fijar el marcador infrarrojo para la visualización holográfica y el seguimiento continuo. Haga clic aquí para ver una versión más grande de esta figura.

figure-results-2
Figura 2: Descripción general de los maniquíes renales utilizados en la metodología de validación. Izquierda: un holograma 3D del riñón con los puntos objetivo y la colocación virtual del marcador infrarrojo. Centro: maniquí 3D con sensor EM integrado y puntos de pivote para el registro. Derecha: Fantasma impreso en 3D, con el marcador infrarrojo y el cilindro para el sensor EM, utilizado para el procedimiento de validación. Haga clic aquí para ver una versión más grande de esta figura.

figure-results-3
Figura 3: Preparación de la aplicación holográfica en el software de desarrollo de juegos. El modelo renal se transforma en un marcador infrarrojo. En segundo lugar, los sombreadores se aplican al riñón y a los puntos objetivo. Haga clic aquí para ver una versión más grande de esta figura.

figure-results-4
Figura 4: Visualización holográfica del experimento fantasma. Izquierda: Colocación del marcador infrarrojo en el riñón. Derecha: Visualización holográfica de los puntos objetivo en el orden correcto (1 a 5). El desplazamiento de la visualización holográfica se debe a la fluctuación en el seguimiento del marcador infrarrojo. Haga clic aquí para ver una versión más grande de esta figura.

figure-results-5
Figura 5: Configuración del protocolo de validación de seguimiento EM para la visualización holográfica de órganos en movimiento. Verde, rojo y azul visualizan la transformación de las herramientas de EM necesarias para la validación. El amarillo y el verde visualizan la transformación con respecto a la pantalla montada en la cabeza (HMD). Haga clic aquí para ver una versión más grande de esta figura.

ParticipanteMediciónGT-X (mm)GT-Y (mm)GT-Z (mm)Punto-X (mm)Punto-Y (mm)Punto-Z (mm)PLE (mm)
Cirujano 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Cirujano 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Cirujano 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tabla 1: Para cada medición, se proporcionan las coordenadas reales del terreno (GT) de los puntos de referencia objetivo, sus correspondientes coordenadas de ubicación de puntos y el PLE medido para todos los cirujanos.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

El protocolo presentado describe un enfoque para el seguimiento de órganos en tiempo real y la visualización holográfica, incluida la validación para tumores y órganos en movimiento en un entorno fantasma. Aprovechando el seguimiento basado en marcadores infrarrojos con un HMD, este método tiene el potencial de mantener mejor las superposiciones holográficas anatómicas correctas durante la manipulación de órganos en movimiento. A pesar de su aplicación para el seguimiento del riñón, este método también podría explorarse en otros campos clínicos, como la cirugía abierta para el hígado o los pulmones, con ajustes mínimos en el protocolo de segmentación. En segundo lugar, los marcadores infrarrojos podrían usarse potencialmente con diversas técnicas quirúrgicas, como la cirugía laparoscópica. En tales casos, se podrían detectar pegatinas reflectantes infrarrojas en imágenes laparoscópicas para rastrear órganos, herramientas o puntos de referencia anatómicos. Sin embargo, la aplicación de esta técnica a otros campos clínicos o técnicas quirúrgicas puede introducir errores debidos a variaciones en la deformabilidad del órgano diana o limitaciones técnicas, como un campo de visión limitado, que requieren validación en experimentos preclínicos.

El paso 1 del protocolo se centra principalmente en la configuración de las herramientas de hardware y software necesarias. Esta configuración requiere numerosas aplicaciones y pasos, por lo que es crucial que todos los paquetes de software se instalen correctamente, incluidas las extensiones necesarias, para evitar problemas de implementación posteriores. No se prevé que las diferentes versiones de software causen problemas, aunque la combinación del software de desarrollo de juegos y el entorno de desarrollo integrado es crucial.

En el paso 2, se describe el proceso de creación de marcadores infrarrojos personalizados. Este paso se vuelve particularmente importante si el seguimiento se utilizará para otras aplicaciones. La flexibilidad para modificar la forma del marcador infrarrojo garantiza su idoneidad potencial para diversas aplicaciones preclínicas. Además, los usuarios pueden explorar varias opciones de diseño para mejorar la adherencia del marcador infrarrojo a la superficie de un órgano y mejorar la precisión del seguimiento del marcador infrarrojo. Además, probar múltiples diámetros de marcadores infrarrojos puede conducir a una mejor detección en distancias superiores a 60 cm.

En el paso 3, se describe el modelado 3D específico del paciente basado en imágenes médicas. La segmentación precisa del riñón y el tumor es crucial, ya que influye directamente en la precisión de la guía quirúrgica. Una segmentación deficiente puede resultar en visualizaciones engañosas que comprometen la precisión quirúrgica19. En segundo lugar, este paso es el que requiere más tiempo. La integración de métodos de segmentación totalmente automáticos puede acelerar el protocolo, reduciendo la necesidad de ajustes manuales y semiautomáticos al tiempo que garantiza una segmentación anatómica precisa20. La optimización del recuento de polígonos es crucial para lograr un rendimiento óptimo de renderizado AR. Si no se realiza esta optimización, el rendimiento del HMD se ve significativamente comprometido.

En el paso 4, se describe la configuración de la aplicación holográfica, siguiendo la implementación de DINO-DLL. Un aspecto crítico es la alineación adecuada entre las posiciones de los marcadores infrarrojos y los modelos anatómicos holográficos, ya que esto afecta la precisión del registro manual. Especialmente, el efecto de palanca debe minimizarse para evitar imprecisiones a mayores distancias del centro del marcador infrarrojo. Otras mejoras podrían incluir la implementación de métodos de registro adicionales. Además, el sistema actual exhibe una tasa de seguimiento aceptable para la visualización continua, lo que se alinea con la literatura21. En tercer lugar, las mejoras adicionales deberían implicar la implementación de un filtro de Kalman para reducir el ruido en los datos de seguimiento de marcadores infrarrojos, eliminando así la fluctuación de la visualización holográfica.

En el paso 5, el marco proporciona un método de validación holográfica que utiliza el seguimiento EM. Este protocolo es útil para validar la precisión de los hologramas en un entorno fantasma, ya que proporciona una evaluación cuantitativa de la precisión holográfica de los órganos en movimiento. Un paso crucial aquí es la integración precisa de sensores de seguimiento EM dentro de maniquíes semideformables impresos en 3D. Los usuarios deben garantizar una calibración precisa de los sensores EM y el registro de puntos de referencia en 3D Slicer. Si se producen errores de validación, volver a registrar o eliminar cualquier objeto metálico podría mejorar la precisión de la validación. Para validar aún más la viabilidad clínica, se podrían emplear órganos ex vivo para simular con mayor precisión el tejido quirúrgico22.

Este protocolo sirve como una guía completa para los investigadores que buscan implementar soluciones de RA para el seguimiento de órganos y validar estos sistemas en experimentos con fantasmas. Además, proporciona una configuración de validación ampliamente aplicable que se puede utilizar fácilmente en diferentes escenarios clínicos, particularmente para validar métodos de RA para órganos en movimiento. Dada la complejidad de implementar aplicaciones holográficas, este marco facilita la transición de soluciones conceptuales basadas en AR a la validación preclínica.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los autores no tienen nada que revelar.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Agradecemos a Hisham Iqbal su experiencia y apoyo en el establecimiento del seguimiento de marcadores infrarrojos utilizando HoloLens 2, basado en el repositorio abierto DINO-DLL.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Segmentación de datos 3D (v5.6.2)RebanadorN/ASoftware de segmentación de imágenes médicas y necesario para la validación del seguimiento electromagnético
Marcadores M3 de 6,4 mm (1/4") Marcadores InfrarecOptiTrackN/AEsferas reflectantes infrarrojas que deben adjuntarse al marcador para su seguimiento 
Autodesk Fusion 360 (v2.0.21508)AutodeskN/ASoftware CAD para el diseño de marcadores infrarrojos y maniquíes
Estudio Bambú (v01.09.07.52)Laboratorio de bambúN/ASoftware de corte de impresión 3D para impresoras 3D Bambu
Bambú X1 CarbonoLaboratorio de bambúN/AImpresora 3D utilizada para marcadores infrarrojos y modelos fantasma
HoloLens 2MicrosoftN/APantalla de realidad aumentada montada en la cabeza para visualización de realidad aumentada
IRTrackingOrgans_HoloLens Código abiertoN/AAplicación basada en Unity que admite el seguimiento de marcadores IR
MeshMixer (v3.5.0)AutodeskN/ASe utiliza para la edición de mallas y la reducción de polígonos
NDI AuroraNorthern Digital Inc.N/ASistema de seguimiento electromagnético para validación
Herramienta de cable NDI Aurora 6DOFNorthern Digital Inc.N/ASensor para registrar el movimiento de órganos fantasmas
Sonda NDI Aurora 6DOFNorthern Digital Inc.N/ASe utiliza para identificar ubicaciones emblemáticas en el maniquí
Filamento de ácido polilácticoCualquier fabricanteN/AFilamento para imprimir piezas rígidas como marcadores infrarrojos
Filamento de poliuretano termoplásticoCualquier fabricanteN/AFilamento semiflexible para imprimir maniquí renal deformable
Unity Hub (v3.11.1) y Unity (v2019.4.22f1)Tecnologías de unidadN/ASoftware de desarrollo de juegos para el desarrollo y la implementación de aplicaciones de RA
Visual Studio 2019MicrosoftN/AIDE necesario para la integración e implementación de Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).">Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).">Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).">Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).">Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).">Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).">Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).">Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).">Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).">Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).">Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).">van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).">Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).">Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).">van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).">Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).">Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).">Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).">Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).">Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).">Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).">von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles