Enfoque técnico para el seguimiento infrarrojo para la navegación de tejidos blandos con una pantalla holográfica montada en la cabeza y validación preclínica

El alcance de este estudio en el Centro Princess Maxima de Oncología Pediátrica es desarrollar y validar un sistema de realidad aumentada. Este sistema debe alinear con precisión los hologramas de los órganos en movimiento. Un desafío experimental actual es validar que el holograma permanezca alineado con precisión con la posición en tiempo real de un órgano en movimiento.

Actualmente, las técnicas de validación de realidad aumentada solo se han descrito para estructuras anatómicas rígidas como los huesos. Sin embargo, nuestro protocolo ofrece la ventaja de que también se puede utilizar para validar la realidad aumentada para órganos en movimiento. Para comenzar, abra el software de diseño asistido por computadora 3D y cree un nuevo archivo.

Seleccione la ficha Sólido y haga clic en Crear boceto para iniciar un nuevo diseño para un marcador infrarrojo. Agregue tres o cuatro círculos pequeños con un diámetro de tres milímetros presionando Círculo de diámetro central. Con la herramienta Línea, conecte los vértices del triángulo a los puntos medios de los lados opuestos y dibuje líneas que conecten los círculos para calcular el punto central.

En el punto central, dibuja un círculo usando Círculo de diámetro central, luego dibuja rectángulos que conecten este círculo central con cada uno de los círculos más pequeños usando la herramienta Rectángulo de dos puntos. Extruya la base circular central y los rectángulos de conexión a un grosor de dos milímetros. Extruya los círculos más pequeños hasta un grosor de cinco milímetros.

Presione Crear, luego seleccione Rosca y agregue roscas a los tres conos usando un perfil métrico ISO para adaptarse a esferas reflectantes infrarrojas de 6,4 milímetros. Con la función Impresión 3D o Exportar, exporte el modelo final como un archivo de objeto. Dentro del software de diseño asistido por computadora 3D, seleccione Medir para medir las coordenadas x, y y z de las esferas reflectantes infrarrojas en relación con el punto central.

Mida las ubicaciones de los puntos centrales de cada círculo pequeño en correlación con el centro de toda la forma. Inicie el software de desarrollo de juegos. Importe el archivo de proyecto IRTrackingOrgans_HoloLens y abra el proyecto.

Con un editor de texto, abra el archivo JavaScript Object Notation guardado en la carpeta Assets o StreamingAssets. Adapte el archivo para definir el marcador infrarrojo personalizado utilizando las coordenadas registradas previamente y siguiendo el formato predeterminado. En la pestaña DINO Unity, seleccione el Administrador de herramientas, haga clic en ResearchModeController, seguido de Archivo JSON y Transformación principal, luego haga clic en Crear objetos Aplicar configuración JSON.

Importe el modelo de marcador infrarrojo 3D creado. Seleccione el modelo 3D específico del paciente y cambie sus coordenadas de transformación en la ventana Inspector para que coincida con la posición de los marcadores generados en la escena. A continuación, arrastre el modelo 3D específico del paciente a la escena para insertarlo.

Transforme el modelo 3D del paciente para alinear el marcador infrarrojo con su superficie. Coloque el marcador infrarrojo cerca del centro del modelo para reducir el error de posición del efecto palanca. Ahora, conecte la escena del paciente a un botón en la pantalla del menú para permitir múltiples selecciones de casos.

Vaya a Activos, escenas y escena de menú. En la ventana Jerarquía, vaya a NearMenu4x2, luego a ButtonCollection y seleccione el botón correspondiente. En la ventana Inspector, vaya a Eventos básicos y en MenuScript.

LoadScene, escriba el nombre de la escena del paciente. Cree u obtenga un modelo 3D de un maniquí renal con estructuras anatómicas realistas. Importe el modelo 3D en un software de modelado CAD 3D.

A continuación, utilice las funciones Sólido, Crear y Agujero para integrar cinco puntos de pivote de registro en el lateral del modelo. Establezca el Tipo de agujero en Simple, el Tipo de rosca de agujero en Simple, el Punto de perforación en Ángulo, la Altura en 0,5 milímetros y el Diámetro en 4,0 milímetros. Para fijar el sensor de referencia electromagnético, cree un cilindro con un orificio e intégrelo en el modelo de riñón.

Comienza un nuevo boceto y usa Círculo de diámetro central para dibujar un círculo y un círculo interior con un diámetro de 2,8 milímetros. Extruya el círculo exterior 16,5 milímetros. Luego vaya a Modificar, seguido de Combinar.

Seleccione el modelo de riñón 3D y el cilindro, elija Unir y confirme haciendo clic en Aceptar. A continuación, utilice la función Exportar o Imprimir 3D para exportar el modelo integrado final. A continuación, utilice un filamento flexible o semiflexible, como poliuretano termoplástico, para imprimir el maniquí del riñón siguiendo el procedimiento descrito anteriormente. Coloque el generador de campo del sistema de seguimiento electromagnético directamente debajo del maniquí de riñón impreso.

Retire todos los objetos ferromagnéticos del entorno circundante para evitar la falta de homogeneidad del campo electromagnético. Luego conecte el sensor electromagnético y el puntero electromagnético al sistema de seguimiento. Fije el sensor de referencia electromagnético al modelo 3D fijándolo de forma segura dentro del cilindro con pegamento.

En Segmentación 3D, importe el modelo de riñón 3D que contiene los puntos de pivote. Utilice el Asistente de registro fiducial. Seleccione Colocar un punto de control y asigne digitalmente los puntos de referencia de registro.

Para realizar el registro de puntos de referencia en la segmentación 3D, utilice el puntero electromagnético para identificar los puntos de referencia físicos. Presione Colocar un punto de control en cada ubicación física para registrarlos en el software. A continuación, calcule la transformación de registro lineal rígido presionando Actualizar.

Ahora, aplique la transformación de registro calculada al modelo 3D para vincularlo con el sensor de referencia electromagnético. Mueva el modelo físico y confirme que la versión digital en 3D Slicer sigue su movimiento. Inicie el dispositivo de visualización holográfica y abra la aplicación holográfica configurada anteriormente.

A continuación, navegue hasta el modelo 3D correcto específico del paciente que se visualiza actualmente en 3D Slicer. Ahora, fije el marcador infrarrojo a la ubicación especificada con pegamento, asegurándose de que las esferas reflectantes infrarrojas de 6,4 milímetros instaladas estén en su lugar según lo indicado por la planificación preoperatoria. Utilice el puntero electromagnético para identificar digitalmente los puntos de destino tal como se ven a través de la visualización holográfica.

Guarde el conjunto resultante de coordenadas del sensor EM. Calcule el error comparando las coordenadas de destino guardadas con los puntos de referencia colocados reales para validar la precisión de la visualización holográfica. En todos los participantes, el error de localización puntual, o PLE, mostró un valor medio de 8,74 milímetros, con mediciones individuales que oscilaron entre 2,78 y 13,20 milímetros.

El cirujano 2 logró consistentemente las mediciones de PLE más bajas, incluidas las dos localizaciones más precisas a 2,78 y 3,48 milímetros. El mayor error de localización se observó durante la tercera medición del Cirujano 3 con un PLE de 13,20 milímetros. Este protocolo ayudará a otros a implementar proyectos holográficos y validar con precisión su sistema de realidad aumentada en un entorno preclínico.

Nuestro grupo de investigación quirúrgica pronto comenzará con el seguimiento holográfico automatizado para múltiples casos quirúrgicos pediátricos. Los órganos móviles se rastrean en función de algoritmos de aprendizaje automático y transmisiones de cámaras RGB.