Combinación de realidad aumentada e impresión 3D para mostrar modelos de pacientes en un smartphone

Este protocolo ofrece a los usuarios sin experiencia las herramientas para llevar soluciones de realidad aumentada al campo médico a través de la construcción de su propia aplicación para teléfonos inteligentes. Este método combina la realidad aumentada y la impresión 3D permitiendo una visualización rápida y fácil de los modelos 3D creados a partir de la base de datos en la parte superior de un marcador de referencia impreso en 3D. Esta técnica se puede aplicar a cualquier escenario médico en el que una referencia impresa en 3D se puede fijar rígidamente al paciente.

La visualización de modelos visuales 3D creados a partir de la localización de datos basó que está dirigida y también puede mejorar el paciente Este protocolo ha sido diseñado específicamente para usuarios sin conocimiento previo de imágenes médicas o desarrollo de software para ayudar en el uso de la realidad aumentada en el campo médico. Para crear modelos 3D de la anatomía de un paciente, primero realice un seguimiento del archivo de imagen médica en la ventana del software 3D Slicer y haga clic en Aceptar. Para segmentar la anatomía del paciente, vaya al módulo de editor de segmentos en 3D Slicer. Un elemento de segmentación se creará automáticamente al entrar en el módulo.

Seleccione el volumen deseado en la sección de volumen maestro y haga clic con el botón derecho debajo de la imagen para seleccionar Agregar para crear un segmento. En el panel de efectos, seleccione la herramienta más conveniente para el objetivo y segmente la imagen médica del paciente. Para exportar la segmentación en un formato de archivo de modelo 3D, abra el módulo de segmentaciones.

En los modelos de exportación/importación y los mapas de etiquetas, seleccione exportar y modelos y haga clic en Exportar para crear el modelo 3D desde el área segmentada. Haga clic en Guardar y seleccione los elementos que desea guardar. A continuación, cambie el formato de archivo del modelo 3D a OBJ.

La segmentación se puede repetir para crear modelos 3D adicionales de diferentes regiones anatómicas. Para el posicionamiento de un modelo de paciente 3D en cualquier posición con respecto al marcador de realidad aumentada, abra el módulo de posición del modelo AR Health y seleccione el modo de visualización. Haga clic en el modelo de marcador de carga para cargar el marcador de esta opción, el botón de puntos suspensivos para seleccionar la ruta del modelo 3D guardado y cargue el modelo para cargar el modelo en 3D Slicer.

Haga clic en acabado y centro para centrar todos los modelos dentro del marcador. Utilice las barras deslizantes para ajustar la posición, la orientación y la escala de los modelos 3D con respecto al marcador como desee. A continuación, seleccione la ruta para almacenar los archivos y haga clic en Guardar modelos para guardar los modelos en esta posición.

Para combinar el marcador de realidad aumentada con un biomodelo 3D en cualquier posición deseada, abra el módulo de posición del modelo AR Health y, en la sección de inicialización, seleccione el modo de registro. Haga clic en el modelo de marcador de carga para cargar el marcador de esta opción y mover los modelos 3D hasta que se intersequen con la estructura auxiliar del marcador de cubo, modificando la altura de la base del marcador según sea necesario. Para guardar el modelo en esta posición, seleccione la ruta de acceso para almacenar los archivos y haga clic en Guardar modelos.

Si el modelo de anatomía es demasiado grande, cargue el biomodelo y la estructura de soporte del modelo de marcador de cubo en el software de mezclador de malla. Seleccione ambos modelos en la ventana del explorador de objetos para combinar los modelos y utilice la herramienta de corte plano en el menú de edición para eliminar las secciones no deseadas del modelo que no se imprimirán en 3D. Para guardar el modelo para imprimirlo en 3D, seleccione el archivo y exporte y seleccione el formato deseado.

Para imprimir 3D los modelos físicos necesarios para la aplicación de realidad aumentada final, en el software de impresión 3D, seleccione un material de color blanco para el TwoColorCuebMarker_white. obj y un material de color negro para el TwoColorCubeMarker_white. obj archivo.

A continuación, utilice una impresora 3D de extrusora doble para imprimir en 3D el marcador cúbico en blanco y negro en modo de alta calidad con una altura de capa pequeña. Para diseñar una aplicación para smartphone en Unity Engine que incluya los modelos 3D, abre Vuforia Developer y crea una cuenta. Seleccione obtener clave de desarrollo para obtener una clave de licencia de desarrollo gratuita y en el menú del administrador de licencias seleccione y copie la clave.

Para configurar el smartphone, en la aplicación Unity versión 2019, en Configuración de compilación en el menú de archivos, seleccione la plataforma adecuada para el dispositivo. Para habilitar Vuforia en el proyecto, seleccione editar, configuración del proyecto, configuración del reproductor y configuración de XR y marque la casilla de soporte de realidad aumentada de Vuforia. Para crear una cámara de realidad aumentada, seleccione la barra de menús, el objeto de juego, el motor Vuforia y la cámara AR e importe los componentes de Vuforia cuando se le solicite.

Para agregar la clave de licencia de Vuforia a la configuración de Vuforia, seleccione la carpeta resources, haga clic en Vuforia configuration y pegue la clave de licencia en la sección de clave de licencia de la aplicación. Importe el archivo de destino Vuforia que contiene los archivos que Vuforia requiere para detectar los marcadores en Unity y seleccione la barra de menús, el objeto de juego, vuforia Engine y la imagen múltiple para crear un objetivo múltiple de Vuforia. Haga clic en el destino múltiple para seleccionar el tipo de marcador que se usará para la detección y, en la opción de base de datos en comportamiento de varios objetivos, seleccione ARHealth_3dPrintedCube_30x30x30.

En la opción de varios objetivos en comportamiento de varios objetivos, seleccione TwoColorCubeMarker o StickerCubeMarker en función del marcador. Arrastre los modelos 3D a la carpeta de modelos y arrastre la carpeta debajo del elemento de destino múltiple. Los modelos deben hacerse visibles en la escena de vista de Unity 3D.

Para cambiar los colores de los modelos 3D, cree nuevos materiales y asigne los nuevos materiales a los modelos. Si hay una cámara web disponible, haga clic en reproducir para probar la aplicación en el equipo. Si el marcador es visible para la cámara web, debe detectarse y los modelos 3D deben aparecer en la escena.

Si se usará un smartphone Android para el desarrollo de la aplicación, selecciona la configuración de compilación en Unity y selecciona el teléfono conectado de la lista. A continuación, guarde el archivo con una extensión apk y permita que el proceso finalice. Si la aplicación se implementará en un dispositivo iOS, seleccione el archivo en la configuración de compilación y guarde el archivo.

Para visualizar la aplicación, abra la aplicación en el teléfono inteligente y utilice la cámara del teléfono inteligente para mirar el marcador desde dentro de la aplicación a una distancia mínima de 40 centímetros. Una vez que la aplicación detecta el marcador, los modelos 3D creados anteriormente deben aparecer en la pantalla del teléfono inteligente en la ubicación exacta definida durante el procedimiento. Utilizando el método como se ha demostrado, esta porción de la tibia y el peroné afectados de un paciente que sufre de sarcoma de pierna distal y tumor fueron segmentados a partir de la tomografía computarizada del paciente.

Usando las herramientas de segmentación, se creó un biomodelo para el hueso y se creó un biomodelo para el tumor. Para el modo de visualización, los modelos se centraron en la fase superior del marcador. Para el modo de registro, el adaptador de marcador se posicionó en la tibia y se seleccionó una pequeña sección de la tibia para que se imprimió en 3D con un adaptador de marcador 3D.

El ácido poliláctico se puede utilizar para crear los marcadores impresos en 3D, las bases del marcador y las secciones óseas como se ha demostrado. Aquí se adjunta un marcador a una base impresa en modo de visualización 3D y aquí el archivo adjunto se muestra con el biomodelo impreso en 3D del modo de registro. Esta representación muestra cómo funciona la aplicación en modo de visualización con el holograma ubicado con precisión en la parte superior del cubo como se definió anteriormente.

En el modo de registro, el modelo de hueso completo se puede colocar en la parte superior de la sección impresa en 3D con una visualización clara y realista del marcador en el sitio óseo. Para utilizar la realidad aumentada para visualizar información importante del paciente, necesitará varias herramientas de software que estén disponibles libremente, así como acceso a una impresora 3D y un teléfono inteligente. Este procedimiento se puede aplicar a cualquier modelo obtenido a partir de imágenes médicas.

Su uso se puede extender a otras intervenciones como el posicionamiento de radioterapia de la inserción de la aguja. Ahora estamos extendiendo las aplicaciones de este desarrollo a nuevas áreas clínicas incluyendo cirugía miofascial u ortopédica. Nuestra investigación inicial es prometedora y la retroalimentación del cirujano es muy positiva.