Summary
Aquí se presenta un método para diseñar una aplicación de smartphone de realidad aumentada para la visualización de modelos tridimensionales anatómicos de pacientes utilizando un marcador de referencia impreso en 3D.
Abstract
La realidad aumentada (AR) tiene un gran potencial en educación, capacitación y orientación quirúrgica en el campo médico. Su combinación con la impresión tridimensional (3D) (3DP) abre nuevas posibilidades en aplicaciones clínicas. Aunque estas tecnologías han crecido exponencialmente en los últimos años, su adopción por los médicos sigue siendo limitada, ya que requieren un amplio conocimiento de la ingeniería y el desarrollo de software. Por lo tanto, el propósito de este protocolo es describir una metodología paso a paso que permite a los usuarios inexpertos crear una aplicación para teléfonos inteligentes, que combina AR y 3DP para la visualización de modelos 3D anatómicos de pacientes con un marcador de referencia impreso en 3D. El protocolo describe cómo crear modelos virtuales 3D de la anatomía de un paciente derivados de imágenes médicas 3D. A continuación, explica cómo realizar el posicionamiento de los modelos 3D con respecto a las referencias de marcador. También se proporcionan instrucciones sobre cómo imprimir en 3D las herramientas y modelos necesarios. Por último, se proporcionan los pasos para implementar la aplicación. El protocolo se basa en software gratuito y multiplataforma y se puede aplicar a cualquier modalidad de imagen médica o paciente. Se describe un enfoque alternativo para proporcionar el registro automático entre un modelo impreso en 3D creado a partir de la anatomía de un paciente y los hologramas proyectados. Como ejemplo, se proporciona un caso clínico de un paciente que sufre de sarcoma distal de la pierna para ilustrar la metodología. Se espera que este protocolo acelere la adopción de tecnologías AR y 3DP por parte de profesionales médicos.
Introduction
AR y 3DP son tecnologías que proporcionan un número creciente de aplicaciones en el campo médico. En el caso de ar, su interacción con los modelos 3D virtuales y el entorno real beneficia a los médicos en cuanto a educación y formación1,2,3, comunicación e interacciones con otros médicos4, y orientación durante las intervenciones clínicas5,6,7,8,9,10. Asimismo, 3DP se ha convertido en una potente solución para los médicos a la hora de desarrollar herramientas personalizables específicas del paciente11,12,13 o crear modelos 3D de la anatomía de un paciente, lo que puede ayudar a mejorar la planificación preoperatoria y las intervenciones clínicas14,15.
Tanto las tecnologías AR como las 3DP ayudan a mejorar la orientación, la orientación y las habilidades espaciales en los procedimientos médicos; por lo tanto, su combinación es el siguiente paso lógico. Trabajos previos han demostrado que su uso conjunto puede aumentar el valor en la educación del paciente16,facilitando explicaciones de las condiciones médicas y el tratamiento propuesto, optimizando el flujo de trabajo quirúrgico17,18 y mejorando el registro de paciente a modelo19. Aunque estas tecnologías han crecido exponencialmente en los últimos años, su adopción por los médicos sigue siendo limitada, ya que requieren un amplio conocimiento de la ingeniería y el desarrollo de software. Por lo tanto, el propósito de este trabajo es describir una metodología paso a paso que permita el uso de AR y 3DP por parte de usuarios inexpertos sin necesidad de conocimientos técnicos amplios.
Este protocolo describe cómo desarrollar una aplicación para teléfonos inteligentes AR que permite la superposición de cualquier modelo 3D basado en el paciente en un entorno del mundo real utilizando un marcador impreso en 3D rastreado por la cámara del teléfono inteligente. Además, se describe un enfoque alternativo para proporcionar el registro automático entre un biomodelo impreso en 3D (es decir, un modelo 3D creado a partir de la anatomía de un paciente) y los hologramas proyectados. El protocolo descrito se basa totalmente en software libre y multiplataforma.
En trabajos anteriores, el registro de paciente a imagen de AR se ha calculado manualmente5 con algoritmos de reconocimiento de superficie10 o no ha estado disponible2. Estos métodos se han considerado algo limitados cuando se requiere un registro preciso19. Para superar estas limitaciones, este trabajo proporciona herramientas para realizar un registro preciso y sencillo de paciente a imagen en procedimientos de realidad aumentada mediante la combinación de tecnología de realidad aumentada y 3DP.
El protocolo es genérico y se puede aplicar a cualquier modalidad de imagen médica o paciente. Como ejemplo, se proporciona un caso clínico real de un paciente que sufre de sarcoma distal de la pierna para ilustrar la metodología. El primer paso describe cómo segmentar fácilmente la anatomía afectada de imágenes médicas de tomografía computarizada (TC) para generar modelos virtuales 3D. Después, se realiza el posicionamiento de los modelos 3D, a continuación, las herramientas y modelos necesarios se imprimen en 3D. Por último, se implementa la aplicación de realidad aumentada deseada. Esta aplicación permite la visualización de modelos 3D del paciente superpuestos en una cámara de teléfono inteligente en tiempo real.
Protocol
Este estudio se realizó de conformidad con los principios de la Declaración de Helsinki de 1964 revisada en 2013. Los datos anónimos del paciente y las imágenes incluidas en este documento se utilizan después de que se obtuvo el consentimiento informado por escrito del participante y/o de su representante legal, en el que aprobó el uso de estos datos para actividades de difusión, incluidas las publicaciones científicas.
1. Configuración de la estación de trabajo para segmentación, extracción de modelos 3D, posicionamiento e implementación de aplicaciones de realidad aumentada
NOTA: Este protocolo se ha probado con la versión de software específica indicada para cada herramienta. Es probable que funcione con versiones más recientes, aunque no está garantizado.
- Utilice un equipo con Microsoft Windows 10 o Mac OS como sistemas operativos.
- Instale las siguientes herramientas de los sitios web correspondientes según las instrucciones oficiales:
Cortadora 3D (v. 4.10.2): https://download.slicer.org/.
Mezclador de malla (v. 3.5): http://www.meshmixer.com/download.html.
Unidad (v. 2019): https://unity3d.com/get-unity/download.
(Solo para la implementación de iOS) Xcode (última versión): https://developer.apple.com/xcode/.
NOTA: Todas las herramientas de software necesarias para completar el protocolo se pueden descargar libremente para fines personales. El software que se utilizará en cada paso se indicará específicamente. - Descargue los datos del siguiente repositorio de GitHub, que se encuentra en https://github.com/BIIG-UC3M/OpenARHealth.
NOTA: El repositorio contiene las siguientes carpetas:
"/3DSlicerModule/": módulo de segmentación 3D para posicionar modelos 3D con respecto al marcador impreso en 3D. Se utiliza en la sección 3. Agregue el módulo a la segmentación 3D siguiendo las instrucciones disponibles en https://github.com/BIIG-UC3M/OpenARHealth.
"/Data/PatientData/Patient000_CT.nrrd": TC de un paciente que sufre de sarcoma distal en las piernas. El protocolo se describe utilizando esta imagen como ejemplo.
"/Data/Biomodels/": modelos 3D del paciente (hueso y tumor).
"/Data/Markers/": Marcadores que se imprimirán en 3D, que serán detectados por la aplicación AR para posicionar los modelos 3D virtuales. Hay dos marcadores disponibles.
2. Creación de biomodelos
NOTA: El objetivo de esta sección es crear modelos 3D de la anatomía del paciente. Se obtendrán aplicando métodos de segmentación a una imagen médica (aquí, utilizando una imagen de TC). El proceso consta de tres pasos diferentes: 1) cargar los datos del paciente en software de segmentación 3D, 2), segmentación de volúmenes de anatomía objetivo y 3) exportación de segmentación como modelos 3D en formato OBJ. Los modelos 3D resultantes se visualizarán en la aplicación AR final.
- Cargue los datos del paciente ("/Data/PatientData/Patient000_CT.nrrd") arrastrando el archivo de imagen médica a la ventana del software de segmentación 3D. Haga clic en Aceptar. Las vistas CT (axial, sagital, coronal) aparecerán en las ventanas correspondientes.
NOTA: Los datos utilizados aquí se encuentran en formato "datos ráster casi sin procesar" (NRRD), pero 3D Slicer permite cargar archivos de formato de imagen médica (DICOM). Vaya al siguiente enlace para obtener más instrucciones, que se encuentra en https://www.slicer.org/wiki/Documentation/4.10/Training. - Para segmentar la anatomía del paciente, vaya al módulo Editor de segmentos en la segmentación 3D.
- Al introducir el módulo, se crea automáticamente un elemento de "segmentación". Seleccione el volumen deseado (una imagen médica del paciente) en la sección Volumen maestro. A continuación, haga clic con el botón derecho en el botón Agregar para crear un segmento. Se creará un nuevo segmento con el nombre "Segment_1".
- Hay un panel llamado Efectos que contiene una variedad de herramientas para segmentar correctamente el área objetivo de la imagen médica. Seleccione la herramienta más conveniente para el destino y el segmento en el área de ventanas de imagen.
- Para segmentar el hueso (tibia y peroné en este caso), utilice la herramienta Umbral para configurar los valores mínimos y máximos de HU de la imagen de TC, que corresponde al tejido óseo. Mediante el uso de esta herramienta, se eliminan otros elementos con unidad de manipulación fuera de estos valores de umbral, como el tejido blando.
- Utilice la herramienta Tijeras para eliminar las áreas no deseadas, como el lecho u otras estructuras anatómicas, de la máscara segmentada. Segmenta el sarcoma manualmente usando las herramientas Dibujar y Borrar, ya que el tumor es difícil de contornear con herramientas automáticas.
NOTA: Para obtener más información sobre el procedimiento de segmentación, vaya al enlace que se encuentra en https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- Haga clic en el botón Mostrar 3D para ver una representación 3D de la segmentación.
- Exporte la segmentación en un formato de archivo de modelo 3D yendo al módulo Segmentaciones en 3D Slicer.
- Vaya a Exportar/importar modelos y mapasde etiquetas . Seleccione Exportar en la sección de operación y Modelos en la sección Tipo de salida. Haga clic en Exportar para finalizar y crear el modelo 3D a partir del área segmentada.
- Seleccione GUARDAR (arriba a la izquierda) para guardar el modelo. Elija los elementos que desea guardar. A continuación, cambie el formato de archivo del modelo 3D a "OBJ" dentro de la columna Formato de archivo. Seleccione la ruta donde se almacenarán los archivos y haga clic en Guardar.
- Repita los pasos 2.2 y 2.3 para crear modelos 3D adicionales de diferentes regiones anatómicas.
NOTA: Los modelos presegmentados del ejemplo proporcionado se pueden encontrar en los datos descargados anteriormente en el paso 1.3 ("/Data/Biomodels/").
3. Posicionamiento de biomodelos
NOTA: En esta sección, los modelos 3D creados en la Sección 2 se colocarán con respecto al marcador para la visualización de la realidad aumentada. El módulo ARHealth: Model Position de 3D Slicer se utilizará para esta tarea. Siga las instrucciones proporcionadas en el paso 1.3 para agregar el módulo a 3D Slicer. Hay dos alternativas diferentes para posicionar los modelos 3D: el modo "Visualización" y el modo "Registro".
- Modo de visualización
NOTA: El modo de visualización permite el posicionamiento de los modelos de pacientes 3D en cualquier posición con respecto al marcador AR. Con esta opción, el usuario puede utilizar la aplicación AR para visualizar biomodelos utilizando el marcador AR impreso en 3D como referencia. Este modo se puede utilizar cuando no se requiere precisión, y la visualización del modelo virtual se puede mostrar en cualquier lugar dentro del campo de visión de la cámara y el marcador del teléfono inteligente.- Vaya al módulo ARHealth: Model Position y (en la sección de inicialización) seleccione Modo de visualización. Haga clic en Cargar modelo de marcador para cargar el marcador de esta opción.
- Cargue los modelos 3D creados en la sección 2 haciendo clic en el botón ... para seleccionar la ruta de los modelos guardados de la sección 2. A continuación, haga clic en el botón Cargar modelo para cargarlo en 3D Slicer. Los modelos deben cargarse uno a la vez. Para eliminar cualquier modelo cargado previamente, haga clic en ese modelo seguido del botón Quitar modelo o haga clic en Eliminar todo para eliminar todos los modelos cargados a la vez.
- Haga clic en el botón Finalizar y centrar para centrar todos los modelos dentro del marcador.
- La posición, la orientación y la escala de los modelos 3D se pueden modificar con respecto al marcador con diferentes barras deslizantes (es decir, traslación, rotación, escala).
NOTA: Hay un botón adicional "Reset Position" para restablecer la posición original de los modelos antes de realizar cualquier cambio en la posición. - Guarde los modelos en esta posición eligiendo la ruta para almacenar los archivos y haciendo clic en el botón Guardar modelos. Los modelos 3D se guardarán con el nombre de extensión "_registered.obj".
- Modo de registro
NOTA: El modo de registro permite combinar el marcador AR con un biomodelo 3D en cualquier posición deseada. A continuación, se puede extraer cualquier sección de los modelos 3D combinados (que incluye el marcador AR) e imprimirse en 3D. Todos los biomodelos se mostrarán en la aplicación AR utilizando este biomodelo combinado impreso en 3D como referencia. Este modo permite al usuario registrar fácilmente al paciente (aquí, una sección del hueso del paciente) y modelos virtuales utilizando un marcador de referencia.- Vaya al módulo ARHealth: Model Position y (en la sección de inicialización) seleccione Registration mode (Modo de registro). Haga clic en Cargar modelo de marcador para cargar el marcador de esta opción.
- Cargue los modelos como se hace en el paso 3.1.2.
- Mueva los modelos 3D y asegúrese de que su intersección con la estructura de soporte del marcador de cubo, ya que estos modelos se combinarán e imprimirán en 3D más adelante. La altura de la base del marcador se puede modificar. La posición, la orientación y la escala de los modelos 3D se pueden modificar con respecto al marcador con diferentes barras deslizantes (es decir, traslación, rotación, escala).
- Guarde los modelos en esta posición eligiendo la ruta para almacenar los archivos y haciendo clic en el botón Guardar modelos. Los modelos 3D se guardarán con el nombre de extensión "_registered.obj".
- El modelo de anatomía puede ser demasiado grande. Si es así, corte el modelo 3D alrededor del adaptador de marcador e imprima en 3D solo una sección de la combinación de ambos modelos utilizando el software Meshmixer.
- Abra Meshmixer y cargue el biomodelo y la estructura de soporte del modelo de marcador de cubo guardado en el paso 3.2.4. Combine estos modelos seleccionando ambos modelos en la ventana Examinador de objetos. Haga clic en la opción Combinar en la ventana de herramientas que acaba de aparecer en la esquina superior izquierda.
- En Meshmixer, utilice la herramienta Corte de plano en el menú Editar para eliminar las secciones no deseadas del modelo que no se imprimirán en 3D.
- Para guardar el modelo que se va a imprimir en 3D, vaya a Archivo > Exportar y seleccione el formato deseado.
4. Impresión 3D
NOTA: El objetivo de este paso es imprimir en 3D los modelos físicos necesarios para la aplicación ar final. El marcador que debe detectar la aplicación y los diferentes objetos necesarios dependen del modo seleccionado en la sección 3. Cualquier material se puede utilizar para la impresión 3D con el fin de este trabajo, cuando se siguen los requisitos de material de color solicitados en cada paso. El ácido poliláctico (PLA) o el acrilonitrilo butadieno estireno (ABS) son opciones suficientes.
- Utilice una impresora 3D para imprimir el marcador cúbico. Si una impresora 3D de extrusora doble no está disponible, vaya al paso 4.2. Utilice una impresora 3D de extrusora doble específicamente para imprimir el marcador de dos colores proporcionado en "Datos/Marcadores/Marker1_TwoColorCubeMarker/". En el software de impresión 3D, seleccione un material de color blanco para el archivo "TwoColorCubeMarker_WHITE.obj" y el material de color negro para "TwoColorCubeMarker_BLACK.obj".
NOTA: Para una mejor detección de marcadores, imprima en modo de alta calidad con una altura de capa pequeña. - Si una impresora 3D de extrusora doble no está disponible y no se ha realizado el paso 4.1, siga este paso para imprimir un marcador impreso en 3D con pegatinas como alternativa haciendo lo siguiente:
- Utilice una impresora 3D para imprimir el archivo "Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" con material de color blanco.
- Utilice una impresora convencional para imprimir el archivo "Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf" en papel adhesivo. A continuación, utilice cualquier herramienta de corte para cortar con precisión las imágenes a través del marco negro eliminando las líneas negras.
NOTA: Se recomienda utilizar papel adhesivo para obtener un marcador de mayor calidad. Sin embargo, las imágenes se pueden imprimir en papel normal, y se puede utilizar un palo de pegamento común para pegar las imágenes en el cubo. - Coloque pegatinas en el cubo impreso en 3D obtenido en el paso 4.2.1 en el orden correspondiente siguiendo las instrucciones del documento "Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf".
NOTA: Las pegatinas son más pequeñas que la cara del cubo. Deje un marco de 1,5 mm entre la pegatina y el borde de la cara. "Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl" se puede imprimir en 3D para guiar el posicionamiento de la etiqueta y coincidir exactamente con el centro de la cara del cubo.
- Impresión 3D de los adaptadores, dependiendo del modo seleccionado en la sección 3.
- Si se selecciona el modo Visualización (sección 3.1), imprima 3D "Data/3DPrinting/Option1/ MarkerBaseTable.obj", que es un adaptador base utilizado para colocar el marcador en posición vertical sobre una superficie horizontal.
- Si se ha seleccionado el modo de registro (sección 3.2), imprima en 3D el modelo creado en el paso 3.2.8 con el adaptador de marcador conectado.
NOTA: Los objetos impresos en 3D del paso 4.3 se pueden imprimir en cualquier material de color.
5. Implementación de aplicaciones DE AR
NOTA: El objetivo de esta sección es diseñar una aplicación para smartphone en el motor Unity que incluya los modelos 3D creados en las secciones anteriores e implementar esta aplicación en un smartphone. Se requiere una clave de licencia de desarrollo de Vuforia (gratuita para uso personal) para este paso. La aplicación se puede implementar en dispositivos Android o iOS.
- Crea una cuenta de desarrollador de Vuforia para obtener una clave de licencia para usar sus bibliotecas en Unity. Ve al enlace que se encuentra en https://developer.vuforia.com/vui/auth/register y crea una cuenta.
- Vaya al enlace que se encuentra en https://developer.vuforia.com/vui/develop/Licenses y seleccione Obtener clave de desarrollo. A continuación, siga las instrucciones para agregar una clave de licencia de desarrollo gratuita a la cuenta del usuario.
- En el menú Administrador de licencias, seleccione la clave creada en el paso anterior y copie la clave proporcionada, que se utilizará en el paso 5.3.3.
- Configure el smartphone.
- Para empezar a usar dispositivos Unity y Android, ve al enlace que se encuentra en https://docs.unity3d.com/Manual/android-GettingStarted.html.
- Para comenzar con dispositivos Unity e iOS, ve al enlace que se encuentra en https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
- Configura un proyecto de Unity para la aplicación AR abriendo primero Unity v.2019 y creando un nuevo proyecto 3D. Entonces, bajoConfiguración de compilaciónEnArchivomenú, cambie la plataforma a un dispositivo Android o iOS.
- Habilite Vuforia en el proyecto seleccionando Edición > Configuración del proyecto > Configuración del reproductor > Configuración xR y marcando la casilla Soporte de realidad aumentada de Vuforia.
- Crea una "ARCamera" en Barra de menús > GameObject > Vuforia Engine > ARCamera e importa componentes de Vuforia cuando se te solicite.
- Agregue la clave de licencia de Vuforia a la configuración de Vuforia seleccionando la carpeta Recursos y haciendo clic en Configuración de Vuforia. A continuación, en la sección Clave de licencia de la aplicación, pegue la clave copiada en la sección 5.1.2.
- Importe el archivo Vuforia Target proporcionado en "/Data/Vuforia/ AR_Cube_3x3x3.unitypackage" a Unity, que contiene los archivos que Vuforia requiere para detectar los marcadores descritos en la sección 4.
- Crea un Vuforia MultiTarget en Barra de menús > GameObject > Motor de Vuforia > Multi Imagen.
- Seleccione el tipo de marcador que se utilizará para la detección haciendo clic en el MultiTarget creado en el paso anterior. En la opción Base de datos en Comportamiento de destino múltiple, seleccione ARHealth_3DPrintedCube_30x30x30. En la opción Multi Target en Multi Target Behaviour, seleccione TwoColorCubeMarker o StickerCubeMarker, dependiendo del marcador creado en la sección 4.
- Cargue los modelos 3D creados en la sección 3 en Unity Scene en MultiTarget creando una nueva carpeta con el nombre "Models" en la carpeta "Resources". Arrastre los modelos 3D a esta carpeta. Una vez cargados en Unity, arrástralos bajo el elemento "MultiTarget" creado en el paso 5.3.5. Esto los hará dependientes del marcador.
NOTA: Los modelos deben estar visibles en la escena de la vista 3D de Unity. - Cambie los colores de los modelos 3D creando un nuevo material y asignando los nuevos materiales a los modelos.
- Cree una nueva carpeta denominada "Materiales" en la carpeta "Recursos" yendo a Barra de menús > Activos > Crear > Material. Seleccione el material y cambie el color en la sección de configuración. A continuación, arrastre el archivo bajo la jerarquía del modelo 3D.
- Opcional: si hay una cámara web disponible, haga clic en el botón de reproducción situado en la parte superior media para probar su aplicación en el ordenador. Si el marcador es visible para la cámara web, debe detectarse y los modelos 3D deben aparecer en la escena.
- Si se usa un smartphone Android para la implementación de aplicaciones, ve a Archivo > Configuración de compilación en Unity y selecciona el teléfono conectado de la lista. Seleccione Implementar y ejecutar. Guarde el archivo con la extensión .apk en el equipo y permita que el proceso finalice. Una vez realizada la implementación, la aplicación debe estar en el teléfono y lista para ejecutarse.
NOTA: Este protocolo se ha probado en Android v.8.0 Oreo o superior. La funcionalidad correcta no está garantizada para las versiones anteriores. - Si la aplicación se implementará en un dispositivo iOS, ve a Archivo > Configuración de compilación en Unity y selecciona Ejecutar. Seleccione la ruta de acceso para guardar los archivos de la aplicación. Deje que el proceso termine. Vaya a la carpeta guardada y abra el archivo con la extensión ".projectxcode".
- En Xcode, siga las instrucciones del paso 5.2.2 para completar la implementación.
NOTA: Para obtener más información sobre Vuforia en Unity, vaya al enlace que se encuentra en https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.
- En Xcode, siga las instrucciones del paso 5.2.2 para completar la implementación.
6. Visualización de aplicaciones
- Abra la aplicación instalada, que utilizará la cámara del smartphone. Al ejecutar la aplicación, mire el marcador con la cámara desde una distancia corta (40 cm como mínimo). Una vez que la aplicación detecta el marcador, los modelos 3D creados en los pasos anteriores deben aparecer exactamente en la ubicación definida durante el procedimiento en la pantalla del teléfono inteligente.
NOTA: La iluminación puede alterar la precisión de la detección de marcadores. Se recomienda utilizar la aplicación en entornos con buenas condiciones de iluminación.
Representative Results
El protocolo se aplicó a los datos de un paciente que sufre de sarcoma distal de la pierna con el fin de visualizar la región anatómica afectada desde una perspectiva 3D. Utilizando el método descrito en la sección 2, la porción del hueso afectado (aquí, la tibia y el peroné) y el tumor se segmentaron de la tomografía computarizada del paciente. Luego, utilizando las herramientas de segmentación de 3D Slicer, se crearon dos biomodelos: el hueso (sección de la tibia y el peroné)(Figura 1A)y el tumor(Figura 1B).
A continuación, los dos modelos 3D se colocaron virtualmente con respecto al marcador para una visualización óptima. Ambos modos descritos en la sección 3 se siguieron para este ejemplo. Para el modo de visualización, los modelos se centraron en la cara superior del marcador (Figura 2). Para el modo de registro, el adaptador de marcador se colocó en el hueso (específicamente, la tibia [Figura 3]). A continuación, se seleccionó una pequeña sección de la tibia para que se imprimiera en 3D con un adaptador de marcador 3D(Figura 4). Se utilizó una impresora 3D extendida Ultimaker 3 con material PLA para crear los marcadores impresos en 3D(Figura 5A, B), base de soporte de marcador(Figura 5C) para el modo de "visualización" y sección de la tibia para el modo de "registro"(Figura 5D). La Figura 5E muestra cómo se adjuntó el marcador a la base impresa en 3D en modo de "visualización". La Figura 5F muestra el accesorio con el biomodelo impreso en 3D en modo "registro". Finalmente, Unity se utilizó para crear la aplicación e implementarla en el teléfono inteligente.
La figura 6 muestra cómo funcionaba la aplicación para el modo de "visualización". El holograma se localizó con precisión en la parte superior del cubo como se definió anteriormente. La figura 7 muestra la solicitud para el modo de "registro", en la que la aplicación colocó el modelo de hueso completo enlacima de la sección impresa en 3D. La visualización final de los hologramas fue clara y realista, mantuvo los tamaños reales de los biomodelos y se posicionó con precisión. Cuando se utiliza la aplicación de teléfono inteligente, el marcador AR debe ser visible por la cámara para que la aplicación muestre correctamente los hologramas. Además, las condiciones de luz en la escena deben ser de buena calidad y constantes para la detección de marcadores adecuada. Las malas condiciones de luz o reflejos en la superficie del marcador dificultan el seguimiento del marcador AR y causan un mal funcionamiento de la aplicación.
El tiempo necesario para crear la aplicación depende de varios factores. La duración de la sección 1 está limitada por la velocidad de descarga. En cuanto a la segmentación de la anatomía (sección 2), los factores que afectan el tiempo de segmentación incluyen la complejidad de la región y la modalidad de imágenes médicas (es decir, la TC se segmenta fácilmente, mientras que la RMN es más difícil). Para el ejemplo representativo de la tibia, se requirieron aproximadamente 10 minutos para generar ambos modelos 3D a partir de la tomografía computarizada. El posicionamiento del biomodelo (sección 3) es simple y directo. Aquí, se tardó aproximadamente 5 minutos en definir la posición del biomodelo con respecto al marcador AR. Para el paso de impresión 3D, la duración depende en gran medida del modo seleccionado. El "marcador de doble color" fue fabricado a alta calidad en un período de 5 h y 20 min. El "marcador de pegatinas" fue fabricado en un período de 1 h y 30 min, más el tiempo necesario para pegar las pegatinas. El último paso para el desarrollo de aplicaciones puede llevar mucho tiempo para aquellos que no tienen experiencia previa en Unity, pero se puede completar fácilmente siguiendo los pasos del protocolo. Una vez que los marcadores AR se han impreso en 3D, el desarrollo de una aplicación de realidad aumentada completamente nueva se puede realizar en menos de 1 h. Esta duración se puede reducir aún más con experiencia adicional.
Figura 1: Representación de modelos 3D creados a partir de una imagen de TC de un paciente que sufre de sarcoma distal de la pierna. (A) Tejido óseo representado en blanco (tibia y peroné). (B) Tumor representado en rojo. Haga clic aquí para ver una versión más grande de esta figura.
Figura 2: Resultados que muestran cómo el modo de "visualización" en 3D Slicer posiciona los modelos 3D virtuales del hueso y el tumor con respecto a la referencia de marcador impreso en 3D. Los modelos 3D del paciente (A) se colocan por encima de la cara superior del cubo marcador (B). Haga clic aquí para ver una versión más grande de esta figura.
Figura 3: Resultados que muestran cómo el modo de "registro" en 3D Slicer posiciona los modelos 3D virtuales del hueso y el tumor (A) con respecto a la referencia de marcador impresa en 3D (B). El adaptador de marcador está unido al modelo de tejido óseo. Haga clic aquí para ver una versión más grande de esta figura.
Figura 4: Pequeña sección del tejido óseo y adaptador de marcador 3D. Los dos componentes se combinan y luego se imprimen en 3D. Haga clic aquí para ver una versión más grande de esta figura.
Figura 5: Herramientas impresas en 3D necesarias para la aplicación final. (A) "Marcador de cubo de dos colores" impreso en 3D con dos colores de materiales. (B) "Marcador de cubo de pegatina" impreso en 3D, con pegatinas pegadas. (C) Adaptador de cubo base de marcador. (D) Sección del modelo 3D de tejido óseo del paciente y adaptador de cubo marcador. (E) "Marcador de cubo de pegatina" colocado en el adaptador de cubo de base del marcador. (F) "Marcador de cubo de dos colores" colocado en el adaptador de marcador unido a la anatomía del paciente. Haga clic aquí para ver una versión más grande de esta figura.
Figura 6: Visualización de la aplicación cuando se utiliza el modo de "visualización". Los modelos 3D de anatomía afectados del paciente se colocan por encima de la cara superior del cubo impreso en 3D. Haga clic aquí para ver una versión más grande de esta figura.
Figura 7: Visualización ar cuando se utiliza el modo de "registro". El marcador impreso en 3D permite el registro del biomodelo impreso en 3D con los modelos 3D virtuales. Haga clic aquí para ver una versión más grande de esta figura.
Discussion
La realidad aumentada tiene un gran potencial en la educación, la formación y la orientación quirúrgica en el campo médico. Su combinación con la impresión 3D se abre puede abrir nuevas posibilidades en aplicaciones clínicas. Este protocolo describe una metodología que permite a los usuarios inexpertos crear una aplicación para teléfonos inteligentes que combina AR y 3DP para la visualización de modelos 3D anatómicos de pacientes con marcadores de referencia impresos en 3D.
En general, una de las aplicaciones clínicas más interesantes de AR y 3DP es mejorar la comunicación paciente-médico dando al paciente una perspectiva diferente del caso, mejorando las explicaciones de condiciones médicas específicas o tratamientos. Otra posible aplicación incluye la guía quirúrgica para la localización de objetivos, en la que las herramientas específicas del paciente impresas en 3D (con un marcador de AR de referencia unido) se pueden colocar en estructuras rígidas (es decir, hueso) y utilizarse como referencia para la navegación. Esta aplicación es especialmente útil para procedimientos quirúrgicos ortopédicos y maxilofaciales, en los que la superficie del tejido óseo es fácilmente accesible durante la cirugía.
El protocolo comienza con la sección 1, que describe la configuración de la estación de trabajo y las herramientas de software necesarias. La Sección 2 describe cómo utilizar el software 3D Slicer para segmentar fácilmente las anatomías objetivo del paciente desde cualquier modalidad de imagen médica para obtener modelos 3D. Este paso es crucial, ya que los modelos 3D virtuales creados son los que se muestran en la aplicación AR final.
En la sección 3, 3D Slicer se utiliza para registrar los modelos 3D creados en la sección anterior con un marcador AR. Durante este procedimiento de registro, los modelos 3D del paciente se colocan de manera eficiente y sencilla con respecto al marcador AR. La posición definida en esta sección determinará la posición relativa del holograma en la aplicación final. Se cree que esta solución reduce la complejidad y multiplica las posibles aplicaciones. La Sección 3 describe dos opciones diferentes para definir las relaciones espaciales entre los modelos y los marcadores de realidad aumentada: modo "visualización" y "registro". La primera opción, el modo "visualización", permite que los modelos 3D se posicionen en cualquier lugar con respecto al marcador y se muestren como todo el biomodelo. Este modo proporciona una perspectiva 3D realista de la anatomía del paciente y permite el movimiento y rotación de los biomodelos moviendo el marcador ar rastreado. La segunda opción, el modo "registro", permite la fijación y combinación de un adaptador de marcador a cualquier parte del biomodelo, ofreciendo un proceso de registro automático. Con esta opción, una pequeña sección del modelo 3D, incluido el adaptador de marcador, se puede imprimir en 3D, y la aplicación puede mostrar el resto del modelo como un holograma.
La Sección 4 proporciona pautas para el proceso de impresión 3D. En primer lugar, el usuario puede elegir entre dos marcadores diferentes: el "marcador de color doble" y "marcador de pegatina". Todo el "marcador de color dual" se puede imprimir en 3D, pero requiere una impresora 3D de extrusora doble. En caso de que esta impresora no esté disponible, se propone el "marcador de pegatina". Este es un marcador más simple que se puede obtener imprimiendo 3D la estructura cúbica, luego pegando las imágenes del cubo con papel pegatina o pegatina. Además, ambos marcadores fueron diseñados con secciones extensibles para encajar perfectamente en un adaptador específico. Por lo tanto, el marcador se puede reutilizar en varios casos.
La Sección 5 describe el proceso para crear un proyecto de Unity para AR utilizando el kit de desarrollo de software Vuforia. Este paso puede ser la parte más difícil para los usuarios sin experiencia en programación, pero con estas directrices, debe ser más fácil obtener la aplicación final que se presenta en la sección 6. La aplicación muestra los modelos virtuales del paciente sobre la pantalla del teléfono inteligente cuando la cámara reconoce el marcador impreso en 3D. Para que la aplicación detecte el marcador 3D, se requiere una distancia mínima de aproximadamente 40 cm o menos desde el teléfono hasta el marcador, así como buenas condiciones de iluminación.
La aplicación final de este protocolo permite al usuario elegir los biomodelos específicos para visualizar y en qué posiciones. Además, la aplicación puede realizar el registro automático de paciente-holograma utilizando un marcador impreso en 3D y un adaptador unido al biomodelo. Esto resuelve el reto de registrar modelos virtuales con el entorno de una manera directa y conveniente. Además, esta metodología no requiere un amplio conocimiento de las imágenes médicas o el desarrollo de software, no depende de hardware complejo y software costoso, y se puede implementar durante un corto período de tiempo. Se espera que este método ayude a acelerar la adopción de tecnologías AR y 3DP por parte de profesionales médicos.
Disclosures
Los autores no tienen nada que revelar.
Acknowledgments
Este informe fue apoyado por los proyectos PI18/01625 y PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III y Fondo Europeo de Desarrollo Regional "Una manera de hacer Europa") e IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
