Artículo de método

Visualización basada en realidad aumentada de una muestra tumoral resecada

15 de enero de 2026

En este artículo

Resumen

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este video muestra el uso de la realidad aumentada (AR) para la resección de tumores, donde una muestra de tumor escaneada en 3D se visualiza como un holograma en una pantalla montada en la cabeza. Los cirujanos pueden manipular y bloquear el holograma en su lugar para garantizar la extirpación precisa del tumor.

Protocolo

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Todos los procedimientos relacionados con la recolección de muestras se han realizado de acuerdo con las directrices del IRB del instituto.

NOTA: En la Figura 1 se puede ver un esquema que detalla el flujo de trabajo del protocolo.

1. 3D Escaneando

  1. Obtener un escaneo 3D de una muestra de resección oncológica según el protocolo de escaneo 3D descrito anteriormente7.
    1. Instale el escáner 3D de escritorio disponible en el mercado cerca del laboratorio de patología donde normalmente se toman las muestras.
    2. Enjuague suavemente y seque el espécimen resecado. Luego, tome fotografías en 2D de sus superficies anterior y posterior.
    3. Coloque la muestra en la plataforma giratoria del escáner, asegurándose de que la plataforma giratoria esté protegida de cualquier fluido corporal con una lámina de plástico delgada.
    4. Usando un software de escáner 3D y una computadora portátil, obtenga un escaneo 3D de las superficies anterior y posterior del espécimen.
    5. Con el software de escáner 3D, utilice el registro cruzado de datos de tres puntos para alinear los dos conjuntos de datos de escaneo.
    6. Una vez que el escaneo se asemeje a la estructura 3D del espécimen ex vivo, continúe con el paso 1.2.
  2. Haga clic en Guardar su escaneo y guarde el escaneo completado del software de escaneo 3D como un archivo .obj y un archivo .jpeg.

2. Configuración del entorno de realidad aumentada

  1. Abre el software de realidad aumentada de escritorio. Abra el paquete VISE de realidad aumentada.
  2. Cargue el modelo 3D producido en el paso 1.2 como un archivo de .obj y los datos de textura como un archivo .jpeg en el software arrastrando y soltando los archivos desde el escritorio en el cuadro Recursos del proyecto.
  3. Colóquelo en la pantalla montada en la cabeza (HMD).
  4. Abra el menú en el entorno HMD levantando la muñeca no dominante. Cuando aparezca un icono cuadrado, tóquelo señalando con el dedo el icono y busque que aparezca un menú.
  5. Seleccionar archivo | Mostrar todas las aplicaciones | abra la aplicación Holographic Remoting en el HMD.
  6. Conecte el HMD al software seleccionando Realidad mixta | A distancia | Comunicación remota holográfica para el modo de reproducción en la barra de herramientas superior.
  7. Introduzca la dirección IP del HMD, que se muestra cuando la aplicación Holographic Remoting está abierta.
    NOTA: Si no se muestra dentro de la aplicación, la dirección IP también se puede encontrar en la configuración o a través del comando de voz "Cuál es mi dirección IP".
  8. Asegúrese de que el HMD y el dispositivo que ejecuta el software estén conectados a la misma red Wi-Fi. Presiona el botón triangular Reproducir en la parte superior central. El auricular HMD ahora mostrará Renderizado.
  9. Arrastre el modelo de objetos 3D a la barra de jerarquía izquierda. Abre el menú desplegable del objeto. Arrastre el valor predeterminado a la ventana emergente Ajustar pivote en Reemplazar objeto. Haga clic en Aplicar objetos seleccionados.
  10. Abra el menú desplegable Medical_Object en el menú Jerarquía y seleccione anclaje antes de seleccionar el pivote de Mover Medical_Object aquí en la ventana emergente Ajustar pivote.
  11. Arrastre el archivo de textura al cuadro (Textura 2D) de la ventana emergente Ajustar pivote. Seleccione Aplicar archivo de textura seleccionado.
  12. Presiona el botón Reproducir en la parte superior central de la pantalla una vez más.

3. Entrar en la realidad virtual

  1. Utilice el comando de voz Abrir para inicializar el holograma.
  2. Si el objeto no se ve o si alguna vez se pierde de vista, use el comando de voz Reposicionar para volver a colocar el objeto en el centro de la vista.
  3. El objeto se renderizará en tamaño anatómico. Utilice el comando de voz Bloquear tamaño para mantener el objeto en el tamaño actual, Desbloquear tamaño para cambiar el tamaño del objeto y Volver a escala para restaurar el objeto a tamaño anatómico.
  4. Pellizque con el dedo índice y el pulgar para cambiar el tamaño, mover y rotar el objeto de la misma manera que se manipula un objeto físico.

>4. Utilizar comandos de voz

  1. Manipule el objeto con las manos libres utilizando los siguientes comandos de voz:
    1. Derecha: Gire el objeto hacia la derecha.
    2. Izquierda: Gira el objeto hacia la izquierda.
    3. Más grande: Haz que el objeto sea más grande.
    4. Más pequeño: Haz que el objeto sea más pequeño.
    5. Aumentar transparencia: Aumenta la transparencia del objeto.
    6. Disminuir transparencia: Disminuye la transparencia del objeto.

>5. Realineación de la muestra guiada por RA

>NOTA: La realineación 3D del holograma se puede ver en la Figura 2.

  1. Manipule el holograma de espécimen 3D visto a través del HMD con el pulgar y el dedo índice.
    1. Agarre el objeto juntando el pulgar y el dedo índice en el entorno real donde se ve el holograma en el entorno virtual.
    2. Suelte el objeto abriendo el pulgar y el dedo índice en el entorno real una vez que el holograma 3D se coloca donde se desee en el entorno virtual.
  2. Utilice el comando de voz Bloquear para asegurar el holograma en su lugar y Desdesbloquear para manipular el objeto una vez más.
  3. En función de la orientación anatómica del holograma, vuelva a alinear la muestra virtual en el lecho de resección siguiendo los pasos 5.1-5.2. Cuando el holograma se realinee tanto como sea posible con el lecho de resección visto a través del HMD, use el comando de voz Bloquear para bloquear la muestra en su lugar.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Resultados

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

figure-results-1
Figura 1: Flujo de trabajo de protocolo. Esquema que demuestra los protocolos experimentales en paralelo con el protocolo estándar actual.

figure-results-2
Figura 2: Realineación del holograma 3D visto a través del HMD. Vista del usuario a través del HMD de (A) las man...

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Divulgaciones

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
No se han declarado conflictos de interés.

Materiales

Lista de materiales utilizados en este artículo
NombreEmpresaNúmero de catálogoComentarios
Cámara digital o teléfono con cámaraiPhonePuede usar iPhone o teléfono con cámara similar o cámara digital.
Escáner 3D de escritorio EinScan SP V2 PlatinumBrillante 3DHardware de escáner 3D
Software ExScan; Solid Edge SHINING Edición 3DBrillante 3DSoftware de escáner 3D, incluido con la compra del escáner 3D
Ratón externoMicrosoft
ordenador portátilDell XP500355-60734-40310-AAOEMRequisitos de la computadora portátil:
USB: 1 ×USB 2.0 o 3.0; Sistema operativo: Win 7, 8 o 10 (64 bits);
Tarjeta gráfica: serie Nvidia; Memoria gráfica: ?1G;
CPU: Dual-core i5 o superior; Memoria: ?8G
Microsoft HMD 2Microsoft
Software de UnityTecnologías de unidadPlataforma de contenido 3D interactivo en tiempo real
Conjunto de aplicaciones de Microsoft OfficeMicrosoft
Carro de presentación móvilEstrecho de OklahomaPRC450
Convertidor de dispositivos USB-CTRIPP-LITEU442-DOCK3-BNecesario solo si la computadora portátil no tiene USB

Reimpresiones y permisos

Solicitar permiso para reutilizar el texto o las figuras de este artículo de JoVE

Solicitar permiso

Etiquetas

Escaneo 3Dvisor montado en la cabezavisualizaci n de hologramascomandos de vozgestos manualesalineaci n espacialaplicaci n de texturasidentificaci n del margen quir rgico

Artículos relacionados