Name: Combinación de realidad aumentada e impresión 3D para mostrar modelos de pacientes en un smartphone (Video) | JoVE Journal
Uploaded: 2020-01-02T13:00:00.000+00:00
Duration: 9 min 26 s
Description: Aprende a combinar realidad aumentada e impresión 3D para visualizar modelos anatómicos en un smartphone. Este método accesible permite crear aplicaciones médicas sin conocimientos previos de imagenología.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Este informe fue apoyado por los proyectos PI18/01625 y PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III y Fondo Europeo de Desarrollo Regional "Una manera de hacer Europa") e IND2018/TIC-9753 (Comunidad de Madrid).

<ol><li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Haptics%22%5BJournal%5D)">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li>
<li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery%5BTitle%5D)+AND+%22Journal+of+Clinical+Neuroscience%22%5BJournal%5D)">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li>
<li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+for+Planning+Tumour+Resection%3A+Augmented+Reality+and+Human+Factors%5BTitle%5D)+AND+%22IEEE+Transactions+on+Biomedical+Engineering%22%5BJournal%5D)">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li>
<li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training%2C+Communication%2C+and+Clinical+Care%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210(2019).</li>
<li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Through+the+HoloLensTM+looking+glass%3A+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels%5BTitle%5D)+AND+%22European+Radiology+Experimental%22%5BJournal%5D)">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2(2018).</li>
<li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery%5BTitle%5D)+AND+%22The+Laryngoscope%22%5BJournal%5D)">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li>
<li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality%3A+Preliminary+Results+on+Clinical+Animal+Experiment%5BTitle%5D)+AND+%22Aesthetic+Plastic+Surgery%22%5BJournal%5D)">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li>
<li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).</li>
<li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC%5BTitle%5D)+AND+%22Stereotactic+and+Functional+Neurosurgery%22%5BJournal%5D)">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy%3A+Do+it+yourself%5BTitle%5D)+AND+%22The+Knee%22%5BJournal%5D)">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li>
<li>Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+%28HTO%29+-+do+it+yourself%5BTitle%5D)+AND+%22Revue+de+Chirurgie+Orthop%C3%A9dique+et+Traumatologique%22%5BJournal%5D)">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).</li>
<li>De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model%3A+a+case+report%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li>
<li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+%22one-stop+3D+printing+lab%22+for+oral+and+maxillofacial+surgery+and+dentistry+fields%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li>
<li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+3D+models+in+orthopedic+oncology%3A+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li>
<li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models%3A+impact+on+patient+education%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li>
<li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality%2C+Surgical+Navigation%2C+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex%5BTitle%5D)+AND+%22OTO+Open%3A+The+Official+Open+Access+Journal+of+the+American+Academy+of+Otolaryngology-Head+and+Neck+Surgery+Foundation%22%5BJournal%5D)">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li>
<li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries%5BTitle%5D)+AND+%22Quantitative+Imaging+in+Medicine+and+Surgery%22%5BJournal%5D)">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li>
<li>Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthcare+Technology+Letters%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li>
</ol>

Los autores no tienen nada que revelar.

La realidad aumentada tiene un gran potencial en la educación, la formación y la orientación quirúrgica en el campo médico. Su combinación con la impresión 3D se abre puede abrir nuevas posibilidades en aplicaciones clínicas. Este protocolo describe una metodología que permite a los usuarios inexpertos crear una aplicación para teléfonos inteligentes que combina AR y 3DP para la visualización de modelos 3D anatómicos de pacientes con marcadores de referencia impresos en 3D.
En general, una de las aplicaciones clínicas más interesantes de AR y 3DP es mejorar la comunicación paciente-médico dando al paciente una perspectiva diferente del caso, mejorando las explicaciones de condiciones médicas específicas o tratamientos. Otra posible aplicación incluye la guía quirúrgica para la localización de objetivos, en la que las herramientas específicas del paciente impresas en 3D (con un marcador de AR de referencia unido) se pueden colocar en estructuras rígidas (es decir, hueso) y utilizarse como referencia para la navegación. Esta aplicación es especialmente útil para procedimientos quirúrgicos ortopédicos y maxilofaciales, en los que la superficie del tejido óseo es fácilmente accesible durante la cirugía.
El protocolo comienza con la sección 1, que describe la configuración de la estación de trabajo y las herramientas de software necesarias. La Sección 2 describe cómo utilizar el software 3D Slicer para segmentar fácilmente las anatomías objetivo del paciente desde cualquier modalidad de imagen médica para obtener modelos 3D. Este paso es crucial, ya que los modelos 3D virtuales creados son los que se muestran en la aplicación AR final.
En la sección 3, 3D Slicer se utiliza para registrar los modelos 3D creados en la sección anterior con un marcador AR. Durante este procedimiento de registro, los modelos 3D del paciente se colocan de manera eficiente y sencilla con respecto al marcador AR. La posición definida en esta sección determinará la posición relativa del holograma en la aplicación final. Se cree que esta solución reduce la complejidad y multiplica las posibles aplicaciones. La Sección 3 describe dos opciones diferentes para definir las relaciones espaciales entre los modelos y los marcadores de realidad aumentada: modo "visualización" y "registro". La primera opción, el modo "visualización", permite que los modelos 3D se posicionen en cualquier lugar con respecto al marcador y se muestren como todo el biomodelo. Este modo proporciona una perspectiva 3D realista de la anatomía del paciente y permite el movimiento y rotación de los biomodelos moviendo el marcador ar rastreado. La segunda opción, el modo "registro", permite la fijación y combinación de un adaptador de marcador a cualquier parte del biomodelo, ofreciendo un proceso de registro automático. Con esta opción, una pequeña sección del modelo 3D, incluido el adaptador de marcador, se puede imprimir en 3D, y la aplicación puede mostrar el resto del modelo como un holograma.
La Sección 4 proporciona pautas para el proceso de impresión 3D. En primer lugar, el usuario puede elegir entre dos marcadores diferentes: el "marcador de color doble" y "marcador de pegatina". Todo el "marcador de color dual" se puede imprimir en 3D, pero requiere una impresora 3D de extrusora doble. En caso de que esta impresora no esté disponible, se propone el "marcador de pegatina". Este es un marcador más simple que se puede obtener imprimiendo 3D la estructura cúbica, luego pegando las imágenes del cubo con papel pegatina o pegatina. Además, ambos marcadores fueron diseñados con secciones extensibles para encajar perfectamente en un adaptador específico. Por lo tanto, el marcador se puede reutilizar en varios casos.
La Sección 5 describe el proceso para crear un proyecto de Unity para AR utilizando el kit de desarrollo de software Vuforia. Este paso puede ser la parte más difícil para los usuarios sin experiencia en programación, pero con estas directrices, debe ser más fácil obtener la aplicación final que se presenta en la sección 6. La aplicación muestra los modelos virtuales del paciente sobre la pantalla del teléfono inteligente cuando la cámara reconoce el marcador impreso en 3D. Para que la aplicación detecte el marcador 3D, se requiere una distancia mínima de aproximadamente 40 cm o menos desde el teléfono hasta el marcador, así como buenas condiciones de iluminación.
La aplicación final de este protocolo permite al usuario elegir los biomodelos específicos para visualizar y en qué posiciones. Además, la aplicación puede realizar el registro automático de paciente-holograma utilizando un marcador impreso en 3D y un adaptador unido al biomodelo. Esto resuelve el reto de registrar modelos virtuales con el entorno de una manera directa y conveniente. Además, esta metodología no requiere un amplio conocimiento de las imágenes médicas o el desarrollo de software, no depende de hardware complejo y software costoso, y se puede implementar durante un corto período de tiempo. Se espera que este método ayude a acelerar la adopción de tecnologías AR y 3DP por parte de profesionales médicos.

AR y 3DP son tecnologías que proporcionan un número creciente de aplicaciones en el campo médico. En el caso de ar, su interacción con los modelos 3D virtuales y el entorno real beneficia a los médicos en cuanto a educación y formación1,2,3, comunicación e interacciones con otros médicos4, y orientación durante las intervenciones clínicas5,6,7,8,9,10. Asimismo, 3DP se ha convertido en una potente solución para los médicos a la hora de desarrollar herramientas personalizables específicas del paciente11,12,13 o crear modelos 3D de la anatomía de un paciente, lo que puede ayudar a mejorar la planificación preoperatoria y las intervenciones clínicas14,15.
Tanto las tecnologías AR como las 3DP ayudan a mejorar la orientación, la orientación y las habilidades espaciales en los procedimientos médicos; por lo tanto, su combinación es el siguiente paso lógico. Trabajos previos han demostrado que su uso conjunto puede aumentar el valor en la educación del paciente16,facilitando explicaciones de las condiciones médicas y el tratamiento propuesto, optimizando el flujo de trabajo quirúrgico17,18 y mejorando el registro de paciente a modelo19. Aunque estas tecnologías han crecido exponencialmente en los últimos años, su adopción por los médicos sigue siendo limitada, ya que requieren un amplio conocimiento de la ingeniería y el desarrollo de software. Por lo tanto, el propósito de este trabajo es describir una metodología paso a paso que permita el uso de AR y 3DP por parte de usuarios inexpertos sin necesidad de conocimientos técnicos amplios.
Este protocolo describe cómo desarrollar una aplicación para teléfonos inteligentes AR que permite la superposición de cualquier modelo 3D basado en el paciente en un entorno del mundo real utilizando un marcador impreso en 3D rastreado por la cámara del teléfono inteligente. Además, se describe un enfoque alternativo para proporcionar el registro automático entre un biomodelo impreso en 3D (es decir, un modelo 3D creado a partir de la anatomía de un paciente) y los hologramas proyectados. El protocolo descrito se basa totalmente en software libre y multiplataforma.
En trabajos anteriores, el registro de paciente a imagen de AR se ha calculado manualmente5 con algoritmos de reconocimiento de superficie10 o no ha estado disponible2. Estos métodos se han considerado algo limitados cuando se requiere un registro preciso19. Para superar estas limitaciones, este trabajo proporciona herramientas para realizar un registro preciso y sencillo de paciente a imagen en procedimientos de realidad aumentada mediante la combinación de tecnología de realidad aumentada y 3DP.
El protocolo es genérico y se puede aplicar a cualquier modalidad de imagen médica o paciente. Como ejemplo, se proporciona un caso clínico real de un paciente que sufre de sarcoma distal de la pierna para ilustrar la metodología. El primer paso describe cómo segmentar fácilmente la anatomía afectada de imágenes médicas de tomografía computarizada (TC) para generar modelos virtuales 3D. Después, se realiza el posicionamiento de los modelos 3D, a continuación, las herramientas y modelos necesarios se imprimen en 3D. Por último, se implementa la aplicación de realidad aumentada deseada. Esta aplicación permite la visualización de modelos 3D del paciente superpuestos en una cámara de teléfono inteligente en tiempo real.

<table><tbody><tr><td>Material de impresión 3D: Acrilonitrilo butadieno estireno (ABS)</td><td></td><td></td><td>Material polimérico termoplástico generalmente utilizado en impresoras 3D domésticas.</td></tr><tr><td>Material de impresión 3D: Ácido poliláctico (PLA)</td><td></td><td></td><td>Material bioplástico generalmente utilizado en impresoras 3D domésticas.</td></tr><tr><td>3D Slicer</td><td></td><td></td><td>Plataforma de software de código abierto para informática de imágenes médicas, procesamiento de imágenes y visualización tridimensional</td></tr><tr><td>Android</td><td>Alphabet, Inc.</td><td></td><td>Android es un sistema operativo móvil desarrollado por Google. Se basa en una versión modificada del kernel de Linux y otro software de código abierto, y está diseñado principalmente para dispositivos móviles con pantalla táctil, como teléfonos inteligentes y tabletas.</td></tr><tr><td>Autodesk Meshmixer</td><td>Autodesk, Inc.</td><td></td><td>Meshmixer es un software de última generación para trabajar con mallas triangulares. Software libre.</td></tr><tr><td>iPhone OS</td><td>Apple, Inc.</td><td></td><td>iPhone OS es un sistema operativo móvil creado y desarrollado por Apple Inc. exclusivamente para su hardware.</td></tr><tr><td>Ultimaker 3 Extended</td><td>Ultimaker BV</td><td></td><td>Impresora 3D de modelado por deposición fundida.</td></tr><tr><td>Unity</td><td>Unity Technologies</td><td></td><td>Unity es una plataforma de desarrollo en tiempo real para crear 3D, 2D VR & Visualizaciones de RA para juegos, automóviles, transporte, cine, animación, arquitectura, ingeniería y más. Software libre.</td></tr><tr><td>Xcode</td><td>Apple, Inc.</td><td></td><td>Xcode es un conjunto completo de herramientas de desarrollo para crear aplicaciones para Mac, iPhone, iPad, Apple Watch y Apple TV. Software libre.</td></tr></tbody></table>

combinación de realidad aumentada e impresión 3d para mostrar modelos de pacientes en un smartphone

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

La realidad aumentada (AR) tiene un gran potencial en educación, capacitación y orientación quirúrgica en el campo médico. Su combinación con la impresión tridimensional (3D) (3DP) abre nuevas posibilidades en aplicaciones clínicas. Aunque estas tecnologías han crecido exponencialmente en los últimos años, su adopción por los médicos sigue siendo limitada, ya que requieren un amplio conocimiento de la ingeniería y el desarrollo de software. Por lo tanto, el propósito de este protocolo es describir una metodología paso a paso que permite a los usuarios inexpertos crear una aplicación para teléfonos inteligentes, que combina AR y 3DP para la visualización de modelos 3D anatómicos de pacientes con un marcador de referencia impreso en 3D. El protocolo describe cómo crear modelos virtuales 3D de la anatomía de un paciente derivados de imágenes médicas 3D. A continuación, explica cómo realizar el posicionamiento de los modelos 3D con respecto a las referencias de marcador. También se proporcionan instrucciones sobre cómo imprimir en 3D las herramientas y modelos necesarios. Por último, se proporcionan los pasos para implementar la aplicación. El protocolo se basa en software gratuito y multiplataforma y se puede aplicar a cualquier modalidad de imagen médica o paciente. Se describe un enfoque alternativo para proporcionar el registro automático entre un modelo impreso en 3D creado a partir de la anatomía de un paciente y los hologramas proyectados. Como ejemplo, se proporciona un caso clínico de un paciente que sufre de sarcoma distal de la pierna para ilustrar la metodología. Se espera que este protocolo acelere la adopción de tecnologías AR y 3DP por parte de profesionales médicos.

El protocolo se aplicó a los datos de un paciente que sufre de sarcoma distal de la pierna con el fin de visualizar la región anatómica afectada desde una perspectiva 3D. Utilizando el método descrito en la sección 2, la porción del hueso afectado (aquí, la tibia y el peroné) y el tumor se segmentaron de la tomografía computarizada del paciente. Luego, utilizando las herramientas de segmentación de 3D Slicer, se crearon dos biomodelos: el hueso (sección de la tibia y el peroné)(Figura 1A)y el tumor(Figura 1B).
A continuación, los dos modelos 3D se colocaron virtualmente con respecto al marcador para una visualización óptima. Ambos modos descritos en la sección 3 se siguieron para este ejemplo. Para el modo de visualización, los modelos se centraron en la cara superior del marcador (Figura 2). Para el modo de registro, el adaptador de marcador se colocó en el hueso (específicamente, la tibia [Figura 3]). A continuación, se seleccionó una pequeña sección de la tibia para que se imprimiera en 3D con un adaptador de marcador 3D(Figura 4). Se utilizó una impresora 3D extendida Ultimaker 3 con material PLA para crear los marcadores impresos en 3D(Figura 5A, B), base de soporte de marcador(Figura 5C) para el modo de "visualización" y sección de la tibia para el modo de "registro"(Figura 5D). La Figura 5E muestra cómo se adjuntó el marcador a la base impresa en 3D en modo de "visualización". La Figura 5F muestra el accesorio con el biomodelo impreso en 3D en modo "registro". Finalmente, Unity se utilizó para crear la aplicación e implementarla en el teléfono inteligente.
La figura 6 muestra cómo funcionaba la aplicación para el modo de "visualización". El holograma se localizó con precisión en la parte superior del cubo como se definió anteriormente. La figura 7 muestra la solicitud para el modo de "registro", en la que la aplicación colocó el modelo de hueso completo enlacima de la sección impresa en 3D. La visualización final de los hologramas fue clara y realista, mantuvo los tamaños reales de los biomodelos y se posicionó con precisión. Cuando se utiliza la aplicación de teléfono inteligente, el marcador AR debe ser visible por la cámara para que la aplicación muestre correctamente los hologramas. Además, las condiciones de luz en la escena deben ser de buena calidad y constantes para la detección de marcadores adecuada. Las malas condiciones de luz o reflejos en la superficie del marcador dificultan el seguimiento del marcador AR y causan un mal funcionamiento de la aplicación.
El tiempo necesario para crear la aplicación depende de varios factores. La duración de la sección 1 está limitada por la velocidad de descarga. En cuanto a la segmentación de la anatomía (sección 2), los factores que afectan el tiempo de segmentación incluyen la complejidad de la región y la modalidad de imágenes médicas (es decir, la TC se segmenta fácilmente, mientras que la RMN es más difícil). Para el ejemplo representativo de la tibia, se requirieron aproximadamente 10 minutos para generar ambos modelos 3D a partir de la tomografía computarizada. El posicionamiento del biomodelo (sección 3) es simple y directo. Aquí, se tardó aproximadamente 5 minutos en definir la posición del biomodelo con respecto al marcador AR. Para el paso de impresión 3D, la duración depende en gran medida del modo seleccionado. El "marcador de doble color" fue fabricado a alta calidad en un período de 5 h y 20 min. El "marcador de pegatinas" fue fabricado en un período de 1 h y 30 min, más el tiempo necesario para pegar las pegatinas. El último paso para el desarrollo de aplicaciones puede llevar mucho tiempo para aquellos que no tienen experiencia previa en Unity, pero se puede completar fácilmente siguiendo los pasos del protocolo. Una vez que los marcadores AR se han impreso en 3D, el desarrollo de una aplicación de realidad aumentada completamente nueva se puede realizar en menos de 1 h. Esta duración se puede reducir aún más con experiencia adicional.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figura 1: Representación de modelos 3D creados a partir de una imagen de TC de un paciente que sufre de sarcoma distal de la pierna. (A) Tejido óseo representado en blanco (tibia y peroné). (B) Tumor representado en rojo. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figura 2: Resultados que muestran cómo el modo de "visualización" en 3D Slicer posiciona los modelos 3D virtuales del hueso y el tumor con respecto a la referencia de marcador impreso en 3D. Los modelos 3D del paciente (A) se colocan por encima de la cara superior del cubo marcador (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figura 3: Resultados que muestran cómo el modo de "registro" en 3D Slicer posiciona los modelos 3D virtuales del hueso y el tumor (A) con respecto a la referencia de marcador impresa en 3D (B). El adaptador de marcador está unido al modelo de tejido óseo. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figura 4: Pequeña sección del tejido óseo y adaptador de marcador 3D. Los dos componentes se combinan y luego se imprimen en 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Figura 5: Herramientas impresas en 3D necesarias para la aplicación final. (A) "Marcador de cubo de dos colores" impreso en 3D con dos colores de materiales. (B) "Marcador de cubo de pegatina" impreso en 3D, con pegatinas pegadas. (C) Adaptador de cubo base de marcador. (D) Sección del modelo 3D de tejido óseo del paciente y adaptador de cubo marcador. (E) "Marcador de cubo de pegatina" colocado en el adaptador de cubo de base del marcador. (F) "Marcador de cubo de dos colores" colocado en el adaptador de marcador unido a la anatomía del paciente. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Figura 6: Visualización de la aplicación cuando se utiliza el modo de "visualización". Los modelos 3D de anatomía afectados del paciente se colocan por encima de la cara superior del cubo impreso en 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Figura 7: Visualización ar cuando se utiliza el modo de "registro". El marcador impreso en 3D permite el registro del biomodelo impreso en 3D con los modelos 3D virtuales. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>

Aquí se presenta un método para diseñar una aplicación de smartphone de realidad aumentada para la visualización de modelos tridimensionales anatómicos de pacientes utilizando un marcador de referencia impreso en 3D.

Combinación de realidad aumentada e impresión 3D para mostrar modelos de pacientes en un smartphone

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Este protocolo ofrece a los usuarios sin experiencia las herramientas para llevar soluciones de realidad aumentada al campo médico a través de la construcción de su propia aplicación para teléfonos inteligentes. Este método combina la realidad aumentada y la impresión 3D permitiendo una visualización rápida y fácil de los modelos 3D creados a partir de la base de datos en la parte superior de un marcador de referencia impreso en 3D. Esta técnica se puede aplicar a cualquier escenario médico en el que una referencia impresa en 3D se puede fijar rígidamente al paciente.La visualización de modelos visuales 3D creados a partir de la localización de datos basó que está dirigida y también puede mejorar el paciente Este protocolo ha sido diseñado específicamente para usuarios sin conocimiento previo de imágenes médicas o desarrollo de software para ayudar en el uso de la realidad aumentada en el campo médico. Para crear modelos 3D de la anatomía de un paciente, primero realice un seguimiento del archivo de imagen médica en la ventana del software 3D Slicer y haga clic en Aceptar. Para segmentar la anatomía del paciente, vaya al módulo de editor de segmentos en 3D Slicer. Un elemento de segmentación se creará automáticamente al entrar en el módulo.Seleccione el volumen deseado en la sección de volumen maestro y haga clic con el botón derecho debajo de la imagen para seleccionar Agregar para crear un segmento. En el panel de efectos, seleccione la herramienta más conveniente para el objetivo y segmente la imagen médica del paciente. Para exportar la segmentación en un formato de archivo de modelo 3D, abra el módulo de segmentaciones.En los modelos de exportación/importación y los mapas de etiquetas, seleccione exportar y modelos y haga clic en Exportar para crear el modelo 3D desde el área segmentada. Haga clic en Guardar y seleccione los elementos que desea guardar. A continuación, cambie el formato de archivo del modelo 3D a OBJ.La segmentación se puede repetir para crear modelos 3D adicionales de diferentes regiones anatómicas. Para el posicionamiento de un modelo de paciente 3D en cualquier posición con respecto al marcador de realidad aumentada, abra el módulo de posición del modelo AR Health y seleccione el modo de visualización. Haga clic en el modelo de marcador de carga para cargar el marcador de esta opción, el botón de puntos suspensivos para seleccionar la ruta del modelo 3D guardado y cargue el modelo para cargar el modelo en 3D Slicer.Haga clic en acabado y centro para centrar todos los modelos dentro del marcador. Utilice las barras deslizantes para ajustar la posición, la orientación y la escala de los modelos 3D con respecto al marcador como desee. A continuación, seleccione la ruta para almacenar los archivos y haga clic en Guardar modelos para guardar los modelos en esta posición.Para combinar el marcador de realidad aumentada con un biomodelo 3D en cualquier posición deseada, abra el módulo de posición del modelo AR Health y, en la sección de inicialización, seleccione el modo de registro. Haga clic en el modelo de marcador de carga para cargar el marcador de esta opción y mover los modelos 3D hasta que se intersequen con la estructura auxiliar del marcador de cubo, modificando la altura de la base del marcador según sea necesario. Para guardar el modelo en esta posición, seleccione la ruta de acceso para almacenar los archivos y haga clic en Guardar modelos.Si el modelo de anatomía es demasiado grande, cargue el biomodelo y la estructura de soporte del modelo de marcador de cubo en el software de mezclador de malla. Seleccione ambos modelos en la ventana del explorador de objetos para combinar los modelos y utilice la herramienta de corte plano en el menú de edición para eliminar las secciones no deseadas del modelo que no se imprimirán en 3D. Para guardar el modelo para imprimirlo en 3D, seleccione el archivo y exporte y seleccione el formato deseado.Para imprimir 3D los modelos físicos necesarios para la aplicación de realidad aumentada final, en el software de impresión 3D, seleccione un material de color blanco para el TwoColorCuebMarker_white. obj y un material de color negro para el TwoColorCubeMarker_white. obj archivo.A continuación, utilice una impresora 3D de extrusora doble para imprimir en 3D el marcador cúbico en blanco y negro en modo de alta calidad con una altura de capa pequeña. Para diseñar una aplicación para smartphone en Unity Engine que incluya los modelos 3D, abre Vuforia Developer y crea una cuenta. Seleccione obtener clave de desarrollo para obtener una clave de licencia de desarrollo gratuita y en el menú del administrador de licencias seleccione y copie la clave.Para configurar el smartphone, en la aplicación Unity versión 2019, en Configuración de compilación en el menú de archivos, seleccione la plataforma adecuada para el dispositivo. Para habilitar Vuforia en el proyecto, seleccione editar, configuración del proyecto, configuración del reproductor y configuración de XR y marque la casilla de soporte de realidad aumentada de Vuforia. Para crear una cámara de realidad aumentada, seleccione la barra de menús, el objeto de juego, el motor Vuforia y la cámara AR e importe los componentes de Vuforia cuando se le solicite.Para agregar la clave de licencia de Vuforia a la configuración de Vuforia, seleccione la carpeta resources, haga clic en Vuforia configuration y pegue la clave de licencia en la sección de clave de licencia de la aplicación. Importe el archivo de destino Vuforia que contiene los archivos que Vuforia requiere para detectar los marcadores en Unity y seleccione la barra de menús, el objeto de juego, vuforia Engine y la imagen múltiple para crear un objetivo múltiple de Vuforia. Haga clic en el destino múltiple para seleccionar el tipo de marcador que se usará para la detección y, en la opción de base de datos en comportamiento de varios objetivos, seleccione ARHealth_3dPrintedCube_30x30x30.En la opción de varios objetivos en comportamiento de varios objetivos, seleccione TwoColorCubeMarker o StickerCubeMarker en función del marcador. Arrastre los modelos 3D a la carpeta de modelos y arrastre la carpeta debajo del elemento de destino múltiple. Los modelos deben hacerse visibles en la escena de vista de Unity 3D.Para cambiar los colores de los modelos 3D, cree nuevos materiales y asigne los nuevos materiales a los modelos. Si hay una cámara web disponible, haga clic en reproducir para probar la aplicación en el equipo. Si el marcador es visible para la cámara web, debe detectarse y los modelos 3D deben aparecer en la escena.Si se usará un smartphone Android para el desarrollo de la aplicación, selecciona la configuración de compilación en Unity y selecciona el teléfono conectado de la lista. A continuación, guarde el archivo con una extensión apk y permita que el proceso finalice. Si la aplicación se implementará en un dispositivo iOS, seleccione el archivo en la configuración de compilación y guarde el archivo.Para visualizar la aplicación, abra la aplicación en el teléfono inteligente y utilice la cámara del teléfono inteligente para mirar el marcador desde dentro de la aplicación a una distancia mínima de 40 centímetros. Una vez que la aplicación detecta el marcador, los modelos 3D creados anteriormente deben aparecer en la pantalla del teléfono inteligente en la ubicación exacta definida durante el procedimiento. Utilizando el método como se ha demostrado, esta porción de la tibia y el peroné afectados de un paciente que sufre de sarcoma de pierna distal y tumor fueron segmentados a partir de la tomografía computarizada del paciente.Usando las herramientas de segmentación, se creó un biomodelo para el hueso y se creó un biomodelo para el tumor. Para el modo de visualización, los modelos se centraron en la fase superior del marcador. Para el modo de registro, el adaptador de marcador se posicionó en la tibia y se seleccionó una pequeña sección de la tibia para que se imprimió en 3D con un adaptador de marcador 3D.El ácido poliláctico se puede utilizar para crear los marcadores impresos en 3D, las bases del marcador y las secciones óseas como se ha demostrado. Aquí se adjunta un marcador a una base impresa en modo de visualización 3D y aquí el archivo adjunto se muestra con el biomodelo impreso en 3D del modo de registro. Esta representación muestra cómo funciona la aplicación en modo de visualización con el holograma ubicado con precisión en la parte superior del cubo como se definió anteriormente.En el modo de registro, el modelo de hueso completo se puede colocar en la parte superior de la sección impresa en 3D con una visualización clara y realista del marcador en el sitio óseo. Para utilizar la realidad aumentada para visualizar información importante del paciente, necesitará varias herramientas de software que estén disponibles libremente, así como acceso a una impresora 3D y un teléfono inteligente. Este procedimiento se puede aplicar a cualquier modelo obtenido a partir de imágenes médicas.Su uso se puede extender a otras intervenciones como el posicionamiento de radioterapia de la inserción de la aguja. Ahora estamos extendiendo las aplicaciones de este desarrollo a nuevas áreas clínicas incluyendo cirugía miofascial u ortopédica. Nuestra investigación inicial es prometedora y la retroalimentación del cirujano es muy positiva.

combining-augmented-reality-3d-printing-to-display-patient-models-on

Research

Investigación

JoVE Journal

Medicine

Medicina

Este video muestra el uso de la realidad aumentada (AR) para la resección de tumores, donde una muestra de tumor escaneada en 3D se visualiza como un holograma en una pantalla montada en la cabeza. Los cirujanos pueden manipular y bloquear el holograma en su lugar para garantizar la extirpación precisa del tumor.

Visualización basada en realidad aumentada de una muestra tumoral resecada

Uso de extrusión de plástico moderno y tecnologías de impresión, es posible ahora producir rápida y económicamente los modelos físicos de datos de rayos X CT tomadas en un laboratorio. La impresión tridimensional de tomográfica de datos es una visualización de gran alcance, la investigación, y una herramienta educativa que ahora se puede acceder por la comunidad de imagenología preclínica.

Impresión 3D de Preclínica de rayos X de datos tomografía computarizada Establece

El protocolo describe la fabricación de impresiones tridimensionales completamente coloreadas de modelos de cráneo anatómico específicos del paciente que se utilizarán para la simulación quirúrgica. Se explican los pasos cruciales para combinar diferentes modalidades de imagen, segmentación de imágenes, extracción de modelos tridimensionales y producción de impresiones.

Impresión 3D multicolor de tumores intracraneales complejos en neurocirugía

Este método demuestra un flujo de trabajo de impresión 3D basado en vóxel, que imprime directamente a partir de imágenes médicas con fidelidad espacial exacta y resolución espacial / de contraste. Esto permite el control preciso y graduado de las distribuciones de materiales a través de materiales morfológicamente complejos y graduados correlacionados con la radiodensidad sin pérdida o alteración de datos.

Voxel Printing Anatomy: Diseño y fabricación de modelos de planificación realistas y prequirúrgicos a través de la impresión de mapas de bits

Se realizó una compleja artroplastia de cadera de revisión utilizando un implante hecho a medida y tecnología de realidad mixta. Según el conocimiento de los autores, este es el primer relato de tal procedimiento descrito en la literatura.<br...

El uso de la realidad mixta en la artroplastia de cadera de revisión personalizada: un primer caso clínico

La pantalla de realidad aumentada montada en la cabeza, Magic Leap, se utilizó en combinación con un sistema de navegación convencional para colocar tornillos pediculares en un modelo porcino adhiriéndose a un flujo de trabajo novedoso. Con una mediana de tiempo de inserción de &lt;2,5 min, se logró una precisión técnica submilimétrica y una precisión clínica del 100% según Gertzbein.

Colocación de tornillos pediculares mediante una pantalla de realidad aumentada montada en la cabeza en un modelo porcino

Los avances en el tratamiento endovascular han reemplazado los procedimientos quirúrgicos abiertos complejos con opciones mínimamente invasivas, como el reemplazo de válvulas y la reparación de aneurismas. Este artículo propone el uso de modelos tridimensionales (3D) y realidad virtual para ayudar en el posicionamiento del arco en C, las mediciones de ángulos y la generación de hojas de ruta para la planificación de procedimientos de laboratorio de cateterismo neurointervencionista, minimizando...

Enfoques pioneros específicos para el paciente para la cirugía de precisión mediante imágenes y realidad virtual

Se propone un método novedoso para la exploración 3D y el mapeo virtual de las resecciones de cáncer con el objetivo de mejorar la comunicación entre el equipo multidisciplinario de atención oncológica.

Comunicación mejorada de los márgenes tumorales mediante escaneo y mapeo 3D

En este artículo se presenta el diseño e implementación de un módulo de cirugía automática basado en reconstrucción 3D basado en realidad aumentada (RA). El sistema permite la cirugía a distancia al permitir a los cirujanos inspeccionar las características reconstruidas y replicar los movimientos quirúrgicos de la mano como si estuvieran realizando la cirugía en estrecha proximidad.

Cirugía automática en reemplazo valvular aórtico transcatéter mediante realidad aumentada

Aquí, describimos un protocolo para construir un modelo de corazón desde cero basado en tomografía computarizada y lo presentamos a estudiantes de medicina utilizando impresión tridimensional (3D) y tecnología de realidad mixta para aprender anatomía.

Tecnología de realidad mixta e impresión tridimensional en la enseñanza: la anatomía del corazón como ejemplo

Aprende a combinar realidad aumentada e impresión 3D para visualizar modelos anatómicos en un smartphone. Este método accesible permite crear aplicaciones médicas sin conocimientos previos de imagenología.

Combinación de realidad aumentada e impresión 3D para mostrar modelos de pacientes en un smartphone

Explorar más videos