Name: Augmented Reality en 3D-printen combineren om patiënt modellen op een smartphone weer te geven (Video) | JoVE Journal
Uploaded: 2020-01-02T13:00:00.000+00:00
Duration: 9 min 26 s
Description: Leer een augmented reality-methode voor medische beeldvorming met 3D-geprinte referentiemarkers en smartphone-apps. Deze techniek visualiseert anatomische modellen zonder voorafgaande kennis van softwareontwikkeling.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Dit verslag werd gesteund door projecten PI18/01625 en PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III en Europees Fonds voor regionale ontwikkeling "una manera de hacer Europa") en IND2018/TIC-9753 (Comunidad de Madrid).

<ol><li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Haptics%22%5BJournal%5D)">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li>
<li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery%5BTitle%5D)+AND+%22Journal+of+Clinical+Neuroscience%22%5BJournal%5D)">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li>
<li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+for+Planning+Tumour+Resection%3A+Augmented+Reality+and+Human+Factors%5BTitle%5D)+AND+%22IEEE+Transactions+on+Biomedical+Engineering%22%5BJournal%5D)">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li>
<li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training%2C+Communication%2C+and+Clinical+Care%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210(2019).</li>
<li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Through+the+HoloLensTM+looking+glass%3A+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels%5BTitle%5D)+AND+%22European+Radiology+Experimental%22%5BJournal%5D)">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2(2018).</li>
<li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery%5BTitle%5D)+AND+%22The+Laryngoscope%22%5BJournal%5D)">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li>
<li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality%3A+Preliminary+Results+on+Clinical+Animal+Experiment%5BTitle%5D)+AND+%22Aesthetic+Plastic+Surgery%22%5BJournal%5D)">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li>
<li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).</li>
<li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC%5BTitle%5D)+AND+%22Stereotactic+and+Functional+Neurosurgery%22%5BJournal%5D)">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy%3A+Do+it+yourself%5BTitle%5D)+AND+%22The+Knee%22%5BJournal%5D)">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li>
<li>Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+%28HTO%29+-+do+it+yourself%5BTitle%5D)+AND+%22Revue+de+Chirurgie+Orthop%C3%A9dique+et+Traumatologique%22%5BJournal%5D)">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).</li>
<li>De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model%3A+a+case+report%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li>
<li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+%22one-stop+3D+printing+lab%22+for+oral+and+maxillofacial+surgery+and+dentistry+fields%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li>
<li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+3D+models+in+orthopedic+oncology%3A+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li>
<li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models%3A+impact+on+patient+education%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li>
<li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality%2C+Surgical+Navigation%2C+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex%5BTitle%5D)+AND+%22OTO+Open%3A+The+Official+Open+Access+Journal+of+the+American+Academy+of+Otolaryngology-Head+and+Neck+Surgery+Foundation%22%5BJournal%5D)">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li>
<li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries%5BTitle%5D)+AND+%22Quantitative+Imaging+in+Medicine+and+Surgery%22%5BJournal%5D)">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li>
<li>Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthcare+Technology+Letters%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li>
</ol>

De auteurs hebben niets te onthullen.

AR heeft een groot potentieel in onderwijs, opleiding en chirurgische begeleiding op medisch gebied. De combinatie met 3D Printing opent kan nieuwe mogelijkheden in klinische toepassingen te openen. Dit protocol beschrijft een methodologie die onervaren gebruikers in staat stelt om een smartphone-app te maken die AR en 3DP combineert voor de visualisatie van anatomische 3D-modellen van patiënten met 3D-gedrukte referentie markeringen.
Over het algemeen is een van de meest interessante klinische toepassingen van AR en 3DP het verbeteren van patiënt-naar-arts communicatie door de patiënt een ander perspectief van de zaak te geven, waardoor de uitleg van specifieke medische aandoeningen of behandelingen wordt verbeterd. Een andere mogelijke toepassing omvat chirurgische richtlijnen voor doel lokalisatie, waarin 3D-gedrukte patiënt-specifieke hulpmiddelen (met een referentie AR-marker bevestigd) kunnen worden geplaatst op stijve structuren (d.w.z. botten) en worden gebruikt als referentie voor navigatie. Deze toepassing is vooral nuttig voor orthopedische en maxillofaciale chirurgische ingrepen, waarbij botweefsel oppervlak gemakkelijk toegankelijk is tijdens chirurgie.
Het protocol begint met sectie 1, met een beschrijving van de werkstations en software tools die nodig zijn. In sectie 2 wordt beschreven hoe u 3D-Slicersoftware gebruiken om eenvoudig doel anatomieën van de patiënt te segmenteren van elke medische beeldvormings modaliteit om 3D-modellen te verkrijgen. Deze stap is cruciaal, omdat de virtuele 3D-modellen die zijn gemaakt in de uiteindelijke AR-toepassing worden weergegeven.
In sectie 3 wordt 3D slicer gebruikt om de 3D-modellen te registreren die in de vorige sectie zijn gemaakt met een AR-markering. Tijdens deze registratieprocedure zijn de 3D-modellen van de patiënt efficiënt en eenvoudig gepositioneerd ten opzichte van de AR-marker. De positie die in deze sectie is gedefinieerd, bepaalt de relatieve positie van het hologram in de uiteindelijke app. Er wordt aangenomen dat deze oplossing vermindert de complexiteit en vermenigvuldigt de mogelijke toepassingen. Sectie 3 beschrijft twee verschillende opties voor het definiëren van de ruimtelijke relaties tussen de modellen en AR-Markeringen: "Visualisatie" en "registratie"-modus. Met de eerste optie, de modus "Visualisatie", kunnen de 3D-modellen overal worden gepositioneerd met betrekking tot de marker en worden weergegeven als de hele biomodel. Deze modus biedt een realistisch, 3D-perspectief van de anatomie van de patiënt en maakt verplaatsen en roteren van de biomodels mogelijk door de bijgehouden AR-marker te verplaatsen. De tweede optie, "registratie" modus, maakt het mogelijk om een marker adapter aan te maken en te combineren met elk onderdeel van de biomodel, en biedt een automatisch registratieproces. Met deze optie kan een klein gedeelte van het 3D-model, inclusief de marker-adapter, 3D-geprint zijn en de app kan de rest van het model als hologram weergeven.
Sectie 4 bevat richtlijnen voor het 3D-afdrukproces. Ten eerste kan de gebruiker kiezen tussen twee verschillende markers: de "Dual Color marker" en "sticker marker". De hele "Dual Color marker" kan 3D-geprint zijn, maar vereist een dubbele extruder 3D-printer. In het geval dat deze printer niet beschikbaar is, wordt de "sticker marker" voorgesteld. Dit is een eenvoudigere marker die kan worden verkregen door het 3D-printen van de kubieke structuur, dan het plakken van de afbeeldingen van de kubus met sticker papier of sticker lijm. Bovendien zijn beide markers ontworpen met uitbreidbare secties om perfect in een specifieke adapter te passen. Zo kan de marker in verschillende gevallen opnieuw worden gebruikt.
In sectie 5 wordt het proces beschreven voor het maken van een Unity-project voor AR met de Vuforia Software Development Kit. Deze stap kan het moeilijkste deel zijn voor gebruikers zonder programmeerervaring, maar met deze richtlijnen moet het gemakkelijker zijn om de definitieve toepassing te verkrijgen die wordt weergegeven in sectie 6. De app geeft de virtuele modellen van de patiënt weer via het scherm van de smartphone wanneer de camera de 3D-gedrukte marker herkent. Om de app de 3D-marker te kunnen detecteren, is een minimale afstand van ongeveer 40 cm of minder van de telefoon naar de marker en goede lichtomstandigheden vereist.
De uiteindelijke toepassing van dit protocol stelt de gebruiker in staat om de specifieke biomodels te kiezen om te visualiseren en in welke posities. De app kan automatisch een patiënt-hologram registratie uitvoeren met behulp van een 3D-gedrukte marker en adapter die is bevestigd aan de biomodel. Dit lost de uitdaging van het registreren van virtuele modellen met de omgeving op een directe en gemakkelijke manier. Bovendien, deze methodologie vereist geen brede kennis van medische beeldvorming of software ontwikkeling, is niet afhankelijk van complexe hardware en dure software, en kan worden geïmplementeerd in een korte periode. Verwacht wordt dat deze methode zal helpen versnellen de aanneming van AR en 3DP technologieën door medische professionals.

AR en 3DP zijn technologieën die een toenemend aantal toepassingen op medisch gebied bieden. In het geval van AR, de interactie met virtuele 3D-modellen en de echte omgeving voordelen artsen met betrekking tot onderwijs en opleiding1,2,3, communicatie en interacties met andere artsen4, en begeleiding tijdens klinische interventies5,6,7,8,9,10. Evenzo is 3DP uitgegroeid tot een krachtige oplossing voor artsen bij het ontwikkelen van patiënt-specifieke aanpasbare hulpmiddelen11,12,13 of het creëren van 3D-modellen van de anatomie van een patiënt, die kunnen helpen bij het verbeteren van preoperatieve planning en klinische interventies14,15.
Zowel AR-als 3DP-technologieën helpen bij het verbeteren van oriëntatie, begeleiding en ruimtelijke vaardigheden in medische procedures; de combinatie is dus de volgende logische stap. Vorig werk heeft aangetoond dat hun gezamenlijk gebruik de waarde kan verhogen in patiëntenonderwijs16, het vergemakkelijken van verklaringen van medische aandoeningen en voorgestelde behandeling, het optimaliseren van chirurgische workflow17,18 en het verbeteren van de patiënt-naar-modelregistratie19. Hoewel deze technologieën de afgelopen jaren exponentieel zijn gegroeid, is hun adoptie door artsen nog steeds beperkt, omdat ze uitgebreide kennis van engineering en software ontwikkeling vereisen. Daarom is het doel van dit werk om een stapsgewijze methodologie te beschrijven die het gebruik van AR en 3DP door onervaren gebruikers mogelijk maakt zonder de noodzaak van brede technische kennis.
Dit protocol beschrijft hoe u een AR-smartphone-app ontwikkelen die het mogelijk maakt om elk op de patiënt gebaseerd 3D-model op een echte omgeving te zetten met behulp van een 3D-geprinte marker die wordt bijgehouden door de smartphone camera. Daarnaast wordt een alternatieve aanpak beschreven om automatische registratie te bieden tussen een 3D-geprinte biomodel (d.w.z. een 3D-model gemaakt op basis van de anatomie van een patiënt) en de geprojecteerde hologrammen. Het beschreven protocol is volledig gebaseerd op gratis en multi-platform software.
In het vorige werk is de AR-patiënt-naar-beeldregistratie handmatig berekend5 met oppervlak herkenning algoritmen10 of is niet beschikbaar2. Deze methoden zijn enigszins beperkt als een nauwkeurige registratie vereist is19. Om deze beperkingen te overwinnen, biedt dit werktools om nauwkeurige en eenvoudige registratie van patiënt tot beeld in AR-procedures uit te voeren door AR-technologie en 3DP te combineren.
Het protocol is generiek en kan worden toegepast op elke medische beeldvormende modaliteit of patiënt. Als voorbeeld, een echte klinische geval van een patiënt die lijdt aan distale been Sarcoom is ter illustratie van de methodologie. De eerste stap beschrijft hoe u eenvoudig de aangetaste anatomie segmenteer van computertomografie (CT) medische beelden om virtuele 3D-modellen te genereren. Daarna wordt de positionering van de 3D-modellen uitgevoerd, dan zijn de vereiste gereedschappen en modellen 3D-geprint. Ten slotte wordt de gewenste AR-app geïmplementeerd. Deze app maakt het mogelijk om de visualisatie van de patiënt 3D-modellen op een smartphone camera in real-time te overlegden.

<table><tbody><tr><td>3D Printing materiaal: Acrylonitrile Butadieen Styreen (ABS)</td><td></td><td></td><td>Thermoplastisch polymeermateriaal dat meestal wordt gebruikt in huishoudelijke 3D-printers.</td></tr><tr><td>3D Printing materiaal: Polymelkzuur (PLA)</td><td></td><td></td><td>Bioplastic materiaal dat meestal wordt gebruikt in huishoudelijke 3D-printers.</td></tr><tr><td>3D Slicer</td><td></td><td></td><td>Open-source softwareplatform voor medische beeldinformatie, beeldverwerking en driedimensionale visualisatie.</td></tr><tr><td>Android</td><td>Alphabet, Inc.</td><td></td><td>Android is een mobiel besturingssysteem ontwikkeld door Google. Het is gebaseerd op een aangepaste versie van de Linux kernel en andere open source software, en is voornamelijk ontworpen voor touchscreen mobiele apparaten zoals smartphones en tablets.</td></tr><tr><td>Autodesk Meshmixer</td><td>Autodesk, Inc.</td><td></td><td>Meshmixer is state-of-the-art software voor het werken met driehoekige netwerken. Gratis software.</td></tr><tr><td>iPhone OS</td><td>Apple, Inc.</td><td></td><td>iPhone OS is een mobiel besturingssysteem gemaakt en ontwikkeld door Apple Inc. exclusief voor haar hardware.</td></tr><tr><td>Ultimaker 3 Extended</td><td>Ultimaker BV</td><td></td><td>Fused deposition modeling 3D-printer.</td></tr><tr><td>Unity</td><td>Unity Technologies</td><td></td><td>Unity is een real-time ontwikkelplatform om 3D, 2D VR & AR visualisaties te creëren voor Games, Auto, Transport, Film, Animatie, Architectuur, Engineering & meer. Gratis software.</td></tr><tr><td>Xcode</td><td>Apple, Inc.</td><td></td><td>Xcode is een complete ontwikkelaarstoolset voor het maken van apps voor Mac, iPhone, iPad, Apple Watch en Apple TV. Gratis software.</td></tr></tbody></table>

augmented reality en 3d-printen combineren om patiënt modellen op een smartphone weer te geven

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Augmented Reality (AR) heeft een groot potentieel in onderwijs, training en chirurgische begeleiding op medisch gebied. De combinatie met driedimensionaal (3D) printen (3DP) opent nieuwe mogelijkheden in klinische toepassingen. Hoewel deze technologieën de afgelopen jaren exponentieel zijn gegroeid, is hun adoptie door artsen nog steeds beperkt, omdat ze uitgebreide kennis van engineering en software ontwikkeling vereisen. Daarom is het doel van dit protocol om een stapsgewijze methodologie te beschrijven waarmee onervaren gebruikers een smartphone-app kunnen maken, die AR en 3DP combineert voor de visualisatie van anatomische 3D-modellen van patiënten met een 3D-gedrukte referentie marker. In het protocol wordt beschreven hoe u 3D-virtuele modellen maakt van de anatomie van een patiënt die is afgeleid van 3D-medische beelden. Vervolgens wordt uitgelegd hoe u de positionering van de 3D-modellen met betrekking tot marker referenties uit te voeren. Ook zijn er instructies voor het afdrukken van de vereiste gereedschappen en modellen in 3D. Ten slotte worden de stappen voor het implementeren van de app geleverd. Het protocol is gebaseerd op gratis en multi-platform software en kan worden toegepast op elke medische beeldvormende modaliteit of patiënt. Een alternatieve aanpak wordt beschreven om automatische registratie te bieden tussen een 3D-geprint model gemaakt van de anatomie van een patiënt en de geprojecteerde hologrammen. Als voorbeeld is een klinisch geval van een patiënt die lijdt aan distale been Sarcoom de methodologie te illustreren. Naar verwachting zal dit protocol de invoering van AR-en 3DP-technologieën door medische professionals versnellen.

Het protocol werd toegepast op gegevens van een patiënt die lijdt aan distale been Sarcoom om het aangetaste anatomische gebied vanuit een 3D-perspectief te visualiseren. Met behulp van de in punt 2 beschreven methode werden het deel van het aangetaste bot (hier, het scheenbeen en het kuitbeen) en de tumor gesegmenteerd van de CT-scan van de patiënt. Vervolgens, met behulp van de segmentatie tools van 3D slicer, werden twee biomodels gemaakt: het bot (deel van hetscheenbeen en kuitbeen) (Figuur 1A) en tumor (Figuur 1B).
Vervolgens werden de twee 3D-modellen vrijwel gepositioneerd met betrekking tot de marker voor optimale visualisatie. Voor dit voorbeeld zijn beide modi beschreven in sectie 3 gevolgd. Voor de visualisatie modus werden de modellen gecentreerd in het bovenvlak van de marker (Figuur 2). Voor de registratiemodus werd de marker adapter in het bot geplaatst (met name de Tibia [Figuur 3]). Vervolgens werd een klein deel van de Tibia geselecteerd om te worden 3D-bedrukt met een 3D marker adapter (Figuur 4). Een ultimaker 3 Extended 3D-printer met Pla-materiaal werd gebruikt voor het maken van de 3D-gedrukte markeringen (Figuur 5A, B), marker houder basis (Figuur 5C) voor de "Visualisatie"-modus, en sectie van de Tibia voor "registratie"-modus (Figuur 5D). Afbeelding 5E toont hoe de marker is bevestigd aan de "Visualisatie" modus 3D-gedrukte basis. Figuur 5F toont de bijlage met de "registratie" modus 3D-gedrukte biomodel. Ten slotte werd Unity gebruikt om de app te maken en deze op de smartphone te implementeren.
Afbeelding 6 toont hoe de app werkte voor de modus "Visualisatie". Het hologram is nauwkeurig in het bovenste gedeelte van de kubus gelegen, zoals eerder gedefinieerd. Afbeelding 7 toont de toepassing voor de "registratie"-modus, waarin de app het volledige botmodel boven op het 3D-geprinte gedeelte plaatste. De uiteindelijke visualisatie van de hologrammen was helder en realistisch, handhaafde de echte maten van de biomodels, en gepositioneerd nauwkeurig. Bij het gebruik van de smartphone applicatie moet de AR marker zichtbaar zijn door de camera voor de app om de hologrammen correct weer te geven. Bovendien moeten de lichtomstandigheden in de scène van goede kwaliteit zijn en constant zijn voor een goede marker detectie. Slechte lichtomstandigheden of reflecties op het markerings oppervlak belemmeren het volgen van de AR-marker en veroorzaken een storing van de app.
De tijd die nodig is om de app te maken, is afhankelijk van verschillende factoren. De duur van sectie 1 wordt beperkt door de download snelheid. Met betrekking tot de anatomie segmentatie (sectie 2), factoren beïnvloeden segmentatie tijd omvatten complexiteit van de regio en medische beeldvorming modaliteit (dat wil zeggen, CT is gemakkelijk gesegmenteerd, terwijl MRI moeilijker is). Voor het representatieve voorbeeld van de Tibia was ongeveer 10 minuten nodig om beide 3D-modellen van de CT-scan te genereren. Biomodel positionering (paragraaf 3) is eenvoudig en ongecompliceerd. Hier duurde het ongeveer 5 minuten om de biomodel positie te definiëren ten opzichte van de AR marker. Voor de 3D-afdruk stap is de duur sterk afhankelijk van de geselecteerde modus. De "Dual Color marker" werd geproduceerd in een hoge kwaliteit in een periode van 5 h en 20 min. De "sticker marker" werd vervaardigd in een periode van 1 h en 30 min, plus de tijd die nodig is om de stickers te plakken. De laatste stap voor app-ontwikkeling kan tijdrovend zijn voor mensen met geen eerdere ervaring in Unity, maar het kan eenvoudig worden voltooid na de stappen van het protocol. Zodra de AR-markers 3D-geprint zijn, kan de ontwikkeling van een geheel nieuwe AR-app in minder dan 1 uur worden uitgevoerd. Deze duur kan verder worden verminderd met extra ervaring.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg"> Figuur 1: weergave van 3D-modellen gemaakt op basis van een CT-beeld van een patiënt die lijdt aan distale been Sarcoom. A) botweefsel, vertegenwoordigd in wit (Tibia en kuitbeen). B) de in het rood vertegenwoordigde tumor. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg"> Figuur 2: resultaten die laten zien hoe de modus "Visualisatie" in 3D-slicer de virtuele 3D-modellen van het bot en de tumor positioneert met betrekking tot de referentie voor 3D-gedrukte markeringen. De 3D-modellen van de patiënt (a) staan boven het bovenvlak van de markerings kubus (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg"> Figuur 3: resultaten die laten zien hoe de "registratie"-modus in 3D-slicer de virtuele 3D-modellen van het bot en de tumor (A) positioneert met betrekking tot 3D-gedrukte marker Referentie (B). De marker adapter is bevestigd aan het botweefsel model. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg"> Figuur 4: klein deel van het botweefsel en de 3D-markerings adapter. De twee componenten worden gecombineerd dan 3D-geprint. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg"> Afbeelding 5:3D-gedrukte gereedschappen die nodig zijn voor de uiteindelijke toepassing. (A) "Two Color Cube marker" 3D-bedrukt met twee kleuren van materialen. (B) "sticker kubus marker" 3D-geprint, met stickers geplakt. C) adapter voor marker-basiskubus. D) gedeelte van het botweefsel 3D-model en de marker Cube adapter van de patiënt. (E) "sticker Cube marker" in de marker base Cube adapter. F) "tweekleurige kubus markering" geplaatst in de marker adapter die is bevestigd aan de anatomie van de patiënt. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg"> Afbeelding 6: app-weergave bij gebruik van de modus "Visualisatie". De aangetaste anatomie 3D-modellen van de patiënt bevinden zich boven het bovenvlak van de 3D-gedrukte kubus. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg"> Afbeelding 7: AR-visualisatie bij gebruik van de "registratie"-modus. De 3D-gedrukte marker maakt registratie van de 3D-gedrukte biomodel mogelijk met de virtuele 3D-modellen. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Klik hier om een grotere versie van dit cijfer te bekijken.</a>

Hier gepresenteerd is een methode om een Augmented Reality smartphone applicatie te ontwerpen voor de visualisatie van anatomische driedimensionale modellen van patiënten die een 3D-gedrukte referentie marker gebruiken.

Augmented Reality en 3D-printen combineren om patiënt modellen op een smartphone weer te geven

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Dit protocol biedt onervaren gebruikers de tools om augmented reality-oplossingen in het medische veld te brengen door het bouwen van hun eigen smartphone-app. Deze methode combineert augmented reality en 3D-printen, waardoor een snelle en eenvoudige visualisatie van 3D-modellen die zijn gemaakt op basis van gegevens op basis van een 3D-geprinte referentiemarker. Deze techniek kan worden toegepast op elk medisch scenario waarin een 3D-geprinte referentie stevig aan de patiënt kan worden bevestigd.De visualisatie van visuele 3D-modellen gemaakt van baserende datalokalisatie die is gericht en kan ook de patiënt verbeteren Dit protocol is speciaal ontworpen voor gebruikers zonder voorkennis van medische beeldvorming of softwareontwikkeling om te helpen bij het gebruik van augmented reality in het medische veld. Als u 3D-modellen van de anatomie van een patiënt wilt maken, volgt u eerst het medisch afbeeldingsbestand in het 3D Slicer-softwarevenster en klikt u op OK. Als u de anatomie van de patiënt wilt segmenteren, gaat u naar de segmenteditormodule in 3D Slicer. Bij het invoeren van de module wordt automatisch een segmentatieitem gemaakt.Selecteer het gewenste volume in de sectie hoofdvolume en klik met de rechtermuisknop onder de afbeelding om toevoegen te selecteren om een segment te maken. Selecteer in het effectenpaneel het handigste gereedschap voor het doel en segmenteer het medische beeld van de patiënt. Als u de segmentatie wilt exporteren in een bestandsindeling met 3D-modellen, opent u de module segmentaties.Selecteer in export-/importmodellen en labelmaps exporteren en modellen en klik op exporteren om het 3D-model te maken vanuit het gesegmenteerde gebied. Klik op Opslaan en selecteer de elementen die moeten worden opgeslagen. Wijzig vervolgens de bestandsindeling van het 3D-model in OBJ.De segmentatie kan worden herhaald om extra 3D-modellen van verschillende anatomische gebieden te maken. Open de AR Health-modelpositiemodule en selecteer visualisatiemodus voor het positioneren van een 3D-patiëntmodel op elke positie met betrekking tot de augmented reality-marker. Klik op laadmarkeringsmodel om de markering voor deze optie te laden, de ovlipseknop om het pad van het opgeslagen 3D-model te selecteren en het model te laden om het model in 3D-segmenter te laden.Klik op afwerking en midden om alle modellen in de markering te centreren. Gebruik de schuifbalken om de positie, oriëntatie en schaling van de 3D-modellen aan te passen ten opzichte van de markering naar wens. Selecteer vervolgens het pad om de bestanden op te slaan en klik op modellen opslaan om de modellen op deze positie op te slaan.Als u de augmented reality-marker wilt combineren met een 3D-biomodel op elke gewenste positie, opent u de AR Health-modelpositiemodule en selecteert u in de initialisatiesectie de registratiemodus. Klik op het markeringsmodel laden om de markering voor deze optie te laden en verplaats de 3D-modellen totdat ze elkaar kruisen met de draagstructuur van de kubusmarkering, waarbij de hoogte van de markeringsbasis zo nodig wordt gewijzigd. Als u het model op deze positie wilt opslaan, selecteert u het pad om de bestanden op te slaan en klikt u op modellen opslaan.Als het anatomiemodel te groot is, laadt u het biomodel en de ondersteunende structuur van het kubusmarkeringsmodel in de meshmixersoftware. Selecteer beide modellen in het browservenster van het object om de modellen te combineren en gebruik het gereedschap Gewoon uitsnijdwerk in het bewerkingsmenu om ongewenste delen van het model te verwijderen die niet worden afgedrukt. Als u het model wilt opslaan dat 3D-geprint moet worden, selecteert u bestand en exporteert en selecteert u de gewenste indeling.Om de fysieke modellen af te drukken die nodig zijn voor de uiteindelijke augmented reality-toepassing, selecteert u in de 3D-printsoftware een wit gekleurd materiaal voor de TwoColorCuebMarker_white. obj-bestand en een zwart gekleurd materiaal voor de TwoColorCubeMarker_white. obj-bestand.Gebruik vervolgens een dubbele extruder 3D-printer om de kubieke markering in zwart-wit in de hoge kwaliteit met een kleine laaghoogte af te drukken. Als u een smartphone-app wilt ontwerpen in Unity Engine met de 3D-modellen, opent u Vuforia Developer en maakt u een account aan. Selecteer ontwikkelsleutel ophalen om een gratis licentiesleutel voor ontwikkeling te verkrijgen en selecteer en kopieer de sleutel in het menu licentiebeheer.Als u de smartphone wilt instellen, selecteert u in de Unity-versie 2019-toepassing onder de build-instellingen in het bestandsmenu het juiste platform voor het apparaat. Als u Vuforia wilt inschakelen voor het project, selecteert u bewerken, projectinstellingen, instellingen voor spelers en XR-instellingen en schakelt u het vakje vuforia Augmented Reality Support in. Als u een augmented reality-camera wilt maken, selecteert u menubalk, gameobject, Vuforia Engine en AR-camera en importeert u de Vuforia-componenten wanneer daarom wordt gevraagd.Als u de Vuforia-licentiesleutel wilt toevoegen aan de configuratie-instellingen van Vuforia, selecteert u de resourcesmap, klikt u op Vuforia-configuratie en plakt u de licentiesleutel in de sectie app-licentiesleutel. Importeer het Vuforia-doelbestand met de bestanden die Vuforia nodig heeft om de markeringen te detecteren in Unity en selecteer menubalk, gameobject, Vuforia Engine en multi-image om een Vuforia-multidoel te maken. Klik op het meerdere doel om het markeringstype te selecteren dat wordt gebruikt voor detectie en selecteer in de databaseoptie onder multidoelgedrag ARHealth_3dPrintedCube_30x30x30.Selecteer in de optie multitarget onder multidoelgedrag twocolorcubemarker of StickerCubeMarker, afhankelijk van de markering. Sleep de 3D-modellen naar de map modellen en sleep de map onder het item met meerdere doelobjecten. De modellen moeten zichtbaar worden in de Unity 3D-weergavescène.Als u de kleuren van de 3D-modellen wilt wijzigen, maakt u nieuwe materialen en wijst u de nieuwe materialen toe aan de modellen. Als er een webcam beschikbaar is, klikt u op afspelen om de toepassing op de computer te testen. Als de markering zichtbaar is voor de webcam, moet deze worden gedetecteerd en moeten de 3D-modellen in de scène worden weergegeven.Als een Android-smartphone wordt gebruikt voor de ontwikkeling van de app, selecteert u build-instellingen in Unity en selecteert u de aangesloten telefoon in de lijst. Sla vervolgens het bestand op met een apk-extensie en laat het proces worden voltooid. Als de app wordt geïmplementeerd op een iOS-apparaat, selecteert u bestand in build-instellingen en slaat u het bestand op.Om de app te visualiseren, opent u de app op de smartphone en gebruikt u de smartphonecamera om de markering vanuit de app op een minimale afstand van 40 centimeter te bekijken. Zodra de app de markering detecteert, moeten de eerder gemaakte 3D-modellen op het smartphonescherm worden weergegeven op de exacte locatie die tijdens de procedure is gedefinieerd. Met behulp van de methode zoals aangetoond, dit deel van het getroffen scheenbeen en kuitbeen van een patiënt die lijden aan distale been sarcoom en tumor werden gesegmenteerd van ct-scan van de patiënt.Met behulp van de segmentatietools werd één biomodel gemaakt voor het bot en werd één biomodel gemaakt voor de tumor. Voor de visualisatiemodus waren de modellen gecentreerd in de bovenste fase van de markering. Voor de registratiemodus werd de markeradapter in het scheenbeen geplaatst en werd een klein deel van het scheenbeen geselecteerd om 3D-geprint te zijn met een 3D-markeringsadapter.Polymelkzuur kan worden gebruikt om de 3D-geprinte markers, marker houder bases en botsecties te maken, zoals aangetoond. Hier wordt een markering bevestigd aan een visualisatiewijze 3D-geprinte basis en hier wordt de bijlage weergegeven met de registratiemodus 3D-geprint biomodel. Deze weergave laat zien hoe de app werkt in visualisatiemodus met het hologram nauwkeurig gelegen in het bovenste deel van de kubus zoals eerder gedefinieerd.In de registratiemodus kan het volledige botmodel bovenop de 3D-geprinte sectie worden geplaatst met een duidelijke en realistische visualisatie van de markering op de botsite. Om augmented reality te gebruiken om belangrijke patiëntinformatie te visualiseren, hebt u verschillende softwaretools nodig die vrij beschikbaar zijn, evenals toegang tot een 3D-printer en smartphone. Deze procedure kan worden toegepast op elk model verkregen uit medische beeldvorming.Het gebruik ervan kan worden uitgebreid tot andere interventies, zoals bestraling van naaldinbrengen. We breiden de toepassingen van deze ontwikkeling nu uit naar nieuwe klinische gebieden, waaronder myofasciale of orthopedische chirurgie. Ons eerste onderzoek is veelbelovend en de feedback van de chirurg is zeer positief.

combining-augmented-reality-3d-printing-to-display-patient-models-on

Research

JoVE Journal

Medicine

Geneeskunde

Source:Carly Fassler1, Liyu Huang1, Kavita Prasad1, Jiayi Xu2, Guansen Tong2, Jie Ying Wu2, Michael C. Topf1,31Department of Otolaryngology – Head and Neck Surgery, Vanderbilt University Medical Center.2Computer Science Department, Vanderbilt University.3Vanderbilt University School of Engineering, Vanderbilt University.This video demonstrates using augmented reality (AR) for tumor resection, where a 3D-scanned tumor specimen is visualized as a hologram on a head-mounted display. Surgeons can...

Augmented Reality-Based Visualization of a Resected Tumor Specimen

Met behulp van moderne kunststof extrusie en printtechnologieën, is het nu mogelijk om snel en goedkoop te produceren fysische modellen van de X-ray CT-gegevens die in een laboratorium. De drie-dimensionale afdrukken van tomografische gegevens is een krachtige visualisatie, onderzoek, en een educatief instrument dat nu kan worden benaderd door de preklinische beeldvorming gemeenschap.

3D Printing van preklinisch X-ray computertomografie tomografische gegevens Sets

Het protocol beschrijft de fabricage van volledig gekleurde driedimensionale afdrukken van patiënt-specifieke, anatomische schedel modellen te gebruiken voor chirurgische simulatie. De cruciale stappen van het combineren van verschillende beeldvormings modaliteiten, beeldsegmentatie, driedimensionale model extractie en de productie van de prints worden toegelicht.

Multicolor 3D printen van complexe intracraniële tumoren in Neurochirurgie

Deze methode demonstreert een voxel-gebaseerde 3D-printworkflow, die rechtstreeks vanuit medische beelden afdrukt met exacte ruimtelijke getrouwheid en ruimtelijke / contrastresolutie. Dit maakt de precieze, gegradueerde controle van materiaalverdelingen mogelijk door morfologisch complexe, gegradueerde materialen gecorreleerd aan radiodensiteit zonder verlies of wijziging van gegevens.

Voxel Printing Anatomy: Ontwerp en fabricage van realistische, prechirurgische planningsmodellen door bitmapafdrukken

Een complexe revisie heuparthroplastiek werd uitgevoerd met behulp van een op maat gemaakt implantaat en mixed reality-technologie. Volgens de kennis van de auteurs is dit het eerste verslag van een dergelijke procedure dat in de literatuur wordt beschreven.<br...

Het gebruik van mixed reality bij op maat gemaakte revisie heupartroplastiek: een eerste casusrapport

Het augmented reality-display op het hoofd, Magic Leap, werd gebruikt in combinatie met een conventioneel navigatiesysteem om pedikelschroeven in een varkensmodel te plaatsen door vast te houden aan een nieuwe workflow. Met een mediane inbrengtijd van &lt;2,5 min werden volgens Gertzbein een technische nauwkeurigheid van de submillimeter en 100% klinische nauwkeurigheid bereikt.

Plaatsing van pedikelschroeven met behulp van een augmented reality-display op het hoofd in een varkensmodel

Vooruitgang in endovasculaire behandeling heeft complexe open chirurgische ingrepen vervangen door minimaal invasieve opties, zoals klepvervanging en aneurysmaherstel. Dit artikel stelt voor om driedimensionale (3D) modellering en virtual reality te gebruiken om te helpen bij het positioneren van de C-boog, hoekmetingen en het genereren van een routekaart voor procedurele planning van neuro-interventionele katheterisatielaboratoria, waardoor de proceduretijd wordt geminimaliseerd.

Baanbrekende patiëntspecifieke benaderingen voor precisiechirurgie met behulp van beeldvorming en virtual reality

Een nieuwe methode voor 3D-scanning en het virtueel in kaart brengen van kankerresecties wordt voorgesteld met als doel de communicatie tussen het multidisciplinaire kankerzorgteam te verbeteren.

Verbeterde communicatie van tumormarges met behulp van 3D-scannen en in kaart brengen

Dit artikel presenteert het ontwerp en de implementatie van een automatische chirurgiemodule op basis van 3D-reconstructie op basis van augmented reality (AR). Het systeem maakt chirurgie op afstand mogelijk door chirurgen in staat te stellen gereconstrueerde kenmerken te inspecteren en chirurgische handbewegingen na te bootsen alsof ze de operatie in de buurt uitvoeren.

Automatische chirurgie bij transkatheter aortaklepvervanging met behulp van augmented reality

Hier beschrijven we een protocol voor het helemaal opnieuw construeren van een hartmodel op basis van computertomografie en presenteren we dit aan medische studenten met behulp van driedimensionaal (3D) printen en mixed reality-technologie om anatomie te leren.

Mixed reality-technologie en driedimensionaal printen in het onderwijs: hartanatomie als voorbeeld

Leer een augmented reality-methode voor medische beeldvorming met 3D-geprinte referentiemarkers en smartphone-apps. Deze techniek visualiseert anatomische modellen zonder voorafgaande kennis van softwareontwikkeling.

Augmented Reality en 3D-printen combineren om patiënt modellen op een smartphone weer te geven

Meer video's verkennen