Augmented Reality en 3D-printen combineren om patiënt modellen op een smartphone weer te geven

Dit protocol biedt onervaren gebruikers de tools om augmented reality-oplossingen in het medische veld te brengen door het bouwen van hun eigen smartphone-app. Deze methode combineert augmented reality en 3D-printen, waardoor een snelle en eenvoudige visualisatie van 3D-modellen die zijn gemaakt op basis van gegevens op basis van een 3D-geprinte referentiemarker. Deze techniek kan worden toegepast op elk medisch scenario waarin een 3D-geprinte referentie stevig aan de patiënt kan worden bevestigd.

De visualisatie van visuele 3D-modellen gemaakt van baserende datalokalisatie die is gericht en kan ook de patiënt verbeteren Dit protocol is speciaal ontworpen voor gebruikers zonder voorkennis van medische beeldvorming of softwareontwikkeling om te helpen bij het gebruik van augmented reality in het medische veld. Als u 3D-modellen van de anatomie van een patiënt wilt maken, volgt u eerst het medisch afbeeldingsbestand in het 3D Slicer-softwarevenster en klikt u op OK. Als u de anatomie van de patiënt wilt segmenteren, gaat u naar de segmenteditormodule in 3D Slicer. Bij het invoeren van de module wordt automatisch een segmentatieitem gemaakt.

Selecteer het gewenste volume in de sectie hoofdvolume en klik met de rechtermuisknop onder de afbeelding om toevoegen te selecteren om een segment te maken. Selecteer in het effectenpaneel het handigste gereedschap voor het doel en segmenteer het medische beeld van de patiënt. Als u de segmentatie wilt exporteren in een bestandsindeling met 3D-modellen, opent u de module segmentaties.

Selecteer in export-/importmodellen en labelmaps exporteren en modellen en klik op exporteren om het 3D-model te maken vanuit het gesegmenteerde gebied. Klik op Opslaan en selecteer de elementen die moeten worden opgeslagen. Wijzig vervolgens de bestandsindeling van het 3D-model in OBJ.

De segmentatie kan worden herhaald om extra 3D-modellen van verschillende anatomische gebieden te maken. Open de AR Health-modelpositiemodule en selecteer visualisatiemodus voor het positioneren van een 3D-patiëntmodel op elke positie met betrekking tot de augmented reality-marker. Klik op laadmarkeringsmodel om de markering voor deze optie te laden, de ovlipseknop om het pad van het opgeslagen 3D-model te selecteren en het model te laden om het model in 3D-segmenter te laden.

Klik op afwerking en midden om alle modellen in de markering te centreren. Gebruik de schuifbalken om de positie, oriëntatie en schaling van de 3D-modellen aan te passen ten opzichte van de markering naar wens. Selecteer vervolgens het pad om de bestanden op te slaan en klik op modellen opslaan om de modellen op deze positie op te slaan.

Als u de augmented reality-marker wilt combineren met een 3D-biomodel op elke gewenste positie, opent u de AR Health-modelpositiemodule en selecteert u in de initialisatiesectie de registratiemodus. Klik op het markeringsmodel laden om de markering voor deze optie te laden en verplaats de 3D-modellen totdat ze elkaar kruisen met de draagstructuur van de kubusmarkering, waarbij de hoogte van de markeringsbasis zo nodig wordt gewijzigd. Als u het model op deze positie wilt opslaan, selecteert u het pad om de bestanden op te slaan en klikt u op modellen opslaan.

Als het anatomiemodel te groot is, laadt u het biomodel en de ondersteunende structuur van het kubusmarkeringsmodel in de meshmixersoftware. Selecteer beide modellen in het browservenster van het object om de modellen te combineren en gebruik het gereedschap Gewoon uitsnijdwerk in het bewerkingsmenu om ongewenste delen van het model te verwijderen die niet worden afgedrukt. Als u het model wilt opslaan dat 3D-geprint moet worden, selecteert u bestand en exporteert en selecteert u de gewenste indeling.

Om de fysieke modellen af te drukken die nodig zijn voor de uiteindelijke augmented reality-toepassing, selecteert u in de 3D-printsoftware een wit gekleurd materiaal voor de TwoColorCuebMarker_white. obj-bestand en een zwart gekleurd materiaal voor de TwoColorCubeMarker_white. obj-bestand.

Gebruik vervolgens een dubbele extruder 3D-printer om de kubieke markering in zwart-wit in de hoge kwaliteit met een kleine laaghoogte af te drukken. Als u een smartphone-app wilt ontwerpen in Unity Engine met de 3D-modellen, opent u Vuforia Developer en maakt u een account aan. Selecteer ontwikkelsleutel ophalen om een gratis licentiesleutel voor ontwikkeling te verkrijgen en selecteer en kopieer de sleutel in het menu licentiebeheer.

Als u de smartphone wilt instellen, selecteert u in de Unity-versie 2019-toepassing onder de build-instellingen in het bestandsmenu het juiste platform voor het apparaat. Als u Vuforia wilt inschakelen voor het project, selecteert u bewerken, projectinstellingen, instellingen voor spelers en XR-instellingen en schakelt u het vakje vuforia Augmented Reality Support in. Als u een augmented reality-camera wilt maken, selecteert u menubalk, gameobject, Vuforia Engine en AR-camera en importeert u de Vuforia-componenten wanneer daarom wordt gevraagd.

Als u de Vuforia-licentiesleutel wilt toevoegen aan de configuratie-instellingen van Vuforia, selecteert u de resourcesmap, klikt u op Vuforia-configuratie en plakt u de licentiesleutel in de sectie app-licentiesleutel. Importeer het Vuforia-doelbestand met de bestanden die Vuforia nodig heeft om de markeringen te detecteren in Unity en selecteer menubalk, gameobject, Vuforia Engine en multi-image om een Vuforia-multidoel te maken. Klik op het meerdere doel om het markeringstype te selecteren dat wordt gebruikt voor detectie en selecteer in de databaseoptie onder multidoelgedrag ARHealth_3dPrintedCube_30x30x30.

Selecteer in de optie multitarget onder multidoelgedrag twocolorcubemarker of StickerCubeMarker, afhankelijk van de markering. Sleep de 3D-modellen naar de map modellen en sleep de map onder het item met meerdere doelobjecten. De modellen moeten zichtbaar worden in de Unity 3D-weergavescène.

Als u de kleuren van de 3D-modellen wilt wijzigen, maakt u nieuwe materialen en wijst u de nieuwe materialen toe aan de modellen. Als er een webcam beschikbaar is, klikt u op afspelen om de toepassing op de computer te testen. Als de markering zichtbaar is voor de webcam, moet deze worden gedetecteerd en moeten de 3D-modellen in de scène worden weergegeven.

Als een Android-smartphone wordt gebruikt voor de ontwikkeling van de app, selecteert u build-instellingen in Unity en selecteert u de aangesloten telefoon in de lijst. Sla vervolgens het bestand op met een apk-extensie en laat het proces worden voltooid. Als de app wordt geïmplementeerd op een iOS-apparaat, selecteert u bestand in build-instellingen en slaat u het bestand op.

Om de app te visualiseren, opent u de app op de smartphone en gebruikt u de smartphonecamera om de markering vanuit de app op een minimale afstand van 40 centimeter te bekijken. Zodra de app de markering detecteert, moeten de eerder gemaakte 3D-modellen op het smartphonescherm worden weergegeven op de exacte locatie die tijdens de procedure is gedefinieerd. Met behulp van de methode zoals aangetoond, dit deel van het getroffen scheenbeen en kuitbeen van een patiënt die lijden aan distale been sarcoom en tumor werden gesegmenteerd van ct-scan van de patiënt.

Met behulp van de segmentatietools werd één biomodel gemaakt voor het bot en werd één biomodel gemaakt voor de tumor. Voor de visualisatiemodus waren de modellen gecentreerd in de bovenste fase van de markering. Voor de registratiemodus werd de markeradapter in het scheenbeen geplaatst en werd een klein deel van het scheenbeen geselecteerd om 3D-geprint te zijn met een 3D-markeringsadapter.

Polymelkzuur kan worden gebruikt om de 3D-geprinte markers, marker houder bases en botsecties te maken, zoals aangetoond. Hier wordt een markering bevestigd aan een visualisatiewijze 3D-geprinte basis en hier wordt de bijlage weergegeven met de registratiemodus 3D-geprint biomodel. Deze weergave laat zien hoe de app werkt in visualisatiemodus met het hologram nauwkeurig gelegen in het bovenste deel van de kubus zoals eerder gedefinieerd.

In de registratiemodus kan het volledige botmodel bovenop de 3D-geprinte sectie worden geplaatst met een duidelijke en realistische visualisatie van de markering op de botsite. Om augmented reality te gebruiken om belangrijke patiëntinformatie te visualiseren, hebt u verschillende softwaretools nodig die vrij beschikbaar zijn, evenals toegang tot een 3D-printer en smartphone. Deze procedure kan worden toegepast op elk model verkregen uit medische beeldvorming.

Het gebruik ervan kan worden uitgebreid tot andere interventies, zoals bestraling van naaldinbrengen. We breiden de toepassingen van deze ontwikkeling nu uit naar nieuwe klinische gebieden, waaronder myofasciale of orthopedische chirurgie. Ons eerste onderzoek is veelbelovend en de feedback van de chirurg is zeer positief.