Methodenartikel

Mixed reality-technologie en driedimensionaal printen in het onderwijs: hartanatomie als voorbeeld

DOI:

10.3791/67850

⸱

18 april 2025

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1Department of Human Anatomy, Medical University of Silesia, 2Department of Anatomy, Faculty of Medicine University of Ostrava, 3Department of Measurement and Electronics, AGH University of Krakow, 4MedApp S. A., 5Medical University of Silesia in Katowice

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Hier beschrijven we een protocol voor het helemaal opnieuw construeren van een hartmodel op basis van computertomografie en presenteren we dit aan medische studenten met behulp van driedimensionaal (3D) printen en mixed reality-technologie om anatomie te leren.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mixed reality-technologie en driedimensionaal (3D) printen worden steeds gebruikelijker op het gebied van geneeskunde. Tijdens de COVID-19-pandemie en onmiddellijk nadat de beperkingen waren versoepeld, werden veel innovaties doorgevoerd in het onderwijs aan toekomstige artsen. Er was ook interesse in immersieve technieken en 3D-printtechnologie in het anatomieonderwijs. Dit zijn echter geen gebruikelijke implementaties. In 2023 werden 3D-prints en hologrammen in mixed reality-technologie voorbereid voor lessen gericht op de structuur van het hart. Ze werden gebruikt om studenten te onderwijzen, die, met de steun van ingenieurs, meer te weten konden komen over de gedetailleerde structuur van het hart en vertrouwd konden raken met de nieuwe technologieën die het traditionele leermodel op menselijke kadavers ondersteunen. Studenten vinden deze mogelijkheid zeer waardevol. Het artikel presenteert het proces van het voorbereiden van materiaal voor lessen en verdere implementatiemogelijkheden. De auteurs zien een kans voor de ontwikkeling van de gepresenteerde technologieën in het onderwijs van studenten op verschillende onderwijsniveaus en de rechtvaardiging voor een steeds bredere implementatie.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Driedimensionale (3D) printtechnologie en mixed reality zijn steeds vaker gebruikte technologische hoogstandjes in de geneeskunde. Meer toepassingen zijn niet alleen te vinden in de dagelijkse klinische praktijk van veel specialisten uit verschillende vakgebieden, maar ook in het onderwijs van aios en toekomstige artsen, d.w.z. geneeskundestudenten 1,2,3,4,5,6.

3D-printtechnologie wordt vaak gebruikt om anatomische modellen te printen, voornamelijk aangeboden door commerciële entiteiten, maar de groeiende belangstelling van studenten voor dit soort voorbereiding op het leren is een impuls voor het introduceren van innovaties in de afdelingen anatomie aan medische universiteiten7. Preparaten kunnen worden gemaakt op basis van gegevens uit anatomische atlassen, tekeningen en gravures, maar ook op basis van beeldvormende studies zoals computertomografie of magnetische resonantiebeeldvorming 1,8,9. Het is mogelijk om anatomische preparaten te printen op een 3D-printer op verschillende schalen, en het is mogelijk om kleuren, markers en andere variaties te gebruiken om de toegankelijkheid van het lesmateriaal te vergroten10,11. Ondanks de toegenomen beschikbaarheid van materialen hebben geneeskundestudenten in Polen geen brede toegang tot dit soort voorbereiding, ongeacht de verklaarde bereidheid om het huidige, klassieke onderwijsmodel op basis van menselijke kadaverpreparaten te ondersteunen, met de toevoeging van nieuwe technologieën die nog niet volledig zijn geïmplementeerd.

Mixed reality-technologie is de integratie van de virtuele wereld met de echte wereld. Dankzij een bril die de visualisatie van eerder voorbereide hologrammen mogelijk maakt, kunnen ze worden "gesuperponeerd" op omringende objecten in de echte wereld12. Hologrammen kunnen in de ruimte worden gemanipuleerd, bijvoorbeeld vergroot, verkleind of geroteerd, waardoor de bekeken afbeelding beter wordt gevisualiseerd, toegankelijk en nuttiger wordt. Mixed reality wordt steeds vaker gebruikt door operators in chirurgische disciplines, bijv. hartchirurgie 3,13, orthopedie 14,15,16,17, oncologie 18. In toenemende mate, vooral in de periode na de COVID-19-pandemie, zijn didactici op het gebied van medische basiswetenschappen geïnteresseerd in de nieuwe technologieën, waaronder mixed reality, om deze te implementeren in de opleiding van toekomstige artsen 19,20,21. Academische leraren die normale anatomie onderwijzen, vinden ook ruimte voor het introduceren van mixed reality in hun vakgebied 22,23,24,25,26. Het maken van hologrammen vereist een beeldvormingsonderzoek, meestal computertomografie, die door ingenieurs met behulp van speciale software wordt gerenderd en verwerkt tot een holografische versie - mogelijk voor gebruik met een bril.

We hebben besloten om nuttig materiaal te maken voor studenten om de anatomie van het menselijk hart te leren als onderdeel van anatomielessen in het eerste jaar van de medische studie. Hiervoor werd gebruik gemaakt van een Angio-CT scan van het hart, beschikbaar gesteld door de afdeling Cardiologie na voorafgaande volledige anonimisering van de gegevens. Wij, verdeeld in twee teams, maakten hologrammen en 3D-prints, die vervolgens ter beschikking werden gesteld aan studenten als onderdeel van een pilotles. Studenten beoordeelden de toegankelijkheid en nauwkeurigheid van de materialen zeer goed, maar een gedetailleerde studie over dit onderwerp zal later worden gepresenteerd - de resultaten worden momenteel geëvalueerd.

Hier laten we het proces zien van het maken van modellen van computertomografie tot het presenteren van kant-en-klare modellen die in de onderwijspraktijk zijn geïmplementeerd.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het protocol volgt de richtlijnen van de Human Research Ethics Committee van de Medische Universiteit van Silezië. De beeldvormingsgegevens van de patiënt werden gebruikt na volledige anonimisering.

1. 3D Printing - Segmentatie en reconstructie van het 3D-hartmodel

  1. Afbeeldingen uploaden en voorbewerken
    1. Open 3D Slicer 5.6.0 en navigeer naar de gegevensmodule27.
    2. Klik op Gegevens toevoegen en selecteer de patiëntspecifieke CT-beelden in DICOM-indeling. Zorg ervoor dat de afbeeldingen in de juiste richting worden geüpload.
    3. Beoordeel de kwaliteit van de afbeeldingen door axiale, sagittale en coronale weergaven in de Slice Viewer te inspecteren. Controleer voldoende contrast om onderscheid te maken tussen het myocardium en de hartkamers.
    4. Als het contrast onvoldoende is, past u de instellingen voor vensters/niveaus aan om de weefseldifferentiatie te verbeteren met behulp van de volumemodule. Stel het venster in op 350 HU en het niveau op 40 HU als uitgangspunt en pas indien nodig aan.
    5. Bevestig de zichtbaarheid van anatomische interessegebieden (ROI), inclusief het myocardium en de interne hartkamers.
  2. Segmentatie op basis van drempels
    1. Navigeer naar de module Segmenteditor en klik op Toevoegen om een nieuwe segmentatie te maken.
    2. Selecteer Drempel in de segmentatietools. Stel de onderste drempel in op 100 HU en de bovenste drempel op 300 HU om zachte weefsels te isoleren.
      OPMERKING: Deze waarden kunnen variëren, afhankelijk van de beeldkwaliteit en patiëntspecifieke kenmerken.
    3. Pas het drempelbereik handmatig aan om de ROI te verfijnen door de schuifregelaars te slepen of waarden in te voeren totdat het myocardium en de hartkamers duidelijk geïsoleerd zijn. Gebruik visuele inspectie in de axiale, sagittale en coronale weergaven om een juiste selectie te garanderen.
    4. Controleer of alle relevante anatomische gebieden zijn vastgelegd. Schakel indien nodig over naar de tool Paint om handmatig gebieden van de segmentatie toe te voegen of te verwijderen die niet goed zijn vastgelegd door drempelwaarden.
    5. Klik op Toepassen om de segmentatie voor de selectie op basis van drempelwaarden te voltooien (Afbeelding 1)
  3. Handmatige correctie per plak
    1. Gebruik de tools Schaar of Wissen in de segmenteditor om elk segment van de CT-gegevensset handmatig te inspecteren. Corrigeer eventuele onnauwkeurigheden, zoals die veroorzaakt door artefacten of een slecht contrast, door zo nodig gesegmenteerde gebieden te verwijderen of toe te voegen.
    2. Concentreer u voor elke plak op het nauwkeurig identificeren van het myocardium en de interne hartkamers. Als er onduidelijkheden optreden, raadpleeg dan een medische professional of anatomische referentie om nauwkeurigheid te garanderen.
    3. Verdeel het hart in twee verschillende segmenten: een voor het hartje en een voor de interne kamers. Gebruik de knop Nieuw segment maken om deze structuren van elkaar te onderscheiden.
    4. Ga door met de segment-voor-plak inspectie en correctie totdat alle plakjes over de axiale, sagittale en coronale vlakken zijn gecorrigeerd en gesegmenteerd.
  4. Nabewerking en modelexport
    1. Importeer de geëxporteerde STL-bestanden in MeshMixer (Figuur 2, aangeduid als prototype-ontwerpsoftware).
      1. Begin met het elimineren van kleine artefacten en zorg voor de uniformiteit van het model door Bewerken > Solide maken te selecteren.
      2. Kies in het pop-upvenster de optie Effen tekst als Nauwkeurigheid om de precieze details van de segmentatie te behouden. Stel de schuifregelaar Solid Accuracy in op een waarde tussen 0,8 en 1,0 voor een optimale natuurgetrouwheid.
    2. Nadat u het model hebt gestold, gaat u verder met het handmatig verwijderen van artefacten. Gebruik de tool Wissen en vullen om verstoorde oppervlakken te reconstrueren. Deze toegang is te vinden onder Selecteren > Wijzigen > Wissen en vullen.
    3. Klik en sleep om problematische gebieden te selecteren en gebruik vervolgens de optie Vullen om de continuïteit van het oppervlak te herstellen. Zorg ervoor dat de gevulde gebieden vloeiend overgaan in de omringende geometrie.
    4. Voor algemene oppervlakteverfijning gebruikt u het gereedschap Selecteren om specifieke gebieden van het model te markeren die moeten worden gladgestreken. Eenmaal geselecteerd, navigeert u naar Wijzigen > Vloeiend en past u de tool iteratief toe.
    5. Stel de schuifregelaar Gladde sterkte in tussen 10 en 50%, afhankelijk van de ernst van de onregelmatigheden in het oppervlak. Wees voorzichtig om de anatomische nauwkeurigheid te behouden tijdens het gladstrijken. Gebruik Shift + klikken met de linkermuisknop om gebieden te deselecteren die niet hoeven te worden gewijzigd.
    6. Zodra het gladstrijken is voltooid, gebruikt u de Inspector-tool om automatisch eventuele resterende gaten in het gaas te identificeren en op te vullen. Controleer het model visueel om er zeker van te zijn dat er geen grote artefacten of onregelmatigheden in het oppervlak zijn.
    7. Om het myocardium en de interne hartkamers in één samenhangend model te integreren, past u Booleaanse bewerkingen toe. Ga naar > Booleaanse Unie bewerken en selecteer de twee afzonderlijke onderdelen (myocardium en kamers) om ze samen te voegen.
    8. Zorg ervoor dat de bewerking de structuren met succes verbindt zonder interne gaten of overlappingen te creëren. Inspecteer de kruispunten en pas ze zo nodig aan door de samenvoeggebieden handmatig te verfijnen met behulp van Wissen en vullen of Vloeiend (Afbeelding 3).
    9. Zodra het model is uniform en verfijnd, exporteert u het uiteindelijke STL-bestand door Exporteren > STL te selecteren voor de voorbereiding van 3D-printen.
  5. Modelvoorbereiding voor 3D-printen
    1. Materiaalkeuze en printerinstellingen
      1. Gebruik acrylonitril-butadieen-styreen (ABS) filament, dat een gemakkelijke nabewerking mogelijk maakt, zoals aceton-egalisatie.
        OPMERKING: ABS is gevoelig voor temperatuurschommelingen, dus zorg voor een stabiele omgeving tijdens het printen.
      2. Kies voor een gesloten 3D-printer voor een betere temperatuurregeling.
    2. Instellingen voor printer en slicer
      1. Printermodel: Gebruik de juiste printer. Hier werd Creality Ender 3 met een op maat gemaakte metalen behuizing gebruikt.
      2. Filament materiaal: Gebruik ABS.
      3. Configureer de volgende instellingen in Cura of vergelijkbare slicing-software.
        Diameter mondstuk: 0,5 mm
        Nozzle Temperatuur: ~240 °C (aanpassen op basis van filamentmerk)
        Bed temperatuur: ~100 °C
        Laag hoogte: 0,24 mm
        Printsnelheid: ~100 mm/s (verminder tot 50-60 mm/s voor een hogere kwaliteit)
        Infill-dichtheid: 25% (om sterkte en materiaalgebruik in evenwicht te brengen)
        Ondersteuningen: Automatische ondersteuningen inschakelen (bijv. boomondersteuningen)
        Koelventilator: uitschakelen om kromtrekken te voorkomen
        Hechtingshulpmiddelen: Gebruik een rand of vlot om de hechting van het bed te verbeteren
      4. Zorg voor kalibratie van de printer en pas de instellingen aan op basis van (a) printerspecifieke toleranties, (b) eigenschappen van het ABS-filament en (c) de gewenste afweging tussen printsnelheid en oppervlaktekwaliteit.
    3. Ondersteunende structuren en nabewerking
      1. Ondersteuningsstructuren: Genereer ondersteuningen in de slicing-software met behulp van ingebouwde tools (bijv. Cura) om overhangende functies tijdens het afdrukken te stabiliseren. Controleer of de steunen de delicate anatomische details niet in de weg staan.
      2. Ondersteuning verwijderen: Laat het geprinte model volledig afkoelen om schade tijdens het verwijderen van de steun te voorkomen. Verwijder de steunen voorzichtig. Gebruik een punttang voor een uitgebreidere ondersteuning. Voor kleinere of delicate gebieden verwijdert u de steunen voorzichtig met de hand.
      3. Oppervlakteafwerking: Inspecteer het geprinte model op ruwe plekken, vooral waar steunen zijn bevestigd. Strijk deze gebieden glad met schuurpapier met fijne korrel (bijv. korrel 200-400), kleine vijlen voor nauwkeurige detaillering en streef naar een schoon, doorlopend oppervlak om de anatomische nauwkeurigheid te verbeteren.
      4. Geavanceerde nabewerking (optioneel): Als een gepolijste afwerking vereist is, bereidt u een dampgladmakende kamer voor met aceton en stelt u het model bloot aan acetondampen gedurende ~9 minuten (voer deze stap uit in een goed geventileerde ruimte met de juiste veiligheidsmaatregelen [bijv. handschoenen, veiligheidsbril]), en laat het model volledig drogen voordat u het hanteert.
  6. Punten pauzeren.
    1. Onderbreek het protocol na elke segmentcorrectie in stap 1.3.1 door het project op te slaan in 3D Slicer. Hervat de segmentatie later zonder verlies van gegevens.
    2. In stap 1.4.1 pauzeert u na het exporteren van de STL-bestanden, indien nodig, de nabewerkingsstappen omdat deze geen continuïteit vereisen.

2. Gemengde realiteit

OPMERKING: Verwerk de CT-DICOM-bestanden van het hart tot een holografische weergave met behulp van CarnaLife Holo (ook wel mixed reality-software genoemd).

  1. Bereid de hardware voor.
    1. Zet de laptop aan en steek de stekker in een stopcontact. Schakel de mixed reality-headset in.
    2. Sluit de router aan op de laptop.
  2. Laad het CT-beeld in de mixed reality-headset vanuit verkregen CT DICOM-bestanden.
    1. Open de mixed reality-software en meld u aan (afbeelding 4).
    2. Selecteer de juiste map met CT-scans. Selecteer de juiste reeks CT-gegevens (Figuur 5).
    3. Controleer het IP-adres dat wordt weergegeven wanneer de headset is ingeschakeld en voer dit in op de aangewezen plaats in de mixed reality-software.
    4. Klik op de knop Verbinden om de visualisatie op de mixed reality-headset te bekijken.
  3. Segmenteer de hartstructuur met een handmatige segmentatietool met behulp van de schaaroptie (Afbeelding 6). Hiermee markeert u gebieden die worden verwijderd uit de reconstructie van CT-gegevens door met de linkermuisknop te klikken en te slepen.
    1. Beëindig de markering van het snijgebied door op de linkermuisknop te klikken en vervolgens het snijden te bevestigen in de pop-up.
  4. Kies een vooraf gedefinieerde voorinstelling (kleurvisualisatieparameters) die geschikt is voor visualisatie van de hartstructuur uit een lijst met beschikbare voorinstellingen door op de naam te klikken: CT CARDIAC HOLLOW.
    1. Pas indien nodig de visualisatie aan door het venster te wijzigen door met de rechtermuisknop te klikken en ingedrukt te houden terwijl u de cursor in de 3D-weergave verplaatst.
  5. Laad 3D-oppervlaktemodellen van linker- en rechterventrikels en atria.
    1. Klik op de sectie 3D-modellen in de mixed reality-software. Klik op de knop Modellen laden .
    2. Navigeer naar de map met oppervlaktemodellen. Selecteer alle vier de bestanden en bevestig door op Openen te klikken. Pas de kleuren van gevisualiseerde modellen aan (Afbeelding 7).
      1. Klik op het potloodpictogram in de lijst met 3D-modellen. Klik op het tabblad Aspect in de zichtbare pop-up.
      2. Klik op het witte vierkantje naast het kleurlabel . Selecteer een geschikte kleur met de pop-up Kleurkiezer . Bevestig door op de knop OK te klikken. Klik met de linkermuisknop op 3D-weergave.
      3. Herhaal alle stappen voor de overige oppervlaktemodellen.
  6. Maak annotaties van anatomische structuren op 2D-weergaven door gebruik te maken van drie 2D-weergaven (axiaal, sagittaal en coronaal) om het annotatiepunt op de juiste plek te plaatsen.
    1. Klik op het gedeelte Annoteren in de software.
    2. Aan de rechterkant van het app-venster (in de standaard app-lay-out) bevinden zich drie 2D-weergaven van gereconstrueerde gegevens.
      1. Doorloop segmenten door te klikken op pictogrammen met één of dubbele pijl naast de schuifregelaar aan de rechterkant van elke 2D-weergave .
      2. Wijzig het segment door op de linker Shift-knop te klikken en deze ingedrukt te houden terwijl u met het muiswiel scrolt.
      3. Wijzig het segment door blauwe, rode of groene lijnen te slepen (2D-vlakweergaven).
    3. Nadat u het juiste segment op de geselecteerde 2D-weergave hebt ingesteld, zoomt u in met het muiswiel en plaatst u het annotatiepunt door met de linkermuisknop te klikken. Annotatie wordt gemaakt op de aangeklikte plek.
    4. Ga terug naar de sectie Annoteren en klik op het potloodpictogram op de annotatie in de annotatielijst met het bijbehorende ID-nummer.
    5. Voer in het onderste deel van de pop-up de tekst van de annotatie in, bijvoorbeeld "Linker ventrikel".
    6. Pas de kleuren, dikte en grootte van de annotatie aan in deze pop-up. Ga terug naar de 2D-weergave met de geplaatste annotatie.
    7. Pak het label met de annotatie buiten het 2D-vlak en verplaats het naar een geschikte plaats.
    8. Herhaal alle stappen voor alle anatomische structuren die geannoteerd moeten worden.
  7. Laad de visualisatiestatus om opgeslagen annotaties van anatomische structuren in visualisatie te verkrijgen.
    1. Klik op het pictogram Bestand laden naast het pictogram Diskette in de rechterbovenhoek van de 3D-weergave. Klik in het pop-upvenster op het pictogram Map , navigeer naar de map met het opgeslagen visualisatiestatusbestand en klik op Map selecteren .
    2. Als de juiste selectie is geselecteerd en als er een geldig bestand is voor deze specifieke gegevens, wordt de disclaimer Geen bestanden gevonden vervangen door namen van staten die de gebruiker kan laden.
    3. Klik met de linkermuisknop op een geschikte visualisatiestatus om deze te selecteren en bevestig door op de knop Laden te klikken. Na het laden wordt de gebruiker gevraagd om de status van de visualisatiestatus te laden.
  8. Om de voorbereide visualisatie in de holografische ruimte te zien, zet u de headset op en gebruikt u de spraakopdracht Hier zoeken om 3D holografische CT-scanreconstructie voor de ogen te brengen. Pas het aan met behulp van spraakopdrachten, bijvoorbeeld Roteren, Zoomen, Slim knippen en combineer het met handgebaren (Afbeelding 8).
  9. Gebruik de spraakopdracht Cut Smart om het snijvlak loodrecht op de gezichtslijn toe te passen en aan te passen.
  10. Beweeg en draai de kop om de beweging en oriëntatie van het aangebrachte snijvlak te vertalen. Kom dicht bij het hologram om het snijvlak dieper in de holografische reconstructie te verplaatsen. Draai de kop 90° met de klok mee om het snijvlak 90° met de klok mee te draaien, enz.
  11. Voer deze bewegingen uit om de binnenste delen van de hartstructuur, holografische visualisatie en eerder geladen oppervlaktemodellen en annotaties van anatomische structuren te zien.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het segmentatie- en 3D-reconstructieprotocol leverde twee primaire outputs op voor anatomietraining: een 3D-geprint hartmodel en een 3D MR-visualisatie van het hart. Deze resultaten, die gebruik maken van patiëntspecifieke CT-gegevens, bieden aanvullende hulpmiddelen voor studenten om deel te nemen aan praktische en meeslepende leerervaringen.

Het 3D-geprinte hartmodel stelt studenten in staat om fysiek te communiceren met een tastbare weergave van de hartanatomie. Dit model vertoont verschillende externe kenmerken, zoals het myocardium, evenals interne structuren, waaronder de kamers en kleppen. In succesvolle experimenten was de anatomische nauwkeurigheid hoog, met goed gedefinieerde kenmerken en minimale artefacten na nabewerking. Figuur 9 toont een volledig verwerkt 3D-geprint model met een duidelijk onderscheid tussen het myocardium en de interne kamers. In gevallen waarin het contrast in de CT-beelden suboptimaal was, leidden segmentatiefouten tot onnauwkeurigheden in het model, zoals onregelmatige kamergroottes of onvolledige klepstructuren. Deze problemen konden vaak worden gecorrigeerd met handmatige tussenkomst, inclusief extra afvlakking en verwijdering van artefacten, zoals aangegeven in figuur 10.

De 3D Mixed Reality-visualisatie biedt daarentegen een dynamische en interactieve ervaring waarbij studenten het hart in de virtuele ruimte kunnen verkennen. De MR-omgeving biedt real-time interactie, inclusief rotatie, zoom en doorsnede door verschillende anatomische vlakken, waardoor een gedetailleerder begrip van complexe structuren zoals de kransslagaders of septumwanden mogelijk is. Succesvolle implementaties van MR-visualisatie presenteerden zeer nauwkeurige weergaven van zowel de externe als de interne anatomie. Suboptimale visualisaties (bijvoorbeeld waar de segmentatie gebrekkig was) leidden echter tot vertekende weergaven van interne structuren, wat het realisme en de effectiviteit van het onderwijs van het MR-model aantastte (Figuur 11). Voor de anatomische structuren, die complex zijn, is de segmentatiebenadering misschien niet voldoende. Dankzij de mogelijkheid van volumetrische weergave is het mogelijk om verschillende dichtheden te visualiseren (weergegeven door Hounsfield Units) die belangrijk zijn om de anatomie te begrijpen (Figuur12).

De technieken bieden robuuste, complementaire hulpmiddelen die de leerervaring verbeteren door nauwkeurige en manipuleerbare modellen te bieden, hoewel hun succes afhankelijk is van de kwaliteit van segmentatie en reconstructie in de eerste stappen van het protocol. Over het algemeen tonen deze resultaten de effectiviteit van het protocol aan bij het maken van nauwkeurige hartmodellen op basis van patiëntspecifieke CT-gegevens. Deze resultaten tonen de effectiviteit van het protocol aan bij het maken van nauwkeurige hartmodellen op basis van patiëntspecifieke CT-gegevens.

Er werd een voorstudie uitgevoerd om de perceptie van studenten van mixed reality-technologie in het anatomieonderwijs te evalueren, met name bij het leren van de structuur van het hart. Bij het onderzoek waren 106 studenten betrokken die onder begeleiding van ingenieurs hologrammen konden gebruiken voor leerdoeleinden. Aan het einde van de sessie werd hen gevraagd: "Heeft mixed reality-technologie u geholpen het onderwerp - de structuur van het hart - beter te begrijpen?" Alle respondenten (100%) antwoordden "ja". De kennis van de studenten werd onmiddellijk na de sessie beoordeeld door middel van een korte schriftelijke test waarbij ze drie anatomische structuren moesten beschrijven die verband houden met de morfologie van het hart. De gemiddelde score was 2.037 tegen een totaalscore van 3 (Tabel 1).

figure-results-1
Figuur 1: CT-segmentatie van het hart. Axiale (linksboven), coronale (linksonder), sagittale (rechtsonder) en 3D (rechtsboven) weergaven van CT-segmentatie op de 3D Slicer-software. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: Nabewerking. Weergaven van segmentatie 3D-modellen op de prototype-ontwerpsoftware. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Na nabewerking. Weergaven van segmentatie 3D-modellen op de prototype-ontwerpsoftware. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-4
Afbeelding 4: Weergave van de Mixed Reality-software. Startscherm van de applicatie. Duidelijk en toegankelijk inlogpaneel. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-5
Afbeelding 5: De juiste serie selecteren in de mixed reality-software. Selectie van beschikbare computertomografiebeelden voor holografische visualisatie. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-6
Afbeelding 6: Schaaroptie voor het uitsnijden van delen van de visualisatie in de mixed reality-software. Een tool waarmee men het hologram in realtime kan aanpassen aan de behoeften van de gebruiker. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-7
Afbeelding 7: Kleuren van de holografische visualisatie aanpassen in de mixed reality-software. Door kleuren aan de visualisatie toe te voegen, wordt de toegankelijkheid en helderheid van hologrammen vergroot. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-8
Afbeelding 8: Visualisaties in holografische ruimte gemaakt met de mixed reality-software. Een driedimensionaal hologram met gemarkeerde kleuren en computertomografiemarkeringen om de oriëntatie in de ruimte te vergemakkelijken. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-9
Figuur 9: Na nabewerking en booleaanse bewerking "röntgen" preview. Weergave van 3D-modellen op de prototype-ontwerpsoftware. Volledig verwerkt 3D-geprint model met duidelijk onderscheid tussen het myocardium en de interne kamers. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-10
Afbeelding 10: Na het knippen van het model in een projectie met vier kamers, het uiteindelijke voorbeeld van het 3D-geprinte onderdeel. Weergave van 3D-modellen op de prototype-ontwerpsoftware. Extra gladstrijken en verwijderen van artefacten. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-11
Afbeelding 11: Visualisatie van CT-gegevens in de mixed reality-software. Oppervlakteweergave is het resultaat van oversegmentatie. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-12
Afbeelding 12: Voorbeeldige visualisatie van CT-gegevens in de mixed reality-software. Volumeweergave, die verschillende dichtheden visualiseert. Klik hier om een grotere versie van deze figuur te bekijken.

Totaal aantal studenten (n)106
Aantal studenten dat hologrammen heeft gebruikt voor leerdoeleinden (n)106
Aantal studenten dat "JA" antwoordt op de vraag "Heeft mixed reality-technologie u geholpen het onderwerp - de structuur van het hart" beter te begrijpen? n)106
Aantal studenten dat "NEE" antwoordt op de vraag "Heeft mixed reality-technologie u geholpen het onderwerp - de structuur van het hart" beter te begrijpen? n)0
Minimale score0
Maximale score3
Gemiddelde score van de studenten die een korte schriftelijke test hebben afgelegd om drie anatomische structuren te beschrijven die verband houden met de morfologie van het hart2.037
Totale score3

Tabel 1: Voorlopige gegevens van de studie.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De moderne anatomie is voornamelijk gebaseerd op klassieke, beproefde methoden die al honderden jaren bekend zijn. Menselijke kadavers vormen de basis voor het onderwijzen van toekomstige artsen, en anatomen benadrukken hun rol niet alleen bij het begrijpen van de structuren van het menselijk lichaam, maar ook bij het vormgeven van ethische attitudes28,29. Het ontwikkelen van technologie is niet alleen uitgebreid in de dagelijkse klinische procedures, maar ook in het onderwijs, vandaar de poging om 3D-printen te implementeren 7,30,31,32 en mixed reality in anatomieonderwijs 33,34,35,36. Momenteel is het werk van artsen grotendeels gebaseerd op moderne oplossingen, apparatuur en breed begrepen digitalisering, en het toenemende aandeel van automatisering, robotisering en implementatie van innovatieve oplossingen zal toenemen, rekening houdend met de trend die al jaren aan de gang is.

Het aanvullen van klassieke onderwijsvormen met 3D-printen, lessen met behulp van mixed reality of echografie kan een zeer positieve invloed hebben op de voorbereiding van toekomstige artsen op het beroep, niet alleen vanwege de mogelijkheid om meer kennis op te doen en visualisaties in verschillende soorten beeldvormingstechnieken te vergelijken, maar ook vanwege het contact met nieuwe technologieën, vertrouwd raken met het gebruik ervan, en een impuls geven om na te denken over nieuwe toepassingen, vooral op het gebied van interesse37.

Het voorbereiden van modellen in 3D-printtechnologie, evenals hologrammen in mixed reality-technologie, vereist meer dan standaard toewijding, het plannen van hun creatie en het verkrijgen van vrijheid bij het geven van lessen met behulp ervan. Hieraan moet worden toegevoegd dat dit dure oplossingen zijn, met name mixed reality, waarvoor apparaten nodig zijn die hologrammen (brillen) kunnen weergeven, technische faciliteiten - inclusief een applicatie en de werking ervan. 3D-printen is, vanwege zijn grotere populariteit en lagere kosten38, gemakkelijker te implementeren, maar vereist het plannen van de aanschaf van een printer en filament als de anatomieafdeling zijn eigen modellen vanaf nul wil maken en software voor het maken van afbeeldingen die klaar zijn om te printen op basis van DICOM-beeldvormingsstudies.

CarnaLife Holo stelt gebruikers in staat om zowel CT-gegevens als segmentatieresultaten te uploaden, wat een unieke aanpak biedt die zelden wordt toegepast in het MR-domein. De huidige state-of-the-art technieken visualiseren doorgaans 3D-modellen met behulp van oppervlakterendering op basis van STL- of OBJ-bestanden39,40. Bijgevolg hebben gebruikers alleen toegang tot segmentatieresultaten, met beperkte mogelijkheden om originele gegevens rechtstreeks te bekijken. Dit kan uitdagingen opleveren bij het analyseren van kleine structuren of pathologieën, zoals verkalkingen, waarbij segmentatieprecisie van cruciaal belang is.

Door middel van visualisatie van onbewerkte gegevens (volumeweergave) kunnen gebruikers structuren niet alleen op geometrie evalueren, maar ook door de verdeling van Hounsfield-eenheden (dichtheid) binnen de structuur te analyseren. Automatische hartsegmentatie, een veelgebruikte techniek die de vervelende taak van handmatige segmentatie vergemakkelijkt, heeft zijn beperkingen41. Het wordt beperkt door het aantal structuren dat het kan segmenteren, vooral in de aanwezigheid van pathologieën, en vereist krachtige hardware voor efficiënte verwerking.

Om deze uitdagingen aan te gaan, is een combinatie van twee visualisatiemethoden voorgesteld: volumerendering en oppervlakteweergave. Deze hybride aanpak maakt gelijktijdige visualisatie van gesegmenteerde structuren en de verdeling van waarden binnen de geanalyseerde gegevens mogelijk, waardoor gebruikers een uitgebreider hulpmiddel krijgen voor gegevensinterpretatie.

In het geval van hartanatomie is het maken van een 3D-model ingewikkeld omdat standaard automatische tools in het programma onvoldoende zijn om hartweefsel uit een volledig beeld te extraheren vanwege de heterogeniteit van grootte, vorm, positie van anatomische structuren, aanwezigheid van artefacten en vervaagde grenzen (laag contrast) tussen aangrenzende weefsels. Daarom moet, naast drempelsegmentatie, segmentatie worden uitgevoerd onder toezicht van een arts in het "plakje voor plakje"-mechanisme. De volgende fase is de aanpassing van het model aan 3D-printen, waarbij vervormingen als gevolg van ruis tijdens het verkrijgen van beelden verder worden verwijderd. Na het printen worden de modellen voorzichtig opgelost in aceton om een gladder oppervlak te verkrijgen. Het gebruik van kant-en-klare modellen door studenten is eenvoudig - analoog aan het bekijken en bespreken van preparaten van menselijke kadavers. In het geval van mixed reality is elke keer training vereist in het gebruik van de technologie - correcte bevestiging van de bril aan het hoofd, evenals spraak- en gebarenbesturing. Vanwege de beperkte beschikbare apparatuur is het niet mogelijk om een groter aantal studenten tegelijkertijd te laten deelnemen. Om de toegankelijkheid van het afgebeelde materiaal te vergroten, werden markeringen van specifieke anatomische structuren gebruikt om een snellere bespreking van de preparaten mogelijk te maken - hologrammen.

Het beheersen van het segmentatie- en 3D-reconstructieproces in 3D Slicer kan een uitdaging zijn voor beginners, omdat het gaat om het leren van meerdere functionaliteiten en workflows. Het ontwikkelen van vaardigheid vereist doorgaans veel oefening en ervaring. In onze observaties vereiste het verkrijgen van vertrouwen met de software ongeveer 20-30 uur toegewijd werk, waaronder het segmenteren van ten minste 5-7 verschillende hartmodellen. 3D Slicer is een open-source platform dat profiteert van een robuuste online community. Het biedt uitgebreide bronnen voor het oplossen van problemen, forums voor het oplossen van problemen en een schat aan tutorials en gebruiksscenario's. Deze middelen vergemakkelijken het leerproces door toegankelijke begeleiding te bieden. Bovendien kan het gebruik van tools zoals grote taalmodellen (LLM's), waaronder ChatGPT of Gemini, het begrip van de software en de functies ervan verder verbeteren. Tijdens de leerfase blijkt de toegang tot een mentor of supervisor met ervaring in medische beeldvorming en anatomie zeer voordelig. Onmiddellijke feedback over segmentatiestrategieën en nauwkeurigheid versnelt de ontwikkeling van vaardigheden en zorgt ervoor dat de anatomische precisie behouden blijft. Beginners moeten er rekening mee houden dat de eerste pogingen tijdrovend en foutgevoelig kunnen zijn. Consistente praktijk maakt segmentatie- en verfijningsprocessen echter aanzienlijk intuïtiever en efficiënter. Het is essentieel om deze leercurve met geduld te benaderen, aangezien een gestage betrokkenheid bij de tool de snelheid en nauwkeurigheid aanzienlijk verbetert.

De cruciale stappen van het gepresenteerde protocol waren de juiste segmentatie en extractie van hartweefsel uit het beeldvormende onderzoek om een driedimensionaal model te creëren dat bruikbaar is voor 3D-printen en mixed reality-technologieën.

De les hartanatomie met behulp van 3D-printen en mixed reality-technologie werd zeer goed ontvangen door de studenten, en de overgrote meerderheid vond de technologische ondersteuning nuttig - waardoor een beter begrip van het besproken onderwerp mogelijk was. Nieuwe technologieën moeten volgens de auteurs de bestaande, klassieke didactische oplossingen ondersteunen en op grotere schaal worden gebruikt.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Maciej Stanuch, Marcel Pikuła, Oskar Trybus en Andrzej Skalski zijn werknemers van MedApp S.A. MedApp S.A. is het bedrijf dat de CarnaLifeHolo-oplossing produceert.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De studie werd uitgevoerd in het kader van een niet-commerciële samenwerking.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
3D SlicerThe Slicer Communityhttps://www.slicer.orgVersie 5.6.0
CarnaLifeHolo MedApp S.A.https://carnalifeholo.com3D visualisatiesoftware
MeshmixerAutodesk Inc.https://www.research.autodesk.com/projects/meshmixer/prototype ontwerpsoftware
Ender 3 Creality https://www.creality.com/products/ender-3-3d-printer3D printer
CuraUltiMaker https://ultimaker.com/software/ultimaker-cura/3D printsoftware

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Marconi, S., et al. Value of 3D printing for the comprehension of surgical anatomy. Surg endosc. 31, 4102-4110 (2017).
  2. Bernhard, J. C., et al. Personalized 3D printed model of kidney and tumor anatomy: a useful tool for patient education. World J Urol. 34 (3), 337-345 (2016).
  3. Gehrsitz, P., et al. Cinematic rendering in mixed-reality holograms: a new 3D preoperative planning tool in pediatric heart surgery. Front Cardiovasc Med. 8, 633611(2021).
  4. Vatankhah, R., et al. 3D printed models for teaching orbital anatomy, anomalies and fractures. J Ophthalmic Vis Res. 16 (4), 611-619 (2021).
  5. O'Reilly, M. K., et al. Fabrication and assessment of 3D printed anatomical models of the lower limb for anatomical teaching and femoral vessel access training in medicine. Anat Sci Educ. 9 (1), 71-79 (2016).
  6. Garas, M., et al. 3D-Printed specimens as a valuable tool in anatomy education: A pilot study. Ann Anat. 219, 57-64 (2018).
  7. AbouHashem, Y., et al. The application of 3D printing in anatomy education. Med Educ Online. 20, 29847(2016).
  8. Wu, A. M., et al. The addition of 3D printed models to enhance the teaching and learning of bone spatial anatomy and fractures for undergraduate students: a randomized controlled study. Ann Transl Med. 6 (20), 403(2018).
  9. McMenamin, P. G., et al. The production of anatomical teaching resources using three-dimensional (3D) printing technology. Anat Sci Educ. 7 (6), 479-486 (2014).
  10. Tan, L., et al. Full color 3D printing of anatomical models. Clin Anat. 35 (5), 598-608 (2022).
  11. Garcia, J., et al. 3D printing materials and their use in medical education: a review of current technology and trends for the future. BMJ Simul Technol Enhanc Learn. 4 (1), 27-40 (2018).
  12. Milgram, P., et al. Augmented reality: A class of displays on the reality-virtuality continuum. Proceedings of the International Society for Optical Engineering. (SPIE 1994), Photonics for Industrial Applications; Boston, MA. , The International Society for Optical Engineering. Boston, MA. (1994).
  13. Brun, H., et al. Mixed reality holograms for heart surgery planning: first user experience in congenital heart disease. Eur Heart J Cardiovasc Imaging. 20 (8), 883-888 (2019).
  14. Lu, L., et al. Applications of mixed reality technology in orthopedics surgery: A pilot study. Front Bioeng Biotechnol. 22 (10), 740507(2022).
  15. Condino, S., et al. How to build a patient-specific hybrid simulator for orthopaedic open surgery: benefits and limits of mixed-reality using the Microsoft HoloLens. J Healthc Eng. 2018, 5435097(2018).
  16. Wu, X., et al. Mixed reality technology launches in orthopedic surgery for comprehensive preoperative management of complicated cervical fractures. Surg Innov. 25, 421-422 (2018).
  17. Łęgosz, P., et al. The use of mixed reality in custom-made revision hip arthroplasty: A first case report. J Vis Exp. (186), e63654(2022).
  18. Wierzbicki, R., et al. 3D mixed-reality visualization of medical imaging data as a supporting tool for innovative, minimally invasive surgery for gastrointestinal tumors and systemic treatment as a new path in personalized treatment of advanced cancer diseases. J Cancer Res Clin Oncol. 148 (1), 237-243 (2022).
  19. Wish-Baratz, S., et al. Assessment of mixed-reality technology use in remote online anatomy education. JAMA Netw Open. 3 (9), e2016271(2020).
  20. Owolabi, J., Bekele, A. Implementation of innovative educational technologies in teaching of anatomy and basic medical sciences during the COVID-19 pandemic in a developing country: The COVID-19 silver lining. Adv Med Educ Pract. 8 (12), 619-625 (2021).
  21. Xiao, J., Evans, D. J. R. Anatomy education beyond the Covid-19 pandemic: A changing pedagogy. Anat Sci Educ. 15 (6), 1138-1144 (2022).
  22. Robinson, B. L., Mitchell, T. R., Brenseke, B. M. Evaluating the use of mixed reality to teach gross and microscopic respiratory anatomy. Med Sci Educ. 30 (4), 1745-1748 (2020).
  23. Ruthberg, J. S., et al. Mixed reality as a time-efficient alternative to cadaveric dissection. Med Teach. 42, 896-901 (2020).
  24. Stojanovska, M., et al. Mixed reality anatomy using microsoft hololens and cadaveric dissection: a comparative effectiveness study. Med Sci Educ. 30, 173-178 (2020).
  25. Zhang, L., et al. Using Microsoft HoloLens to improve memory recall in anatomy and physiology: a pilot study to examine the efficacy of using augmented reality in education. J Educ Tech Dev Exch. 12 (1), 17-31 (2020).
  26. Vergel, R. S., et al. Comparative evaluation of a virtual reality table and a HoloLens-based augmented reality system for anatomy training. IEEE Trans Hum Mach Syst. 50 (4), 337-348 (2020).
  27. Fedorov, A., et al. 3D slicer as an image computing platform for the quantitative imaging network. Magn Reson Imaging. 30 (9), 1323-1341 (2012).
  28. Boulware, L. E., et al. Whole body donation for medical science: a population-based study. Clin Anat. 17 (7), 570-577 (2004).
  29. Arráez-Aybar, L. A., Bueno-López, J. L., Moxham, B. J. Anatomists' views on human body dissection and donation: An international survey. Ann anat. 196 (6), 376-386 (2014).
  30. Vaccarezza, M., Papa, V. 3D printing: a valuable resource in human anatomy education. Anat Sci Int. 90 (1), 64-65 (2015).
  31. Smith, C. F., Tollemache, N., Covill, D., Johnston, M. Take away body parts! An investigation into the use of 3D-printed anatomical models in undergraduate anatomy education. Anat Sci Educ. 11 (1), 44-53 (2018).
  32. Lim, K. H., et al. Use of 3D printed models in medical education: A randomized control trial comparing 3D prints versus cadaveric materials for learning external cardiac anatomy. Anat Sci Educ. 9 (3), 213-221 (2016).
  33. Richards, S. Student engagement using HoloLens mixed-reality technology in human anatomy laboratories for osteopathic medical students: an instructional model. Med Sci Educ. 33 (1), 223-231 (2023).
  34. Veer, V., Phelps, C., Moro, C. Incorporating mixed reality for knowledge retention in physiology, anatomy, pathology, and pharmacology interdisciplinary education: a randomized controlled trial. Med Sci Educ. 32 (6), 1579-1586 (2022).
  35. Romand, M., et al. Mixed and augmented reality tools in the medical anatomy curriculum. Stud Health Technol Inform. 270, 322-326 (2020).
  36. Birt, J., et al. Mobile mixed reality for experiential learning and simulation in medical and health sciences education. Information. 9 (2), 31(2018).
  37. Kazoka, D., Pilmane, M., Edelmers, E. Facilitating student understanding through incorporating digital images and 3D-printed models in a human anatomy course. Educ Sci. 11 (8), 380(2021).
  38. Shen, Z., et al. The process of 3D printed skull models for anatomy education. Comput Assist Surg (Abingdon). 24 (1), 121-130 (2019).
  39. Ye, W., et al. Mixed-reality hologram for diagnosis and surgical planning of double outlet of the right ventricle: a pilot study. Clin Radiol. 76 (3), 237.e1-237.e7 (2021).
  40. Bonanni, M., et al. Holographic mixed reality for planning transcatheter aortic valve replacement. Int J Cardiol. 412, 132330(2024).
  41. Chen, L., et al. Automatic 3D left atrial strain extraction framework on cardiac computed tomography. Comput Methods Programs Biomed. 252, 108236(2024).

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Anatomisch onderwijs3D geprinte modellenhart hologrammenmedisch onderwijsCT segmentatievolumebesturingchirurgische planning

Gerelateerde artikelen