Method Article

Technische benadering voor infraroodtracking voor navigatie van zacht weefsel met een holografisch head-mounted display en preklinische validatie

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit protocol biedt een handleiding voor het implementeren van infrarood marker tracking voor vrij bewegende fantomen (bijv. organen) en holografische visualisatie met behulp van Augmented Reality. Daarnaast schetst het een opstelling voor preklinische validatie van holografische navigatiesystemen met behulp van elektromagnetische tracking op vrij bewegende fantomen.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Augmented Reality (AR) heeft het potentieel om chirurgische geleiding te verbeteren door driedimensionale (3D) anatomische informatie rechtstreeks op de patiënt te plaatsen tijdens chirurgische ingrepen. De praktische implementatie van AR stuit echter op aanzienlijke uitdagingen, met name bij het nauwkeurig volgen van organen die vrij bewegen tijdens chirurgische manipulatie. Daarom zijn betrouwbare methoden voor het volgen van organen nodig om intraoperatief nauwkeurige holografische overlays te behouden. Preklinische validatie van holografische visualisaties met betrekking tot nauwkeurigheid brengt extra uitdagingen met zich mee, waarvoor experimentele protocollen voor kwantitatieve beoordeling nodig zijn. Dit protocol pakt deze twee uitdagingen aan: het beschrijft een alomvattende aanpak voor het ontwikkelen van AR-visualisatietoepassingen met behulp van op maat gemaakte infraroodmarkers voor het realtime volgen van organen met behulp van een Head-Mounted Display (HMD), en het biedt een validatiekader dat gebruikmaakt van elektromagnetische (EM) tracking om holografische nauwkeurigheid in fantoomexperimenten te valideren. Dit werk schetst stapsgewijze richtlijnen voor het maken van patiëntspecifieke 3D-modellen op basis van medische beeldvorming, het ontwerpen en vervaardigen van aangepaste infraroodmarkers, het integreren van deze markers in een AR-toepassing voor een HMD en het implementeren ervan voor chirurgische navigatie. Bovendien beschrijft het een validatieprocedure door EM-tracking te gebruiken om de precisie van holografische visualisaties in semi-vervormbare nierfantomen kwantitatief te meten. Daarom vergemakkelijkt dit protocol zowel het in realtime volgen van organen als het vaststellen van een preklinische validatiemethodologie. Het implementeren van real-time orgaantracking kan de chirurgische geleiding voor vrij bewegende organen verbeteren door hologrammen nauwkeurig over elkaar heen te leggen, wat mogelijk kan leiden tot verbeterde chirurgische nauwkeurigheid en betere patiëntresultaten.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In de chirurgische oncologie is het nauwkeurig identificeren van de tumorlocatie en de relatie met aangrenzende gezonde weefsels cruciaal voor het bereiken van volledige tumorresectie met behoud van gezond weefsel1. Onvolledige resecties kunnen leiden tot lokaal recidief en een verminderde overlevingskans 2,3, terwijl overmatige weefselverwijdering de functie en kwaliteit van leven kan aantasten4. Chirurgische navigatiesystemen zijn veelbelovend bij het verbeteren van radicale resecties met behoud van gezond weefsel, door chirurgen intraoperatieve begeleiding te bieden die mogelijk kan leiden tot verbeterde klinische resultaten5. Conventionele chirurgische navigatiesystemen presenteren echter doorgaans tweedimensionale (2D) anatomische informatie op schermen die buiten het operatieveld zijn geplaatst. Deze aanpak dwingt chirurgen om de weergegeven 2D-informatie mentaal te correleren met de werkelijke driedimensionale (3D) anatomie van de patiënt, waardoor de cognitieve belasting toeneemt6. Hoewel recente ontwikkelingen in 3D-modellering chirurgen een beter begrip geven van de tumorrelatie met omliggende anatomische structuren7, wordt deze informatie nog steeds gevisualiseerd buiten het operatiegebied, waardoor hetschakelfocusprobleem 6,8 behouden blijft. Deze beperkingen van chirurgische navigatiesystemen kunnen bijdragen aan mogelijke fouten in het gebruik van chirurgische navigatie en mogelijk leiden tot suboptimale chirurgische resultaten9.

Om de bovengenoemde beperkingen te overwinnen, is augmented reality (AR) naar voren gekomen als een veelbelovende oplossing door anatomische structuren en resectiegrenzen in 3D te visualiseren op patiënt10,11. Door preoperatieve 3D-modellen over elkaar heen te leggen, die zijn gesegmenteerd op basis van magnetische resonantiebeeldvorming (MRI) of computertomografie (CT) gegevens, kan de anatomie worden gevisualiseerd. In systematische reviews werden de potentiële voordelen van AR voor open chirurgie bij adolescente patiënten benadrukt12, en voorbereidend werk op dit gebied toont de haalbaarheid aan van patiëntspecifieke 3D-gidsen uitgerust met visuele markers voor automatische registratie13. Van Doormaal et al. ontwikkelden een navigatiesysteem met een AR-apparaat door gebruik te maken van een puntregistratie en een pointer met een beelddoel voor neurochirurgie14. Ze beoordeelden de ontwikkelde AR-toepassing in de operatiekamer bij patiënten vóór de operatie en in een fantoomexperiment, dat een fiduciale registratiefout van respectievelijk 7,2 mm en 4,4 mm liet zien.

Ondanks de veelbelovende vooruitgang zijn deze registratiesystemen vaak rigide, zonder real-time tracking van doelorganen, en dus blijft er behoefte aan real-time tracking van orgaanbewegingen15,16. Dit geldt met name voor bewegende organen, die tijdens de operatie worden gemanipuleerd, zoals de nier en de lever, wat kan leiden tot onnauwkeurige begeleiding, de noodzaak van herregistratie, wat veel tijd kost, en mogelijke schade aan gezond weefsel of onjuiste resecties17. Om deze problemen verder aan te pakken, werd een nieuw AR-systeem ontwikkeld op basis van een aanvraag gepresenteerd door Iqbal et al. om infraroodmarkers op te nemen voor continue orgaantracking18. Dankzij deze ontwikkeling kan de AR-overlay zich dynamisch aanpassen aan real-time veranderingen in de orgaanpositie, waardoor de ruimtelijke nauwkeurigheid behouden blijft en de chirurgische precisie mogelijk wordt verbeterd. Door rigide registratie te combineren met dynamische tracking op basis van infraroodmarkers, biedt dit systeem een aanzienlijke vooruitgang in de richting van het bereiken van nauwkeurige, real-time holografische begeleiding bij operaties.

Dit protocol presenteert een op infraroodmarkers gebaseerd AR-navigatie- en preklinisch validatiesysteem voor een Head-Mounted Display (HMD). We streven ernaar een real-time augmented reality-navigatiesysteem te ontwikkelen en te valideren om nauwkeurige holografische overlays van bewegende organen in een preklinische setting te behouden. Ten eerste geeft het protocol een beschrijving van hoe een holografische toepassing wordt voorbereid die gebruik maakt van infraroodmarkeringen met een afmeting van 32 mm (breedte) x 15 mm (lengte) x 6 mm (hoogte) om fantoomorganen in realtime te volgen, waarbij de overlay van 3D-hologrammen onafhankelijk van beweging behouden blijft. We gebruiken een nierfantoom, geprint met thermoplastisch polyurethaanfilament (TPU), als voorbeeldmodel voor een bewegend orgaan. Ten tweede geeft het een overzicht van hoe u aangepaste infraroodmarkeringen kunt ontwerpen en afdrukken en hoe deze markeringen kunnen worden geïntegreerd in de holografische visualisatietoepassing. Dit stelt andere onderzoekers en clinici in staat om de applicatie aan te passen aan andere preklinische fantoomscenario's waarbij open chirurgie en bewegende organen worden gesimuleerd. Ten slotte biedt een validatiemethode op basis van elektromagnetische tracking kwantitatieve metingen om de nauwkeurigheid te berekenen, en biedt het preklinische validatie van holografische geleiding in fantoomexperimenten. Een beperking van deze methodologie is het ontbreken van een geautomatiseerde registratieprocedure, wat de nauwkeurigheid van dit systeem beperkt. Deze aanpak helpt gebruikers echter bij het bepalen van de geschiktheid van hun ontwikkelde AR-techniek voor hun klinische toepassing.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit onderzoek volgde de richtlijnen van onze instelling en viel niet onder de Wet medisch-wetenschappelijk onderzoek met mensen (WMO). Daarom was het niet nodig om geïnformeerde toestemming van de deelnemers te verkrijgen.

1. Hardware- en softwarepakketten voorbereiden voor 3D-modellering en implementatie van AR-applicaties

  1. Download en installeer de volgende softwareprogramma's op een pc (pc) met Microsoft Windows 10.
    1. Download Unity Hub v3.11.1 en Unity v. 2019.4.22f1 van https://unity.com/download. Neem Visual Studio 2019 op tijdens de installatie van Unity 2019.4.22f1. Link naar handleiding: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Download MeshMixer v. 3.5.0 van https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, de link naar de handleiding is https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Download 3DSlicer v. 5.6.2 van https://download.slicer.org/, de link naar de handleiding is https://slicer.readthedocs.io/en/latest/
    4. Download Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, de link naar de handleiding is https://help.autodesk.com/view/fusion360/ENU/
    5. Download Bambu Studio v. 01.09.07.52 van https://bambulab.com/en/download/studio, de link naar de handleiding is https://wiki.bambulab.com/en/studio-handy

2. Ontwerpen en printen van gepersonaliseerde infraroodmarkers

  1. Ontwerp infraroodmarkeringen in een 3D-ontwerpsoftware zoals hieronder beschreven.
    1. Open de CAD-software (3D Computer-aided design) (zie Materiaaltabel) en maak een nieuw bestand.
    2. Selecteer het tabblad SOLID en klik op Schets maken om te beginnen met het schetsen van een nieuw ontwerp voor een infraroodmarkering.
    3. Voeg drie of vier kleine cirkels met een diameter van 3 mm toe door op Cirkel met middendiameter te drukken. Deze cirkels dienen als bevestigingspunten voor schroeven.
    4. Bereken het middelpunt van de infraroodmarkering door de hoekpunten van de driehoek te verbinden met de middelpunten van de tegenoverliggende zijden. Druk op Lijn en verbind alle cirkels door lijnen te trekken van één kant naar het punt van een cirkel.
    5. Maak een cirkel als basis van de infraroodmarkering op het middelpunt met behulp van de cirkel met middeldiameter. Gebruik een 3-punts rechthoek om rechthoeken te tekenen die de middelste cirkel verbinden met elk van de drie of vier kleinere cirkels.
    6. Extrudeer de ronde basis en rechthoeken tot een dikte van 2 mm en de kleine cirkels tot 5 mm.
    7. Voeg een draad toe aan elk van de drie kegels met behulp van een ISO-metrisch profiel (bijv. M3 × 0,5, 6g, rechterhand) voor 6,4 mm infrarood reflecterende bollen door op Maken en vervolgens op Draad te drukken.
    8. Exporteer het model als object (OBJ)-bestand met behulp van de functie 3D-afdrukken of Exporteren.
    9. Meet in de 3D CAD-software de XYZ-coördinaten van de infrarood reflecterende bollen in correlatie met het middelpunt door Meten te selecteren. Meet de locaties van de middelpunten van de cirkels in correlatie met het middelpunt van de vorm. Gebruik deze coördinaten in stap 4.1.2.
  2. Print 3D-markeringen zoals hieronder beschreven.
    1. Importeer de geëxporteerde stereolithografie (. STL) bestand van de infraroodmarkering in software die geschikt is voor de 3D-printer door deze naar de scène te slepen (zie Materiaaltabel).
    2. Configureer de snijparameters, inclusief de laaghoogte (0,08 mm is de kleinst mogelijke laaghoogte om onnauwkeurig afdrukken van de draad voor de infraroodreflecterende bol te voorkomen) door op Kwaliteit > Laaghoogte te drukken. Voeg ondersteuning toe aan het ontwerp door op Ondersteuning > Struct inschakelen te drukken.
    3. Exporteer het slicing-bestand naar de 3D-printer door op Alles in plakjes te klikken, exporteer het bestand door te klikken op Alle segmentbestanden exporteren en druk het 3D-model af met een 3D-printer (zie Materiaaltabel) met polymelkzuurfilament (bijv. PLA; zie Materiaaltabel).

3. Voorbereiden van het 3D patiëntspecifieke model van de nier

  1. Model segmentatie
    1. Open de 3D-segmentatiesoftware (zie Materiaaltabel) en importeer de MRI/CT-gegevens van de patiënt met behulp van de DICOM-bestanden importeren.
    2. Ga naar de segmenteditor, kies het juiste bronvolume en maak een nieuwe segmentatie door op Toevoegen te klikken.
    3. Selecteer handmatige of semi-automatische segmentatie op basis van beeldvormingsmodaliteit.
    4. Gebruik voor handmatige segmentatie de tool Schilderen en wissen om de tumor en de omliggende relevante structuren in elke plak te segmenteren.
    5. Voor semi-automatische segmentatie kunt u overwegen opties te gebruiken zoals Drempel met het juiste drempelbereik voor de specifieke structuur, en Schaar om de irrelevante structuren te segmenteren.
    6. Selecteer in het gegevensscherm de Gemaakte segmentatie en klik vervolgens met de rechtermuisknop om naar de knop Zichtbare segmenten naar modellen exporteren te gaan. Zorg ervoor dat de optie Oog aan de rechterkant van het scherm is geselecteerd.
    7. Exporteer de STL-bestanden van de modellen door op Opslaan te klikken en sla de bestanden op als een . STL-bestand.
  2. Nabewerking van patiëntspecifiek model
    1. Importeer het STL-bestand in een mesh-editor (zie Materiaaltabel) en verminder het aantal driehoeken door 3D-model te selecteren > Bewerken en vervolgens te verminderen met een percentage waardoor de driehoeken worden verkleind zonder het visuele aspect van het 3D-model te vervormen, en druk op Accepteren.
    2. Zorg ervoor dat de doelpunten visueel worden weergegeven in het 3D-model van de holografische toepassing voor verdere validatie. Druk op Bollen toevoegen en plaats ze op het 3D-model.
    3. Exporteer de 3D-modellen naar een OBJ-bestandsindeling door op Bestand > Exporteren te drukken. Zorg ervoor dat het 3D-model ongeveer 100.000 polygonen bevat door het model te selecteren en verklein de polygonen door op Bewerken > Verkleinen te drukken. Een hoger aantal polygonen vereist meer bewerkingen van de grafische verwerkingseenheid, dus het verminderen van het aantal polygonen in de scène kan de rendertijd aanzienlijk verkorten.

4. Voorbereiden van de holografische applicatie

  1. Configureer het IRTrackingOrgans_HoloLens Project zoals hieronder beschreven.
    1. Start de software voor het ontwikkelen van games (zie Materiaaltabel) en importeer het IRTrackingOrgans_HoloLens project en open het.
    2. Pas het JavaScript Object Notation (JSON)-bestand aan met behulp van een teksteditor, volgens het standaardformaat, om een aangepaste infraroodmarkering te implementeren op basis van de coördinaten gemeten in stap 2.1.10. Het JSON-bestand wordt opgeslagen in Assets/StreamingAssets.
    3. Ga naar het tabblad DINO Unity, selecteer de ToolManager > ResearchModeController > JSON-bestand en bovenliggende transformatie en klik op Objecten maken en JSON-instelling toepassen.
    4. Importeer het 3D-model van de virtuele infraroodmarkering als een asset die in stap 1.1 is gemaakt.
    5. Transformeer het 3D-model van de virtuele infraroodmarkering naar de positie van de voortgebrachte markeringen in de scène door het model te selecteren en de transformatiecoördinaten in het infovenster te wijzigen.
    6. Voeg een patiëntspecifiek 3D-model in de scène in door het te selecteren en naar de scène te slepen.
    7. Transformeer het 3D-model van de patiënt naar de juiste plaats, zodat de infraroodmarkering het oppervlak van het 3D-model raakt. Plaats de infraroodmarkering dicht bij het midden van het 3D-object om onnauwkeurigheden als gevolg van het hefboomeffect te minimaliseren.
  2. Verbind de scène met een patiëntenkeuzemenu
    1. Voor praktisch gebruik en selectie van meerdere casussen sluit u de patiëntenscène aan op een knop in het menuscherm. Ga naar Elementen > Scènes > Menuscène.
    2. Ga in het venster Hiërarchie naar NearMenu4x2 en ButtonCollection en vervolgens naar de relevante knop.
    3. Ga in het venster Inspecteren naar Basisgebeurtenissen en typ onder MenuScript.LoadScene de naam van de patiëntscène.
  3. Bereid de HMD voor op de eerste inzet
    OPMERKING: Dit gedeelte is alleen nodig als de applicatie voor de eerste keer wordt geïmplementeerd.
    1. Log in op het HMD-apparaat (zie Materiaaltabel) en zet het apparaat in de onderzoeksmodus. Ga naar Instellingen > Update en beveiliging > voor ontwikkelaars > schakel Ontwikkelaarsfuncties en apparaatdetectie in.
    2. Koppel de HMD aan een pc (Wi-Fi of USB-C). Als dit de eerste keer is dat u verbinding maakt, volgt u deze stappen: Zoek het IP-adres van de HMD op het tabblad voor ontwikkelaars, vul het IP-adres in een webbrowser in om verbinding te maken met de apparaatportal en koppel het apparaat door een pincode te genereren en de pincode in te vullen.
  4. Bouw en implementeer de applicatie op een HMD
    1. Voeg de scènes toe aan de animatie door naar Instellingen voor Bestand > animatie te gaan en de scène in de volgende volgorde toe te voegen: Menu > Scène volgen door op Open scènes toevoegen te drukken.
    2. Bouw het project met behulp van het universele Windows-platform, Target Device HoloLens en Architecture x64. Klik op Bouwen en selecteer een buildtoewijzing.
    3. Open het buildbestand (.sln) met Visual Studio 2019 en wijzig het platform in ARM64. Open vervolgens Eigenschappen door met de rechtermuisknop op het .sln bestand in de Solution Explorer te klikken en typ in Debugging het IP-adres van de HMD in onder Machinenaam.
    4. Implementeer de toepassing op de HMD door Debug > Start without Debugging te selecteren.
    5. Start de HMD en open de holografische toepassing. Navigeer vervolgens naar het menuscherm van de patiënt en selecteer de Juiste casus om holografische visualisatie en begeleiding te starten.

5. Validatie van holografische visualisatie van bewegende organen

  1. Semi-vervormbare fantoomdruk
    1. Maak of verkrijg een 3D-model van een nierfantoom met realistische anatomische structuren.
    2. Importeer het 3D-model in een 3D CAD-modelleringssoftware en integreer vijf registratiedraaipunten aan de zijkant van het model met behulp van Solid > > Hole maken > met instellingen Hole Type: Eenvoudig, Hole tap Type: Eenvoudig, Boorpunt: Hoek, Hoogte: 0,5 mm en Diameter: 4,0 mm.
    3. Integreer een cilinder met een gat in het 3D-model om de EM-referentiesensor te fixeren voor verdere validatiestappen.
      1. Maak een schets met een cirkel en een binnencirkel met een diameter van 2,8 mm met behulp van de cirkel met middelste diameter. Extrudeer de buitenste cirkel met 16,5 mm.
      2. Combineer de cilinder met het 3D-model door Wijzigen > Combineer > Selecteer 3D-model en cilinder > Voeg > OK samen.
    4. Exporteer het 3D-model met behulp van de functie Exporteren of 3D-printen.
    5. Gebruik een flexibel of semi-flexibel filament, zoals TPU, (zie Materiaaltabel) om het nierfantoom te printen volgens de procedure beschreven in stap 2.2.
  2. 3D Slicer set-up met behulp van EM-tracking systeem
    1. Zie de uitgebreide 3D Slicer en SlicerIGT tutorial (https://www.slicerigt.org/wp/user-tutorial/) voor het instellen van een EM-systeem met 3D-Slicer.
      OPMERKING: In dit gedeelte van het protocol wordt ervan uitgegaan dat de installatie van 3DSlicer, EM-trackingconfiguratie en verbinding goed wordt begrepen en correct is ingesteld.
    2. Plaats de veldgenerator van het EM-volgsysteem (zie Materiaaltabel) direct onder het fantoom. Verwijder alle ferromagnetische materialen uit de omgeving om inhomogeniteiten van elektromagnetische velden te voorkomen.
    3. Sluit de EM-sensor (zie Materiaaltabel) en de EM-aanwijzer (zie Materiaaltabel) aan op het EM-volgsysteem. Zorg ervoor dat de transformaties van deze tools nauwkeurig worden gevisualiseerd in 3DSlicer.
    4. Bevestig de EM-referentiesensor (bijv. NDI Aurora 6DOF Cable Tool) aan het 3D-model door deze met lijm in de cilinder te bevestigen.
    5. Importeer in 3D Slicer het 3D-model met draaipunten en wijs de oriëntatiepunten digitaal toe met behulp van de wizard Fiduciële registratie > Plaats een controlepunt.
    6. Voer oriëntatiepuntregistratie uit door de oriëntatiepunten in het echte leven te lokaliseren met de EM-aanwijzer, druk op Plaats een controlepunt en registreer ze in 3DSlicer. Bereken de starre lineaire registratietransformatie door op Update te drukken.
    7. Pas na registratie de registratietransformatie toe op het 3D-model om een koppeling tot stand te brengen tussen het model en de EM-referentiesensor. Als het 3D-model vervolgens fysiek wordt verplaatst, moet de digitale tegenhanger in 3DSlicer worden verplaatst; Bevestig dit daarom visueel door de bewegingen te observeren.
  3. Holografische validatie
    1. Start het apparaat en open de holografische toepassing van stap 4.4.5. Navigeer vervolgens naar het juiste 3D-model van de patiënt, dat ook in 3DSlicer wordt gevisualiseerd.
    2. Bevestig de infraroodmarker op de juiste plaats met behulp van lijm, met de aangebrachte 6,4 mm infraroodmarkers (zie materiaaltabel), zoals gevisualiseerd door de preoperatieve planning.
    3. Gebruik de EM-aanwijzer om de doelpunten digitaal te lokaliseren op basis van holografische visualisatie. Sla de set EM-sensorcoördinaten op.
    4. Bereken de fout bij het lokaliseren van de doeloriëntatiepunten in vergelijking met de geplaatste oriëntatiepunten om de holografische visualisatie kwantitatief te valideren.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Een nierfantoom werd gebruikt om de prestaties van het infraroodvolgsysteem voor het volgen van organen te demonstreren en om de holografische validatieopstelling in bewegende organen te valideren. De volledige workflow wordt geschetst in figuur 1.

Eerst werd de nier semi-automatisch gesegmenteerd op basis van MRI-gegevens met behulp van de drempelhulptool in 3DSlicer. Het resulterende 3D-model werd geëxporteerd en geïmporteerd in 3D CAD-software om het aantal polygonen te verminderen. Een tweede model werd opgeslagen en vijf doelpunten werden in dit model geïntegreerd met behulp van het bolgereedschap (Figuur 2). Dit model werd gebruikt voor de technische validatie van het holografische display. De eerste versie van het model, zonder richtpunten, werd geïmporteerd in Autodesk Fusion. In dit model werden vijf draaipunten geïntegreerd en de cilinder werd geïntegreerd om de EM-sensor mogelijk te maken. Met behulp van 3D slicing software werd het 3D-model klaargemaakt voor 3D-printen. TPU met een printdichtheid van 8% werd gebruikt om een minimaal flexibel nieroppervlak te creëren.

Er werd een gestandaardiseerde infraroodmarkering ontworpen, 3D-geprint en voorzien van infrarood reflecterende bollen (diameter 6,4 mm). Van deze infraroodmarkering werden de coördinaten van de infraroodmarkering gemeten in correlatie met het middelpunt. In de softwaretoepassing voor game-ontwikkeling werd het JSON-bestand met de coördinaten van de infraroodmarkering geïmporteerd. Ten tweede werd het 3D-model van de nier geïmporteerd, met richtpunten voor validatiedoeleinden. Ook werd voor visualisatiedoeleinden het infraroodmarkermodel geïmporteerd en vertaald naar de positie van de punten die door het JSON-bestand zijn geïmplementeerd. Het 3D-model werd getransformeerd naar het midden van de infraroodmarkering (Figuur 3) en er werden extra shaders aangebracht. Na de integratie van de scène met het patiëntenmenu werd de applicatie geïmplementeerd op de HMD.

Op basis van de plaatsing van de IR-markers wordt het holografische 3D-model gevisualiseerd op de nier in een pediatrisch abdominaal fantoom met behulp van de HMD (Figuur 4). Het had een volgsnelheid van 11,6 Hz. Voor afstanden van meer dan 60 cm verliest de HMD echter de mogelijkheid om de infraroodmarkeringen te volgen. Ten tweede zorgt de continue tracking en ruis in de infraroodmarkering ervoor dat de holografische overlay flikkert, wat resulteert in onnauwkeurige visualisatie.

Voor validatiedoeleinden werd het EM-tracking systeem via de Plus Server verbonden met 3D Slicer. Een EM-sensor werd op de fantoomnier geplaatst voor tracking (Figuur 2). Na puntgebaseerde registratie werd het 3D-model geregistreerd met een mediane nauwkeurigheid van 0,59 mm, wat een nauwkeurige methode bleek te zijn voor het valideren van holografische nauwkeurigheid (Figuur 5). De mediane puntlokalisatiefout was 8,74 mm (interkwartielbereik: 6,38 - 10,85), gebaseerd op input van drie chirurgen (tabel 1).

De implementatie van dit AR-tracking- en visualisatiesysteem omvat een protocol dat ongeveer 45-60 minuten beslaat. Een ervaren technisch geneeskundige met 2 jaar ervaring heeft het gehele protocol één keer uitgevoerd om de duur van de afzonderlijke stappen van het protocol te bepalen. Met name bepaalde stappen hoeven maar één keer te worden uitgevoerd. De essentiële stappen voor elke patiënt zijn segmentatie, modelintegratie in de game-ontwikkelingssoftware en scèneconfiguratie. Het segmenteren van anatomische structuren in patiëntspecifieke gevallen kost relatief meer tijd vanwege de meerdere betrokken anatomische structuren, maar het segmenteren van het nierparenchym en de tumor kan binnen 30 minuten worden voltooid. Het integreren van de gesegmenteerde 3D-modellen in de applicatie en het uitlijnen ervan met de infraroodmarkering kost ongeveer 5 minuten handmatige aanpassingen. Het aansluiten van de juiste scène duurt niet langer dan 5 minuten. De bouwtijd van het game-ontwikkelingsproject is afhankelijk van de hardwarespecificaties, maar duurt doorgaans ongeveer 3 minuten, gevolgd door ongeveer 10 minuten voor implementatie op de HoloLens 2. Over het algemeen demonstreert dit protocol, met uitzondering van de validatie-opstelling, een methode voor het verplaatsen van orgaantracking in preklinische omgevingen.

figure-results-1
Figuur 1: Schematisch overzicht van de workflow. De workflow toont stappen die per patiënt nodig zijn in een fantoomsetting, inclusief de preoperatieve fase, holografische en intraoperatieve fasen. De preoperatieve fase bestaat uit het segmenteren (zie stap 3) van preoperatieve medische beeldvorming. De voorbereiding van de holografische applicatie bestaat uit het virtueel plannen van de plaatsing van de infraroodmarkering op het 3D-model (zie stap 4). In de intraoperatieve fase kunnen de chirurgen de juiste patiënt selecteren en de infraroodmarkering fixeren voor holografische visualisatie en continue tracking. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: Overzicht van nierfantomen die in de validatiemethodologie zijn gebruikt. Links: een 3D-hologram van de nier met de doelpunten en virtuele plaatsing van de infraroodmarkering. Midden: 3D-fantoom met geïntegreerde EM-sensor en draaipunten voor registratie. Rechts: 3D-geprint fantoom, met de infraroodmarker en cilinder voor de EM-sensor, gebruikt voor de validatieprocedure. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Voorbereiding van de holografische applicatie in de game development software. Het niermodel wordt getransformeerd in een infraroodmarker. Ten tweede worden shaders aangebracht op de nier en op de doelpunten. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-4
Figuur 4: Holografische visualisatie van het fantoomexperiment. Links: Plaatsing van de infraroodmarker op de nier. Rechts: Holografische visualisatie van doelpunten in de juiste volgorde (1 t/m 5). Verplaatsing van de holografische visualisatie wordt veroorzaakt door de jitter in de infrarood marker tracking. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-5
Figuur 5: Opstelling vanuit het EM-tracking validatieprotocol voor holografische visualisatie van bewegende organen. Groen, Rood en Blauw visualiseren de transformatie van de benodigde EM-tools voor validatie. Geel en groen visualiseren de transformatie met betrekking tot het Head-Mounted Display (HMD). Klik hier om een grotere versie van deze figuur te bekijken.

DeelnemerMetingGT-X (mm)GT-Y (mm)GT-Z (mm)Punt-X (mm)Punt-Y (mm)Punt-Z (mm)PLE (mm)
Chirurg 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Chirurg 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Chirurg 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tabel 1: Voor elke meting worden de grondwaarheidscoördinaten (GT) van de doeloriëntatiepunten, de bijbehorende puntlocatiecoördinaten en de PLE gemeten voor alle chirurgen verstrekt.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het gepresenteerde protocol schetst een benadering van real-time orgaantracking en holografische visualisatie, inclusief validatie voor het verplaatsen van tumoren en organen in een fantoomomgeving. Door gebruik te maken van op infraroodmarkers gebaseerde tracking met een HMD, heeft deze methode het potentieel om de juiste anatomische holografische overlays beter te behouden tijdens de manipulatie van bewegende organen. Ondanks de toepassing voor het volgen van de nier, kan deze methode ook worden onderzocht in andere klinische gebieden, zoals open chirurgie voor de lever of longen, met minimale aanpassingen in het segmentatieprotocol. Ten tweede kunnen infraroodmarkers mogelijk worden gebruikt met verschillende chirurgische technieken, zoals laparoscopische chirurgie. In dergelijke gevallen kunnen infrarood reflecterende stickers worden gedetecteerd op laparoscopische beelden om organen, gereedschappen of anatomische oriëntatiepunten te volgen. De toepassing van deze techniek op andere klinische gebieden of chirurgische technieken kan echter fouten met zich meebrengen als gevolg van variaties in de vervormbaarheid van het doelorgaan of technische beperkingen, zoals een beperkt gezichtsveld, die validatie in preklinische experimenten vereisen.

Stap 1 van het protocol is vooral gericht op het opzetten van de benodigde hardware- en softwaretools. Deze installatie vereist tal van applicaties en stappen, dus het is van cruciaal belang dat alle softwarepakketten correct worden geïnstalleerd, inclusief eventuele noodzakelijke extensies, om implementatieproblemen downstream te voorkomen. Het is niet te verwachten dat verschillende versies van software problemen zullen veroorzaken, ook al is de combinatie van de game-ontwikkelingssoftware en de geïntegreerde ontwikkelomgeving cruciaal.

In stap 2 wordt het proces van het maken van op maat gemaakte infraroodmarkeringen beschreven. Deze stap wordt vooral belangrijk als de tracking voor andere toepassingen wordt gebruikt. De flexibiliteit om de vorm van de infraroodmarker aan te passen, zorgt ervoor dat deze geschikt is voor diverse preklinische toepassingen. Bovendien kunnen gebruikers verschillende ontwerpopties verkennen om de hechting van de infraroodmarker aan het oppervlak van een orgaan te verbeteren en de nauwkeurigheid van het volgen van de infraroodmarker te verbeteren. Bovendien kan het testen van meerdere infraroodmarkeringsdiameters leiden tot een betere detectie over afstanden van meer dan 60 cm.

In stap 3 wordt patiëntspecifieke 3D-modellering op basis van medische beeldvorming beschreven. Nauwkeurige segmentatie van de nier en tumor is cruciaal, omdat dit een directe invloed heeft op de nauwkeurigheid van de chirurgische geleiding. Slechte segmentatie kan leiden tot misleidende visualisaties die de chirurgische precisie in gevaar brengen19. Ten tweede is deze stap het meest tijdrovend. Het integreren van volautomatische segmentatiemethoden kan het protocol versnellen, waardoor handmatige en semi-automatische aanpassingen minder nodig zijn en tegelijkertijd een nauwkeurige anatomische segmentatie wordt gegarandeerd20. Het optimaliseren van het aantal polygonen is cruciaal voor het bereiken van optimale AR-renderingprestaties. Als deze optimalisatie niet wordt uitgevoerd, komen de prestaties van de HMD aanzienlijk in het gedrang.

In stap 4 wordt de configuratie van de holografische applicatie geschetst, na de implementatie van DINO-DLL. Een cruciaal aspect is de juiste uitlijning tussen de posities van de infraroodmarkering en de holografische anatomische modellen, omdat dit de nauwkeurigheid van de handmatige registratie beïnvloedt. Vooral het hefboomeffect moet worden geminimaliseerd om onnauwkeurigheid op grotere afstanden van het midden van de infraroodmarkering te voorkomen. Verdere verbeteringen kunnen bestaan uit de invoering van aanvullende registratiemethoden. Bovendien vertoont het huidige systeem een acceptabele volgsnelheid voor continue visualisatie, wat overeenkomt met literatuur21. Ten derde zouden verdere verbeteringen de implementatie van een Kalman-filter moeten omvatten om ruis in de trackinggegevens van de infraroodmarkering te verminderen, waardoor de jitter van holografische visualisatie wordt geëlimineerd.

In stap 5 biedt het framework een holografische validatiemethode die gebruikmaakt van EM-tracking. Dit protocol is nuttig voor het valideren van de nauwkeurigheid van hologrammen in een fantoomomgeving, omdat het een kwantitatieve beoordeling biedt van de holografische nauwkeurigheid voor bewegende organen. Een cruciale stap hier is de precieze integratie van EM-trackingsensoren in semi-vervormbare 3D-geprinte fantomen. Gebruikers moeten zorgen voor een nauwkeurige kalibratie van de EM-sensoren en oriëntatiepuntregistratie in 3D Slicer. Als er validatiefouten optreden, kan herregistratie of het verwijderen van metalen voorwerpen de validatienauwkeurigheid verbeteren. Om de klinische haalbaarheid verder te valideren, kunnen ex vivo organen worden gebruikt om het chirurgische weefsel22 nauwkeuriger te simuleren.

Dit protocol dient als een uitgebreide gids voor onderzoekers die AR-oplossingen voor het volgen van organen willen implementeren en deze systemen willen valideren in fantoomexperimenten. Bovendien biedt het een breed toepasbare validatie-instelling die gemakkelijk kan worden gebruikt in verschillende klinische scenario's, met name voor het valideren van AR-methoden voor het verplaatsen van organen. Gezien de complexiteit van het implementeren van holografische toepassingen, vergemakkelijkt dit raamwerk de overgang van conceptuele AR-gebaseerde oplossingen naar preklinische validatie.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We danken Hisham Iqbal voor zijn expertise en ondersteuning bij het opzetten van infrarood marker tracking met behulp van de HoloLens 2, gebaseerd op de open DINO-DLL-repository.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D Slicer (v5.6.2)SlicerN/AMedical image segmentation software and necessary for electromagnetic tracking validation
6.4 mm (1/4") M3 Markers Infrarec MarkersOptiTrackN/AInfrared reflective spheres which should be attached to marker for tracking 
Autodesk Fusion 360 (v2.0.21508)AutodeskN/ACAD software for designing infrared markers and phantoms
Bambu Studio (v01.09.07.52)Bambu LabN/A3D printing slicing software for Bambu 3D printers
Bambu X1 CarbonBambu LabN/A3D printer used for infrared markers and phantom models
HoloLens 2MicrosoftN/AAugmented Reality Head-Mounted Display for AR visualization
IRTrackingOrgans_HoloLens Open sourceN/AUnity-based application supporting IR marker tracking
MeshMixer (v3.5.0)AutodeskN/AUsed for mesh editing and polygon reduction
NDI AuroraNorthern Digital Inc.N/AElectromagnetic tracking system for validation
NDI Aurora 6DOF Cable ToolNorthern Digital Inc.N/ASensor for registering movement of phantom organs
NDI Aurora 6DOF ProbeNorthern Digital Inc.N/AUsed to identify landmark locations on the phantom
Polylactic Acid FilamentAny ManufacturerN/AFilament for printing rigid parts like infrared markers
Thermoplastic Polyurethane FilamentAny ManufacturerN/ASemi-flexible filament for printing deformable kidney phantom
Unity Hub (v3.11.1) and Unity (v2019.4.22f1)Unity TechnologiesN/AGame development software for AR application development and deployment
Visual Studio 2019MicrosoftN/ARequired IDE for Unity integration and deployment

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).">Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).">Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).">Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).">Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).">Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).">Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).">Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).">Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).">Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).">Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).">van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).">Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).">Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).">van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).">Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).">Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).">Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).">Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).">Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).">Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).">von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles