Technische benadering voor infraroodtracking voor navigatie van zacht weefsel met een holografisch head-mounted display en preklinische validatie

Het doel van dit onderzoek in het Prinses Máxima Centrum voor kinderoncologie is het ontwikkelen en valideren van een augmented reality-systeem. Dit systeem moet hologrammen van bewegende organen nauwkeurig uitlijnen. Een van de huidige experimentele uitdagingen is het valideren dat het hologram nauwkeurig uitgelijnd blijft met de real-time positie van een bewegend orgaan.

Momenteel zijn augmented reality-validatietechnieken alleen beschreven voor stijve anatomische structuren zoals botten. Ons protocol biedt echter het voordeel dat het ook kan worden gebruikt om augmented reality voor bewegende organen te valideren. Open om te beginnen de 3D computerondersteunde ontwerpsoftware en maak een nieuw bestand.

Selecteer het tabblad Effen en klik op Schets maken om een nieuw ontwerp voor een infraroodmarkering te starten. Voeg drie of vier kleine cirkels met een diameter van drie millimeter toe door op Center Diameter Circle te drukken. Verbind met het gereedschap Lijn de hoekpunten van de driehoek met de middelpunten van de tegenoverliggende zijden en teken lijnen die de cirkels verbinden om het middelpunt te berekenen.

Teken in het middelpunt een cirkel met behulp van de cirkel met middeldiameter en teken vervolgens rechthoeken die deze middencirkel verbinden met elk van de kleinere cirkels met behulp van het tweepuntsrechthoekgereedschap. Extrudeer de middelste ronde basis en verbindingsrechthoeken tot een dikte van twee millimeter. Extrudeer de kleinere cirkels tot een dikte van vijf millimeter.

Druk op Maken, selecteer vervolgens Draad en voeg schroefdraad toe aan de drie kegels met behulp van een ISO-metrisch profiel voor 6,4 millimeter infrarood reflecterende bollen. Gebruik de functie 3D-afdrukken of Exporteren om het uiteindelijke model als een objectbestand te exporteren. Selecteer in de 3D-software voor computerondersteund ontwerp de optie Meten om de x-, y- en z-coördinaten van de infrarood reflecterende bollen ten opzichte van het middelpunt te meten.

Meet de locaties van de middelpunten van elke kleine cirkel in correlatie met het midden van de hele vorm. Start de software voor het ontwikkelen van games. Importeer het IRTrackingOrgans_HoloLens projectbestand en open het project.

Open met een teksteditor het JavaScript-objectnotatiebestand dat is opgeslagen in de map Assets of StreamingAssets. Pas het bestand aan om de aangepaste infraroodmarkering te definiëren met behulp van de eerder opgenomen coördinaten en volgens het standaardformaat. Selecteer op het tabblad DINO Unity de ToolManager, klik op ResearchModeController, gevolgd door JSON-bestand en Bovenliggende transformatie, en klik vervolgens op Objecten maken JSON-instelling toepassen.

Importeer het gemaakte 3D-infraroodmarkeringsmodel. Selecteer het patiëntspecifieke 3D-model en wijzig de transformatiecoördinaten in het venster Infovenster zodat deze overeenkomen met de positie van de voortgebrachte markeringen in de scène. Sleep vervolgens het patiëntspecifieke 3D-model naar de scène om het in te voegen.

Transformeer het 3D-model van de patiënt om de infraroodmarkering uit te lijnen met het oppervlak. Plaats de infraroodmarkering dicht bij het midden van het model om positionele fouten door het hendeleffect te verminderen. Verbind nu de patiëntenscène met een knop in het menuscherm om meerdere casusselecties mogelijk te maken.

Navigeer om naar Middelen, Scènes en Menuscène te gaan. Ga in het venster Hiërarchie naar NearMenu4x2, vervolgens naar ButtonCollection en selecteer de relevante knop. Ga in het infovenster naar Basisgebeurtenissen en onder MenuScript.

LoadScene, typ de naam van de patiëntenscène. Maak of verkrijg een 3D-model van een nierfantoom met realistische anatomische structuren. Importeer het 3D-model in een 3D CAD-modelleringssoftware.

Gebruik vervolgens de functies Vaste, Maken en Gat om vijf registratiedraaipunten aan de zijkant van het model te integreren. Stel het gattype in op eenvoudig, type gattap op eenvoudig, boorpunt op hoek, hoogte op 0.5 millimeter en diameter op 4.0 millimeter. Om de elektromagnetische referentiesensor te fixeren, maakt u een cilinder met een gat en integreert u deze in het niermodel.

Begin een nieuwe schets en gebruik Center Diameter Circle om een cirkel en een binnenste cirkel met een diameter van 2,8 millimeter te tekenen. Extrudeer de buitenste cirkel met 16,5 millimeter. Ga dan naar Wijzigen, gevolgd door Combineren.

Selecteer zowel het 3D-niermodel als de cilinder, kies Deelnemen en bevestig door op OK te klikken. Gebruik vervolgens de functie Exporteren of 3D-printen om het uiteindelijke geïntegreerde model te exporteren. Gebruik vervolgens een flexibel of semi-flexibel filament, zoals thermoplastisch polyurethaan, om het nierfantoom te printen volgens de eerder beschreven procedure. Plaats de veldgenerator van het elektromagnetische volgsysteem direct onder het geprinte nierfantoom.

Verwijder alle ferromagnetische voorwerpen uit de omgeving om inhomogeniteiten van elektromagnetische velden te voorkomen. Sluit vervolgens de elektromagnetische sensor en de elektromagnetische aanwijzer aan op het volgsysteem. Bevestig de elektromagnetische referentiesensor aan het 3D-model door deze met lijm stevig in de cilinder te bevestigen.

Importeer in 3D Slicer het 3D-niermodel met de draaipunten. Gebruik de wizard Fiduciële registratie. Selecteer Een controlepunt plaatsen en wijs de registratieoriëntatiepunten digitaal toe.

Als u oriëntatiepunten wilt registreren in 3D Slicer, gebruikt u de elektromagnetische aanwijzer om de fysieke oriëntatiepunten te lokaliseren. Druk op Plaats een controlepunt op elke fysieke locatie om ze in de software te registreren. Bereken vervolgens de rigide lineaire registratietransformatie door op Update te drukken.

Pas nu de berekende registratietransformatie toe op het 3D-model om het te koppelen aan de elektromagnetische referentiesensor. Verplaats het fysieke model en controleer of de digitale versie in 3D Slicer zijn beweging volgt. Start het holografische weergaveapparaat en open de holografische toepassing die eerder is geconfigureerd.

Navigeer vervolgens naar het juiste patiëntspecifieke 3D-model dat momenteel wordt gevisualiseerd in 3D Slicer. Bevestig nu de infraroodmarkering met lijm op de opgegeven locatie en zorg ervoor dat de aangebrachte 6.4 millimeter infrarood reflecterende bollen op hun plaats zijn zoals aangegeven in de preoperatieve planning. Gebruik de elektromagnetische aanwijzer om de doelpunten digitaal te identificeren zoals gezien door de holografische visualisatie.

Sla de resulterende set EM-sensorcoördinaten op. Bereken de fout door de opgeslagen doelcoördinaten te vergelijken met de daadwerkelijk geplaatste oriëntatiepunten om de nauwkeurigheid van de holografische visualisatie te valideren. Bij alle deelnemers vertoonde de Point Localization Error, of PLE, een mediane waarde van 8,74 millimeter, met individuele metingen variërend van 2,78 tot 13,20 millimeter.

Chirurg 2 behaalde consequent de laagste PLE-metingen, inclusief de twee meest nauwkeurige lokalisaties van 2,78 en 3,48 millimeter. De grootste lokalisatiefout werd waargenomen tijdens de derde meting door chirurg 3 met een PLE van 13,20 millimeter. Dit protocol zal anderen helpen bij het implementeren van holografische projecten en het nauwkeurig valideren van hun augmented reality-systeem in een preklinische setting.

Onze chirurgische onderzoeksgroep start binnenkort met de geautomatiseerde holografische tracking voor meerdere pediatrische chirurgische casussen. De beweegbare organen worden gevolgd op basis van machine learning-algoritmen en RGB-camerafeeds.