Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną

Zakres tego badania w Princess Maxima Center for Pediatric Oncology polega na opracowaniu i walidacji systemu rzeczywistości rozszerzonej. System ten powinien dokładnie wyrównać hologramy poruszających się narządów. Jednym z obecnych wyzwań eksperymentalnych jest sprawdzenie, czy hologram pozostaje dokładnie wyrównany z pozycją poruszającego się narządu w czasie rzeczywistym.

Obecnie techniki walidacji rzeczywistości rozszerzonej zostały opisane tylko dla sztywnych struktur anatomicznych, takich jak kości. Jednak nasz protokół ma tę zaletę, że może być również używany do walidacji rzeczywistości rozszerzonej dla ruchomych narządów. Aby rozpocząć, otwórz oprogramowanie do projektowania wspomaganego komputerowo 3D i utwórz nowy plik.

Wybierz kartę Bryła i kliknij przycisk Utwórz szkic, aby rozpocząć nowy projekt znacznika podczerwieni. Dodaj trzy lub cztery małe kółka o średnicy trzech milimetrów, naciskając koło o średnicy środkowej. Za pomocą narzędzia Linia połącz wierzchołki trójkąta z punktami środkowymi przeciwległych boków i narysuj linie łączące okręgi, aby obliczyć punkt środkowy.

W punkcie środkowym narysuj okrąg za pomocą koła o średnicy środka, a następnie narysuj prostokąty łączące ten środkowy okrąg z każdym z mniejszych okręgów za pomocą narzędzia Prostokąt dwupunktowy. Wyciągnij środkową okrągłą podstawę i łączące prostokąty o grubości dwóch milimetrów. Wyciągnij mniejsze okręgi do grubości pięciu milimetrów.

Naciśnij przycisk Utwórz, a następnie wybierz opcję Gwint i dodaj gwinty do trzech stożków przy użyciu profilu metrycznego ISO, aby dopasować kule odbijające podczerwień o średnicy 6,4 milimetra. Korzystając z funkcji drukowania lub eksportu 3D, wyeksportuj ostateczny model jako plik obiektu. W oprogramowaniu do projektowania wspomaganego komputerowo 3D wybierz opcję Zmierz, aby zmierzyć współrzędne x, y i z sfer odbijających podczerwień względem punktu środkowego.

Zmierz położenie punktów środkowych każdego małego okręgu w korelacji ze środkiem całego kształtu. Uruchom oprogramowanie do tworzenia gier. Zaimportuj plik projektu IRTrackingOrgans_HoloLens i otwórz projekt.

Za pomocą edytora tekstu otwórz plik JavaScript Object Notation zapisany w folderze Assets lub StreamingAssets. Dostosuj plik, aby zdefiniować niestandardowy znacznik podczerwieni, używając wcześniej zarejestrowanych współrzędnych i zgodnie z domyślnym formatem. Na karcie DINO Unity wybierz ToolManager, kliknij ResearchModeController, a następnie plik JSON i transformacja nadrzędna, a następnie kliknij Create Objects Apply JSON Setting.

Zaimportuj utworzony model znacznika 3D w podczerwieni. Wybierz model 3D specyficzny dla pacjenta i zmień jego współrzędne przekształcenia w oknie Inspector, aby dopasować je do położenia utworzonych znaczników w scenie. Następnie przeciągnij model 3D specyficzny dla pacjenta do sceny, aby go wstawić.

Przekształć model 3D pacjenta, aby wyrównać znacznik podczerwieni do jego powierzchni. Umieść znacznik podczerwieni blisko środka modelu, aby zmniejszyć błąd pozycjonowania wynikający z efektu dźwigni. Teraz połącz scenę pacjenta z przyciskiem na ekranie menu, aby umożliwić wybór wielu przypadków.

Przejdź do pozycji Przejdź do zasobów, scen i sceny menu. W oknie Hierarchia przejdź do pozycji NearMenu4x2, a następnie do pozycji ButtonCollection i wybierz odpowiedni przycisk. W oknie Inspector (Inspektor) przejdź do pozycji Basic Events (Zdarzenia podstawowe) i w obszarze MenuScript (MenuScript).

LoadScene, wpisz nazwę sceny pacjenta. Stwórz lub uzyskaj model 3D fantomu nerki z realistycznymi strukturami anatomicznymi. Zaimportuj model 3D do oprogramowania do modelowania CAD 3D.

Następnie użyj funkcji Bryła, Utwórz i Otwór, aby zintegrować pięć punktów obrotu rejestracji z boku modelu. Ustaw Typ otworu na Prosty, Typ gwintownika otworu na Prosty, Punkt wiercenia na Kąt, Wysokość na 0,5 milimetra i Średnicę na 4,0 milimetra. Aby zamocować elektromagnetyczny czujnik odniesienia, utwórz cylinder z otworem i zintegruj go z modelem nerki.

Rozpocznij nowy szkic i użyj opcji Średnica środka okręgu, aby narysować okrąg i okrąg wewnętrzny o średnicy 2,8 milimetra. Wyciągnij zewnętrzny okrąg o 16,5 milimetra. Następnie przejdź do Modyfikuj, a następnie Połącz.

Zaznacz zarówno model nerki 3D, jak i cylinder, wybierz opcję Połącz i potwierdź, klikając przycisk OK. Następnie użyj funkcji Eksportuj lub Drukuj 3D, aby wyeksportować ostateczny zintegrowany model. Następnie użyj elastycznego lub półelastycznego filamentu, takiego jak termoplastyczny poliuretan, aby wydrukować fantom nerki zgodnie z procedurą opisaną wcześniej. Umieść generator pola elektromagnetycznego systemu śledzenia bezpośrednio pod wydrukowanym fantomem nerki.

Usuń wszystkie obiekty ferromagnetyczne z otaczającego środowiska, aby zapobiec niejednorodności pola elektromagnetycznego. Następnie podłącz czujnik elektromagnetyczny i wskaźnik elektromagnetyczny do systemu śledzenia. Przymocuj elektromagnetyczny czujnik odniesienia do modelu 3D, mocując go bezpiecznie wewnątrz cylindra za pomocą kleju.

We fragmentatorze 3D zaimportuj model nerki 3D zawierający punkty obrotu. Skorzystaj z kreatora rejestracji powiernika. Wybierz opcję Umieść punkt kontrolny i cyfrowo przypisz punkty orientacyjne rejestracji.

Aby zarejestrować punkt orientacyjny we fragmentatorze 3D, użyj wskaźnika elektromagnetycznego w celu wskazania fizycznych punktów orientacyjnych. Naciśnij Umieść punkt kontrolny w każdej fizycznej lokalizacji, aby zarejestrować je w oprogramowaniu. Następnie oblicz sztywną liniową transformację rejestracji, naciskając Aktualizuj.

Teraz zastosuj obliczoną transformację rejestracji do modelu 3D, aby połączyć go z elektromagnetycznym czujnikiem odniesienia. Przesuń model fizyczny i upewnij się, że wersja cyfrowa w narzędziu 3D Slicer podąża za jego ruchem. Uruchom holograficzne urządzenie wyświetlające i otwórz skonfigurowaną wcześniej aplikację holograficzną.

Następnie przejdź do odpowiedniego modelu 3D specyficznego dla pacjenta, który jest obecnie wizualizowany we fragmentatorze 3D. Teraz przymocuj marker podczerwieni w określonym miejscu za pomocą kleju, upewniając się, że zamontowane kulki odbijające podczerwień o średnicy 6,4 milimetra są na swoim miejscu zgodnie z zaleceniami planowania przedoperacyjnego. Użyj wskaźnika elektromagnetycznego, aby cyfrowo zidentyfikować punkty docelowe widziane przez wizualizację holograficzną.

Zapisz wynikowy zestaw współrzędnych czujnika EM. Oblicz błąd, porównując zapisane współrzędne docelowe z faktycznie umieszczonymi punktami orientacyjnymi, aby zweryfikować dokładność wizualizacji holograficznej. U wszystkich uczestników błąd lokalizacji punktowej (PLE) wykazał medianę wartości 8,74 milimetra, przy czym indywidualne pomiary mieściły się w zakresie od 2,78 do 13,20 milimetra.

Chirurg 2 konsekwentnie osiągał najniższe pomiary PLE, w tym dwie najdokładniejsze lokalizacje na poziomie 2,78 i 3,48 milimetra. Największy błąd lokalizacji zaobserwowano podczas trzeciego pomiaru przez Chirurga 3 przy PLE wynoszącym 13,20 milimetra. Protokół ten pomoże innym we wdrażaniu projektów holograficznych i dokładnej walidacji systemu rzeczywistości rozszerzonej w warunkach przedklinicznych.

Nasza chirurgiczna grupa badawcza wkrótce rozpocznie pracę z automatycznym śledzeniem holograficznym dla wielu przypadków chirurgii dziecięcej. Ruchome narządy są śledzone w oparciu o algorytmy uczenia maszynowego i obraz z kamer RGB.