Method Article

Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół ten oferuje przewodnik do implementacji śledzenia znaczników w podczerwieni dla swobodnie poruszających się fantomów (np. organów) i wizualizacji holograficznej przy użyciu rzeczywistości rozszerzonej. Ponadto przedstawiono w nim konfigurację do przedklinicznej walidacji systemów nawigacji holograficznej wykorzystujących śledzenie elektromagnetyczne na swobodnie poruszających się fantomach.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rzeczywistość rozszerzona (AR) może poprawić prowadzenie operacji chirurgicznej poprzez nakładanie trójwymiarowych (3D) informacji anatomicznych bezpośrednio na pacjenta podczas zabiegów chirurgicznych. Praktyczne zastosowanie AR napotyka jednak na poważne wyzwania, szczególnie w zakresie dokładnego śledzenia narządów, które poruszają się swobodnie podczas manipulacji chirurgicznej. W związku z tym niezbędne są niezawodne metody śledzenia narządów, aby śródoperacyjnie utrzymać precyzyjne nakładki holograficzne. Przedkliniczna walidacja wizualizacji holograficznych pod kątem dokładności stanowi dodatkowe wyzwanie, wymagające protokołów eksperymentalnych do oceny ilościowej. Protokół ten rozwiązuje te dwa wyzwania: opisuje kompleksowe podejście do opracowywania aplikacji do wizualizacji AR przy użyciu niestandardowych znaczników podczerwieni do śledzenia narządów w czasie rzeczywistym za pomocą wyświetlacza montowanego na głowie (HMD) oraz zapewnia ramy walidacji wykorzystujące śledzenie elektromagnetyczne (EM) do walidacji dokładności holograficznej w eksperymentach fantomowych. W tej pracy przedstawiono wskazówki krok po kroku dotyczące tworzenia modeli 3D dostosowanych do potrzeb pacjenta na podstawie obrazowania medycznego, projektowania i produkcji niestandardowych markerów podczerwieni, integracji tych markerów z aplikacją AR dla gogli HMD i wdrażania ich do nawigacji chirurgicznej. Ponadto szczegółowo opisano procedurę walidacji za pomocą śledzenia EM do ilościowego pomiaru precyzji wizualizacji holograficznych w częściowo odkształcalnych fantomach nerek. W związku z tym protokół ten zarówno ułatwia śledzenie narządów w czasie rzeczywistym, jak i ustanawia metodologię walidacji przedklinicznej. Wdrożenie śledzenia narządów w czasie rzeczywistym może poprawić wytyczne chirurgiczne dla swobodnie poruszających się narządów poprzez dokładne nakładanie hologramów, co potencjalnie prowadzi do poprawy dokładności chirurgicznej i lepszych wyników leczenia pacjentów.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W chirurgii onkologicznej dokładne określenie lokalizacji guza i relacji z sąsiednimi zdrowymi tkankami ma kluczowe znaczenie dla osiągnięcia całkowitej resekcji guza przy jednoczesnym zachowaniu zdrowej tkanki1. Niepełne resekcje mogą prowadzić do nawrotu miejscowego i zmniejszenia przeżywalności 2,3, podczas gdy nadmierne usunięcie tkanek może pogorszyć funkcjonowanie i jakość życia4. Systemy nawigacji chirurgicznej dają nadzieję na poprawę radykalnych resekcji przy jednoczesnym zachowaniu zdrowych tkanek, zapewniając chirurgom wskazówki śródoperacyjne, które mogą potencjalnie prowadzić do poprawy wyników klinicznych5. Jednak konwencjonalne systemy nawigacji chirurgicznej zazwyczaj prezentują dwuwymiarowe (2D) informacje anatomiczne na ekranach umieszczonych poza polem operacyjnym. Takie podejście zmusza chirurgów do mentalnego skorelowania wyświetlanych informacji 2D z rzeczywistą trójwymiarową (3D) anatomią pacjenta, zwiększając obciążenie poznawcze6. Chociaż ostatnie postępy w modelowaniu 3D zapewniają chirurgom lepsze zrozumienie związku guza z otaczającymi strukturami anatomicznymi7, informacje te są nadal wizualizowane poza obszarem operacyjnym, utrzymując problem przełączania ostrości 6,8. Te ograniczenia systemów nawigacji chirurgicznej mogą przyczyniać się do potencjalnych błędów w korzystaniu z nawigacji chirurgicznej i potencjalnie prowadzić do nieoptymalnych wyników chirurgicznych9.

Aby przezwyciężyć wyżej wymienione ograniczenia, rzeczywistość rozszerzona (AR) okazała się obiecującym rozwiązaniem, polegającym na wizualizacji struktur anatomicznych i granic resekcji w 3D u pacjenta10,11. Poprzez nałożenie przedoperacyjnych modeli 3D, które są segmentowane na podstawie danych z rezonansu magnetycznego (MRI) lub tomografii komputerowej (CT), można zobrazować anatomię. W przeglądach systematycznych podkreślono potencjalne korzyści płynące z AR w chirurgii otwartej u nastolatków12, a wstępne prace w tej dziedzinie pokazują wykonalność specyficznych dla pacjenta przewodników 3D wyposażonych w wizualne znaczniki do automatycznej rejestracji13. Van Doormaal i wsp. opracowali system nawigacji z urządzeniem AR, wykorzystując rejestrację punktową i wskaźnik z celem obrazu dla neurochirurgii14. Ocenili oni opracowaną aplikację AR na sali operacyjnej na pacjentach przed operacją oraz w eksperymencie fantomowym, który wykazał błąd rejestracji odniesienia wynoszący odpowiednio 7,2 mm i 4,4 mm.

Pomimo obiecującego postępu, te systemy rejestracji są często sztywne, brakuje im śledzenia narządów docelowych w czasie rzeczywistym, a zatem nadal istnieje potrzeba śledzenia ruchu narządów w czasie rzeczywistym15,16. Dotyczy to w szczególności ruchomych narządów, którymi manipuluje się podczas operacji, takich jak nerki i wątroba, co może skutkować niedokładnymi wskazówkami, koniecznością ponownej rejestracji, która zajmuje dużo czasu, oraz potencjalnym uszkodzeniem zdrowych tkanek lub nieprawidłowymi resekcjami17. Aby jeszcze bardziej rozwiązać te problemy, opracowano nowatorski system AR oparty na aplikacji przedstawionej przez Iqbala i wsp., który wykorzystuje markery w podczerwieni do ciągłego śledzenia narządów18. To rozwiązanie pozwala nakładce AR dynamicznie dostosowywać się do zmian położenia narządów w czasie rzeczywistym, zachowując w ten sposób dokładność przestrzenną i potencjalnie zwiększając precyzję chirurgiczną. Łącząc sztywną pasację z dynamicznym śledzeniem opartym na znacznikach w podczerwieni, system ten oferuje znaczny postęp w kierunku uzyskania dokładnych wskazówek holograficznych w czasie rzeczywistym w chirurgii.

Protokół ten przedstawia nawigację AR opartą na markerach w podczerwieni i system walidacji przedklinicznej dla wyświetlacza montowanego na głowie (HMD). Naszym celem jest opracowanie i walidacja systemu nawigacji w rzeczywistości rozszerzonej w czasie rzeczywistym, aby utrzymać dokładne holograficzne nakładki ruchomych narządów w warunkach przedklinicznych. Po pierwsze, protokół zawiera opis tego, w jaki sposób przygotowywana jest aplikacja holograficzna, która wykorzystuje znaczniki podczerwieni o wymiarach 32 mm (szerokość) x 15 mm (długość) x 6 mm (wysokość) do śledzenia fantomowych organów w czasie rzeczywistym, zachowując nakładkę hologramów 3D niezależnie od ruchu. Jako przykładowy model poruszającego się narządu używamy fantomu nerki, wydrukowanego za pomocą termoplastycznego włókna poliuretanowego (TPU). Po drugie, daje przegląd tego, jak projektować i drukować niestandardowe znaczniki na podczerwień oraz jak zintegrować te znaczniki z aplikacją do wizualizacji holograficznej. Dzięki temu inni badacze i klinicyści mogą dostosować aplikację do innych przedklinicznych scenariuszy fantomowych, które obejmują symulację operacji otwartej i ruchomych narządów. Wreszcie, metoda walidacji oparta na śledzeniu elektromagnetycznym oferuje pomiary ilościowe w celu obliczenia dokładności, oferując przedkliniczną walidację wskazówek holograficznych w eksperymentach fantomowych. Ograniczeniem tej metodologii jest brak zautomatyzowanej procedury rejestracji, co ogranicza dokładność tego systemu. Jednak takie podejście pomaga użytkownikom w określeniu adekwatności opracowanej przez nich techniki AR do ich zastosowania klinicznego.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badanie to było zgodne z wytycznymi naszej instytucji i nie podlegało ustawie o badaniach medycznych z udziałem ludzi (WMO). W związku z tym nie było wymagane uzyskanie świadomej zgody uczestników.

1. Przygotowanie pakietów sprzętowych i programowych do modelowania 3D i wdrożenia aplikacji AR

  1. Pobierz i zainstaluj następujące programy na komputerze osobistym (PC) z systemem Microsoft Windows 10.
    1. Pobierz Unity Hub w wersji 3.11.1 i Unity w wersji 2019.4.22f1 z https://unity.com/download. Dołącz program Visual Studio 2019 podczas instalacji aparatu Unity 2019.4.22f1. Link do instrukcji: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Pobierz MeshMixer v. 3.5.0 z https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, link do instrukcji jest https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Pobierz 3DSlicer v. 5.6.2 z https://download.slicer.org/, link do instrukcji jest https://slicer.readthedocs.io/en/latest/
    4. Pobierz za darmo Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, link do instrukcji jest https://help.autodesk.com/view/fusion360/ENU/
    5. Pobierz Bambu Studio v. 01.09.07.52 z https://bambulab.com/en/download/studio, link do instrukcji jest https://wiki.bambulab.com/en/studio-handy

2. Projektowanie i drukowanie niestandardowych markerów na podczerwień

  1. Projektuj znaczniki na podczerwień w oprogramowaniu do projektowania 3D, jak opisano poniżej.
    1. Otwórz oprogramowanie do projektowania wspomaganego komputerowo (CAD) 3D (patrz Spis materiałów) i utwórz nowy plik.
    2. Wybierz kartę BRYŁA i kliknij przycisk Utwórz szkic , aby rozpocząć szkicowanie nowego projektu znacznika podczerwieni.
    3. Dodaj trzy lub cztery małe kółka o średnicy 3 mm, naciskając koło o średnicy środkowej. Okręgi te służą jako punkty mocowania.
    4. Oblicz punkt środkowy znacznika podczerwieni, łącząc wierzchołki trójkąta z punktami środkowymi przeciwległych boków. Naciśnij Linia i połącz wszystkie okręgi, rysując linie od jednej strony do punktu okręgu.
    5. Utwórz okrąg jako podstawę znacznika podczerwieni w punkcie środkowym za pomocą opcji Okrąg o średnicy środkowej. Użyj prostokąta 3-punktowego, aby narysować prostokąty, które łączą środkowy okrąg z każdym z trzech lub czterech mniejszych okręgów.
    6. Wyciągnij okrągłą podstawę i prostokąty do grubości 2 mm, a małe okręgi do 5 mm.
    7. Dodaj gwint do każdego z trzech stożków za pomocą profilu metrycznego ISO (np. M3 × 0,5, 6 g, prawa ręka), aby pomieścić kule odbijające podczerwień 6,4 mm, naciskając Utwórz , a następnie Gwint.
    8. Wyeksportuj model jako plik obiektu (OBJ) za pomocą funkcji Drukuj 3D lub Eksportuj.
    9. W oprogramowaniu CAD 3D zmierz współrzędne XYZ kulek odbijających podczerwień w korelacji z punktem środkowym, wybierając opcję Zmierz. Zmierz położenie punktów środkowych okręgów w korelacji z punktem środkowym kształtu. Użyj tych współrzędnych w kroku 4.1.2.
  2. Drukuj markery 3D zgodnie z poniższym opisem.
    1. Zaimportuj wyeksportowaną stereolitografię (. STL) znacznika podczerwieni do oprogramowania odpowiedniego dla drukarki 3D, przeciągając go do sceny (patrz Tabela materiałów).
    2. Skonfiguruj parametry krojenia, w tym wysokość warstwy (0,08 mm to najmniejsza możliwa wysokość warstwy, aby uniknąć niedokładnego drukowania nici dla sfery odbijającej podczerwień), naciskając Jakość > Wysokość warstwy. Dodaj podporę do projektu, naciskając przycisk Wsparcie > Włącz strukturę.
    3. Wyeksportuj plik do krojenia na plasterki do drukarki 3D, klikając Podziel na plasterki, wyeksportuj plik, klikając Eksportuj cały plik plasterków i wydrukuj model 3D za pomocą drukarki 3D (patrz Tabela materiałów) z włóknem kwasu polimlekowego (np. PLA; patrz Tabela materiałów).

3. Przygotowanie modelu 3D nerki dostosowanego do potrzeb pacjenta

  1. Segmentacja modelu
    1. Otwórz oprogramowanie do segmentacji 3D (patrz tabela materiałów) i zaimportuj dane MRI/CT pacjenta za pomocą opcji Importuj pliki DICOM.
    2. Przejdź do Edytora segmentów, wybierz odpowiedni wolumin źródłowy i utwórz nową segmentację, klikając przycisk Dodaj.
    3. Wybierz segmentację ręczną lub półautomatyczną w oparciu o modalność obrazowania.
    4. W przypadku ręcznej segmentacji użyj narzędzia Malowanie i wymazywanie, aby podzielić guz i otaczające go odpowiednie struktury w każdym plasterku.
    5. W przypadku segmentacji półautomatycznej rozważ użycie opcji, takich jak Próg z odpowiednim zakresem progowym dla określonej struktury i Nożyce, aby podzielić nieistotne struktury.
    6. Na ekranie Dane wybierz opcję Utworzona segmentacja , a następnie kliknij prawym przyciskiem myszy, aby przejść do przycisku Eksportuj widoczne segmenty do modeli . Upewnij się, że opcja Oko jest wybrana po prawej stronie ekranu.
    7. Wyeksportuj pliki STL modeli, klikając przycisk Zapisz i zapisz pliki jako plik . Plik STL.
  2. Przetwarzanie końcowe modelu specyficznego dla pacjenta
    1. Zaimportuj plik STL do edytora siatki (patrz Tabela materiałów) i zmniejsz liczbę trójkątów, wybierając model 3D > opcji Edytuj , a następnie zmniejsz o wartość procentową, która zmniejszy trójkąty bez deformacji wizualnego aspektu modelu 3D, a następnie naciśnij przycisk Akceptuj.
    2. Upewnij się, że punkty docelowe są wizualnie reprezentowane w modelu 3D aplikacji holograficznej w celu dalszej walidacji. Naciśnij Dodaj sfery i umieść je na modelu 3D.
    3. Wyeksportuj modele 3D do formatu pliku OBJ, naciskając Plik > Eksportuj. Upewnij się, że model 3D ma około 100 000 wielokątów, wybierając model i zmniejsz wielokąty, naciskając przycisk Edytuj > Zmniejsz. Większa liczba wielokątów wymaga większej liczby operacji ze strony procesora graficznego, więc zmniejszenie liczby wielokątów w scenie może znacznie skrócić czas renderowania.

4. Przygotowanie aplikacji holograficznej

  1. Skonfiguruj projekt IRTrackingOrgans_HoloLens zgodnie z poniższym opisem.
    1. Uruchom oprogramowanie do tworzenia gier (patrz Spis materiałów), zaimportuj projekt IRTrackingOrgans_HoloLens i otwórz go.
    2. Dostosuj plik JavaScript Object Notation (JSON) za pomocą edytora tekstu, zgodnie z formatem domyślnym, aby zaimplementować niestandardowy znacznik podczerwieni na podstawie współrzędnych zmierzonych w kroku 2.1.10. Plik JSON jest zapisywany w folderze Assets/StreamingAssets.
    3. Przejdź do zakładki DINO Unity, wybierz ToolManager > ResearchModeController > plik JSON i transformację nadrzędną , a następnie kliknij Create Objects & Apply JSON Setting.
    4. Zaimportuj model 3D wirtualnego znacznika podczerwieni jako zasób utworzony w kroku 1.1.
    5. Przekształć model 3D wirtualnego znacznika podczerwieni do pozycji zduplikowanych znaczników w scenie, wybierając model i zmieniając współrzędne przekształcenia w oknie inspektora.
    6. Wstaw model 3D specyficzny dla pacjenta do sceny, wybierając go i przeciągając do sceny.
    7. Przekształć model 3D pacjenta we właściwe miejsce, tak aby marker na podczerwień dotykał powierzchni modelu 3D. Umieść znacznik podczerwieni blisko środka obiektu 3D, aby zminimalizować niedokładności wynikające z efektu dźwigni.
  2. Łączenie sceny z menu wyboru pacjenta
    1. Aby uzyskać praktyczne zastosowanie i wybrać wiele przypadków, połącz scenę pacjenta z przyciskiem na ekranie menu. Przejdź do sekcji Zasoby > Sceny > Scena menu.
    2. W oknie Hierarchia przejdź do pozycji NearMenu4x2 i ButtonCollection , a następnie odpowiedniego przycisku.
    3. W oknie Inspector (Inspektor) przejdź do pozycji Basic Events (Zdarzenia podstawowe ) i w obszarze MenuScript.LoadScene wpisz nazwę sceny pacjenta.
  3. Przygotowanie gogli do pierwszego wdrożenia
    UWAGA: Ta sekcja jest potrzebna tylko wtedy, gdy aplikacja jest wdrażana po raz pierwszy.
    1. Zaloguj się do urządzenia HMD (patrz tabela materiałów) i ustaw urządzenie w trybie badań. Przejdź do Ustawień > > aktualizacji i zabezpieczeń dla programistów > włącz funkcje dla programistów i wykrywanie urządzeń.
    2. Sparuj gogle z komputerem (Wi-Fi lub USB-C). Jeśli łączysz się po raz pierwszy, wykonaj następujące kroki: Znajdź adres IP gogli na karcie programisty, wpisz adres IP w przeglądarce internetowej, aby połączyć się z portalem urządzeń, a następnie sparuj urządzenie, generując kod PIN i wpisując kod PIN.
  4. Kompilowanie i wdrażanie aplikacji w goglach HMD
    1. Dodaj sceny do kompilacji, przechodząc do pozycji Plik > Ustawienia kompilacji, dodając scenę w następującej kolejności: Menu > Śledzenie sceny , naciskając przycisk Dodaj otwarte sceny.
    2. Skompiluj projekt przy użyciu platformy uniwersalnej systemu Windows, urządzenia docelowego HoloLens i architektury x64. Kliknij przycisk Buduj i wybierz mapę kompilacji.
    3. Otwórz plik kompilacji (.sln) za pomocą programu Visual Studio 2019 i zmień platformę na ARM64. Następnie otwórz Właściwości, klikając prawym przyciskiem myszy plik .sln w Eksploratorze rozwiązań, a w obszarze Debugowanie wpisz adres IP gogla w polu Nazwa maszyny.
    4. Wdróż aplikację w goglach, wybierając pozycję Debuguj > Uruchom bez debugowania.
    5. Uruchom gogle i otwórz aplikację holograficzną. Następnie przejdź do ekranu menu pacjenta i wybierz odpowiedni przypadek , aby zainicjować holograficzną wizualizację i wskazówki.

5. Walidacja holograficznej wizualizacji ruchomych narządów

  1. Częściowo odkształcalny druk fantomowy
    1. Stwórz lub uzyskaj model 3D fantomu nerki z realistycznymi strukturami anatomicznymi.
    2. Zaimportuj model 3D do oprogramowania do modelowania CAD 3D i zintegruj pięć punktów obrotu rejestracji z boku modelu za pomocą > bryłowej Utwórz > otworów > z ustawieniami Typ otworu: Prosty, Typ gwintownika: Prosty, Punkt wiercenia: Kąt, Wysokość: 0,5 mm i Średnica: 4,0 mm.
    3. Zintegruj cylinder z otworem w modelu 3D, aby zamocować czujnik referencyjny EM w celu przeprowadzenia dalszych kroków walidacji.
      1. Utwórz szkic z okręgiem i wewnętrznym okręgiem o średnicy 2,8 mm za pomocą opcji Okrąg o średnicy środka. Wyciągnij zewnętrzny okrąg o 16,5 mm.
      2. Połącz walec z modelem 3D, korzystając z opcji Modyfikuj > Połącz > Wybierz model 3D i walec > Połącz > OK.
    4. Wyeksportuj model 3D za pomocą funkcji Eksportuj lub Drukuj 3D.
    5. Użyj elastycznego lub półelastycznego filamentu, takiego jak TPU (patrz Tabela materiałów), aby wydrukować fantom nerki zgodnie z procedurą opisaną w kroku 2.2.
  2. Konfiguracja 3D Slicer za pomocą systemu śledzenia EM
    1. Zapoznaj się z obszernym samouczkiem 3D Slicer i SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/), aby skonfigurować system EM z 3D-Slicer.
      UWAGA: Ta sekcja protokołu zakłada, że konfiguracja 3DSlicer, konfiguracja śledzenia EM i połączenie są dobrze zrozumiałe i poprawnie skonfigurowane.
    2. Umieść generator pola systemu śledzenia EM (patrz Tabela materiałów) bezpośrednio pod fantomem. Usuń wszystkie materiały ferromagnetyczne z otoczenia, aby uniknąć niejednorodności pola elektromagnetycznego.
    3. Podłącz czujnik EM (patrz Tabela materiałów) i wskaźnik EM (patrz Tabela materiałów) do systemu śledzenia EM. Upewnij się, że przekształcenia tych narzędzi są dokładnie wizualizowane w 3DSlicer.
    4. Przymocuj czujnik referencyjny EM-reference (np. NDI Aurora 6DOF Cable Tool) do modelu 3D, zabezpieczając go w cylindrze za pomocą kleju.
    5. We fragmentatorze 3D Slicer zaimportuj model 3D z punktami obrotu i przydziel punkty punktu orientacyjnego cyfrowo za pomocą Kreatora rejestracji referencyjnej > Umieść punkt kontrolny.
    6. Dokonaj rejestracji punktów orientacyjnych, wskazując punkty orientacyjne w rzeczywistości za pomocą wskaźnika EM, naciśnij Umieść punkt kontrolny i zarejestruj je w 3DSlicer. Oblicz transformację pasowania sztywnego liniowego, naciskając Aktualizuj.
    7. Po rejestracji zastosuj transformację rejestracji do modelu 3D, aby ustanowić połączenie między nim a czujnikiem referencyjnym EM. Następnie, jeśli model 3D zostanie fizycznie przeniesiony, jego cyfrowy odpowiednik w 3DSlicer powinien się poruszyć; W związku z tym potwierdź to wizualnie, obserwując ruchy.
  3. Walidacja holograficzna
    1. Uruchom urządzenie i otwórz aplikację holograficzną z kroku 4.4.5. Następnie przejdź do właściwego modelu 3D pacjenta, który jest również wizualizowany w 3DSlicer.
    2. Utrwalić marker na podczerwień we właściwym miejscu za pomocą kleju, z zamontowanymi znacznikami podczerwieni 6,4 mm (patrz Tabela materiałów), zgodnie z wizualizacją w planowaniu przedoperacyjnym.
    3. Użyj wskaźnika EM, aby cyfrowo wskazać punkty docelowe na podstawie wizualizacji holograficznej. Zapisz zestaw współrzędnych czujnika EM.
    4. Oblicz błąd w lokalizowaniu docelowych punktów orientacyjnych w porównaniu z umieszczonymi punktami orientacyjnymi, aby ilościowo zweryfikować wizualizację holograficzną.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Fantom nerki wykorzystano do zademonstrowania wydajności systemu śledzenia w podczerwieni do śledzenia narządów oraz do walidacji holograficznej konfiguracji walidacji w ruchomych narządach. Pełny przepływ pracy przedstawiono na rysunku 1.

Po pierwsze, nerka została półautomatycznie podzielona na segmenty na podstawie danych MRI za pomocą narzędzia do progowania w 3DSlicer. Wynikowy model 3D został wyeksportowany i zaimportowany do oprogramowania CAD 3D w celu zmniejszenia liczby wielokątów. Drugi model został zapisany, a pięć punktów docelowych zostało zintegrowanych z tym modelem za pomocą narzędzia sferycznego (rysunek 2). Model ten został wykorzystany do walidacji technicznej wyświetlacza holograficznego. Pierwsza wersja modelu, bez punktów docelowych, została zaimportowana do programu Autodesk Fusion. W tym modelu zintegrowano pięć punktów obrotu, a cylinder został zintegrowany, aby ułatwić czujnik EM. Za pomocą oprogramowania do krojenia 3D model 3D został przygotowany do druku 3D. Do stworzenia minimalnie elastycznej powierzchni nerki użyto TPU o gęstości druku 8%.

Zaprojektowano znormalizowany znacznik podczerwieni, wydrukowano go w 3D i wyposażono w kule odbijające podczerwień (średnica 6,4 mm). Na podstawie tego znacznika podczerwieni współrzędne znacznika podczerwieni zostały zmierzone w korelacji z punktem środkowym. Wewnątrz aplikacji do tworzenia gier zaimportowano plik JSON zawierający współrzędne znacznika podczerwieni. Po drugie, zaimportowano model 3D nerki wraz z punktami docelowymi do celów walidacji. Ponadto, w celach wizualizacyjnych, model znacznika podczerwieni został zaimportowany i przetłumaczony na pozycję punktów zaimplementowanych przez plik JSON. Model 3D został przekształcony do środka znacznika podczerwieni (rysunek 3) i zastosowano dodatkowe shadery. Po zintegrowaniu sceny menu pacjenta, aplikacja została wdrożona na goglach.

Na podstawie umiejscowienia markerów IR, holograficzny model 3D jest wizualizowany na nerce wewnątrz dziecięcego fantomu brzusznego za pomocą gogli (ryc. 4). Miał częstotliwość śledzenia 11,6 Hz. Jednak w przypadku odległości przekraczających 60 cm gogle tracą możliwość śledzenia znaczników podczerwieni. Po drugie, ciągłe śledzenie i szum w śledzeniu znakowania w podczerwieni powoduje migotanie nakładki holograficznej, co skutkuje niedokładną wizualizacją.

W celu walidacji system śledzenia EM został połączony z 3D Slicer za pośrednictwem serwera Plus. Czujnik EM umieszczono na nerce fantomowej w celu śledzenia (ryc. 2). Po rejestracji punktowej model 3D został zarejestrowany z medianą dokładności 0,59 mm, co okazało się dokładną metodą walidacji dokładności holograficznej (rysunek 5). Mediana błędu lokalizacji punktu wyniosła 8,74 mm (przedział międzykwartylowy: 6,38 - 10,85), na podstawie danych wejściowych od trzech chirurgów (Tabela 1).

Wdrożenie tego systemu śledzenia i wizualizacji AR wymaga protokołu, który obejmuje około 45-60 minut. Doświadczony lekarz techniczny z 2-letnim doświadczeniem wykonał jednorazowo cały protokół, aby określić czas trwania poszczególnych kroków protokołu. Warto zauważyć, że niektóre kroki należy wykonać tylko raz. Podstawowe kroki dla każdego pacjenta obejmują segmentację, integrację modelu z oprogramowaniem do tworzenia gier oraz konfigurację sceny. Segmentacja struktur anatomicznych w przypadkach specyficznych dla pacjenta wymaga stosunkowo więcej czasu ze względu na wiele zaangażowanych struktur anatomicznych, ale segmentacja miąższu nerki i guza może być zakończona w ciągu 30 minut. Zintegrowanie segmentowanych modeli 3D z aplikacją i wyrównanie ich ze znacznikiem podczerwieni zajmuje około 5 minut ręcznych regulacji. Podłączenie właściwej sceny zajmuje nie więcej niż 5 minut. Czas kompilacji projektu tworzenia gry różni się w zależności od specyfikacji sprzętu, ale zwykle trwa około 3 minut, a następnie około 10 minut w przypadku wdrożenia na urządzeniu HoloLens 2. Ogólnie rzecz biorąc, wyłączając konfigurację walidacji, protokół ten demonstruje metodę śledzenia ruchomych narządów w warunkach przedklinicznych.

figure-results-1
Rysunek 1: Schematyczny przegląd przepływu pracy. Przepływ pracy pokazuje kroki, które są wymagane dla każdego pacjenta w warunkach fantomowych, w tym fazę przedoperacyjną, fazę holograficzną i śródoperacyjną. Faza przedoperacyjna składa się z segmentacji (patrz krok 3) przedoperacyjnego obrazowania medycznego. Przygotowanie aplikacji holograficznej polega na wirtualnym zaplanowaniu rozmieszczenia znacznika w podczerwieni na modelu 3D (patrz krok 4). W fazie śródoperacyjnej chirurdzy mogą wybrać właściwego pacjenta i zamocować marker podczerwieni w celu wizualizacji holograficznej i ciągłego śledzenia. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rycina 2: Przegląd fantomów nerek wykorzystywanych w metodyce walidacji. Po lewej: hologram 3D nerki z punktami docelowymi i wirtualnym umieszczeniem znacznika podczerwieni. Środek: fantom 3D ze zintegrowanym czujnikiem EM i punktami obrotu do rejestracji. Po prawej: Wydrukowany w 3D fantom ze znacznikiem podczerwieni i cylindrem dla czujnika EM, używany do procedury walidacji. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Przygotowanie aplikacji holograficznej w oprogramowaniu do tworzenia gier. Model nerki jest przekształcany w marker w podczerwieni. Po drugie, shadery są nakładane na nerkę i punkty docelowe. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 4: Holograficzna wizualizacja eksperymentu fantomowego. Po lewej: Umieszczenie znacznika podczerwieni na nerce. Po prawej: Holograficzna wizualizacja punktów docelowych w odpowiedniej kolejności (od 1 do 5). Przemieszczenie wizualizacji holograficznej jest spowodowane fluktuacją w śledzeniu znacznika w podczerwieni. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-5
Rysunek 5: Konfiguracja na podstawie protokołu walidacji śledzenia EM do holograficznej wizualizacji ruchomych narządów. Zielony, czerwony i niebieski wizualizują transformację niezbędnych narzędzi EM do walidacji. Kolory żółty i zielony wizualizują transformację dotyczącą wyświetlacza montowanego na głowie (HMD). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

UczestnikPomiarGT-X (mm)GT-Y (mm)GT-Z (mm)Punkt-X (mm)Punkt-Y (mm)Punkt-Z (mm)PLE (mm)
Chirurg 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Chirurg 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Chirurg 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tabela 1: Dla każdego pomiaru podawane są współrzędne prawdy gruntowej (GT) docelowych punktów orientacyjnych, odpowiadające im współrzędne lokalizacji punktów oraz PLE zmierzone dla wszystkich chirurgów.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przedstawiony protokół przedstawia podejście do śledzenia narządów w czasie rzeczywistym i wizualizacji holograficznej, w tym walidacji ruchomych guzów i narządów w warunkach fantomowych. Wykorzystując śledzenie oparte na markerach w podczerwieni za pomocą gogli, metoda ta może potencjalnie zapewnić lepsze utrzymanie prawidłowych anatomicznych nakładek holograficznych podczas manipulacji ruchomymi narządami. Pomimo zastosowania do śledzenia nerek, metoda ta może być również badana w innych dziedzinach klinicznych, takich jak otwarta chirurgia wątroby lub płuc, przy minimalnych korektach w protokole segmentacji. Po drugie, markery podczerwieni mogą być potencjalnie stosowane w różnych technikach chirurgicznych, takich jak chirurgia laparoskopowa. W takich przypadkach naklejki odbijające podczerwień mogą być wykrywane na obrazach laparoskopowych w celu śledzenia narządów, narzędzi lub anatomicznych punktów orientacyjnych. Jednak zastosowanie tej techniki w innych dziedzinach klinicznych lub technikach chirurgicznych może powodować błędy wynikające z różnic w odkształcalności narządu docelowego lub ograniczeń technicznych, takich jak ograniczone pole widzenia, które wymagają walidacji w eksperymentach przedklinicznych.

Krok 1 protokołu koncentruje się przede wszystkim na skonfigurowaniu niezbędnych narzędzi sprzętowych i programowych. Ta konfiguracja wymaga wielu aplikacji i kroków, dlatego ważne jest, aby wszystkie pakiety oprogramowania zostały poprawnie zainstalowane, w tym wszelkie niezbędne rozszerzenia, aby uniknąć problemów z wdrażaniem na dalszych etapach. Nie przewiduje się, że różne wersje oprogramowania będą powodować problemy, mimo że połączenie oprogramowania do tworzenia gier i zintegrowanego środowiska programistycznego ma kluczowe znaczenie.

W kroku 2 opisano proces tworzenia niestandardowych znaczników podczerwieni. Ten krok staje się szczególnie ważny, jeśli śledzenie będzie wykorzystywane do innych zastosowań. Elastyczność w zakresie modyfikacji kształtu markera podczerwieni zapewnia jego potencjalną przydatność do różnych zastosowań przedklinicznych. Ponadto użytkownicy mogą zapoznać się z różnymi opcjami projektowymi, aby poprawić przyleganie znacznika podczerwieni do powierzchni narządu i zwiększyć dokładność śledzenia znacznika podczerwieni. Ponadto testowanie wielu średnic znaczników podczerwieni może prowadzić do lepszej detekcji na odległościach przekraczających 60 cm.

W kroku 3 opisano modelowanie 3D specyficzne dla pacjenta w oparciu o obrazowanie medyczne. Dokładna segmentacja nerki i guza ma kluczowe znaczenie, ponieważ bezpośrednio wpływa na dokładność wskazówek chirurgicznych. Słaba segmentacja może skutkować wprowadzającymi w błąd wizualizacjami, które zagrażają precyzji chirurgicznej19. Po drugie, ten krok jest najbardziej czasochłonny. Integracja w pełni automatycznych metod segmentacji może przyspieszyć działanie protokołu, zmniejszając konieczność ręcznych i półautomatycznych korekt, zapewniając jednocześnie precyzyjną segmentację anatomiczną20. Optymalizacja liczby wielokątów ma kluczowe znaczenie dla osiągnięcia optymalnej wydajności renderowania AR. Jeśli ta optymalizacja nie zostanie wykonana, wydajność gogli będzie znacznie zagrożona.

W kroku 4 przedstawiono konfigurację aplikacji holograficznej, po wdrożeniu DINO-DLL. Jednym z krytycznych aspektów jest prawidłowe wyrównanie między pozycjami znaczników podczerwieni a holograficznymi modelami anatomicznymi, ponieważ wpływa to na dokładność ręcznej rejestracji. W szczególności efekt dźwigni powinien być zminimalizowany, aby zapobiec niedokładności w dalszych odległościach od środka znacznika podczerwieni. Dalsze ulepszenia mogą obejmować wdrożenie dodatkowych metod rejestracji. Co więcej, obecny system wykazuje akceptowalną szybkość śledzenia dla ciągłej wizualizacji, co jest zgodne z literaturą21. Po trzecie, dalsze ulepszenia powinny obejmować implementację filtra Kalmana w celu zmniejszenia szumu w danych śledzenia znaczników w podczerwieni, eliminując w ten sposób drgania wizualizacji holograficznej.

W kroku 5 struktura zapewnia metodę walidacji holograficznej wykorzystującą śledzenie EM. Protokół ten jest przydatny do sprawdzania poprawności hologramów w warunkach fantomowych, ponieważ zapewnia ilościową ocenę dokładności holograficznej ruchomych narządów. Kluczowym krokiem jest tutaj precyzyjna integracja czujników śledzących EM w częściowo odkształcalnych fantomach wydrukowanych w 3D. Użytkownicy muszą zapewnić dokładną kalibrację czujników EM i rejestrację punktów orientacyjnych w 3D Slicer. Jeśli wystąpią błędy walidacji, ponowna rejestracja lub usunięcie jakichkolwiek metalowych przedmiotów może zwiększyć dokładność walidacji. Aby jeszcze bardziej zweryfikować wykonalność kliniczną, można wykorzystać narządy ex vivo do dokładniejszej symulacji tkanki chirurgicznej22.

Protokół ten służy jako kompleksowy przewodnik dla badaczy dążących do wdrożenia rozwiązań AR do śledzenia narządów i walidacji tych systemów w eksperymentach fantomowych. Ponadto zapewnia szeroką konfigurację walidacji, którą można łatwo wykorzystać w różnych scenariuszach klinicznych, szczególnie do walidacji metod AR dla ruchomych narządów. Biorąc pod uwagę złożoność wdrażania aplikacji holograficznych, ramy te ułatwiają przejście od koncepcyjnych rozwiązań opartych na AR do walidacji przedklinicznej.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dziękujemy Hishamowi Iqbalowi za jego wiedzę i wsparcie w ustanowieniu śledzenia znaczników w podczerwieni za pomocą HoloLens 2, opartego na otwartym repozytorium DINO-DLL.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Fragmentator 3D (wersja 5.6.2)KrajalnicaN/AOprogramowanie do segmentacji obrazów medycznych i niezbędne do walidacji śledzenia elektromagnetycznego
6,4 mm (1/4") Znaczniki M3 Znaczniki InfrarecOptymalizacja śledzeniaN/AKule odbijające podczerwień, które należy przymocować do markera do śledzenia 
Autodesk Fusion 360 (wersja 2.0.21508)Biurko AutodeskN/AOprogramowanie CAD do projektowania znaczników i fantomów w podczerwieni
Bambu Studio (v01.09.07.52)Laboratorium BambuN/AOprogramowanie do krojenia druku 3D dla drukarek 3D Bambu
Bambu X1 z włókna węglowegoLaboratorium BambuN/ADrukarka 3D używana do markerów podczerwieni i modeli fantomowych
Urządzenie HoloLens 2Firmy MicrosoftN/AWyświetlacz montowany na głowie w rzeczywistości rozszerzonej do wizualizacji AR
IRTrackingOrgans_HoloLens Otwarty kod źródłowyN/AAplikacja oparta na Unity obsługująca śledzenie znaczników w podczerwieni
MeshMixer (wersja 3.5.0)Biurko AutodeskN/ASłuży do edycji siatki i redukcji wielokątów
NDI Zorza polarnaNorthern Digital Inc.N/AElektromagnetyczny system śledzenia do walidacji
Narzędzie do NDI Aurora 6DOFNorthern Digital Inc.N/ACzujnik do rejestracji ruchu fantomowych organów
Sonda NDI Aurora 6DOFNorthern Digital Inc.N/ASłuży do identyfikowania punktów orientacyjnych na fantomie
Filament kwasu polimlekowegoKażdy producentN/AFilament do drukowania sztywnych części, takich jak markery na podczerwień
Termoplastyczny włókno poliuretanoweKażdy producentN/APółelastyczny filament do druku odkształcalnego fantomu nerki
Unity Hub (wersja 3.11.1) i Unity (wersja 2019.4.22f1)Technologie UnityN/AOprogramowanie do tworzenia gier do tworzenia i wdrażania aplikacji AR
informacji o wersji Visual Studio 2019Firmy MicrosoftN/AWymagane środowisko IDE do integracji i wdrażania aparatu Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).">Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).">Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).">Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).">Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).">Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).">Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).">Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).">Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).">Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).">Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).">van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).">Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).">Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).">van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).">Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).">Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).">Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).">Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).">Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).">Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).">von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles