Name: Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną (Wideo) | JoVE Journal
Uploaded: 2025-09-02T14:15:00.000+00:00
Duration: 10 min 25 s
Description: Odkryj walidację systemów rozszerzonej rzeczywistości dla ruchomych narządów przy użyciu śledzenia podczerwieni i holograficznych wyświetlaczy. Protokół umożliwia precyzyjną nawigację w tkankach miękkich w warunkach przedklinicznych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Dziękujemy Hishamowi Iqbalowi za jego wiedzę i wsparcie w ustanowieniu śledzenia znaczników w podczerwieni za pomocą HoloLens 2, opartego na otwartym repozytorium DINO-DLL.

Badanie to było zgodne z wytycznymi naszej instytucji i nie podlegało ustawie o badaniach medycznych z udziałem ludzi (WMO). W związku z tym nie było wymagane uzyskanie świadomej zgody uczestników.
1. Przygotowanie pakietów sprzętowych i programowych do modelowania 3D i wdrożenia aplikacji AR
<ol>
	<li>Pobierz i zainstaluj następujące programy na komputerze osobistym (PC) z systemem Microsoft Windows 10.<ol>
		<li>Pobierz Unity Hub w wersji 3.11.1 i Unity w wersji 2019.4.22f1 z https://unity.com/download. Dołącz program Visual Studio 2019 podczas instalacji aparatu Unity 2019.4.22f1. Link do instrukcji: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html</li>
		<li>Pobierz MeshMixer v. 3.5.0 z https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, link do instrukcji jest https://help.autodesk.com/view/MSHMXR/2019/ENU/</li>
		<li>Pobierz 3DSlicer v. 5.6.2 z https://download.slicer.org/, link do instrukcji jest https://slicer.readthedocs.io/en/latest/</li>
		<li>Pobierz za darmo Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, link do instrukcji jest https://help.autodesk.com/view/fusion360/ENU/</li>
		<li>Pobierz Bambu Studio v. 01.09.07.52 z https://bambulab.com/en/download/studio, link do instrukcji jest https://wiki.bambulab.com/en/studio-handy</li>
	</ol>
	</li>
</ol>
2. Projektowanie i drukowanie niestandardowych markerów na podczerwień
<ol>
	<li>Projektuj znaczniki na podczerwień w oprogramowaniu do projektowania 3D, jak opisano poniżej.<ol>
		<li>Otwórz oprogramowanie do projektowania wspomaganego komputerowo (CAD) 3D (patrz Spis materiałów) i utwórz nowy plik.</li>
		<li>Wybierz kartę BRYŁA i kliknij przycisk Utwórz szkic , aby rozpocząć szkicowanie nowego projektu znacznika podczerwieni.</li>
		<li>Dodaj trzy lub cztery małe kółka o średnicy 3 mm, naciskając koło o średnicy środkowej. Okręgi te służą jako punkty mocowania.</li>
		<li>Oblicz punkt środkowy znacznika podczerwieni, łącząc wierzchołki trójkąta z punktami środkowymi przeciwległych boków. Naciśnij Linia i połącz wszystkie okręgi, rysując linie od jednej strony do punktu okręgu.</li>
		<li>Utwórz okrąg jako podstawę znacznika podczerwieni w punkcie środkowym za pomocą opcji Okrąg o średnicy środkowej. Użyj prostokąta 3-punktowego, aby narysować prostokąty, które łączą środkowy okrąg z każdym z trzech lub czterech mniejszych okręgów.</li>
		<li>Wyciągnij okrągłą podstawę i prostokąty do grubości 2 mm, a małe okręgi do 5 mm.</li>
		<li>Dodaj gwint do każdego z trzech stożków za pomocą profilu metrycznego ISO (np. M3 × 0,5, 6 g, prawa ręka), aby pomieścić kule odbijające podczerwień 6,4 mm, naciskając Utwórz , a następnie Gwint.</li>
		<li>Wyeksportuj model jako plik obiektu (OBJ) za pomocą funkcji Drukuj 3D lub Eksportuj.</li>
		<li>W oprogramowaniu CAD 3D zmierz współrzędne XYZ kulek odbijających podczerwień w korelacji z punktem środkowym, wybierając opcję Zmierz. Zmierz położenie punktów środkowych okręgów w korelacji z punktem środkowym kształtu. Użyj tych współrzędnych w kroku 4.1.2.</li>
	</ol>
	</li>
	<li>Drukuj markery 3D zgodnie z poniższym opisem.<ol>
		<li>Zaimportuj wyeksportowaną stereolitografię (. STL) znacznika podczerwieni do oprogramowania odpowiedniego dla drukarki 3D, przeciągając go do sceny (patrz Tabela materiałów).</li>
		<li>Skonfiguruj parametry krojenia, w tym wysokość warstwy (0,08 mm to najmniejsza możliwa wysokość warstwy, aby uniknąć niedokładnego drukowania nici dla sfery odbijającej podczerwień), naciskając Jakość > Wysokość warstwy. Dodaj podporę do projektu, naciskając przycisk Wsparcie > Włącz strukturę.</li>
		<li>Wyeksportuj plik do krojenia na plasterki do drukarki 3D, klikając Podziel na plasterki, wyeksportuj plik, klikając Eksportuj cały plik plasterków i wydrukuj model 3D za pomocą drukarki 3D (patrz Tabela materiałów) z włóknem kwasu polimlekowego (np. PLA; patrz Tabela materiałów).</li>
	</ol>
	</li>
</ol>
3. Przygotowanie modelu 3D nerki dostosowanego do potrzeb pacjenta
<ol>
	<li>Segmentacja modelu<ol>
		<li>Otwórz oprogramowanie do segmentacji 3D (patrz tabela materiałów) i zaimportuj dane MRI/CT pacjenta za pomocą opcji Importuj pliki DICOM.</li>
		<li>Przejdź do Edytora segmentów, wybierz odpowiedni wolumin źródłowy i utwórz nową segmentację, klikając przycisk Dodaj.</li>
		<li>Wybierz segmentację ręczną lub półautomatyczną w oparciu o modalność obrazowania.</li>
		<li>W przypadku ręcznej segmentacji użyj narzędzia Malowanie i wymazywanie, aby podzielić guz i otaczające go odpowiednie struktury w każdym plasterku.</li>
		<li>W przypadku segmentacji półautomatycznej rozważ użycie opcji, takich jak Próg z odpowiednim zakresem progowym dla określonej struktury i Nożyce, aby podzielić nieistotne struktury.</li>
		<li>Na ekranie Dane wybierz opcję Utworzona segmentacja , a następnie kliknij prawym przyciskiem myszy, aby przejść do przycisku Eksportuj widoczne segmenty do modeli . Upewnij się, że opcja Oko jest wybrana po prawej stronie ekranu.</li>
		<li>Wyeksportuj pliki STL modeli, klikając przycisk Zapisz i zapisz pliki jako plik . Plik STL.</li>
	</ol>
	</li>
	<li>Przetwarzanie końcowe modelu specyficznego dla pacjenta<ol>
		<li>Zaimportuj plik STL do edytora siatki (patrz Tabela materiałów) i zmniejsz liczbę trójkątów, wybierając model 3D > opcji Edytuj , a następnie zmniejsz o wartość procentową, która zmniejszy trójkąty bez deformacji wizualnego aspektu modelu 3D, a następnie naciśnij przycisk Akceptuj.</li>
		<li>Upewnij się, że punkty docelowe są wizualnie reprezentowane w modelu 3D aplikacji holograficznej w celu dalszej walidacji. Naciśnij Dodaj sfery i umieść je na modelu 3D.</li>
		<li>Wyeksportuj modele 3D do formatu pliku OBJ, naciskając Plik > Eksportuj. Upewnij się, że model 3D ma około 100 000 wielokątów, wybierając model i zmniejsz wielokąty, naciskając przycisk Edytuj > Zmniejsz. Większa liczba wielokątów wymaga większej liczby operacji ze strony procesora graficznego, więc zmniejszenie liczby wielokątów w scenie może znacznie skrócić czas renderowania.</li>
	</ol>
	</li>
</ol>
4. Przygotowanie aplikacji holograficznej
<ol>
	<li>Skonfiguruj projekt IRTrackingOrgans_HoloLens zgodnie z poniższym opisem.<ol>
		<li>Uruchom oprogramowanie do tworzenia gier (patrz Spis materiałów), zaimportuj projekt IRTrackingOrgans_HoloLens i otwórz go.</li>
		<li>Dostosuj plik JavaScript Object Notation (JSON) za pomocą edytora tekstu, zgodnie z formatem domyślnym, aby zaimplementować niestandardowy znacznik podczerwieni na podstawie współrzędnych zmierzonych w kroku 2.1.10. Plik JSON jest zapisywany w folderze Assets/StreamingAssets.</li>
		<li>Przejdź do zakładki DINO Unity, wybierz ToolManager > ResearchModeController > plik JSON i transformację nadrzędną , a następnie kliknij Create Objects & Apply JSON Setting.</li>
		<li>Zaimportuj model 3D wirtualnego znacznika podczerwieni jako zasób utworzony w kroku 1.1.</li>
		<li>Przekształć model 3D wirtualnego znacznika podczerwieni do pozycji zduplikowanych znaczników w scenie, wybierając model i zmieniając współrzędne przekształcenia w oknie inspektora.</li>
		<li>Wstaw model 3D specyficzny dla pacjenta do sceny, wybierając go i przeciągając do sceny.</li>
		<li>Przekształć model 3D pacjenta we właściwe miejsce, tak aby marker na podczerwień dotykał powierzchni modelu 3D. Umieść znacznik podczerwieni blisko środka obiektu 3D, aby zminimalizować niedokładności wynikające z efektu dźwigni.</li>
	</ol>
	</li>
	<li>Łączenie sceny z menu wyboru pacjenta<ol>
		<li>Aby uzyskać praktyczne zastosowanie i wybrać wiele przypadków, połącz scenę pacjenta z przyciskiem na ekranie menu. Przejdź do sekcji Zasoby > Sceny > Scena menu.</li>
		<li>W oknie Hierarchia przejdź do pozycji NearMenu4x2 i ButtonCollection , a następnie odpowiedniego przycisku.</li>
		<li>W oknie Inspector (Inspektor) przejdź do pozycji Basic Events (Zdarzenia podstawowe ) i w obszarze MenuScript.LoadScene wpisz nazwę sceny pacjenta.</li>
	</ol>
	</li>
	<li>Przygotowanie gogli do pierwszego wdrożenia UWAGA: Ta sekcja jest potrzebna tylko wtedy, gdy aplikacja jest wdrażana po raz pierwszy.<ol>
		<li>Zaloguj się do urządzenia HMD (patrz tabela materiałów) i ustaw urządzenie w trybie badań. Przejdź do Ustawień > > aktualizacji i zabezpieczeń dla programistów > włącz funkcje dla programistów i wykrywanie urządzeń.</li>
		<li>Sparuj gogle z komputerem (Wi-Fi lub USB-C). Jeśli łączysz się po raz pierwszy, wykonaj następujące kroki: Znajdź adres IP gogli na karcie programisty, wpisz adres IP w przeglądarce internetowej, aby połączyć się z portalem urządzeń, a następnie sparuj urządzenie, generując kod PIN i wpisując kod PIN.</li>
	</ol>
	</li>
	<li>Kompilowanie i wdrażanie aplikacji w goglach HMD<ol>
		<li>Dodaj sceny do kompilacji, przechodząc do pozycji Plik > Ustawienia kompilacji, dodając scenę w następującej kolejności: Menu > Śledzenie sceny , naciskając przycisk Dodaj otwarte sceny.</li>
		<li>Skompiluj projekt przy użyciu platformy uniwersalnej systemu Windows, urządzenia docelowego HoloLens i architektury x64. Kliknij przycisk Buduj i wybierz mapę kompilacji.</li>
		<li>Otwórz plik kompilacji (.sln) za pomocą programu Visual Studio 2019 i zmień platformę na ARM64. Następnie otwórz Właściwości, klikając prawym przyciskiem myszy plik .sln w Eksploratorze rozwiązań, a w obszarze Debugowanie wpisz adres IP gogla w polu Nazwa maszyny.</li>
		<li>Wdróż aplikację w goglach, wybierając pozycję Debuguj > Uruchom bez debugowania.</li>
		<li>Uruchom gogle i otwórz aplikację holograficzną. Następnie przejdź do ekranu menu pacjenta i wybierz odpowiedni przypadek , aby zainicjować holograficzną wizualizację i wskazówki.</li>
	</ol>
	</li>
</ol>
5. Walidacja holograficznej wizualizacji ruchomych narządów
<ol>
	<li>Częściowo odkształcalny druk fantomowy<ol>
		<li>Stwórz lub uzyskaj model 3D fantomu nerki z realistycznymi strukturami anatomicznymi.</li>
		<li>Zaimportuj model 3D do oprogramowania do modelowania CAD 3D i zintegruj pięć punktów obrotu rejestracji z boku modelu za pomocą > bryłowej Utwórz > otworów > z ustawieniami Typ otworu: Prosty, Typ gwintownika: Prosty, Punkt wiercenia: Kąt, Wysokość: 0,5 mm i Średnica: 4,0 mm.</li>
		<li>Zintegruj cylinder z otworem w modelu 3D, aby zamocować czujnik referencyjny EM w celu przeprowadzenia dalszych kroków walidacji.<ol>
			<li>Utwórz szkic z okręgiem i wewnętrznym okręgiem o średnicy 2,8 mm za pomocą opcji Okrąg o średnicy środka. Wyciągnij zewnętrzny okrąg o 16,5 mm.</li>
			<li>Połącz walec z modelem 3D, korzystając z opcji Modyfikuj > Połącz > Wybierz model 3D i walec > Połącz > OK.</li>
		</ol>
		</li>
		<li>Wyeksportuj model 3D za pomocą funkcji Eksportuj lub Drukuj 3D.</li>
		<li>Użyj elastycznego lub półelastycznego filamentu, takiego jak TPU (patrz Tabela materiałów), aby wydrukować fantom nerki zgodnie z procedurą opisaną w kroku 2.2.</li>
	</ol>
	</li>
	<li>Konfiguracja 3D Slicer za pomocą systemu śledzenia EM<ol>
		<li>Zapoznaj się z obszernym samouczkiem 3D Slicer i SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/), aby skonfigurować system EM z 3D-Slicer. UWAGA: Ta sekcja protokołu zakłada, że konfiguracja 3DSlicer, konfiguracja śledzenia EM i połączenie są dobrze zrozumiałe i poprawnie skonfigurowane.</li>
		<li>Umieść generator pola systemu śledzenia EM (patrz Tabela materiałów) bezpośrednio pod fantomem. Usuń wszystkie materiały ferromagnetyczne z otoczenia, aby uniknąć niejednorodności pola elektromagnetycznego.</li>
		<li>Podłącz czujnik EM (patrz Tabela materiałów) i wskaźnik EM (patrz Tabela materiałów) do systemu śledzenia EM. Upewnij się, że przekształcenia tych narzędzi są dokładnie wizualizowane w 3DSlicer.</li>
		<li>Przymocuj czujnik referencyjny EM-reference (np. NDI Aurora 6DOF Cable Tool) do modelu 3D, zabezpieczając go w cylindrze za pomocą kleju.</li>
		<li>We fragmentatorze 3D Slicer zaimportuj model 3D z punktami obrotu i przydziel punkty punktu orientacyjnego cyfrowo za pomocą Kreatora rejestracji referencyjnej > Umieść punkt kontrolny.</li>
		<li>Dokonaj rejestracji punktów orientacyjnych, wskazując punkty orientacyjne w rzeczywistości za pomocą wskaźnika EM, naciśnij Umieść punkt kontrolny i zarejestruj je w 3DSlicer. Oblicz transformację pasowania sztywnego liniowego, naciskając Aktualizuj.</li>
		<li>Po rejestracji zastosuj transformację rejestracji do modelu 3D, aby ustanowić połączenie między nim a czujnikiem referencyjnym EM. Następnie, jeśli model 3D zostanie fizycznie przeniesiony, jego cyfrowy odpowiednik w 3DSlicer powinien się poruszyć; W związku z tym potwierdź to wizualnie, obserwując ruchy.</li>
	</ol>
	</li>
	<li>Walidacja holograficzna<ol>
		<li>Uruchom urządzenie i otwórz aplikację holograficzną z kroku 4.4.5. Następnie przejdź do właściwego modelu 3D pacjenta, który jest również wizualizowany w 3DSlicer.</li>
		<li>Utrwalić marker na podczerwień we właściwym miejscu za pomocą kleju, z zamontowanymi znacznikami podczerwieni 6,4 mm (patrz Tabela materiałów), zgodnie z wizualizacją w planowaniu przedoperacyjnym.</li>
		<li>Użyj wskaźnika EM, aby cyfrowo wskazać punkty docelowe na podstawie wizualizacji holograficznej. Zapisz zestaw współrzędnych czujnika EM.</li>
		<li>Oblicz błąd w lokalizowaniu docelowych punktów orientacyjnych w porównaniu z umieszczonymi punktami orientacyjnymi, aby ilościowo zweryfikować wizualizację holograficzną.</li>
	</ol>
	</li>
</ol>

<ol><li>Bortot, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image-guided+cancer+surgery%3A+a+narrative+review+on+imaging+modalities+and+emerging+nanotechnology+strategies%5BTitle%5D)+AND+%22J+Nanobiotechnol%22%5BJournal%5D)">Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies.</a> J Nanobiotechnol. 21 (1), 155(2023).</li>
<li>Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Circumferential+resection+margin+as+a+prognostic+factor+after+rectal+cancer+surgery%3A+A+large+population-based+retrospective+study%5BTitle%5D)+AND+%22Cancer+Med%22%5BJournal%5D)">Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study.</a> Cancer Med. 7 (8), 3673-3681 (2018).</li>
<li>Cost, N. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Pathological+review+of+Wilms+tumor+nephrectomy+specimens+and+potential+implications+for+nephron+sparing+surgery+in+Wilms+tumor%5BTitle%5D)+AND+%22J+Urol%22%5BJournal%5D)">Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor.</a> J Urol. 188 (4 Suppl), 1506-1510 (2012).</li>
<li>Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+rationale+for+nephron-sparing+surgery+in+unilateral+non-syndromic+Wilms+tumour%5BTitle%5D)+AND+%22Pediatr+Nephrol%22%5BJournal%5D)">The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour.</a> Pediatr Nephrol. 39 (4), 1023-1032 (2024).</li>
<li>Mezger, U., Jendrewski, C., Bartels, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Navigation+in+surgery%5BTitle%5D)+AND+%22Langenbecks+Arch+Surg%22%5BJournal%5D)">Navigation in surgery.</a> Langenbecks Arch Surg. 398 (4), 501-514 (2013).</li>
<li>Herrlich, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Instrument-mounted+displays+for+reducing+cognitive+load+during+surgical+navigation%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Instrument-mounted displays for reducing cognitive load during surgical navigation.</a> Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).</li>
<li>Portnoy, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+technologies+in+presurgical+planning+of+bone+surgeries%3A+current+evidence+and+future+perspectives%5BTitle%5D)+AND+%22Int+J+Surg%22%5BJournal%5D)">Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives.</a> Int J Surg. 109 (1), 3-10 (2023).</li>
<li>Meulstee, J. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+Holographic-Guided+Surgery%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">Toward Holographic-Guided Surgery.</a> Surg Innov. 26 (1), 86-94 (2019).</li>
<li>Glas, H. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality+Visualization+for+Image-Guided+Surgery%3A+A+Validation+Study+Using+a+Three-Dimensional+Printed+Phantom%5BTitle%5D)+AND+%22J+Oral+Maxillofacial+Surg%22%5BJournal%5D)">Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom.</a> J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).</li>
<li>Fitski, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((MRI-Based+3-Dimensional+Visualization+Workflow+for+the+Preoperative+Planning+of+Nephron-Sparing+Surgery+in+Wilms%27+Tumor+Surgery%3A+A+Pilot+Study%5BTitle%5D)+AND+%22J+Healthcare+Eng%22%5BJournal%5D)">MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study.</a> J Healthcare Eng. 2020 (1), 8899049(2020).</li>
<li>van der Zee, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Resection%3A+A+New+Tool+for+Preparing+for+Nephron-Sparing+Surgery+in+Wilms+Tumor+Patients%5BTitle%5D)+AND+%22Curr+Oncol%22%5BJournal%5D)">Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients.</a> Curr Oncol. 29 (2), 777-784 (2022).</li>
<li>Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+open+surgery%5BTitle%5D)+AND+%22Updates+Surg%22%5BJournal%5D)">Augmented reality in open surgery.</a> Updates Surg. 70 (3), 389-400 (2018).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthc Technol Lett. 5 (5), 162-166 (2018).</li>
<li>van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Clinical+Accuracy+of+Holographic+Navigation+Using+Point-Based+Registration+on+Augmented-Reality+Glasses%5BTitle%5D)+AND+%22Oper+Neurosurg+%28Hagerstown%29%22%5BJournal%5D)">Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses.</a> Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).</li>
<li>Zhao, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+technology+in+image-guided+therapy%3A+State-of-the-art+review%5BTitle%5D)+AND+%22Proc+Inst+Mech+Eng+H%22%5BJournal%5D)">Augmented reality technology in image-guided therapy: State-of-the-art review.</a> Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).</li>
<li>Doughty, M., Ghugre, N. R., Wright, G. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmenting+Performance%3A+A+Systematic+Review+of+Optical+See-Through+Head-Mounted+Displays+in+Surgery%5BTitle%5D)+AND+%22J+Imaging%22%5BJournal%5D)">Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery.</a> J Imaging. 8 (7), 203(2022).</li>
<li>Vávra, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+Development+of+Augmented+Reality+in+Surgery%3A+A+Review%5BTitle%5D)+AND+%22J+Healthcare+Eng%22%5BJournal%5D)">Recent Development of Augmented Reality in Surgery: A Review.</a> J Healthcare Eng. 2017, 4574172(2017).</li>
<li>Iqbal, H., Baena, F. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semi-Automatic+Infrared+Calibration+for+Augmented+Reality+Systems+in+Surgery%5BTitle%5D)+AND+%222022+IEEE%2FRSJ+Int+Conf+Intelligent+Robots+Syst+%28IROS%29%22%5BJournal%5D)">Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery.</a> 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).</li>
<li>Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multi-Scale+Supervised+3D+U-Net+for+Kidneys+and+Kidney+Tumor+Segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation.</a> arXiv. , (2020).</li>
<li>Elloumi, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+Images+Segmentation+Using+a+Deep+Learning-Based+Approach+for+Preoperative+Projection+of+Human+Organ+Model+Using+Augmented+Reality+Technology%5BTitle%5D)+AND+%22Int+J+Comp+Intel+Appl%22%5BJournal%5D)">CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology.</a> Int J Comp Intel Appl. 22 (02), 2350006(2023).</li>
<li>von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UltrARsound%3A+in+situ+visualization+of+live+ultrasound+images+using+HoloLens+2%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">UltrARsound: in situ visualization of live ultrasound images using HoloLens 2.</a> Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).</li>
<li>Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

Przedstawiony protokół przedstawia podejście do śledzenia narządów w czasie rzeczywistym i wizualizacji holograficznej, w tym walidacji ruchomych guzów i narządów w warunkach fantomowych. Wykorzystując śledzenie oparte na markerach w podczerwieni za pomocą gogli, metoda ta może potencjalnie zapewnić lepsze utrzymanie prawidłowych anatomicznych nakładek holograficznych podczas manipulacji ruchomymi narządami. Pomimo zastosowania do śledzenia nerek, metoda ta może być również badana w innych dziedzinach klinicznych, takich jak otwarta chirurgia wątroby lub płuc, przy minimalnych korektach w protokole segmentacji. Po drugie, markery podczerwieni mogą być potencjalnie stosowane w różnych technikach chirurgicznych, takich jak chirurgia laparoskopowa. W takich przypadkach naklejki odbijające podczerwień mogą być wykrywane na obrazach laparoskopowych w celu śledzenia narządów, narzędzi lub anatomicznych punktów orientacyjnych. Jednak zastosowanie tej techniki w innych dziedzinach klinicznych lub technikach chirurgicznych może powodować błędy wynikające z różnic w odkształcalności narządu docelowego lub ograniczeń technicznych, takich jak ograniczone pole widzenia, które wymagają walidacji w eksperymentach przedklinicznych. 
Krok 1 protokołu koncentruje się przede wszystkim na skonfigurowaniu niezbędnych narzędzi sprzętowych i programowych. Ta konfiguracja wymaga wielu aplikacji i kroków, dlatego ważne jest, aby wszystkie pakiety oprogramowania zostały poprawnie zainstalowane, w tym wszelkie niezbędne rozszerzenia, aby uniknąć problemów z wdrażaniem na dalszych etapach. Nie przewiduje się, że różne wersje oprogramowania będą powodować problemy, mimo że połączenie oprogramowania do tworzenia gier i zintegrowanego środowiska programistycznego ma kluczowe znaczenie. 
W kroku 2 opisano proces tworzenia niestandardowych znaczników podczerwieni. Ten krok staje się szczególnie ważny, jeśli śledzenie będzie wykorzystywane do innych zastosowań. Elastyczność w zakresie modyfikacji kształtu markera podczerwieni zapewnia jego potencjalną przydatność do różnych zastosowań przedklinicznych. Ponadto użytkownicy mogą zapoznać się z różnymi opcjami projektowymi, aby poprawić przyleganie znacznika podczerwieni do powierzchni narządu i zwiększyć dokładność śledzenia znacznika podczerwieni. Ponadto testowanie wielu średnic znaczników podczerwieni może prowadzić do lepszej detekcji na odległościach przekraczających 60 cm. 
W kroku 3 opisano modelowanie 3D specyficzne dla pacjenta w oparciu o obrazowanie medyczne. Dokładna segmentacja nerki i guza ma kluczowe znaczenie, ponieważ bezpośrednio wpływa na dokładność wskazówek chirurgicznych. Słaba segmentacja może skutkować wprowadzającymi w błąd wizualizacjami, które zagrażają precyzji chirurgicznej19. Po drugie, ten krok jest najbardziej czasochłonny. Integracja w pełni automatycznych metod segmentacji może przyspieszyć działanie protokołu, zmniejszając konieczność ręcznych i półautomatycznych korekt, zapewniając jednocześnie precyzyjną segmentację anatomiczną20. Optymalizacja liczby wielokątów ma kluczowe znaczenie dla osiągnięcia optymalnej wydajności renderowania AR. Jeśli ta optymalizacja nie zostanie wykonana, wydajność gogli będzie znacznie zagrożona.
W kroku 4 przedstawiono konfigurację aplikacji holograficznej, po wdrożeniu DINO-DLL. Jednym z krytycznych aspektów jest prawidłowe wyrównanie między pozycjami znaczników podczerwieni a holograficznymi modelami anatomicznymi, ponieważ wpływa to na dokładność ręcznej rejestracji. W szczególności efekt dźwigni powinien być zminimalizowany, aby zapobiec niedokładności w dalszych odległościach od środka znacznika podczerwieni. Dalsze ulepszenia mogą obejmować wdrożenie dodatkowych metod rejestracji. Co więcej, obecny system wykazuje akceptowalną szybkość śledzenia dla ciągłej wizualizacji, co jest zgodne z literaturą21. Po trzecie, dalsze ulepszenia powinny obejmować implementację filtra Kalmana w celu zmniejszenia szumu w danych śledzenia znaczników w podczerwieni, eliminując w ten sposób drgania wizualizacji holograficznej. 
W kroku 5 struktura zapewnia metodę walidacji holograficznej wykorzystującą śledzenie EM. Protokół ten jest przydatny do sprawdzania poprawności hologramów w warunkach fantomowych, ponieważ zapewnia ilościową ocenę dokładności holograficznej ruchomych narządów. Kluczowym krokiem jest tutaj precyzyjna integracja czujników śledzących EM w częściowo odkształcalnych fantomach wydrukowanych w 3D. Użytkownicy muszą zapewnić dokładną kalibrację czujników EM i rejestrację punktów orientacyjnych w 3D Slicer. Jeśli wystąpią błędy walidacji, ponowna rejestracja lub usunięcie jakichkolwiek metalowych przedmiotów może zwiększyć dokładność walidacji. Aby jeszcze bardziej zweryfikować wykonalność kliniczną, można wykorzystać narządy ex vivo do dokładniejszej symulacji tkanki chirurgicznej22. 
Protokół ten służy jako kompleksowy przewodnik dla badaczy dążących do wdrożenia rozwiązań AR do śledzenia narządów i walidacji tych systemów w eksperymentach fantomowych. Ponadto zapewnia szeroką konfigurację walidacji, którą można łatwo wykorzystać w różnych scenariuszach klinicznych, szczególnie do walidacji metod AR dla ruchomych narządów. Biorąc pod uwagę złożoność wdrażania aplikacji holograficznych, ramy te ułatwiają przejście od koncepcyjnych rozwiązań opartych na AR do walidacji przedklinicznej.

W chirurgii onkologicznej dokładne określenie lokalizacji guza i relacji z sąsiednimi zdrowymi tkankami ma kluczowe znaczenie dla osiągnięcia całkowitej resekcji guza przy jednoczesnym zachowaniu zdrowej tkanki1. Niepełne resekcje mogą prowadzić do nawrotu miejscowego i zmniejszenia przeżywalności 2,3, podczas gdy nadmierne usunięcie tkanek może pogorszyć funkcjonowanie i jakość życia4. Systemy nawigacji chirurgicznej dają nadzieję na poprawę radykalnych resekcji przy jednoczesnym zachowaniu zdrowych tkanek, zapewniając chirurgom wskazówki śródoperacyjne, które mogą potencjalnie prowadzić do poprawy wyników klinicznych5. Jednak konwencjonalne systemy nawigacji chirurgicznej zazwyczaj prezentują dwuwymiarowe (2D) informacje anatomiczne na ekranach umieszczonych poza polem operacyjnym. Takie podejście zmusza chirurgów do mentalnego skorelowania wyświetlanych informacji 2D z rzeczywistą trójwymiarową (3D) anatomią pacjenta, zwiększając obciążenie poznawcze6. Chociaż ostatnie postępy w modelowaniu 3D zapewniają chirurgom lepsze zrozumienie związku guza z otaczającymi strukturami anatomicznymi7, informacje te są nadal wizualizowane poza obszarem operacyjnym, utrzymując problem przełączania ostrości 6,8. Te ograniczenia systemów nawigacji chirurgicznej mogą przyczyniać się do potencjalnych błędów w korzystaniu z nawigacji chirurgicznej i potencjalnie prowadzić do nieoptymalnych wyników chirurgicznych9.
Aby przezwyciężyć wyżej wymienione ograniczenia, rzeczywistość rozszerzona (AR) okazała się obiecującym rozwiązaniem, polegającym na wizualizacji struktur anatomicznych i granic resekcji w 3D u pacjenta10,11. Poprzez nałożenie przedoperacyjnych modeli 3D, które są segmentowane na podstawie danych z rezonansu magnetycznego (MRI) lub tomografii komputerowej (CT), można zobrazować anatomię. W przeglądach systematycznych podkreślono potencjalne korzyści płynące z AR w chirurgii otwartej u nastolatków12, a wstępne prace w tej dziedzinie pokazują wykonalność specyficznych dla pacjenta przewodników 3D wyposażonych w wizualne znaczniki do automatycznej rejestracji13. Van Doormaal i wsp. opracowali system nawigacji z urządzeniem AR, wykorzystując rejestrację punktową i wskaźnik z celem obrazu dla neurochirurgii14. Ocenili oni opracowaną aplikację AR na sali operacyjnej na pacjentach przed operacją oraz w eksperymencie fantomowym, który wykazał błąd rejestracji odniesienia wynoszący odpowiednio 7,2 mm i 4,4 mm.
Pomimo obiecującego postępu, te systemy rejestracji są często sztywne, brakuje im śledzenia narządów docelowych w czasie rzeczywistym, a zatem nadal istnieje potrzeba śledzenia ruchu narządów w czasie rzeczywistym15,16. Dotyczy to w szczególności ruchomych narządów, którymi manipuluje się podczas operacji, takich jak nerki i wątroba, co może skutkować niedokładnymi wskazówkami, koniecznością ponownej rejestracji, która zajmuje dużo czasu, oraz potencjalnym uszkodzeniem zdrowych tkanek lub nieprawidłowymi resekcjami17. Aby jeszcze bardziej rozwiązać te problemy, opracowano nowatorski system AR oparty na aplikacji przedstawionej przez Iqbala i wsp., który wykorzystuje markery w podczerwieni do ciągłego śledzenia narządów18. To rozwiązanie pozwala nakładce AR dynamicznie dostosowywać się do zmian położenia narządów w czasie rzeczywistym, zachowując w ten sposób dokładność przestrzenną i potencjalnie zwiększając precyzję chirurgiczną. Łącząc sztywną pasację z dynamicznym śledzeniem opartym na znacznikach w podczerwieni, system ten oferuje znaczny postęp w kierunku uzyskania dokładnych wskazówek holograficznych w czasie rzeczywistym w chirurgii.
Protokół ten przedstawia nawigację AR opartą na markerach w podczerwieni i system walidacji przedklinicznej dla wyświetlacza montowanego na głowie (HMD). Naszym celem jest opracowanie i walidacja systemu nawigacji w rzeczywistości rozszerzonej w czasie rzeczywistym, aby utrzymać dokładne holograficzne nakładki ruchomych narządów w warunkach przedklinicznych. Po pierwsze, protokół zawiera opis tego, w jaki sposób przygotowywana jest aplikacja holograficzna, która wykorzystuje znaczniki podczerwieni o wymiarach 32 mm (szerokość) x 15 mm (długość) x 6 mm (wysokość) do śledzenia fantomowych organów w czasie rzeczywistym, zachowując nakładkę hologramów 3D niezależnie od ruchu. Jako przykładowy model poruszającego się narządu używamy fantomu nerki, wydrukowanego za pomocą termoplastycznego włókna poliuretanowego (TPU). Po drugie, daje przegląd tego, jak projektować i drukować niestandardowe znaczniki na podczerwień oraz jak zintegrować te znaczniki z aplikacją do wizualizacji holograficznej. Dzięki temu inni badacze i klinicyści mogą dostosować aplikację do innych przedklinicznych scenariuszy fantomowych, które obejmują symulację operacji otwartej i ruchomych narządów. Wreszcie, metoda walidacji oparta na śledzeniu elektromagnetycznym oferuje pomiary ilościowe w celu obliczenia dokładności, oferując przedkliniczną walidację wskazówek holograficznych w eksperymentach fantomowych. Ograniczeniem tej metodologii jest brak zautomatyzowanej procedury rejestracji, co ogranicza dokładność tego systemu. Jednak takie podejście pomaga użytkownikom w określeniu adekwatności opracowanej przez nich techniki AR do ich zastosowania klinicznego.

<table><tbody><tr><td>Fragmentator 3D (wersja 5.6.2)</td><td>Krajalnica</td><td>N/A</td><td>Oprogramowanie do segmentacji obrazów medycznych i niezbędne do walidacji śledzenia elektromagnetycznego</td></tr><tr><td>6,4 mm (1/4") Znaczniki M3 Znaczniki Infrarec</td><td>Optymalizacja śledzenia</td><td>N/A</td><td>Kule odbijające podczerwień, które należy przymocować do markera do śledzenia&nbsp;</td></tr><tr><td>Autodesk Fusion 360 (wersja 2.0.21508)</td><td>Biurko Autodesk</td><td>N/A</td><td>Oprogramowanie CAD do projektowania znaczników i fantomów w podczerwieni</td></tr><tr><td>Bambu Studio (v01.09.07.52)</td><td>Laboratorium Bambu</td><td>N/A</td><td>Oprogramowanie do krojenia druku 3D dla drukarek 3D Bambu</td></tr><tr><td>Bambu X1 z włókna węglowego</td><td>Laboratorium Bambu</td><td>N/A</td><td>Drukarka 3D używana do markerów podczerwieni i modeli fantomowych</td></tr><tr><td>Urządzenie HoloLens 2</td><td>Firmy Microsoft</td><td>N/A</td><td>Wyświetlacz montowany na głowie w rzeczywistości rozszerzonej do wizualizacji AR</td></tr><tr><td>IRTrackingOrgans_HoloLens&nbsp;</td><td>Otwarty kod źródłowy</td><td>N/A</td><td>Aplikacja oparta na Unity obsługująca śledzenie znaczników w podczerwieni</td></tr><tr><td>MeshMixer (wersja 3.5.0)</td><td>Biurko Autodesk</td><td>N/A</td><td>Służy do edycji siatki i redukcji wielokątów</td></tr><tr><td>NDI Zorza polarna</td><td>Northern Digital Inc.</td><td>N/A</td><td>Elektromagnetyczny system śledzenia do walidacji</td></tr><tr><td>Narzędzie do NDI Aurora 6DOF</td><td>Northern Digital Inc.</td><td>N/A</td><td>Czujnik do rejestracji ruchu fantomowych organów</td></tr><tr><td>Sonda NDI Aurora 6DOF</td><td>Northern Digital Inc.</td><td>N/A</td><td>Służy do identyfikowania punktów orientacyjnych na fantomie</td></tr><tr><td>Filament kwasu polimlekowego</td><td>Każdy producent</td><td>N/A</td><td>Filament do drukowania sztywnych części, takich jak markery na podczerwień</td></tr><tr><td>Termoplastyczny włókno poliuretanowe</td><td>Każdy producent</td><td>N/A</td><td>Półelastyczny filament do druku odkształcalnego fantomu nerki</td></tr><tr><td>Unity Hub (wersja 3.11.1) i Unity (wersja 2019.4.22f1)</td><td>Technologie Unity</td><td>N/A</td><td>Oprogramowanie do tworzenia gier do tworzenia i wdrażania aplikacji AR</td></tr><tr><td>informacji o wersji Visual Studio 2019</td><td>Firmy Microsoft</td><td>N/A</td><td>Wymagane środowisko IDE do integracji i wdrażania aparatu Unity</td></tr></tbody></table>

techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną

Technical Approach for Infrared Tracking for Soft Tissue Navigation with a Holographic Head-Mounted Display and Preclinical Validation

Rzeczywistość rozszerzona (AR) może poprawić prowadzenie operacji chirurgicznej poprzez nakładanie trójwymiarowych (3D) informacji anatomicznych bezpośrednio na pacjenta podczas zabiegów chirurgicznych. Praktyczne zastosowanie AR napotyka jednak na poważne wyzwania, szczególnie w zakresie dokładnego śledzenia narządów, które poruszają się swobodnie podczas manipulacji chirurgicznej. W związku z tym niezbędne są niezawodne metody śledzenia narządów, aby śródoperacyjnie utrzymać precyzyjne nakładki holograficzne. Przedkliniczna walidacja wizualizacji holograficznych pod kątem dokładności stanowi dodatkowe wyzwanie, wymagające protokołów eksperymentalnych do oceny ilościowej. Protokół ten rozwiązuje te dwa wyzwania: opisuje kompleksowe podejście do opracowywania aplikacji do wizualizacji AR przy użyciu niestandardowych znaczników podczerwieni do śledzenia narządów w czasie rzeczywistym za pomocą wyświetlacza montowanego na głowie (HMD) oraz zapewnia ramy walidacji wykorzystujące śledzenie elektromagnetyczne (EM) do walidacji dokładności holograficznej w eksperymentach fantomowych. W tej pracy przedstawiono wskazówki krok po kroku dotyczące tworzenia modeli 3D dostosowanych do potrzeb pacjenta na podstawie obrazowania medycznego, projektowania i produkcji niestandardowych markerów podczerwieni, integracji tych markerów z aplikacją AR dla gogli HMD i wdrażania ich do nawigacji chirurgicznej. Ponadto szczegółowo opisano procedurę walidacji za pomocą śledzenia EM do ilościowego pomiaru precyzji wizualizacji holograficznych w częściowo odkształcalnych fantomach nerek. W związku z tym protokół ten zarówno ułatwia śledzenie narządów w czasie rzeczywistym, jak i ustanawia metodologię walidacji przedklinicznej. Wdrożenie śledzenia narządów w czasie rzeczywistym może poprawić wytyczne chirurgiczne dla swobodnie poruszających się narządów poprzez dokładne nakładanie hologramów, co potencjalnie prowadzi do poprawy dokładności chirurgicznej i lepszych wyników leczenia pacjentów.

Fantom nerki wykorzystano do zademonstrowania wydajności systemu śledzenia w podczerwieni do śledzenia narządów oraz do walidacji holograficznej konfiguracji walidacji w ruchomych narządach. Pełny przepływ pracy przedstawiono na rysunku 1.
Po pierwsze, nerka została półautomatycznie podzielona na segmenty na podstawie danych MRI za pomocą narzędzia do progowania w 3DSlicer. Wynikowy model 3D został wyeksportowany i zaimportowany do oprogramowania CAD 3D w celu zmniejszenia liczby wielokątów. Drugi model został zapisany, a pięć punktów docelowych zostało zintegrowanych z tym modelem za pomocą narzędzia sferycznego (rysunek 2). Model ten został wykorzystany do walidacji technicznej wyświetlacza holograficznego. Pierwsza wersja modelu, bez punktów docelowych, została zaimportowana do programu Autodesk Fusion. W tym modelu zintegrowano pięć punktów obrotu, a cylinder został zintegrowany, aby ułatwić czujnik EM. Za pomocą oprogramowania do krojenia 3D model 3D został przygotowany do druku 3D. Do stworzenia minimalnie elastycznej powierzchni nerki użyto TPU o gęstości druku 8%.
Zaprojektowano znormalizowany znacznik podczerwieni, wydrukowano go w 3D i wyposażono w kule odbijające podczerwień (średnica 6,4 mm). Na podstawie tego znacznika podczerwieni współrzędne znacznika podczerwieni zostały zmierzone w korelacji z punktem środkowym. Wewnątrz aplikacji do tworzenia gier zaimportowano plik JSON zawierający współrzędne znacznika podczerwieni. Po drugie, zaimportowano model 3D nerki wraz z punktami docelowymi do celów walidacji. Ponadto, w celach wizualizacyjnych, model znacznika podczerwieni został zaimportowany i przetłumaczony na pozycję punktów zaimplementowanych przez plik JSON. Model 3D został przekształcony do środka znacznika podczerwieni (rysunek 3) i zastosowano dodatkowe shadery. Po zintegrowaniu sceny menu pacjenta, aplikacja została wdrożona na goglach.
Na podstawie umiejscowienia markerów IR, holograficzny model 3D jest wizualizowany na nerce wewnątrz dziecięcego fantomu brzusznego za pomocą gogli (ryc. 4). Miał częstotliwość śledzenia 11,6 Hz. Jednak w przypadku odległości przekraczających 60 cm gogle tracą możliwość śledzenia znaczników podczerwieni. Po drugie, ciągłe śledzenie i szum w śledzeniu znakowania w podczerwieni powoduje migotanie nakładki holograficznej, co skutkuje niedokładną wizualizacją.
W celu walidacji system śledzenia EM został połączony z 3D Slicer za pośrednictwem serwera Plus. Czujnik EM umieszczono na nerce fantomowej w celu śledzenia (ryc. 2). Po rejestracji punktowej model 3D został zarejestrowany z medianą dokładności 0,59 mm, co okazało się dokładną metodą walidacji dokładności holograficznej (rysunek 5). Mediana błędu lokalizacji punktu wyniosła 8,74 mm (przedział międzykwartylowy: 6,38 - 10,85), na podstawie danych wejściowych od trzech chirurgów (Tabela 1).
Wdrożenie tego systemu śledzenia i wizualizacji AR wymaga protokołu, który obejmuje około 45-60 minut. Doświadczony lekarz techniczny z 2-letnim doświadczeniem wykonał jednorazowo cały protokół, aby określić czas trwania poszczególnych kroków protokołu. Warto zauważyć, że niektóre kroki należy wykonać tylko raz. Podstawowe kroki dla każdego pacjenta obejmują segmentację, integrację modelu z oprogramowaniem do tworzenia gier oraz konfigurację sceny. Segmentacja struktur anatomicznych w przypadkach specyficznych dla pacjenta wymaga stosunkowo więcej czasu ze względu na wiele zaangażowanych struktur anatomicznych, ale segmentacja miąższu nerki i guza może być zakończona w ciągu 30 minut. Zintegrowanie segmentowanych modeli 3D z aplikacją i wyrównanie ich ze znacznikiem podczerwieni zajmuje około 5 minut ręcznych regulacji. Podłączenie właściwej sceny zajmuje nie więcej niż 5 minut. Czas kompilacji projektu tworzenia gry różni się w zależności od specyfikacji sprzętu, ale zwykle trwa około 3 minut, a następnie około 10 minut w przypadku wdrożenia na urządzeniu HoloLens 2. Ogólnie rzecz biorąc, wyłączając konfigurację walidacji, protokół ten demonstruje metodę śledzenia ruchomych narządów w warunkach przedklinicznych.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/68607/68607fig1.jpg"> 
Rysunek 1: Schematyczny przegląd przepływu pracy. Przepływ pracy pokazuje kroki, które są wymagane dla każdego pacjenta w warunkach fantomowych, w tym fazę przedoperacyjną, fazę holograficzną i śródoperacyjną. Faza przedoperacyjna składa się z segmentacji (patrz krok 3) przedoperacyjnego obrazowania medycznego. Przygotowanie aplikacji holograficznej polega na wirtualnym zaplanowaniu rozmieszczenia znacznika w podczerwieni na modelu 3D (patrz krok 4). W fazie śródoperacyjnej chirurdzy mogą wybrać właściwego pacjenta i zamocować marker podczerwieni w celu wizualizacji holograficznej i ciągłego śledzenia. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig1large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/68607/68607fig2.jpg"> 
Rycina 2: Przegląd fantomów nerek wykorzystywanych w metodyce walidacji. Po lewej: hologram 3D nerki z punktami docelowymi i wirtualnym umieszczeniem znacznika podczerwieni. Środek: fantom 3D ze zintegrowanym czujnikiem EM i punktami obrotu do rejestracji. Po prawej: Wydrukowany w 3D fantom ze znacznikiem podczerwieni i cylindrem dla czujnika EM, używany do procedury walidacji. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig2large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/68607/68607fig3.jpg"> 
Rysunek 3: Przygotowanie aplikacji holograficznej w oprogramowaniu do tworzenia gier. Model nerki jest przekształcany w marker w podczerwieni. Po drugie, shadery są nakładane na nerkę i punkty docelowe. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig3large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/68607/68607fig4.jpg"> 
Rysunek 4: Holograficzna wizualizacja eksperymentu fantomowego. Po lewej: Umieszczenie znacznika podczerwieni na nerce. Po prawej: Holograficzna wizualizacja punktów docelowych w odpowiedniej kolejności (od 1 do 5). Przemieszczenie wizualizacji holograficznej jest spowodowane fluktuacją w śledzeniu znacznika w podczerwieni. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig4large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/68607/68607fig5.jpg"> 
Rysunek 5: Konfiguracja na podstawie protokołu walidacji śledzenia EM do holograficznej wizualizacji ruchomych narządów. Zielony, czerwony i niebieski wizualizują transformację niezbędnych narzędzi EM do walidacji. Kolory żółty i zielony wizualizują transformację dotyczącą wyświetlacza montowanego na głowie (HMD). <a href="https://www.jove.com/files/ftp_upload/68607/68607fig5large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Uczestnik</td>
			<td>Pomiar</td>
			<td>GT-X (mm)</td>
			<td>GT-Y (mm)</td>
			<td>GT-Z (mm)</td>
			<td>Punkt-X (mm)</td>
			<td>Punkt-Y (mm)</td>
			<td>Punkt-Z (mm)</td>
			<td>PLE (mm)</td>
		</tr>
		<tr>
			<td>Chirurg 1</td>
			<td>1</td>
			<td>-67.02</td>
			<td>7.88</td>
			<td>297.50</td>
			<td>-76.72</td>
			<td>8.97</td>
			<td>295.49</td>
			<td>9.97</td>
		</tr>
		<tr>
			<td></td>
			<td>2</td>
			<td>-46.77</td>
			<td>4.78</td>
			<td>249.67</td>
			<td>-55.71</td>
			<td>-0.26</td>
			<td>243.61</td>
			<td>11.91</td>
		</tr>
		<tr>
			<td></td>
			<td>3</td>
			<td>-3.21</td>
			<td>-12.36</td>
			<td>244.46</td>
			<td>-9.99</td>
			<td>-3.03</td>
			<td>244.83</td>
			<td>11.54</td>
		</tr>
		<tr>
			<td></td>
			<td>4</td>
			<td>-15.06</td>
			<td>1.16</td>
			<td>273.72</td>
			<td>-20.00</td>
			<td>2.71</td>
			<td>272.70</td>
			<td>5.27</td>
		</tr>
		<tr>
			<td></td>
			<td>5</td>
			<td>-39.00</td>
			<td>5.40</td>
			<td>281.25</td>
			<td>-46.82</td>
			<td>6.91</td>
			<td>277.75</td>
			<td>8.70</td>
		</tr>
		<tr>
			<td>Chirurg 2</td>
			<td>1</td>
			<td>-67.02</td>
			<td>7.88</td>
			<td>297.50</td>
			<td>-63.60</td>
			<td>8.02</td>
			<td>292.12</td>
			<td>6.38</td>
		</tr>
		<tr>
			<td></td>
			<td>2</td>
			<td>-46.77</td>
			<td>4.78</td>
			<td>249.67</td>
			<td>-45.94</td>
			<td>2.73</td>
			<td>246.98</td>
			<td>3.48</td>
		</tr>
		<tr>
			<td></td>
			<td>3</td>
			<td>-3.21</td>
			<td>-12.36</td>
			<td>244.46</td>
			<td>-5.43</td>
			<td>-10.70</td>
			<td>244.27</td>
			<td>2.78</td>
		</tr>
		<tr>
			<td></td>
			<td>4</td>
			<td>-15.06</td>
			<td>1.16</td>
			<td>273.72</td>
			<td>-11.87</td>
			<td>0.80</td>
			<td>267.51</td>
			<td>7.00</td>
		</tr>
		<tr>
			<td></td>
			<td>5</td>
			<td>-39.00</td>
			<td>5.40</td>
			<td>281.25</td>
			<td>-35.54</td>
			<td>5.82</td>
			<td>273.28</td>
			<td>8.70</td>
		</tr>
		<tr>
			<td>Chirurg 3</td>
			<td>1</td>
			<td>-67.02</td>
			<td>7.88</td>
			<td>297.50</td>
			<td>-62.97</td>
			<td>7.87</td>
			<td>287.43</td>
			<td>10.85</td>
		</tr>
		<tr>
			<td></td>
			<td>2</td>
			<td>-46.77</td>
			<td>4.78</td>
			<td>249.67</td>
			<td>-44.59</td>
			<td>-0.42</td>
			<td>242.70</td>
			<td>8.96</td>
		</tr>
		<tr>
			<td></td>
			<td>3</td>
			<td>-3.21</td>
			<td>-12.36</td>
			<td>244.46</td>
			<td>2.23</td>
			<td>-20.32</td>
			<td>253.48</td>
			<td>13.20</td>
		</tr>
		<tr>
			<td></td>
			<td>4</td>
			<td>-15.06</td>
			<td>1.16</td>
			<td>273.72</td>
			<td>-10.73</td>
			<td>1.33</td>
			<td>266.14</td>
			<td>8.74</td>
		</tr>
		<tr>
			<td></td>
			<td>5</td>
			<td>-39.00</td>
			<td>5.40</td>
			<td>281.25</td>
			<td>-34.95</td>
			<td>5.93</td>
			<td>271.74</td>
			<td>10.35</td>
		</tr>
	</tbody>
</table>
Tabela 1: Dla każdego pomiaru podawane są współrzędne prawdy gruntowej (GT) docelowych punktów orientacyjnych, odpowiadające im współrzędne lokalizacji punktów oraz PLE zmierzone dla wszystkich chirurgów.

Protokół ten oferuje przewodnik do implementacji śledzenia znaczników w podczerwieni dla swobodnie poruszających się fantomów (np. organów) i wizualizacji holograficznej przy użyciu rzeczywistości rozszerzonej. Ponadto przedstawiono w nim konfigurację do przedklinicznej walidacji systemów nawigacji holograficznej wykorzystujących śledzenie elektromagnetyczne na swobodnie poruszających się fantomach.

Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną

Augmented Reality (AR) has the potential to enhance surgical guidance by superimposing three-dimensional (3D) anatomical information directly onto the ...

Zakres tego badania w Princess Maxima Center for Pediatric Oncology polega na opracowaniu i walidacji systemu rzeczywistości rozszerzonej. System ten powinien dokładnie wyrównać hologramy poruszających się narządów. Jednym z obecnych wyzwań eksperymentalnych jest sprawdzenie, czy hologram pozostaje dokładnie wyrównany z pozycją poruszającego się narządu w czasie rzeczywistym.Obecnie techniki walidacji rzeczywistości rozszerzonej zostały opisane tylko dla sztywnych struktur anatomicznych, takich jak kości. Jednak nasz protokół ma tę zaletę, że może być również używany do walidacji rzeczywistości rozszerzonej dla ruchomych narządów. Aby rozpocząć, otwórz oprogramowanie do projektowania wspomaganego komputerowo 3D i utwórz nowy plik.Wybierz kartę Bryła i kliknij przycisk Utwórz szkic, aby rozpocząć nowy projekt znacznika podczerwieni. Dodaj trzy lub cztery małe kółka o średnicy trzech milimetrów, naciskając koło o średnicy środkowej. Za pomocą narzędzia Linia połącz wierzchołki trójkąta z punktami środkowymi przeciwległych boków i narysuj linie łączące okręgi, aby obliczyć punkt środkowy.W punkcie środkowym narysuj okrąg za pomocą koła o średnicy środka, a następnie narysuj prostokąty łączące ten środkowy okrąg z każdym z mniejszych okręgów za pomocą narzędzia Prostokąt dwupunktowy. Wyciągnij środkową okrągłą podstawę i łączące prostokąty o grubości dwóch milimetrów. Wyciągnij mniejsze okręgi do grubości pięciu milimetrów.Naciśnij przycisk Utwórz, a następnie wybierz opcję Gwint i dodaj gwinty do trzech stożków przy użyciu profilu metrycznego ISO, aby dopasować kule odbijające podczerwień o średnicy 6,4 milimetra. Korzystając z funkcji drukowania lub eksportu 3D, wyeksportuj ostateczny model jako plik obiektu. W oprogramowaniu do projektowania wspomaganego komputerowo 3D wybierz opcję Zmierz, aby zmierzyć współrzędne x, y i z sfer odbijających podczerwień względem punktu środkowego.Zmierz położenie punktów środkowych każdego małego okręgu w korelacji ze środkiem całego kształtu. Uruchom oprogramowanie do tworzenia gier. Zaimportuj plik projektu IRTrackingOrgans_HoloLens i otwórz projekt.Za pomocą edytora tekstu otwórz plik JavaScript Object Notation zapisany w folderze Assets lub StreamingAssets. Dostosuj plik, aby zdefiniować niestandardowy znacznik podczerwieni, używając wcześniej zarejestrowanych współrzędnych i zgodnie z domyślnym formatem. Na karcie DINO Unity wybierz ToolManager, kliknij ResearchModeController, a następnie plik JSON i transformacja nadrzędna, a następnie kliknij Create Objects Apply JSON Setting.Zaimportuj utworzony model znacznika 3D w podczerwieni. Wybierz model 3D specyficzny dla pacjenta i zmień jego współrzędne przekształcenia w oknie Inspector, aby dopasować je do położenia utworzonych znaczników w scenie. Następnie przeciągnij model 3D specyficzny dla pacjenta do sceny, aby go wstawić.Przekształć model 3D pacjenta, aby wyrównać znacznik podczerwieni do jego powierzchni. Umieść znacznik podczerwieni blisko środka modelu, aby zmniejszyć błąd pozycjonowania wynikający z efektu dźwigni. Teraz połącz scenę pacjenta z przyciskiem na ekranie menu, aby umożliwić wybór wielu przypadków.Przejdź do pozycji Przejdź do zasobów, scen i sceny menu. W oknie Hierarchia przejdź do pozycji NearMenu4x2, a następnie do pozycji ButtonCollection i wybierz odpowiedni przycisk. W oknie Inspector (Inspektor) przejdź do pozycji Basic Events (Zdarzenia podstawowe) i w obszarze MenuScript (MenuScript).LoadScene, wpisz nazwę sceny pacjenta. Stwórz lub uzyskaj model 3D fantomu nerki z realistycznymi strukturami anatomicznymi. Zaimportuj model 3D do oprogramowania do modelowania CAD 3D.Następnie użyj funkcji Bryła, Utwórz i Otwór, aby zintegrować pięć punktów obrotu rejestracji z boku modelu. Ustaw Typ otworu na Prosty, Typ gwintownika otworu na Prosty, Punkt wiercenia na Kąt, Wysokość na 0,5 milimetra i Średnicę na 4,0 milimetra. Aby zamocować elektromagnetyczny czujnik odniesienia, utwórz cylinder z otworem i zintegruj go z modelem nerki.Rozpocznij nowy szkic i użyj opcji Średnica środka okręgu, aby narysować okrąg i okrąg wewnętrzny o średnicy 2,8 milimetra. Wyciągnij zewnętrzny okrąg o 16,5 milimetra. Następnie przejdź do Modyfikuj, a następnie Połącz.Zaznacz zarówno model nerki 3D, jak i cylinder, wybierz opcję Połącz i potwierdź, klikając przycisk OK. Następnie użyj funkcji Eksportuj lub Drukuj 3D, aby wyeksportować ostateczny zintegrowany model. Następnie użyj elastycznego lub półelastycznego filamentu, takiego jak termoplastyczny poliuretan, aby wydrukować fantom nerki zgodnie z procedurą opisaną wcześniej. Umieść generator pola elektromagnetycznego systemu śledzenia bezpośrednio pod wydrukowanym fantomem nerki.Usuń wszystkie obiekty ferromagnetyczne z otaczającego środowiska, aby zapobiec niejednorodności pola elektromagnetycznego. Następnie podłącz czujnik elektromagnetyczny i wskaźnik elektromagnetyczny do systemu śledzenia. Przymocuj elektromagnetyczny czujnik odniesienia do modelu 3D, mocując go bezpiecznie wewnątrz cylindra za pomocą kleju.We fragmentatorze 3D zaimportuj model nerki 3D zawierający punkty obrotu. Skorzystaj z kreatora rejestracji powiernika. Wybierz opcję Umieść punkt kontrolny i cyfrowo przypisz punkty orientacyjne rejestracji.Aby zarejestrować punkt orientacyjny we fragmentatorze 3D, użyj wskaźnika elektromagnetycznego w celu wskazania fizycznych punktów orientacyjnych. Naciśnij Umieść punkt kontrolny w każdej fizycznej lokalizacji, aby zarejestrować je w oprogramowaniu. Następnie oblicz sztywną liniową transformację rejestracji, naciskając Aktualizuj.Teraz zastosuj obliczoną transformację rejestracji do modelu 3D, aby połączyć go z elektromagnetycznym czujnikiem odniesienia. Przesuń model fizyczny i upewnij się, że wersja cyfrowa w narzędziu 3D Slicer podąża za jego ruchem. Uruchom holograficzne urządzenie wyświetlające i otwórz skonfigurowaną wcześniej aplikację holograficzną.Następnie przejdź do odpowiedniego modelu 3D specyficznego dla pacjenta, który jest obecnie wizualizowany we fragmentatorze 3D. Teraz przymocuj marker podczerwieni w określonym miejscu za pomocą kleju, upewniając się, że zamontowane kulki odbijające podczerwień o średnicy 6,4 milimetra są na swoim miejscu zgodnie z zaleceniami planowania przedoperacyjnego. Użyj wskaźnika elektromagnetycznego, aby cyfrowo zidentyfikować punkty docelowe widziane przez wizualizację holograficzną.Zapisz wynikowy zestaw współrzędnych czujnika EM. Oblicz błąd, porównując zapisane współrzędne docelowe z faktycznie umieszczonymi punktami orientacyjnymi, aby zweryfikować dokładność wizualizacji holograficznej. U wszystkich uczestników błąd lokalizacji punktowej (PLE) wykazał medianę wartości 8,74 milimetra, przy czym indywidualne pomiary mieściły się w zakresie od 2,78 do 13,20 milimetra.Chirurg 2 konsekwentnie osiągał najniższe pomiary PLE, w tym dwie najdokładniejsze lokalizacje na poziomie 2,78 i 3,48 milimetra. Największy błąd lokalizacji zaobserwowano podczas trzeciego pomiaru przez Chirurga 3 przy PLE wynoszącym 13,20 milimetra. Protokół ten pomoże innym we wdrażaniu projektów holograficznych i dokładnej walidacji systemu rzeczywistości rozszerzonej w warunkach przedklinicznych.Nasza chirurgiczna grupa badawcza wkrótce rozpocznie pracę z automatycznym śledzeniem holograficznym dla wielu przypadków chirurgii dziecięcej. Ruchome narządy są śledzone w oparciu o algorytmy uczenia maszynowego i obraz z kamer RGB.

technical-approach-for-infrared-tracking-for-soft-tissue-navigation

Research

JoVE Journal

Medicine

Medycyna

Ten film demonstruje użycie rozszerzonej rzeczywistości (AR) do resekcji guza, gdzie zeskanowana w 3D próbka guza jest wizualizowana jako hologram na wyświetlaczu zamontowanym na głowie. Chirurdzy mogą manipulować i blokować hologram w miejscu, aby zapewnić precyzyjne usunięcie guza.

Wizualizacja wyciętej próbki guza w oparciu o rzeczywistość rozszerzoną

Źródło: Kato, D. et. al., Ocena i manipulacja aktywnością neuronalną za pomocą dwufotonowej mikroskopii holograficznej. J. Vis. Exp. (2022)Ten film przedstawia technikę obrazowania dwufotonowego w połączeniu z optogenetyką przy użyciu mikroskopii holograficznej. Technika ta, wykorzystująca przestrzenny modulator światła, umożliwia precyzyjną stymulację neuronów polegającą na ekspresji białka wrażliwego na światło czerwone i obrazowanie wapnia przy minimalnym fotouszkodzeniu. Takie podejście...

Dwufotonowa mikroskopia holograficzna do badania aktywności neuronalnej i łączności w modelu mysim

Obrazowanie fluorescencyjne w bliskiej podczerwieni (NIRF) może poprawić wyniki terapeutyczne operacji raka piersi, umożliwiając śródoperacyjną lokalizację guza i ocenę statusu marginesu chirurgicznego. Korzystając z symulujących tkankowo fantomów piersi zawierających fluorescencyjne inkluzje symulujące nowotwór, można ocenić potencjalne zastosowania kliniczne obrazowania NIRF u pacjentek z rakiem piersi w celach standaryzacyjnych i szkoleniowych.

Fantomy symulujące tkanki do oceny potencjalnych zastosowań obrazowania fluorescencyjnego w bliskiej podczerwieni w chirurgii raka piersi

Poniżej przedstawiamy szczegółowy opis eksperymentalnego protokołu obrazowania z nowo opracowanym ręcznym systemem optoakustycznym (fotoakustycznym) do trójwymiarowego obrazowania funkcjonalnego i molekularnego w czasie rzeczywistym. Wykazana wysoka wydajność i wszechstronność mogą zdefiniować nowe obszary zastosowań technologii optoakustycznej w badaniach przedklinicznych i praktyce klinicznej.

Uniwersalna ręczna trójwymiarowa sonda do obrazowania optoakustycznego do angiografii tkanek głębokich i funkcjonalnych badań przedklinicznych w czasie rzeczywistym

Dokładna i efektywna wizualizacja inwazyjnych urządzeń medycznych jest niezwykle ważna w wielu minimalnie inwazyjnych procedurach pod kontrolą USG. W tym miejscu przedstawiono metodę lokalizacji położenia przestrzennego końcówki igły względem sondy do obrazowania ultrasonograficznego.

Trójwymiarowe ultradźwiękowe śledzenie końcówki igły za pomocą światłowodowego odbiornika ultradźwiękowego

Opracowaliśmy dwufotonowy mikroskop holograficzny, który może wizualizować, oceniać i manipulować aktywnością neuronalną przy użyciu wysokiej rozdzielczości czasoprzestrzennej, w celu wyjaśnienia patogenezy zaburzeń neuropsychiatrycznych, które są związane z nieprawidłową aktywnością neuronalną.

Ocena i manipulacja aktywnością neuronalną za pomocą dwufotonowej mikroskopii holograficznej

Wyświetlacz rzeczywistości rozszerzonej, Magic Leap, został użyty w połączeniu z konwencjonalnym systemem nawigacji do umieszczania pedikularnych w modelu świni, stosując nowatorski przepływ pracy. Przy medianie czasu wprowadzania wynoszącej &lt;2,5 min, według Gertzbeina osiągnięto submilimetrową dokładność techniczną i 100% dokładność kliniczną.

Umieszczanie pedikularnych za pomocą wyświetlacza montowanego na głowie w modelu świni

Przezczaszkowa stymulacja ultradźwiękowa (TUS) to nowa nieinwazyjna technika neuromodulacji, która wymaga starannego planowania symulacji akustycznych i termicznych. Metodologia opisuje proces przetwarzania obrazów i symulacji ultradźwiękowej w celu zapewnienia wydajnego, przyjaznego dla użytkownika i usprawnionego planowania eksperymentów na ludziach.

Pipeline do planowania i wykonywania eksperymentów z przezczaszkową neuromodulacją ultrasonograficzną u ludzi

Ten protokół opisuje metodę umieszczania elektrod sterowanych neuronami do ogniskowej, przezczaszkowej stymulacji prądem stałym (tDCS) podawanej podczas funkcjonalnego rezonansu magnetycznego (fMRI).

Neuronavigated Zogniskowana przezczaszkowa stymulacja prądem stałym podawana podczas funkcjonalnego rezonansu magnetycznego

Tutaj opisujemy standaryzowany protokół mapowania motorycznego z wykorzystaniem nTMS połączony z rekonstrukcją drogi korowo-rdzeniowej (CST) opartą na obrazowaniu tensorowym dyfuzji (DTI). Protokół jest powtarzalny, klinicznie wykonalny i łatwo integrowalny z rutynowym procesem klinicznym, zapewniając solidne i wartościowe ramy do oceny szlaków ruchowych, badań nad neuroplastycznością oraz planowania rehabilitacji.

Standaryzowany protokół do funkcjonalnego mapowania motorycznego z wykorzystaniem nawigowanej przezczaszkowej stymulacji magnetycznej

Odkryj walidację systemów rozszerzonej rzeczywistości dla ruchomych narządów przy użyciu śledzenia podczerwieni i holograficznych wyświetlaczy. Protokół umożliwia precyzyjną nawigację w tkankach miękkich w warunkach przedklinicznych.

Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną (Wideo) | JoVE Journal

Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną

Przeglądaj więcej filmów