Method Article

Holografik Başa Takılan Ekran ve Klinik Öncesi Doğrulama ile Yumuşak Doku Navigasyonu için Kızılötesi İzleme için Teknik Yaklaşım

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu protokol, serbest hareket eden hayaletler (örneğin organlar) için kızılötesi işaretleyici izleme ve Artırılmış Gerçeklik kullanarak holografik görselleştirme uygulamak için bir kılavuz sunar. Ek olarak, serbest hareket eden fantomlar üzerinde elektromanyetik izleme kullanan holografik navigasyon sistemlerinin klinik öncesi doğrulaması için bir kurulumun ana hatlarını çizer.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Artırılmış Gerçeklik (AR), cerrahi prosedürler sırasında üç boyutlu (3D) anatomik bilgileri doğrudan hastanın üzerine bindirerek cerrahi rehberliği geliştirme potansiyeline sahiptir. Bununla birlikte, AR'nin pratik uygulaması, özellikle cerrahi manipülasyon sırasında serbestçe hareket eden organların doğru bir şekilde izlenmesinde önemli zorluklarla karşılaşmaktadır. Sonuç olarak, intraoperatif olarak hassas holografik kaplamaları korumak için güvenilir organ izleme yöntemleri gereklidir. Doğrulukla ilgili holografik görselleştirmelerin klinik öncesi doğrulanması, kantitatif değerlendirme için deneysel protokoller gerektiren ek zorluklar ortaya çıkarmaktadır. Bu protokol bu iki zorluğu ele alır: Başa Takılan Ekran (HMD) kullanarak gerçek zamanlı organ takibi için özel yapım kızılötesi işaretleyiciler kullanarak AR görselleştirme uygulamaları geliştirmek için kapsamlı bir yaklaşım açıklar ve fantom deneylerinde holografik doğruluğu doğrulamak için elektromanyetik (EM) izlemeden yararlanan bir doğrulama çerçevesi sağlar. Bu çalışma, tıbbi görüntülemeden hastaya özel 3B modeller oluşturmak, özel kızılötesi işaretleyiciler tasarlamak ve üretmek, bu belirteçleri bir HMD için bir AR uygulamasına entegre etmek ve bunları cerrahi navigasyon için dağıtmak için adım adım rehberliği özetlemektedir. Ek olarak, yarı deforme olabilen böbrek fantomlarında holografik görselleştirmelerin hassasiyetini nicel olarak ölçmek için EM izlemeyi kullanarak bir doğrulama prosedürünü detaylandırır. Bu nedenle, bu protokol hem gerçek zamanlı organ takibini kolaylaştırır hem de klinik öncesi bir validasyon metodolojisi oluşturur. Gerçek zamanlı organ takibinin uygulanması, hologramları doğru bir şekilde üst üste bindirerek serbest hareket eden organlar için cerrahi rehberliği geliştirebilir ve potansiyel olarak gelişmiş cerrahi doğruluk ve daha iyi hasta sonuçlarına yol açabilir.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cerrahi onkolojide, tümörün yerini ve komşu sağlıklı dokularla ilişkisini doğru bir şekilde tanımlamak, sağlıklı dokuyu korurken tam tümör rezeksiyonu elde etmek için çok önemlidir1. Eksik rezeksiyonlar lokal nükslere ve sağkalım oranının azalmasına 2,3 yol açabilirken, aşırı doku çıkarılması fonksiyon ve yaşam kalitesini bozabilir4. Cerrahi navigasyon sistemleri, cerrahlara potansiyel olarak daha iyi klinik sonuçlara yol açabilecek intraoperatif rehberlik sağlayarak, sağlıklı dokuyu korurken radikal rezeksiyonları iyileştirmede umut vaat etmektedir5. Bununla birlikte, geleneksel cerrahi navigasyon sistemleri tipik olarak cerrahi alanın dışına yerleştirilmiş ekranlarda iki boyutlu (2D) anatomik bilgiler sunar. Bu yaklaşım, cerrahları, görüntülenen 2D bilgileri hastanın gerçek üç boyutlu (3D) anatomisi ile zihinsel olarak ilişkilendirmeye zorlayarak bilişsel yükü artırır6. 3D modellemedeki son gelişmeler, cerrahlara tümörün çevredeki anatomik yapılarla olan ilişkisini daha iyi anlamalarını sağlasada 7, bu bilgiler hala ameliyat alanının dışında görselleştirilmekte ve anahtarlama odak probleminikorumaktadır 6,8. Cerrahi navigasyon sistemlerinin bu sınırlamaları, cerrahi navigasyonun kullanımında potansiyel hatalara katkıda bulunabilir ve potansiyel olarak optimal olmayan cerrahi sonuçlara yol açabilir9.

Yukarıda belirtilen sınırlamaların üstesinden gelmek için, artırılmış gerçeklik (AR), anatomik yapıları ve rezeksiyon sınırlarını hasta10,11 üzerinde 3 boyutlu olarak görselleştirerek umut verici bir çözüm olarak ortaya çıkmıştır. Manyetik Rezonans Görüntüleme (MRG) veya Bilgisayarlı Tomografi (BT) verilerine dayalı olarak segmentlere ayrılan ameliyat öncesi 3D modellerin üst üste bindirilmesiyle anatomi görselleştirilebilir. Sistematik derlemelerde, ergen hastalarda açık cerrahi için AR'nin potansiyel faydaları vurgulanmıştır12 ve bu alandaki ön çalışmalar, otomatik kayıt için görsel belirteçlerle donatılmış hastaya özel 3D kılavuzların fizibilitesini göstermektedir13. Van Doormaal ve ark. nöroşirürji için nokta tabanlı bir kayıt ve görüntü hedefli bir işaretçi kullanarak bir AR cihazı ile bir navigasyon sistemi geliştirdiler14. Geliştirilen AR uygulamasını ameliyathanede ameliyat öncesi hastalar üzerinde ve sırasıyla 7.2 mm ve 4.4 mm'lik bir referans kayıt hatası gösteren hayali bir deneyde değerlendirdiler.

Umut verici ilerlemeye rağmen, bu kayıt sistemleri genellikle katıdır, hedef organların gerçek zamanlı takibinden yoksundur ve bu nedenle, organ hareketinin gerçek zamanlı olarak izlenmesine ihtiyaç vardır15,16. Bu özellikle, böbrek ve karaciğer gibi ameliyat sırasında manipüle edilen hareketli organlar için geçerlidir, bu da yanlış yönlendirmeye, önemli ölçüde zaman alan yeniden kayıt ihtiyacına ve sağlıklı dokuya potansiyel zarar veya yanlış rezeksiyonlara neden olabilir17. Bu sorunları daha fazla ele almak için, Iqbal ve ark. sürekli organ takibi için kızılötesi belirteçleri dahil etmek üzere18. Bu gelişme, AR kaplamasının organ pozisyonundaki gerçek zamanlı değişikliklere dinamik olarak uyum sağlamasına olanak tanır, böylece uzamsal doğruluğu korur ve potansiyel olarak cerrahi hassasiyeti artırır. Katı kaydı dinamik kızılötesi işaretleyici tabanlı izleme ile birleştiren bu sistem, cerrahide doğru, gerçek zamanlı holografik rehberlik elde etme yolunda önemli ilerlemeler sunar.

Bu protokol, Başa Takılan Ekran (HMD) için kızılötesi işaretleyici tabanlı bir AR navigasyonu ve klinik öncesi doğrulama sistemi sunar. Klinik öncesi bir ortamda hareketli organların doğru holografik kaplamalarını korumak için gerçek zamanlı bir artırılmış gerçeklik navigasyon sistemi geliştirmeyi ve doğrulamayı amaçlıyoruz. İlk olarak, protokol, hayalet organları gerçek zamanlı olarak izlemek için 32 mm (genişlik) x 15 mm (uzunluk) x 6 mm (yükseklik) boyutlarında kızılötesi işaretleyiciler kullanan ve 3D hologramların kaplamasını hareketten bağımsız olarak koruyan bir holografik uygulamanın nasıl hazırlandığına dair bir açıklama sağlar. Hareket eden bir organ için örnek model olarak termoplastik poliüretan filament (TPU) ile basılmış bir böbrek fantomu kullanıyoruz. İkinci olarak, özel kızılötesi işaretçilerin nasıl tasarlanıp yazdırılacağına ve bu işaretçilerin holografik görselleştirme uygulamasına nasıl entegre edileceğine dair bir genel bakış sunar. Bu, diğer araştırmacıların ve klinisyenlerin, uygulamayı açık cerrahi ve hareketli organların simülasyonunu içeren diğer klinik öncesi fantom senaryolarına uyarlamasına olanak tanır. Son olarak, elektromanyetik izlemeye dayalı bir doğrulama yöntemi, doğruluğu hesaplamak için nicel ölçümler sunar ve fantom deneylerinde holografik rehberliğin klinik öncesi doğrulamasını sunar. Bu metodolojinin bir sınırlaması, bu sistemin doğruluğunu kısıtlayan otomatik bir kayıt prosedürünün olmamasıdır. Bununla birlikte, bu yaklaşım, kullanıcıların geliştirdikleri AR tekniğinin klinik uygulamaları için uygunluğunu belirlemelerine yardımcı olur.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma kurumumuzun yönergelerini takip etti ve İnsan Deneklerini İçeren Tıbbi Araştırmalar Yasası'na (WMO) tabi değildi. Bu nedenle, katılımcılardan bilgilendirilmiş onam alınması gerekli değildi.

1. 3D modelleme ve AR uygulama dağıtımı için donanım ve yazılım paketlerinin hazırlanması

  1. Aşağıdaki yazılım programlarını Microsoft Windows 10 çalıştıran bir kişisel bilgisayara (PC) indirin ve yükleyin.
    1. https://unity.com/download'dan Unity Hub v3.11.1 ve Unity v. 2019.4.22f1'i indirin. Unity 2019.4.22f1 yüklemesi sırasında Visual Studio 2019'u dahil edin. Kılavuza bağlantı: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. MeshMixer v. 3.5.0'ı https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64'dan indirin, kılavuz bağlantısı https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. 3DSlicer v. 5.6.2'yi https://download.slicer.org/'dan indirin, kılavuz bağlantısı https://slicer.readthedocs.io/en/latest/
    4. Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal indirin, kılavuz bağlantısı https://help.autodesk.com/view/fusion360/ENU/
    5. Bambu Studio v. 01.09.07.52'yi https://bambulab.com/en/download/studio'dan indirin, kullanım kılavuzu bağlantısı https://wiki.bambulab.com/en/studio-handy

2. Özel kızılötesi işaretleyiciler tasarlama ve yazdırma

  1. Aşağıda açıklandığı gibi bir 3D Tasarım Yazılımında kızılötesi işaretleyiciler tasarlayın.
    1. 3B Bilgisayar Destekli Tasarım (CAD) yazılımını açın (Malzeme Tablosuna bakın) ve yeni bir dosya oluşturun.
    2. KATI sekmesini seçin ve kızılötesi işaretleyici için yeni bir tasarım çizmeye başlamak üzere Çizim Oluştur'a tıklayın.
    3. Merkez Çapı Dairesi'ne basarak 3 mm çapında üç veya dört küçük daire ekleyin. Bu daireler vidalar için bağlantı noktaları görevi görür.
    4. Üçgenin köşelerini karşı kenarların orta noktalarına bağlayarak kızılötesi işaretleyicinin merkez noktasını hesaplayın. Çizgi'ye basın ve bir taraftan dairenin noktasına çizgiler çizerek tüm daireleri birleştirin.
    5. Merkez Çapı Dairesi'ni kullanarak merkez noktasında kızılötesi işaretleyicinin tabanı olarak bir daire oluşturun. Ortadaki daireyi üç veya dört küçük dairenin her birine bağlayan dikdörtgenler çizmek için 3 noktalı Dikdörtgen kullanın.
    6. Dairesel tabanı ve dikdörtgenleri 2 mm kalınlığa ve küçük daireleri 5 mm kalınlığa kadar sıkın.
    7. 6,4 mm kızılötesi yansıtıcı küreleri yerleştirmek için bir ISO Metrik Profili (ör. M3 × 0,5, 6g, Sağ El) kullanarak üç koninin her birine bir iş parçacığı ekleyin.
    8. 3D Print (Yazdır) veya Dışa Aktar işlevini kullanarak modeli bir nesne (OBJ) dosyası olarak dışa aktarın.
    9. 3D CAD yazılımında, Ölç'ü seçerek kızılötesi yansıtıcı kürelerin XYZ koordinatlarını merkez noktasına göre ölçün. Dairelerin merkez noktalarının konumlarını, şeklin merkez noktasına göre ölçün. Adım 4.1.2'de bu koordinatları kullanın.
  2. 3B işaretleyicileri aşağıda açıklandığı gibi yazdırın.
    1. Dışa aktarılan stereolitografiyi içe aktarın (. STL) kızılötesi işaretleyiciyi sahneye sürükleyerek 3D yazıcı için uygun yazılıma dönüştürün (bkz. Malzeme Tablosu).
    2. Kalite > Katman Yüksekliği'ne basarak katman yüksekliği (kızılötesi yansıtıcı küre için ipliğin hatalı yazdırılmasını önlemek için mümkün olan en küçük katman yüksekliği 0,08 mm'dir) dahil olmak üzere dilimleme parametrelerini yapılandırın. Struct'ı etkinleştirmek > Destek'e basarak tasarıma destek ekleyin.
    3. Tümünü Dilimle'yi tıklatarak dilimleme dosyasını 3B yazıcıya aktarın, Tüm Dilim Dosyasını Dışa Aktar'ı tıklatarak dosyayı dışa aktarın ve polilaktik asit filamentli bir 3B yazıcı (Malzeme Tablosu'na bakın) kullanarak 3B modeli yazdırın (örneğin, PLA; Malzeme Tablosu'na bakın).

3. Böbreğin hastaya özel 3 boyutlu modelinin hazırlanması

  1. Model segmentasyonu
    1. 3D segmentasyon yazılımını açın (Malzeme Tablosuna bakın) ve DICOM dosyalarını İçe Aktar'ı kullanarak hasta MRI/CT verilerini içe aktarın.
    2. Segment Düzenleyici'ye gidin, uygun Kaynak birimini seçin ve Ekle'yi tıklayarak yeni bir segmentasyon oluşturun.
    3. Görüntüleme modalitesine göre manuel veya yarı otomatik segmentasyonu seçin.
    4. Manuel segmentasyon için, tümörü ve çevresindeki ilgili yapıları her dilimde segmentlere ayırmak için Boya ve Sil aracını kullanın.
    5. Yarı otomatik segmentasyon için, belirli yapı için uygun eşik aralığına sahip Eşik ve alakasız yapıları segmentlere ayırmak için Makas gibi seçenekleri kullanmayı düşünün.
    6. Veri ekranında, Oluşturulan Segmentasyonu seçin ve ardından Görünür Segmentleri Modellere Aktar düğmesine gitmek için sağ tıklayın. Ekranın sağ tarafında Göz seçeneğinin seçili olduğundan emin olun.
    7. Kaydet'e tıklayarak modellerin STL dosyalarını dışa aktarın ve dosyaları bir . STL dosyası.
  2. Hastaya özel modelin sonradan işlenmesi
    1. STL dosyasını bir kafes düzenleyiciye aktarın (Malzeme Tablosu'na bakın) ve Düzenle'> 3B modeli seçerek üçgen sayısını azaltın ve ardından 3B modelin görsel yönünü bozmadan üçgenleri azaltan bir yüzde oranında azaltın ve Kabul Et'e basın.
    2. Daha fazla doğrulama için hedef noktaların holografik uygulamanın 3B modeli içinde görsel olarak temsil edildiğinden emin olun. Küre ekle'ye basın ve küreleri 3D modele yerleştirin.
    3. Dosya > Dışa Aktar'a basarak 3B modelleri bir OBJ dosya formatına aktarın. Modeli seçerek 3B modelin yaklaşık 100.000 poligona sahip olduğundan emin olun ve Düzenle > Azalt'a basarak poligonları küçültün. Daha yüksek poligon sayıları, Grafik İşleme Biriminden daha fazla işlem gerektirir, bu nedenle sahnedeki poligon sayısını azaltmak, oluşturma süresini önemli ölçüde azaltabilir.

4. Holografik uygulamanın hazırlanması

  1. IRTrackingOrgans_HoloLens Projesini aşağıda açıklandığı gibi yapılandırın.
    1. Oyun geliştirme yazılımını başlatın (Malzeme Tablosuna bakın) ve IRTrackingOrgans_HoloLens projesini içe aktarın ve açın.
    2. JavaScript Nesne Gösterimi (JSON) dosyasını, adım 2.1.10'da ölçülen koordinatlara dayalı olarak özel bir kızılötesi işaretçi uygulamak için varsayılan biçimi izleyerek bir metin düzenleyici kullanarak uyarlayın. JSON dosyası Assets/StreamingAssets içine kaydedilir.
    3. DINO Unity sekmesine gidin, JSON dosyası ve Üst dönüşüm > ResearchModeController > ToolManager'ı seçin ve Nesneleri Oluştur & JSON Ayarını Uygula'ya tıklayın.
    4. Sanal kızılötesi işaretleyici 3B modelini adım 1.1'de oluşturulan bir varlık olarak içe aktarın.
    5. Modeli seçerek ve denetçi penceresindeki dönüştürme koordinatlarını değiştirerek sanal kızılötesi işaretleyici 3B modelini sahnede oluşturulan işaretçilerin konumuna dönüştürün.
    6. Hastaya özel bir 3B modeli seçip sahneye sürükleyerek sahneye ekleyin.
    7. Kızılötesi işaretleyicinin 3D modelin yüzeyine dokunması için hasta 3D modelini doğru yere dönüştürün. Kol etkisinden kaynaklanan hataları en aza indirmek için kızılötesi işaretleyiciyi 3D nesnenin merkezine yakın bir yere yerleştirin.
  2. Hasta seçim menüsü ile sahneyi bağlayın
    1. Pratik kullanım ve birden fazla vaka seçimi için hasta sahnesini menü ekranındaki bir düğmeye bağlayın. Varlıklar > Sahneler > Menü sahnesi'ne gidin.
    2. Hierarchy penceresinde NearMenu4x2 ve ButtonCollection'a ve ardından ilgili butona gidin.
    3. Denetçi penceresinde Temel Olaylar'a gidin ve MenuScript.LoadScene altında hasta sahnesinin adını yazın.
  3. HMD'yi ilk kez dağıtım için hazırlama
    NOT: Bu bölüm yalnızca uygulama ilk kez dağıtılıyorsa gereklidir.
    1. HMD ( Malzeme Tablosuna bakın) cihazında oturum açın ve cihazı Araştırma Moduna ayarlayın. Ayarlar > Güncelleme ve Güvenlik > Geliştiriciler İçin bölümüne gidin > Geliştirici özelliklerini ve cihaz bulmayı açın.
    2. HMD'yi bir PC (Wi-Fi veya USB-C) ile eşleştirin. İlk kez bağlanıyorsanız şu adımları izleyin: Geliştirici sekmesinde HMD'nin IP adresini bulun, Cihaz Portalı'na bağlanmak için bir web tarayıcısında IP adresini doldurun ve bir PIN oluşturup PIN'i doldurarak cihazı eşleştirin.
  4. Uygulamayı derleyin ve bir HMD'ye dağıtın
    1. Dosya > Yapı Ayarları'na giderek sahneleri yapıya ekleyin ve sahneyi aşağıdaki sırayla ekleyin: Açık Sahneler Ekle'ye basarak Sahneyi İzleme Menüsü >.
    2. Evrensel Windows Platformu, Hedef Cihaz HoloLens ve Mimari x64 kullanarak projeyi derleyin. Oluştur'a tıklayın ve bir yapı haritası seçin.
    3. Visual Studio 2019 ile derleme dosyasını (.sln) açın ve platformu ARM64 olarak değiştirin. Ardından, Çözüm Gezgini'nde .sln Dosyasına sağ tıklayarak Özellikler'i açın ve Hata Ayıklama'nın içinde, Makine Adı altına HMD'nin IP adresini yazın.
    4. Hata Ayıklama > Hata Ayıklama Olmadan Başlat'ı seçerek uygulamayı HMD'ye dağıtın.
    5. HMD'yi başlatın ve holografik uygulamayı açın. Ardından, hasta Menüsü ekranına gidin ve holografik görselleştirme ve rehberliği başlatmak için Uygun Vakayı seçin.

5. Hareketli organların holografik görselleştirmesinin doğrulanması

  1. Yarı deforme olabilen fantom baskı
    1. Gerçekçi anatomik yapılara sahip bir böbrek fantomunun 3B modelini oluşturun veya elde edin.
    2. 3B modeli bir 3B CAD modelleme yazılımına aktarın ve Katı > Delik Oluştur ayarlarıyla > Delik > Oluştur'u kullanarak modelin yan tarafına beş kayıt pivot noktasını entegre edin Delik Tipi: Basit, Delik musluğu Tipi: Basit, Delme Noktası: Açı, Yükseklik: 0,5 mm ve Çap: 4,0 mm.
    3. Daha fazla doğrulama adımı için EM referans sensörünü sabitlemek üzere 3D modele delikli bir silindir entegre edin.
      1. Merkez Çapı Dairesini kullanarak 2,8 mm çapında bir daire ve bir iç daire içeren bir Çizim oluşturun. Dış daireyi 16,5 mm sıkın.
      2. Değiştir > Birleştir > 3D modeli seçin ve silindiri Join > OK > ile 3D modelle birleştirin.
    4. Dışa Aktar veya 3B yazdırma işlevini kullanarak 3B modeli dışa aktarın.
    5. Böbrek fantomunu adım 2.2'de açıklanan prosedüre göre yazdırmak için TPU gibi esnek veya yarı esnek bir filament kullanın ( Malzeme Tablosuna bakınız).
  2. EM izleme sistemi kullanarak 3D Dilimleyici kurulumu
    1. 3D Slicer ile bir EM sistemi kurmak için kapsamlı 3D Slicer ve SlicerIGT eğitimine (https://www.slicerigt.org/wp/user-tutorial/) bakın.
      NOT: Protokolün bu bölümü, 3DSlicer kurulumunun, EM izleme yapılandırmasının ve bağlantının iyi anlaşıldığını ve doğru şekilde kurulduğunu varsayar.
    2. EM izleme sisteminin alan jeneratörünü ( Malzeme Tablosuna bakın) doğrudan fantomun altına yerleştirin. Elektromanyetik alan homojensizliklerini önlemek için tüm ferromanyetik malzemeleri ortamdan uzaklaştırın.
    3. EM sensörünü ( Malzeme Tablosuna bakın) ve EM işaretçisini (Malzeme Tablosuna bakın) EM izleme sistemine bağlayın. Bu araçların dönüşümlerinin 3DSlicer'da doğru bir şekilde görselleştirildiğinden emin olun.
    4. EM referans sensörünü (örn. NDI Aurora 6DOF Kablo Aracı) silindire yapıştırıcı ile sabitleyerek 3D modele takın.
    5. 3B Dilimleyici'de, 3B modeli pivot noktalarıyla içe aktarın ve Referans Kayıt Sihirbazı'nı kullanarak yer işareti noktalarını dijital olarak tahsis edin > Bir Kontrol Noktası Yerleştirin.
    6. EM işaretçisi ile gerçek hayatta yer işareti noktalarını tam olarak belirleyerek yer işareti kaydı gerçekleştirin, Bir kontrol noktası yerleştir'e basın ve bunları 3DSlicer'a kaydedin. Güncelleştir'e basarak katı doğrusal kayıt dönüşümünü hesaplayın.
    7. Kayıttan sonra, EM referans sensörü ile arasında bir bağlantı kurmak için kayıt dönüşümünü 3D modele uygulayın. Daha sonra, 3D model fiziksel olarak hareket ettirilirse, 3DSlicer'daki dijital karşılığı hareket etmelidir; Buna göre, hareketleri gözlemleyerek bunu görsel olarak onaylayın.
  3. Holografik doğrulama
    1. Cihazı başlatın ve adım 4.4.5'in holografik uygulamasını açın. Ardından, 3DSlicer'da da görselleştirilen doğru hasta 3D modeline gidin.
    2. Kızılötesi işaretleyiciyi, ameliyat öncesi planlamada görselleştirildiği gibi, takılı 6.4 mm kızılötesi işaretleyicilerle ( Malzeme Tablosuna bakın) yapıştırıcı kullanarak doğru yere sabitleyin.
    3. Holografik görselleştirmeye dayalı olarak hedef noktaları dijital olarak belirlemek için EM işaretçisini kullanın. EM sensörü koordinatları setini kaydedin.
    4. Holografik görselleştirmeyi nicel olarak doğrulamak için yerleştirilen yer işaretleriyle karşılaştırıldığında hedef yer işaretlerini bulma hatasını hesaplayın.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Organ takibi için kızılötesi izleme sisteminin performansını göstermek ve hareketli organlarda holografik doğrulama kurulumunu doğrulamak için bir böbrek fantomu kullanıldı. İş akışının tamamı Şekil 1'de özetlenmiştir.

İlk olarak, böbrek, 3DSlicer'daki eşikleme aracı kullanılarak MRI verilerine dayalı olarak yarı otomatik olarak segmentlere ayrıldı. Elde edilen 3B model, çokgen sayısını azaltmak için dışa aktarıldı ve 3B CAD yazılımına aktarıldı. İkinci bir model kaydedildi ve küre aracı kullanılarak bu modele beş hedef nokta entegre edildi (Şekil 2). Bu model, holografik ekranın teknik doğrulaması için kullanıldı. Modelin hedef noktaları olmayan ilk versiyonu Autodesk Fusion'a aktarıldı. Bu modele beş pivot noktası entegre edildi ve EM sensörünü kolaylaştırmak için silindir entegre edildi. 3D dilimleme yazılımı kullanılarak, 3D model 3D baskı için hazırlandı. Minimal esnek bir böbrek yüzeyi oluşturmak için %8 baskı yoğunluğuna sahip TPU kullanıldı.

Standartlaştırılmış bir kızılötesi işaretleyici tasarlandı, 3D olarak basıldı ve kızılötesi yansıtıcı kürelerle (6,4 mm çap) donatıldı. Bu kızılötesi işaretleyiciden, kızılötesi işaretleyicinin koordinatları merkez noktasına göre ölçüldü. Oyun geliştirme yazılımı uygulamasının içinde, kızılötesi işaretçinin koordinatlarını içeren JSON dosyası içe aktarıldı. İkinci olarak, böbreğin 3D modeli, doğrulama amacıyla hedef noktalarla birlikte içe aktarıldı. Ayrıca, görselleştirme amacıyla, kızılötesi işaretleyici modeli içe aktarıldı ve JSON dosyası tarafından uygulanan noktaların konumuna çevrildi. 3D model, kızılötesi işaretleyicinin merkezine dönüştürüldü (Şekil 3) ve ek gölgelendiriciler uygulandı. Hasta menü sahnesi entegre edildikten sonra, uygulama HMD'ye dağıtıldı.

IR belirteçlerinin yerleştirilmesine bağlı olarak, holografik 3D model, HMD kullanılarak pediatrik abdominal fantom içindeki böbrek üzerinde görselleştirilir (Şekil 4). 11.6 Hz'lik bir izleme hızına sahipti. Bununla birlikte, 60 cm'yi aşan mesafeler için HMD, kızılötesi işaretçileri izleme yeteneğini kaybeder. İkinci olarak, kızılötesi işaretleme izlemedeki sürekli izleme ve gürültü, holografik kaplamanın titremesine neden olarak yanlış görselleştirmeye neden olur.

Doğrulama amacıyla, EM izleme sistemi Plus Server aracılığıyla 3D Slicer'a bağlandı. İzleme için fantom böbreğe bir EM sensörü yerleştirildi (Şekil 2). Nokta tabanlı kayıttan sonra, 3D model 0,59 mm'lik bir medyan doğrulukla kaydedildi ve bu da holografik doğruluğu doğrulamak için doğru bir yöntem olduğunu kanıtladı (Şekil 5). Medyan Nokta Lokalizasyon Hatası, üç cerrahtan gelen girdilere dayanarak 8.74 mm (Çeyrekler Arası Aralık: 6.38 - 10.85) idi (Tablo 1).

Bu AR izleme ve görselleştirme sisteminin uygulanması, yaklaşık 45-60 dakika süren bir protokol içerir. 2 yıllık deneyime sahip deneyimli bir teknik doktor, protokolün her bir adımının süresini belirlemek için tüm protokolü bir kez uyguladı. Özellikle, belirli adımların yalnızca bir kez yürütülmesi gerekir. Her hasta için temel adımlar arasında segmentasyon, oyun geliştirme yazılımında model entegrasyonu ve sahne yapılandırması yer alır. Hastaya özgü vakalarda anatomik yapıların segmentlere ayrılması, ilgili çoklu anatomik yapılar nedeniyle nispeten daha fazla zaman gerektirir, ancak renal parankim ve tümörün segmentlere ayrılması 30 dakika içinde tamamlanabilir. Segmentlere ayrılmış 3D modellerin uygulamaya entegre edilmesi ve kızılötesi işaretleyici ile hizalanması, yaklaşık 5 dakikalık manuel ayarlamalar gerektirir. Doğru sahneyi bağlamak 5 dakikadan fazla sürmez. Oyun geliştirme projesi derleme süresi donanım özelliklerine bağlı olarak değişir, ancak genellikle yaklaşık 3 dakika sürer ve ardından HoloLens 2'ye dağıtım için yaklaşık 10 dakika sürer. Genel olarak, doğrulama kurulumu hariç, bu protokol klinik öncesi ortamlarda organ takibini taşımak için bir yöntem gösterir.

figure-results-1
Şekil 1: İş akışına şematik genel bakış. İş akışı, ameliyat öncesi aşama, holografik ve intraoperatif aşamalar dahil olmak üzere hayali bir ortamda hasta başına gereken adımları gösterir. Ameliyat öncesi aşama, segmentasyon (bkz. adım 3) ve ameliyat öncesi tıbbi görüntülemeden oluşur. Holografik uygulamanın hazırlanması, 3D model üzerinde kızılötesi işaretleyici yerleşiminin sanal olarak planlanmasından oluşur (bkz. adım 4). İntraoperatif aşamada, cerrahlar doğru hastayı seçebilir ve holografik görselleştirme ve sürekli izleme için kızılötesi işaretleyiciyi sabitleyebilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-2
Şekil 2: Validasyon metodolojisinde kullanılan böbrek fantomlarına genel bakış. Solda: hedef noktaları ve kızılötesi işaretleyicinin sanal yerleşimi ile böbreğin 3D hologramı. Orta: Entegre EM sensörlü 3D fantom ve kayıt için pivot noktaları. Sağda: Doğrulama prosedürü için kullanılan, EM sensörü için kızılötesi işaretleyici ve silindir ile 3D baskılı fantom. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-3
Şekil 3: Oyun geliştirme yazılımında holografik uygulamanın hazırlanması. Böbrek modeli kızılötesi bir işaretleyiciye dönüştürülür. İkinci olarak, gölgelendiriciler böbreğe ve hedef noktalara uygulanır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-4
Şekil 4: Fantom deneyinin holografik görselleştirmesi. Sol: Kızılötesi işaretleyicinin böbrek üzerine yerleştirilmesi. Sağ: Hedef noktaların doğru sırada (1 - 5) holografik görselleştirilmesi. Holografik görselleştirmenin yer değiştirmesi, kızılötesi işaretleyici izlemesindeki titremeden kaynaklanır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-5
Şekil 5: Hareketli organların holografik görselleştirilmesi için EM izleme doğrulama protokolünden kurulum. Yeşil, Kırmızı ve Mavi, doğrulama için gerekli EM araçlarının dönüşümünü görselleştirir. Sarı ve Yeşil, Başa Takılan Ekran (HMD) ile ilgili dönüşümü görselleştiriyor. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

KatılımcıÖlçümGT-X (mm)GT-Y (mm)GT-Z (mm)Nokta-X (mm)Nokta-Y (mm)Nokta-Z (mm)UZUNLUK (mm)
Cerrah 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Cerrah 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Cerrah 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tablo 1: Her ölçüm için, hedef yer işaretlerinin zemin gerçeği (GT) koordinatları, karşılık gelen nokta konum koordinatları ve tüm cerrahlar için ölçülen PLE sağlanır.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Sunulan protokol, hayalet bir ortamda hareketli tümörler ve organlar için doğrulama da dahil olmak üzere gerçek zamanlı organ takibi ve holografik görselleştirmeye yönelik bir yaklaşımın ana hatlarını çizmektedir. Bir HMD ile kızılötesi işaretleyici tabanlı izlemeden yararlanan bu yöntem, hareketli organların manipülasyonu sırasında doğru anatomik holografik kaplamaları daha iyi koruma potansiyeline sahiptir. Böbreği izlemek için uygulanmasına rağmen, bu yöntem, segmentasyon protokolünde minimum ayarlamalarla karaciğer veya akciğerler için açık cerrahi gibi diğer klinik alanlarda da araştırılabilir. İkinci olarak, kızılötesi belirteçler potansiyel olarak laparoskopik cerrahi gibi çeşitli cerrahi tekniklerle kullanılabilir. Bu gibi durumlarda, organları, aletleri veya anatomik yer işaretlerini izlemek için laparoskopik görüntülerde kızılötesi yansıtıcı etiketler tespit edilebilir. Bununla birlikte, bu tekniğin diğer klinik alanlara veya cerrahi tekniklere uygulanması, hedef organın şekil bozukluğundaki farklılıklar veya klinik öncesi deneylerde doğrulama gerektiren sınırlı bir görüş alanı gibi teknik sınırlamalar nedeniyle hatalara neden olabilir.

Protokolün 1. adımı, öncelikle gerekli donanım ve yazılım araçlarının kurulmasına odaklanmıştır. Bu kurulum çok sayıda uygulama ve adım gerektirir, bu nedenle aşağı akışta dağıtım sorunlarını önlemek için gerekli uzantılar da dahil olmak üzere tüm yazılım paketlerinin doğru şekilde yüklenmesi çok önemlidir. Oyun geliştirme yazılımı ve entegre geliştirme ortamının kombinasyonu çok önemli olsa da, yazılımın farklı sürümlerinin sorunlara neden olması beklenmemektedir.

2. adımda, özelleştirilmiş kızılötesi işaretleyiciler oluşturma işlemi açıklanmaktadır. Bu adım, izleme diğer uygulamalar için kullanılacaksa özellikle önemli hale gelir. Kızılötesi işaretleyicinin şeklini değiştirme esnekliği, çeşitli klinik öncesi uygulamalar için potansiyel uygunluğunu sağlar. Ayrıca, kullanıcılar, kızılötesi işaretleyicinin bir organın yüzeyine yapışmasını iyileştirmek ve kızılötesi işaretleyiciyi izlemenin doğruluğunu artırmak için çeşitli tasarım seçeneklerini keşfedebilir. Ek olarak, birden fazla kızılötesi işaretleyici çapının test edilmesi, 60 cm'yi aşan mesafelerde daha iyi algılamaya yol açabilir.

3. adımda, tıbbi görüntülemeye dayalı hastaya özel 3D modelleme anlatılmaktadır. Böbrek ve tümörün doğru segmentasyonu, cerrahi rehberliğin doğruluğunu doğrudan etkilediği için çok önemlidir. Zayıf segmentasyon, cerrahi hassasiyeti tehlikeye atan yanıltıcı görselleştirmelere neden olabilir19. İkincisi, bu adım en çok zaman alan adımdır. Tam otomatik segmentasyon yöntemlerinin entegre edilmesi, hassas anatomik segmentasyon sağlarken manuel ve yarı otomatik ayarlamalara olan ihtiyacı azaltarak protokolü hızlandırabilir20. Poligon sayısını optimize etmek, optimum AR işleme performansı elde etmek için çok önemlidir. Bu optimizasyon gerçekleştirilmezse, HMD'nin performansı önemli ölçüde tehlikeye girer.

4. adımda, DINO-DLL uygulamasının ardından holografik uygulamanın yapılandırması özetlenmiştir. Kritik bir husus, kızılötesi işaretleyici konumları ile holografik anatomik modeller arasında uygun hizalamadır, çünkü bu, manuel kayıt doğruluğunu etkiler. Özellikle, kızılötesi işaretleyicinin merkezinden daha uzak mesafelerde yanlışlığı önlemek için kol etkisi en aza indirilmelidir. Daha fazla iyileştirme, ek kayıt yöntemlerinin uygulanmasını içerebilir. Ayrıca, mevcut sistem, literatür21 ile uyumlu olan sürekli görselleştirme için kabul edilebilir bir izleme oranı sergilemektedir. Üçüncüsü, daha fazla iyileştirme, kızılötesi işaretleyici izleme verilerindeki gürültüyü azaltmak için bir Kalman filtresinin uygulanmasını içermeli ve böylece holografik görselleştirmenin titremesini ortadan kaldırmalıdır.

5. adımda, çerçeve EM izlemeyi kullanan bir holografik doğrulama yöntemi sağlar. Bu protokol, hareketli organlar için holografik doğruluğun nicel bir değerlendirmesini sağladığından, hayali bir ortamda hologramların doğruluğunu doğrulamak için kullanışlıdır. Buradaki önemli bir adım, EM izleme sensörlerinin yarı deforme olabilen 3D baskılı fantomlara hassas bir şekilde entegre edilmesidir. Kullanıcılar, EM sensörlerinin doğru kalibrasyonunu ve 3D Dilimleyici'de yer işareti kaydını sağlamalıdır. Doğrulama hataları meydana gelirse, herhangi bir metal nesnenin yeniden kaydedilmesi veya kaldırılması doğrulama doğruluğunu artırabilir. Klinik fizibiliteyi daha da doğrulamak için, cerrahi dokuyu daha doğru bir şekilde simüle etmek için ex vivo organlar kullanılabilir22.

Bu protokol, organ takibi için AR çözümlerini uygulamayı ve bu sistemleri fantom deneylerinde doğrulamayı amaçlayan araştırmacılar için kapsamlı bir rehber görevi görmektedir. Ek olarak, özellikle hareketli organlar için AR yöntemlerini doğrulamak için farklı klinik senaryolarda kolayca kullanılabilen, geniş çapta uygulanabilir bir doğrulama kurulumu sağlar. Holografik uygulamaları dağıtmanın karmaşıklığı göz önüne alındığında, bu çerçeve kavramsal AR tabanlı çözümlerden klinik öncesi doğrulamaya geçişi kolaylaştırır.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların ifşa edecek hiçbir şeyi yok.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Açık DINO-DLL deposunu temel alan HoloLens 2'yi kullanarak kızılötesi işaretleyici izleme oluşturma konusundaki uzmanlığı ve desteği için Hisham Iqbal'e teşekkür ederiz.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D Dilimleyici (v5.6.2)DilimleyiciYOKTıbbi görüntü segmentasyon yazılımı ve elektromanyetik izleme doğrulaması için gerekli
6,4 mm (1/4") M3 İşaretleyiciler Kızılötesi İşaretleyicilerOptiTrackYOKKızılötesi yansıtıcı küreler, izleme için işaretçiye eklenmelidir 
Autodesk Fusion 360 (v2.0.21508)AutodeskYOKKızılötesi işaretleyiciler ve fantomlar tasarlamak için CAD yazılımı
Bambu Stüdyo (v01.09.07.52)Bambu LaboratuvarıYOKBambu 3D yazıcılar için 3D baskı dilimleme yazılımı
Bambu X1 KarbonBambu LaboratuvarıYOKKızılötesi işaretleyiciler ve fantom modeller için kullanılan 3D yazıcı
HoloLens 2MicrosoftYOKAR görselleştirme için Artırılmış Gerçeklik Başa Takılan Ekran
IRTrackingOrgans_HoloLens Açık kaynakYOKIR işaretçi takibini destekleyen Unity tabanlı uygulama
MeshMixer (v3.5.0)AutodeskYOKKafes düzenleme ve çokgen azaltma için kullanılır
NDI Şafak VaktiKuzey Dijital A.Ş.YOKDoğrulama için elektromanyetik izleme sistemi
NDI Aurora 6DOF Kablo AracıKuzey Dijital A.Ş.YOKHayalet organların hareketini kaydetmek için sensör
NDI Aurora 6DOF ProbuKuzey Dijital A.Ş.YOKHayalet üzerindeki önemli noktaları belirlemek için kullanılır
Polilaktik Asit FilamentiHerhangi bir üreticiYOKKızılötesi işaretleyiciler gibi sert parçaları yazdırmak için filament
Termoplastik Poliüretan FilamentHerhangi bir üreticiYOKDeforme olabilen böbrek fantomunu yazdırmak için yarı esnek filament
Unity Hub (v3.11.1) ve Unity (v2019.4.22f1)Unity TeknolojileriYOKAR uygulama geliştirme ve dağıtımı için oyun geliştirme yazılımı
Visual Studio 2019MicrosoftYOKUnity tümleştirmesi ve dağıtımı için gerekli IDE

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).">Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).">Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).">Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).">Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).">Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).">Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).">Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).">Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).">Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).">Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).">van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).">Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).">Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).">van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).">Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).">Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).">Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).">Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).">Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).">Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).">von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles