Holografik Başa Takılan Ekran ve Klinik Öncesi Doğrulama ile Yumuşak Doku Navigasyonu için Kızılötesi İzleme için Teknik Yaklaşım

Princess Maxima Pediatrik Onkoloji Merkezi'ndeki bu çalışmanın kapsamı, bir artırılmış gerçeklik sistemi geliştirmek ve doğrulamaktır. Bu sistem, hareketli organların hologramlarını doğru bir şekilde hizalamalıdır. Mevcut deneysel zorluklardan biri, hologramın hareketli bir organın gerçek zamanlı konumuyla doğru bir şekilde hizalandığını doğrulamaktır.

Şu anda, artırılmış gerçeklik doğrulama teknikleri yalnızca kemikler gibi sert anatomik yapılar için tanımlanmıştır. Bununla birlikte, protokolümüz, hareketli organlar için artırılmış gerçekliği doğrulamak için de kullanılabilmesi avantajını sunmaktadır. Başlamak için 3D bilgisayar destekli tasarım yazılımını açın ve yeni bir dosya oluşturun.

Katı sekmesini seçin ve kızılötesi işaretleyici için yeni bir tasarım başlatmak üzere Çizim Oluştur'u tıklatın. Merkez Çaplı Daire'ye basarak üç milimetre çapında üç veya dört küçük daire ekleyin. Çizgi aracını kullanarak üçgenin köşelerini karşılıklı kenarların orta noktalarına bağlayın ve merkez noktasını hesaplamak için daireleri birleştiren çizgiler çizin.

Merkez noktada, Merkez Çapı Dairesi'ni kullanarak bir daire çizin, sonra iki noktalı Dikdörtgen aracını kullanarak bu merkez daireyi daha küçük dairelerin her birine bağlayan dikdörtgenler çizin. Ortadaki dairesel tabanı ve bağlantı dikdörtgenlerini iki milimetre kalınlığa kadar ekstrüde edin. Daha küçük daireleri beş milimetre kalınlığa kadar ekstrüde edin.

Oluştur'a basın, ardından Diş'i seçin ve 6,4 milimetre kızılötesi yansıtıcı kürelere sığdırmak için bir ISO Metrik Profili kullanarak üç koniye dişler ekleyin. 3B Yazdır veya Dışa Aktar işlevini kullanarak son modeli bir nesne dosyası olarak dışa aktarın. 3B bilgisayar destekli tasarım yazılımında, kızılötesi yansıtıcı kürelerin merkez noktasına göre x, y ve z koordinatlarını ölçmek için Ölç'ü seçin.

Her küçük dairenin merkez noktalarının konumlarını tüm şeklin merkeziyle ilişkili olarak ölçün. Oyun geliştirme yazılımını başlatın. IRTrackingOrgans_HoloLens proje dosyasını içe aktarın ve projeyi açın.

Bir metin düzenleyicisi kullanarak Assets veya StreamingAssets klasörüne kaydedilen JavaScript Nesne Gösterimi dosyasını açın. Dosyayı, önceden kaydedilmiş koordinatları kullanarak ve varsayılan formatı izleyerek özel kızılötesi işaretleyiciyi tanımlayacak şekilde uyarlayın. DINO Unity sekmesinde Araç Yöneticisi'ni seçin, ResearchModeController'a tıklayın, ardından JSON dosyası ve Üst dönüşüm'e tıklayın, ardından Nesne Oluştur JSON Ayarını Uygula'ya tıklayın.

Oluşturulan 3B kızılötesi işaretleyici modelini içe aktarın. Hastaya özgü 3B modeli seçin ve Denetçi penceresindeki dönüştürme koordinatlarını sahnede oluşturulan işaretçilerin konumuyla eşleşecek şekilde değiştirin. Ardından hastaya özel 3D modeli eklemek için sahneye sürükleyin.

Kızılötesi işaretleyiciyi yüzeyine hizalamak için hastanın 3D modelini dönüştürün. Kol etkisinden kaynaklanan konum hatasını azaltmak için kızılötesi işaretleyiciyi modelin merkezine yakın konumlandırın. Şimdi, birden fazla vaka seçimine izin vermek için hasta sahnesini menü ekranındaki bir düğmeye bağlayın.

Varlıklar, Sahneler ve Menü sahnesi'ne gidin. Hiyerarşi penceresinde NearMenu4x2'ye, ardından ButtonCollection'a gidin ve ilgili düğmeyi seçin. Denetçi penceresinde Temel Olaylar'a ve MenuScript'in altına gidin.

LoadScene, hasta sahnesinin adını yazın. Gerçekçi anatomik yapılara sahip bir böbrek fantomunun 3 boyutlu modelini oluşturun veya edinin. 3D modeli bir 3D CAD modelleme yazılımına aktarın.

Ardından, modelin yan tarafındaki beş kayıt pivot noktasını entegre etmek için Katı, Oluştur ve Delik işlevlerini kullanın. Delik Tipi'ni Basit, Delik kılavuz Tipi'ni Basit, Matkap Noktası'nı Açı, Yükseklik'i 0,5 milimetre ve Çap'ı 4,0 milimetre olarak ayarlayın. Elektromanyetik referans sensörünü sabitlemek için delikli bir silindir oluşturun ve bunu böbrek modeline entegre edin.

Yeni bir çizim başlatın ve 2,8 milimetre çapında bir daire ve bir iç daire çizmek için Merkez Çaplı Daire'yi kullanın. Dış daireyi 16,5 milimetre sıkın. Ardından Değiştir'e ve ardından Birleştir'e gidin.

Hem 3B böbrek modelini hem de silindiri seçin, Katıl'ı seçin ve Tamam'a tıklayarak onaylayın. Ardından, son entegre modeli dışa aktarmak için Dışa Aktar veya 3D Baskı işlevini kullanın. Daha sonra, daha önce açıklanan prosedürü izleyerek böbrek fantomunu yazdırmak için termoplastik poliüretan gibi esnek veya yarı esnek bir filament kullanın. Elektromanyetik izleme sisteminin alan üretecini doğrudan basılı böbrek fantomunun altına yerleştirin.

Elektromanyetik alan homojensizliklerini önlemek için çevredeki tüm ferromanyetik nesneleri kaldırın. Ardından elektromanyetik sensörü ve elektromanyetik işaretçiyi izleme sistemine bağlayın. Elektromanyetik referans sensörünü yapıştırıcı kullanarak silindirin içine güvenli bir şekilde sabitleyerek 3D modele takın.

3B Dilimleyici'de, pivot noktalarını içeren 3B böbrek modelini içe aktarın. Referans Kayıt Sihirbazı'nı kullanın. Bir kontrol noktası yerleştir'i seçin ve kayıt yer işaretlerini dijital olarak atayın.

3D Slicer'da yer işareti kaydı gerçekleştirmek için, fiziksel yer işareti noktalarını tam olarak belirlemek üzere elektromanyetik işaretçiyi kullanın. Yazılıma kaydetmek için Her fiziksel konuma bir kontrol noktası yerleştir'e basın. Ardından Güncelle'ye basarak katı doğrusal kayıt dönüşümünü hesaplayın.

Şimdi, hesaplanan kayıt dönüşümünü elektromanyetik referans sensörüne bağlamak için 3B modele uygulayın. Fiziksel modeli taşıyın ve 3B Dilimleyici'deki dijital sürümün hareketini takip ettiğini onaylayın. Holografik görüntüleme cihazını başlatın ve daha önce yapılandırılan holografik uygulamayı açın.

Ardından, şu anda 3D Slicer'da görselleştirilen doğru hastaya özel 3D modele gidin. Şimdi, kızılötesi işaretleyiciyi yapıştırıcı kullanarak belirtilen konuma yapıştırın ve takılı 6,4 milimetrelik kızılötesi yansıtıcı kürelerin ameliyat öncesi planlamanın rehberliğinde yerinde olduğundan emin olun. Holografik görselleştirme aracılığıyla görüldüğü gibi hedef noktaları dijital olarak tanımlamak için elektromanyetik işaretçiyi kullanın.

Ortaya çıkan EM sensör koordinatları kümesini kaydedin. Holografik görselleştirmenin doğruluğunu doğrulamak için kaydedilen hedef koordinatları gerçek yerleştirilmiş yer işaretleriyle karşılaştırarak hatayı hesaplayın. Tüm katılımcılar arasında, Nokta Lokalizasyon Hatası veya PLE, 8.74 milimetrelik bir medyan değer gösterdi ve bireysel ölçümler 2.78 ila 13.20 milimetre arasında değişiyordu.

Cerrah 2, 2,78 ve 3,48 milimetrelik en doğru iki lokalizasyon da dahil olmak üzere sürekli olarak en düşük PLE ölçümlerini elde etti. En büyük lokalizasyon hatası, Cerrah 3 tarafından yapılan üçüncü ölçüm sırasında 13,20 milimetrelik bir PLE ile gözlendi. Bu protokol, diğerlerinin holografik projeleri dağıtmalarına ve artırılmış gerçeklik sistemlerini klinik öncesi bir ortamda doğru bir şekilde doğrulamalarına yardımcı olacaktır.

Cerrahi araştırma grubumuz yakında birden fazla pediatrik cerrahi vaka için otomatik holografik izleme ile başlayacak. Hareketli organlar, makine öğrenimi algoritmalarına ve RGB kamera yayınlarına dayalı olarak izlenir.