Akıllı Telefonda Hasta Modellerini Görüntülemek için Artırılmış Gerçeklik ve 3D Baskıyı Birleştirme

Bu protokol, deneyimsiz kullanıcılara kendi akıllı telefon uygulamalarını oluşturarak artırılmış gerçeklik çözümlerini tıbbi alana getirmeleri için gerekli araçları sağlar. Bu yöntem, artırılmış gerçeklik ve 3B yazdırmayı bir araya getirerek, verileri 3B yazdırılmış başvuru işaretçisinin üzerine dayandırarak oluşturulan 3B modellerin hızlı ve kolay bir görselleştirmesini sağlar. Bu teknik, 3D baskılı referansın hastaya sert bir şekilde bağlanabileceği herhangi bir tıbbi senaryoya uygulanabilir.

Hedeflenen ve aynı zamanda hasta artırabilir temel veri lokalizasyonu oluşturulan görsel 3D modellerin görselleştirilmesi Bu protokol özellikle tıbbi alanda artırılmış gerçeklik kullanımına yardımcı olmak için tıbbi görüntüleme veya yazılım geliştirme hiçbir ön bilgisi olan kullanıcılar için tasarlanmıştır. Bir hastanın anatomisinin 3B modellerini oluşturmak için, önce tıbbi görüntü dosyasını 3B Slicer yazılım penceresine takip edin ve Tamam'ı tıklatın. Hastanın anatomisini segmente etmek için 3D Slicer'daki segment düzenleyici modülüne gidin. Modüle girilirken otomatik olarak bir segmentasyon öğesi oluşturulur.

Ana birim bölümünde istenen hacmi seçin ve bir segment oluşturmak için ekle'yi seçmek için resmin altına sağ tıklayın. Efekt panelinde, hedef için en uygun aracı seçin ve hastanın tıbbi görüntüsünü segmentleyin. Segmentasyonu 3B model dosya biçiminde dışa aktarmak için segmentasyonlar modüllerini açın.

Dışa aktarma/alma modelleri ve etiket haritalarında, dışa aktarma ve modelleri seçin ve segmentli alandan 3B modeli oluşturmak için dışa aktar'ı tıklatın. Kaydet'i tıklatın ve kaydedilecek öğeleri seçin. Ardından 3B modelin dosya biçimini OBJ olarak değiştirin.

Segmentasyon farklı anatomik bölgelerin ek 3D modelleri oluşturmak için tekrarlanabilir. Artırılmış gerçeklik işaretleyicisi ile ilgili olarak herhangi bir pozisyonda bir 3D hasta modeli konumlandırma için, AR Sağlık modeli pozisyon modülünü açın ve görselleştirme modunu seçin. Bu seçenek için işaretçiyi yüklemek için yük işaretçisi modelini, kaydedilen 3B modelin yolunu seçmek için elips düğmesini ve modeli 3B Dilimleyiciye yüklemek için yükleme modelini tıklatın.

İşaretleyici içindeki tüm modelleri ortalamak için bitiş ve ortayı tıklatın. 3B modellerin konumunu, yönünü ve ölçeklemasını işaretçiye göre istediğiniz gibi ayarlamak için slayt çubuklarını kullanın. Ardından dosyaları depolama kİstediğin yolu seçin ve modelleri bu konuma kaydetmek için modelleri kaydet'e tıklayın.

Artırılmış gerçeklik işaretçisini istenilen herhangi bir pozisyonda 3B biyomodelle birleştirmek için AR Health model pozisyon modülünü açın ve başlatma bölümünde kayıt modunu seçin. Bu seçenek için işaretçiyi yüklemek için yük işaretçisi modelini tıklatın ve 3B modelleri küp işaretçisinin destekleyici yapısıyla kesişecek şekilde hareket ettirerek işaretleyici tabanının yüksekliğini gerektiği gibi değiştirin. Modeli bu konuma kaydetmek için dosyaları depolama yolunu seçin ve modelleri kaydet'i tıklatın.

Anatomi modeli çok büyükse, kafes karıştırıcı yazılımındaki küp işaretçisi modelinin biyomodelini ve destekleyici yapısını yükleyin. Modelleri birleştirmek için nesne tarayıcı penceresindeki her iki modeli seçin ve modelin 3D yazdırılmayan istenmeyen bölümlerini kaldırmak için düzenleme menüsünden düz kesim aracını kullanın. Modeli 3B yazdırılacak şekilde kaydetmek için dosyayı seçin ve dışa aktarın ve istediğiniz biçimi seçin.

Son artırılmış gerçeklik uygulaması için gereken fiziksel modelleri 3B yazdırmak için, 3B yazdırma yazılımında, TwoColorCuebMarker_white için beyaz renkli bir malzeme seçin. obj dosya ve TwoColorCubeMarker_white için siyah renkli malzeme. obj dosyası.

Daha sonra küçük bir katman yüksekliği ile yüksek kaliteli modda siyah beyaz kübik marker yazdırmak için 3D yazıcı çift ekstruder kullanın. Unity Engine'de 3D modelleri içeren bir akıllı telefon uygulaması tasarlamak için Vuforia Developer'ı açın ve bir hesap oluşturun. Ücretsiz geliştirme lisansı anahtarı almak için geliştirme anahtarını edinin'i seçin ve lisans yöneticisi menüsünde anahtarı seçin ve kopyalayın.

Akıllı telefonu kurmak için, Unity sürüm 2019 uygulamasında, dosya menüsündeki yapı ayarları altında cihaz için uygun platformu seçin. Vuforia'nın projeye girmesini sağlamak için, edit, proje ayarı, oyuncu ayarları ve XR ayarlarını seçin ve Vuforia Artırılmış Gerçeklik Desteği etiketli kutuyu işaretleyin. Artırılmış gerçeklik kamerası oluşturmak için menü çubuğu, oyun nesnesi, Vuforia Engine ve AR kamerayı seçin ve istendiğinde Vuforia bileşenlerini aktarın.

Vuforia lisans anahtarını Vuforia yapılandırma ayarlarına eklemek için kaynaklar klasörünü seçin, Vuforia yapılandırmasını tıklatın ve lisans anahtarını uygulama lisansı anahtarı bölümüne yapıştırın. Vuforia'nın işaretçileri Unity'ye algılamasını gerektirdiği dosyaları içeren Vuforia hedef dosyasını içe aktarın ve vuforia çoklu hedef oluşturmak için menü çubuğu, oyun nesnesi, Vuforia Engine ve çoklu görüntü seçin. Algılama için kullanılacak işaretçi türünü seçmek için çoklu hedefi tıklatın ve çoklu hedef davranışı altında veritabanı seçeneğinde, ARHealth_3dPrintedCube_30x30x30'yi seçin.

Çoklu hedef davranışı altında çoklu hedef seçeneğinde, işaretçiye bağlı olarak TwoColorCubeMarker veya StickerCubeMarker'ı seçin. 3B modelleri modeller klasörüne sürükleyin ve klasörü çok hedefli öğenin altına sürükleyin. Modeller Unity 3D görünüm sahnesinde görünür hale gelmelidir.

3B modellerin renklerini değiştirmek için yeni malzemeler oluşturun ve modellere yeni malzemeler atayın. Web kamerası varsa, uygulamayı bilgisayarda test etmek için oynat'ı tıklatın. İşaretçi web kamerası tarafından görülebiliyorsa, algılanmalıdır ve 3B modeller sahnede görünmelidir.

Uygulama geliştirme için bir Android akıllı telefon kullanılacaksa, Unity'de yapı ayarlarını seçin ve listeden takılı telefonu seçin. Ardından dosyayı apk uzantısı ile kaydedin ve işlemin tamamlanmasına izin verin. Uygulama bir iOS aygıtında dağıtılacaksa, yapı ayarlarında dosyayı seçin ve dosyayı kaydedin.

Uygulamayı görselleştirmek için uygulamayı akıllı telefonda açın ve en az 40 santimetre mesafeden uygulamanın içindeki işarete bakmak için akıllı telefon kamerasını kullanın. Uygulama işaretleyiciyi algıladıktan sonra, daha önce oluşturulmuş 3B modeller yordam sırasında tanımlanan tam konumda akıllı telefon ekranında görünmelidir. Gösterildiği gibi yöntem kullanılarak distal bacak sarkomve tümör den muzdarip bir hastadan etkilenen tibia ve fibulanın bu kısmı hastanın BT taramasından segmente edildi.

Segmentasyon araçları kullanılarak kemik için bir biyomodel, tümör için bir biyomodel oluşturuldu. Görselleştirme modu için modeller işaretleyicinin üst aşamasında ortalandı. Kayıt modu için, marker adaptörü tibia konumlandırılmış ve tibia küçük bir bölümü 3D marker adaptörü ile basılmış 3D olarak seçildi.

Polilaktik asit 3D baskılı işaretleri oluşturmak için kullanılabilir, marker tutucu bazlar ve kemik bölümleri gösterildiği gibi. Burada bir işaretçi bir görselleştirme modu3D baskılı tabanına eklenir ve burada eki kayıt modu 3D baskılı biyomodel ile gösterilir. Bu gösterim, daha önce tanımlandığı gibi küpün üst kısmında doğru bir şekilde bulunan hologramla uygulamanın görselleştirme modunda nasıl çalıştığını gösterir.

Kayıt modunda, komple kemik modeli kemik yerinde marker net ve gerçekçi bir görselleştirme ile 3D baskılı bölümün üstüne konumlandırılabilir. Önemli hasta bilgilerini görselleştirmek için artırılmış gerçeklik kullanmak için, serbestçe kullanılabilen çeşitli yazılım araçlarının yanı sıra bir 3D yazıcı ya da akıllı telefona erişmeniz gerekir. Bu işlem tıbbi görüntülemeden elde edilen herhangi bir modele uygulanabilir.

Kullanımı, iğne takılmasının radyasyon terapisi konumlandırması gibi diğer müdahalelere de genişletilebilir. Şimdi miyofasiyal veya ortopedik cerrahi de dahil olmak üzere yeni klinik alanlara bu gelişme nin uygulamaları genişletiyoruz. İlk araştırmalarımız umut verici ve cerrahın geri bildirimi çok olumlu.