Summary
Burada sunulan bir 3D baskılı referans belirteci kullanarak hastaların anatomik üç boyutlu modellerinin görselleştirilmesi için bir artırılmış gerçeklik akıllı telefon uygulaması tasarlamak için bir yöntemdir.
Abstract
Artırılmış gerçeklik (AR) eğitim, eğitim ve tıp alanında cerrahi rehberlik büyük bir potansiyele sahiptir. Üç boyutlu (3D) baskı (3DP) ile birleşimi klinik uygulamalarda yeni olanaklar sunar. Bu teknolojiler son yıllarda katlanarak büyümüş olsa da, mühendislik ve yazılım geliştirme konusunda geniş bilgi gerektirdiğinden, hekimler tarafından benimsenmeleri hala sınırlıdır. Bu nedenle, bu protokolün amacı, deneyimsiz kullanıcıların 3D baskılı referans işaretçisi ile hastaların anatomik 3D modellerinin görselleştirilmesi için AR ve 3DP'yi birleştiren bir akıllı telefon uygulaması oluşturmalarını sağlayan adım adım bir metodolojiyi tanımlamaktır. Protokol, bir hastanın anatomisinin 3Boyutlu tıbbi görüntülerden türetilen 3Boyutlu sanal modellerinin nasıl oluşturulacak olduğunu açıklar. Daha sonra işaretleyici referansları ile ilgili olarak 3B modellerin konumlandırma nasıl gerçekleştirilip açıklanır. Ayrıca, gerekli araçları ve modelleri 3B yazdırmak için talimatlar da sağlanır. Son olarak, uygulamayı dağıtmak için adımlar sağlanır. Protokol ücretsiz ve çok platformlu yazılımlara dayanmaktadır ve herhangi bir tıbbi görüntüleme yöntemine veya hastaya uygulanabilir. Alternatif bir yaklaşım bir hastanın anatomisinden oluşturulan 3D baskılı model ve öngörülen hologramlar arasında otomatik kayıt sağlamak için açıklanmıştır. Örnek olarak, distal bacak sarkomu muzdarip bir hastanın klinik bir olgu metodolojigöstermek için sağlanmaktadır. Bu protokolün AR ve 3DP teknolojilerinin tıp uzmanları tarafından benimsenmesini hızlandırması beklenmektedir.
Introduction
AR ve 3DP tıp alanında giderek artan sayıda uygulama sağlayan teknolojilerdir. AR durumunda, sanal 3D modelleri ve gerçek çevre ile etkileşimi eğitim ve öğretim açısından hekimlerin yararları1,2,3, iletişim ve diğer hekimler ileetkileşimler 4, ve rehberlik sırasında klinik müdahaleler5,6,7,8,9,10. Aynı şekilde, 3DP hastaya özgü özelleştirilebilir araçlar geliştirirken hekimler için güçlü bir çözüm haline gelmiştir11,12,13 veya bir hastanın anatomisi 3D modelleri oluştururken, hangi preoperatif planlama ve klinik müdahaleler geliştirmeye yardımcı olabilir14,15.
Hem AR hem de 3DP teknolojileri tıbbi prosedürlerde oryantasyon, rehberlik ve mekansal becerileri geliştirmeye yardımcı olur; böylece, onların kombinasyonu sonraki mantıksal adımdır. Önceki çalışmalar, eklem kullanımı nın hasta eğitiminde değeri artırabileceğini göstermiştir16, tıbbi durumların ve önerilen tedavinin açıklamalarını kolaylaştırarak, cerrahi iş akışını optimize ederek17,18 ve hastadan modele kaydını iyileştirmek19. Bu teknolojiler son yıllarda katlanarak büyümüş olsa da, mühendislik ve yazılım geliştirme konusunda geniş bilgi gerektirdiğinden, hekimler tarafından benimsenmeleri hala sınırlıdır. Bu nedenle, bu çalışmanın amacı geniş teknik bilgiye gerek kalmadan deneyimsiz kullanıcılar tarafından AR ve 3DP kullanımını sağlayan bir adım-adım metodoloji tanımlamaktır.
Bu protokol, akıllı telefon kamerası tarafından izlenen 3D baskılı bir işaretçi kullanarak herhangi bir hasta tabanlı 3D modelin gerçek dünya ortamına üst üste bindirilen bir AR akıllı telefon uygulamasının nasıl geliştirilebildiğini açıklar. Buna ek olarak, alternatif bir yaklaşım 3D baskılı biyomodel (yani, bir hastanın anatomisinden oluşturulan bir 3D model) ve öngörülen hologramlar arasında otomatik kayıt sağlamak için açıklanmıştır. Açıklanan protokol tamamen ücretsiz ve çok platformlu yazılıma dayanmaktadır.
Önceki çalışmada, AR hasta-görüntü kaydı el ile hesaplandı5 yüzey tanıma algoritmaları ile10 veya kullanılamaz olmuştur2. Bu yöntemler, doğru bir kayıt19gerekli olduğunda biraz sınırlı olarak kabul edilmiştir. Bu sınırlamaları aşmak için, bu çalışma AR teknolojisi ve 3DP birleştirerek AR prosedürleri doğru ve basit hasta-görüntü kayıt gerçekleştirmek için araçlar sağlar.
Protokol geneldir ve herhangi bir tıbbi görüntüleme yöntemi ne de hastaya uygulanabilir. Örnek olarak, distal bacak sarkomu muzdarip bir hastanın gerçek bir klinik durumda metodolojigöstermek için sağlanmaktadır. İlk adım, etkilenen anatominin bilgisayarlı tomografi (BT) tıbbi görüntülerinden 3D sanal modeller oluşturmak için kolayca nasıl segmente edilebildiğini açıklar. Daha sonra, 3B modellerin konumlandırılması gerçekleştirilir, daha sonra gerekli araçlar ve modeller 3D baskılı. Son olarak, istenilen AR uygulaması dağıtılır. Bu uygulama gerçek zamanlı olarak bir akıllı telefon kamerası üzerine kaplanmış hasta 3D modellerin görselleştirme sağlar.
Protocol
Bu çalışma, 2013 yılında revize edilen 1964 Helsinki Bildirgesi ilkelerine uygun olarak gerçekleştirilmiştir. Bu yazıda yer alan anonimleştirilmiş hasta verileri ve resimleri, katılımcıdan ve/veya yasal temsilcisinden yazılı bilgilendirilmiş onay alındıktan sonra kullanılır ve bu verilerin bilimsel yayınlar da dahil olmak üzere yaygınlaştırma faaliyetleri için kullanılmasını onaylar.
1. Segmentasyon, 3D Modeller Çıkarma, Konumlandırma ve AR Uygulama Dağıtımı için İş İstasyonu Kurulumu
NOT: Bu protokol, her araç için belirtilen belirli yazılım sürümü ile test edilmiştir. Garanti edilmese de, yeni sürümlerle çalışması olasıdır.
- İşletim sistemi olarak Microsoft Windows 10 veya Mac OS'ye sahip bir bilgisayar kullanın.
- Resmi talimatlara göre ilgili web sitelerinden aşağıdaki araçları yükleyin:
3D Dilimleyici (v. 4.10.2): https://download.slicer.org/.
Meshmixer (v. 3.5): http://www.meshmixer.com/download.html.
Birlik (v. 2019): https://unity3d.com/get-unity/download.
(Yalnızca iOS dağıtımı için) Xcode (son sürüm): https://developer.apple.com/xcode/.
NOT: Protokolün tamamlanması için gerekli tüm yazılım araçları kişisel amaçlar için serbestçe indirilebilir. Her adımda kullanılacak yazılım lar özellikle belirtilecektir. - https://github.com/BIIG-UC3M/OpenARHealthbulunan aşağıdaki GitHub deposundan veri indirin.
NOT: Depo aşağıdaki klasörleri içerir:
"/3DSlicerModule/": 3D baskılı işaretçiye göre 3D modelleri konumlandırmak için 3D dilimleyici modülü. Bölüm 3'te kullanılır. https://github.com/BIIG-UC3M/OpenARHealth'damevcut olan yönergeleri izleyerek modülü 3B dilimleyiciye ekleyin.
"/Data/PatientData/Patient000_CT.nrrd": Distal bacak sarkomu olan bir hastanın BT'si. Protokol, bu görüntü bir örnek olarak tanımlanır.
"/Data/Biomodels/": Hastanın 3Boyutlu modelleri (kemik ve tümör).
"/Data/Markers/": Sanal 3B modelleri konumlandırmak için AR uygulaması tarafından algılanacak 3D baskılı işaretçiler. İki işaretçi mevcuttur.
2. Biyomodel Oluşturma
NOT: Bu bölümün amacı hastanın anatomisinin 3Boyutlu modellerini oluşturmaktır. Bunlar tıbbi bir görüntüye segmentasyon yöntemleri uygulanarak elde edilecektir (burada, CT görüntüsü kullanılarak). Süreç üç farklı adımdan oluşur: 1) hasta verilerinin 3D dilimleyici yazılımına yüklenmesi, 2), hedef anatomi hacimlerinin bölümlenmesi ve 3) segmentasyonun OBJ formatında 3D modeller olarak ihracatı. Ortaya çıkan 3D modeller son AR uygulamasında görselleştirilmiş olacaktır.
- Tıbbi görüntü dosyasını 3B dilimleyici yazılım penceresine sürükleyerek hasta verilerini ("/Data/PatientData/Patient000_CT.nrrd") yükleyin. Tamam'ıtıklatın. CT görünümleri (eksenel, sagittal, koronal) ilgili pencerelerde görünür.
NOT: Burada kullanılan veriler "neredeyse ham raster verileri" (NRRD) biçiminde bulunur, ancak 3D Slicer tıbbi görüntü formatı (DICOM) dosyalarının yüklenmesine izin verir. Daha fazla bilgi için aşağıdaki bağlantıya gidin, https://www.slicer.org/wiki/Documentation/4.10/Trainingbulundu. - Hastanın anatomisini segmente etmek için 3B dilimleyici segment düzenleyici modülüne gidin.
- Modüle girerken otomatik olarak bir "segmentasyon" öğesi oluşturulur. Ana Hacim bölümünde istenilen hacmi (hastanın tıbbi görüntüsü) seçin. Ardından, bir segment oluşturmak için Ekle düğmesine sağ tıklayın. "Segment_1" adıyla yeni bir segment oluşturulacak.
- Tıbbi görüntünün hedef alanını düzgün bir şekilde segmente etmek için çeşitli araçlar içeren Effects adlı bir panel vardır. Hedef için en uygun aracı seçin ve görüntü pencereleri alanına segment.
- Kemiği segmente etmek için (bu durumda tibia ve fibula), kemik dokusuna karşılık gelen CT görüntüsünden minimum ve maksimum HU değerlerini ayarlamak için Eşik aracını kullanın. Bu alet kullanılarak, bu eşik değerlerinin dışında HU olan diğer elemanlar, yumuşak doku gibi kaldırılır.
- Yatak veya diğer anatomik yapılar gibi istenmeyen alanları segmentli maskeden çıkarmak için Makas aracını kullanın. Tümörün otomatik aletlerle kontur yapmak zor olduğundan, el ile Draw ve Sil araçlarını kullanarak sarkomsegment.
NOT: Segmentasyon yordamı hakkında daha fazla bilgi edinmek için https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentationadresinde bulunan bağlantıya gidin.
- Segmentasyonun 3B gösterimini görüntülemek için Göster 3B düğmesini tıklatın.
- Segmentasyonlar modülüne 3B Dilimleyici'ye giderek segmentasyonu 3B model dosya biçiminde dışa aktarın.
- Modelleri ve etiket eşlemlerini dışa aktar/içeaktar' a gidin. İşlem bölümünde Dışa Aktar'ı ve çıktı türü bölümündeki Modelleri seçin. Parçalı alandan 3B modeli bitirmek ve oluşturmak için Dışa Aktar'ı tıklatın.
- Modeli kaydetmek için SAVE (sol üst) seçeneğini belirleyin. Kaydedilecek öğeleri seçin. Ardından, 3B Model'in dosya biçimini Dosya biçimi sütunundaki "OBJ" olarak değiştirin. Dosyaların depolanacak yolu seçin ve Kaydet'etıklayın.
- Farklı anatomik bölgelerde ek 3B modeller oluşturmak için 2.2 ve 2.3 adımlarını tekrarlayın.
NOT: Sağlanan örneğin önceden segmentli modelleri, daha önce 1.3("/Data/Biomodels/") bölümünde indirilen verilerde bulunabilir.
3. Biyomodel Konumlandırma
NOT: Bu bölümde, Bölüm 2'de oluşturulan 3B modeller artırılmış gerçeklik görselleştirme siması ile ilgili olarak konumlandırılır. ARHealth: 3B Slicer model pozisyon modülü bu görev için kullanılacaktır. Modülü 3B Dilimleyici'ye eklemek için adım 1.3'te verilen yönergeleri izleyin. 3B modelleri konumlandırmak için iki farklı alternatif vardır: "Görselleştirme" modu ve "Kayıt" modu.
- Görselleştirme modu
NOT: Görselleştirme modu, 3B hasta modellerinin AR belirteci ile ilgili olarak herhangi bir pozisyonda konumlandırılmasına olanak tanır. Bu seçenekle, kullanıcı referans olarak 3D baskılı AR işaretçisini kullanarak biyomodelleri görselleştirmek için AR uygulamasını kullanabilir. Bu mod, kesinlik gerekmediğinde kullanılabilir ve sanal modelin görselleştirilmesi akıllı telefon kamerası ve işaretleyicinin görüş alanı içinde herhangi bir yerde görüntülenebilir.- ARHealth: Model Position modülüne gidin ve (başlatma bölümünde) Görselleştirme modunu seçin. Bu seçenek için işaretleyiciyi yüklemek için Yük İşaretleyici Siması'nı tıklatın.
- Bölüm 2'de oluşturulan 3B modelleri ... düğmesine tıklayarak bölüm 2'den kaydedilen modellerin yolunu seçin. Ardından, 3B Dilimleyici'ye yüklemek için Model Yükle düğmesine tıklayın. Modeller birer birer yüklenmelidir. Daha önce yüklenen modelleri silmek için, Model Kaldır düğmesini izleyen modele tıklayın veya yüklenen tüm modelleri aynı anda silmek için Tümünü Kaldır'ı tıklatın.
- İşaretleyiciiçindeki tüm modelleri ortalamak için Bitiş ve Ortala düğmesini tıklatın.
- 3B modellerin konumu, yönlendirmesi ve ölçeklemeleri, işaretçiye göre farklı kaydırıcı çubuklarına (örneğin, çeviri, döndürme, ölçek) göre değiştirilebilir.
NOT: Pozisyonda herhangi bir değişiklik yapmadan önce modellerin orijinal konumunu sıfırlamak için ek bir "Konum Sıfırlama" düğmesi vardır. - Dosyaları depolama yolunu seçerek ve Modelleri Kaydet düğmesini tıklatarak modelleri bu konuma kaydedin. 3B modeller uzantı adı "_registered.obj" ile kaydedilir.
- Kayıt modu
NOT: Kayıt modu, AR işaretçisinin istenilen pozisyonda bir adet 3D biyomodel ile birleştirilmesine olanak tanır. Daha sonra, birleştirilmiş 3B modellerin herhangi bir bölümü (AR işaretçisi içerir) ayıklanabilir ve 3D yazdırılabilir. Tüm biyomodeller ar uygulamasında referans olarak bu kombine 3D baskılı biyomodel kullanılarak görüntülenir. Bu mod, kullanıcının hastayı (burada, hastanın kemiğinin bir bölümü) ve bir referans işaretçisi kullanarak sanal modelleri kolayca kaydetmesini sağlar.- ARHealth: Model Position modülüne gidin ve (başlatma bölümünde) Kayıt modunu seçin. Bu seçenek için işaretleyiciyi yüklemek için Yük İşaretleyici Siması'nı tıklatın.
- 3.1.2 adımda yapılan modelleri yükleyin.
- Bu modeller birleştirilip daha sonra 3D yazdırıladığından, 3B modelleri taşıyın ve küp işaretçisinin destekleyici yapısıyla kesişmelerini sağlayın. İşarettabanının yüksekliği değiştirilebilir. 3B modellerin konumu, yönlendirmesi ve ölçeklemeleri, işaretçiye göre farklı kaydırıcı çubuklarına (örneğin, çeviri, döndürme, ölçek) göre değiştirilebilir.
- Dosyaları depolama yolunu seçerek ve Modelleri Kaydet düğmesini tıklatarak modelleri bu konuma kaydedin. 3B modeller uzantı adı "_registered.obj" ile kaydedilir.
- Anatomi modeli çok büyük olabilir. Eğer öyleyse, işaretleyici adaptörü etrafında 3D modeli kesmek ve 3D-meshmixer yazılımı kullanarak her iki modelin kombinasyonu sadece bir bölümünü yazdırın.
- Meshmixer'ı açın ve adım 3.2.4'te kaydedilen küp marker modelinin biyomodel ve destekleyici yapısını yükleyin. Nesne Tarayıcı penceresinde her iki modeli seçerek bu modelleri birleştirin. Sol üst köşede görünen araç penceresinde Birleştir seçeneğini tıklatın.
- Meshmixer'da, modelin 3D yazdırılmaz istenmeyen bölümlerini kaldırmak için Düzenleme menüsünün altındaki Düzlem Kesimi aracını kullanın.
- Modeli 3B yazdırılacak şekilde kaydetmek için Dosya > Dışa Aktar'a gidin ve istediğiniz biçimi seçin.
4. 3D Baskı
NOT: Bu adımın amacı, son AR uygulaması için gerekli olan fiziksel modelleri 3D yazdırmaktır. Uygulama tarafından algılanacak işaretçi ve gerekli farklı nesneler bölüm 3'te seçilen moda bağlıdır. Her adımda istenen renk malzemesi gereksinimlerini izleyerek, bu çalışma amacıyla 3B yazdırma için herhangi bir malzeme kullanılabilir. Polilaktik asit (PLA) veya akrilonitril bütadien stiren (ABS) her ikisi de yeterli seçeneklerdir.
- Kübik işaretçiyi yazdırmak için bir 3B yazıcı kullanın. Çift ekstrüder 3D yazıcı yoksa, adım 4.2'ye atlayın. "Veri/İşaretçiler/Marker1_TwoColorCubeMarker/" olarak sağlanan iki renkli işaretleyiciyi yazdırmak için özellikle çift ekstrüder 3D yazıcı kullanın. 3B yazdırma yazılımında, "TwoColorCubeMarker_WHITE.obj" dosyası için beyaz renkli bir malzeme ve "TwoColorCubeMarker_BLACK.obj" için siyah renkli malzeme seçin.
NOT: Daha iyi işaretleyici algılaması için, küçük bir katman yüksekliğine sahip yüksek kaliteli moda yazdırın. - Çift ekstrüder 3D yazıcı kullanılamıyorsa ve adım 4.1 gerçekleştirilmediyse, aşağıdakileri yaparak alternatif olarak çıkartmalı 3D baskılı bir işaretçi yazdırmak için aşağıdaki adımı izleyin:
- "Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" dosyasını beyaz renkli malzemeyle yazdırmak için 3B yazıcı kullanın.
- "Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf" dosyasını etiket kağıdına yazdırmak için geleneksel bir yazıcı kullanın. Daha sonra, siyah çizgileri kaldırarak siyah çerçeve ye rağmen görüntüleri tam olarak kesmek için herhangi bir kesme aleti kullanın.
NOT: Daha kaliteli bir marker elde etmek için etiket kağıdı kullanılması tavsiye edilir. Ancak, görüntüler normal kağıda yazdırılabilir ve küpteki görüntüleri yapıştırmak için ortak bir yapıştırıcı çubuğu kullanılabilir. - "Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf" belgesinden alınan talimatları takiben, adım 4.2.1'de elde edilen 3D baskılı küpe çıkartmalar yerleştirin.
NOT: Çıkartmalar küpün yüzeyinden daha küçüktür. Etiket ile yüzün kenarı arasında 1,5 mm'lik bir çerçeve bırakın. "Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl" etiket konumlandırmakılavuzu ve tam küp yüz merkezi maç için 3D yazdırılabilir.
- Bölüm 3'te seçilen moda bağlı olarak adaptörleri 3D yazdırın.
- Görselleştirme modu (bölüm 3.1) seçildiyse, işaretleyiciyi yatay bir yüzeye dikey konumda yerleştirmek için kullanılan bir temel bağdaştırıcı olan "Data/3DPrinting/Option1/ MarkerBaseTable.obj" adlı 3D yazdırın.
- Kayıt modu (bölüm 3.2) seçildiyse, işaretleyici adaptörü bağlı yken adım 3.2.8'de oluşturulan modeli 3D yazdırın.
NOT: Adım 4.3'ten 3B baskılı nesneler herhangi bir renk malzemesine yazdırılabilir.
5. AR Uygulama Dağıtımı
NOT: Bu bölümün amacı, unity motorunda önceki bölümlerde oluşturulan 3D modelleri içeren bir akıllı telefon uygulaması tasarlamak ve bu uygulamayı bir akıllı telefona yerleştirmektir. Bu adım için Vuforia Development License Key (kişisel kullanım için ücretsiz) gereklidir. Uygulama Android veya iOS cihazlarda dağıtılabilir.
- Birlik'teki kitaplıklarını kullanmak için bir lisans anahtarı almak için bir Vuforia Geliştirici hesabı oluşturun. https://developer.vuforia.com/vui/auth/register bulunan bağlantıya gidin ve bir hesap oluşturun.
- https://developer.vuforia.com/vui/develop/Licenses'da bulunan bağlantıya gidin ve Geliştirme Anahtarı nı Al'ıseçin. Ardından, kullanıcının hesabına ücretsiz bir geliştirme lisansı anahtarı eklemek için yönergeleri izleyin.
- Lisans Yöneticisi menüsünde, önceki adımda oluşturulan anahtarı seçin ve adım 5.3.3'te kullanılacak olan sağlanan anahtarı kopyalayın.
- Akıllı telefonu ayarlayın.
- Unity ve Android cihazlarla başlamak için https://docs.unity3d.com/Manual/android-GettingStarted.html'dabulunan bağlantıya gidin.
- Unity ve iOS aygıtlarına başlamak için https://docs.unity3d.com/Manual/iphone-GettingStarted.html'dabulunan bağlantıya gidin.
- İlk olarak Unity v.2019'u açarak ve yeni bir 3D proje oluşturarak AR uygulaması için bir Birlik Projesi ayarlayın. Sonra, altındaYapı AyarlarıİçindeDosyamenüyü, platformu android veya iOS aygıtına çevirin.
- Düzenleme > Proje Ayarı > Oyuncu Ayarları > XR Ayarlarını seçerek ve Vuforia Artırılmış Gerçeklik Desteği etiketli kutuyu işaretleyerek Vuforia'yıprojeye dahil edin.
- Menubar > GameObject > Vuforia Engine > ARCamera altında bir "ARCamera" oluşturun ve istendiğinde Vuforia bileşenlerini alın.
- Kaynaklar klasörünü seçerek ve VuforiaYapılandırması'na tıklayarak Vuforia Configuration ayarlarına Vuforia Lisans Anahtarını ekleyin. Ardından, Uygulama Lisans Anahtarı bölümünde, bölüm 5.1.2'de kopyalanan anahtarı yapıştırın.
- "/Data/Vuforia/ AR_Cube_3x3x3.unitypackage"de sağlanan Vuforia Hedef dosyasını Unity'ye aktarın ve bu dosya, Vuforia'nın bölüm 4'te açıklanan işaretleri algılamasını gerektirdiği dosyaları içerir.
- Menubar > GameObject > Vuforia Engine > Multi Imagealtında Vuforia MultiTarget oluşturun.
- Önceki adımda oluşturulan MultiTarget'a tıklayarak algılama için kullanılacak işaretçi türünü seçin. Çoklu Hedef Davranışıaltındaki Veritabanı seçeneğinde ARHealth_3DPrintedCube_30x30x30'yi seçin. Çoklu Hedef Davranışı altında ÇokluHedef seçeneğinde, bölüm 4'te oluşturulan işaretçiye bağlı olarak TwoColorCubeMarker veya StickerCubeMarker'ıseçin.
- Bölüm 3'te oluşturulan 3B modelleri MultiTarget altında Unity Scene'e yükleyin ve "Modeller" adı altında "Modeller" klasörü altında yeni bir klasör oluşturun. 3B modelleri bu klasöre sürükleyin. Unity yüklendikten sonra, adım 5.3.5'te oluşturulan "MultiTarget" öğesinin altına sürükleyin. Bu onları işaretçiye bağımlı hale getirecek.
NOT: Modeller Unity 3D görünüm sahnesinde görünür olmalıdır. - Yeni bir malzeme oluşturarak ve modellere yeni malzemeler atayarak 3B modellerin renklerini değiştirin.
- Menubar > Varlıklar > Oluştur > Malzeme'ye giderek "Kaynaklar" klasörünün altında "Malzemeler" adlı yeni bir klasör oluşturun. Malzemeyi seçin ve yapılandırma bölümündeki rengi değiştirin. Ardından, dosyayı 3B model hiyerarşisi altında sürükleyin.
- İsteğe bağlı: Kullanılabilir bir web kamerası varsa, uygulamasını bilgisayarda test etmek için üst-orta kısımda bulunan oynat düğmesine tıklayın. İşaretçi web kamerası tarafından görülebiliyorsa, algılanmalıdır ve 3B modeller sahnede görünmelidir.
- Uygulama dağıtımı için bir Android akıllı telefon kullanılıyorsa, Dosya > Birlikte Ayarlar Oluştur'a gidin ve listeden takılı telefonu seçin. Dağıt ve Çalıştır'ıseçin. Dosyayı uzantı .apk ile bilgisayara kaydedin ve işlemin tamamlanmasına izin verin. Dağıtım yapıldıktan sonra, uygulama telefonda olmalı ve çalışmaya hazır olmalıdır.
NOT: Bu protokol Android v.8.0 Oreo veya üzeri üzerinde test edilmiştir. Eski sürümler için doğru işlevsellik garanti edilmez. - Uygulama bir iOS aygıtında dağıtılırsa, Dosya > Birlikte Ayarlar Oluştur'a gidin ve Çalıştır'ıseçin. Uygulama dosyalarını kaydetmek için yolu seçin. İşlemin bitmesine izin verin. Kaydedilen klasöre gidin ve ".projectxcode" uzantılı dosyayı açın.
- Xcode'da, dağıtımı tamamlamak için adım 5.2.2'deki yönergeleri izleyin.
NOT: Birlik içinde Vuforia hakkında daha fazla bilgi için, https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.htmlbulunan bağlantıya gidin.
- Xcode'da, dağıtımı tamamlamak için adım 5.2.2'deki yönergeleri izleyin.
6. Uygulama Görselleştirme
- Akıllı telefonun kamerasını kullanacak olan yüklü uygulamayı açın. Uygulamayı çalıştırırken, kısa bir mesafeden (en az 40 cm) kameraile işaretçiye bakın. Uygulama işaretleyiciyi algıladıktan sonra, önceki adımlarda oluşturulan 3B modeller tam olarak akıllı telefon ekranındaki yordam sırasında tanımlanan konumda görünmelidir.
NOT: Aydınlatma, işaretçi algılama hassasiyetini değiştirebilir. Uygulamanın iyi aydınlatma koşullarına sahip ortamlarda kullanılması önerilir.
Representative Results
Protokol, etkilenen anatomik bölgeyi 3Boyutlu bir perspektiften görselleştirmek amacıyla distal bacak sarkomu olan bir hastanın verilerine uygulandı. Bölüm 2'de açıklanan yöntem kullanılarak etkilenen kemiğin (burada, tibia ve fibula) ve tümörün kısmı hastanın BT taramasından segmente edildi. Daha sonra, 3D Slicer segmentasyon araçları kullanılarak, iki biyomodel oluşturuldu: kemik (tibia ve fibula bölümü) (Şekil 1A) ve tümör (Şekil 1B).
Daha sonra, iki 3B model, en iyi görselleştirme için işaretçiye göre sanal olarak konumlandırıldı. Bu örnek için bölüm 3'te açıklanan her iki kip de takip edilebildi. Görselleştirme modu için modeller işaretleyicinin üst yüzünde ortalanmış (Şekil 2). Kayıt modu için marker adaptörü kemiğe yerleştirilmiştir (özellikle tibia [Şekil 3]). Daha sonra tibianın küçük bir bölümü 3D işaretleyici adaptörü ile 3D baskılı olarak seçilmiştir (Şekil 4). "Görselleştirme" modu için 3D baskılı işaretçiler(Şekil 5A, B),işaret sahibi tabanı (Şekil 5C)oluşturmak için bir Ultimaker 3 genişletilmiş 3D yazıcı kullanıldı ve "kayıt" modu için tibia bölümü (Şekil 5D). Şekil 5E işaretçinin "görselleştirme" moduna nasıl eklenmiş olduğunu gösterir 3D baskılı taban. Şekil 5F, "kayıt" modu 3D baskılı biyomodel ile eki gösterir. Son olarak, Unity uygulamayı oluşturmak ve akıllı telefona dağıtmak için kullanıldı.
Şekil 6, uygulamanın "görselleştirme" modu için nasıl çalıştığını gösterir. Hologram, daha önce tanımlandığı gibi küpün üst kısmında doğru bir şekilde yer alıyordu. Şekil 7, uygulamanın 3B baskılı bölümün üzerine tam kemik modelini konumlandırdığı "kayıt" modu için başvuruyu gösterir. Hologramların son görselleştirmesi açık ve gerçekçiydi, biyomodellerin gerçek boyutlarını korudu ve doğru bir şekilde konumlandırıldı. Akıllı telefon uygulamasını kullanırken, uygulamanın hologramları doğru bir şekilde görüntülemesi için AR işaretçisinin kamera tarafından görülebilmesi gerekir. Buna ek olarak, sahnedeki ışık koşulları uygun işaretleyici tespiti için kaliteli ve sabit olmalıdır. İşaret yüzeyindeki kötü ışık koşulları veya yansımalar AR işaretçisinin takibini engeller ve uygulamanın arızalanmasına neden olur.
Uygulamayı oluşturmak için gereken süre çeşitli etkenlere bağlıdır. Bölüm 1'in süresi indirme hızıyla sınırlıdır. Anatomi segmentasyonu (bölüm 2) ile ilgili olarak, segmentasyon süresini etkileyen faktörler bölgenin karmaşıklığı ve tıbbi görüntüleme yöntemini içerir (yani, BT kolayca segmente edilir, MRG ise daha zordur). Tibia nın temsili örneği için, CT taramasından her iki 3D modeli oluşturmak için yaklaşık 10 dk gerekliydi. Biyomodel konumlandırma (bölüm 3) basit ve basittir. Burada, AR marker ile ilgili biyomodel konumunu tanımlamak için yaklaşık 5 dakika sürdü. 3B yazdırma adımı için süre, seçilen moda son derece bağlıdır. "Çift renkli marker" 5 saat ve 20 dk.lık bir sürede yüksek kalitede üretildi. "Etiket işareti" 1 saat ve 30 dk'lık bir süre içinde üretildi, artı çıkartmaları yapıştırmak için gereken süre. Uygulama geliştirme için son adım, Unity'de daha önce deneyimi olmayanlar için zaman alıcı olabilir, ancak protokol adımlarını izleyerek kolayca tamamlanabilir. AR işaretleri 3D baskılı olduktan sonra, tamamen yeni bir AR uygulamasının geliştirilmesi 1 saatten daha kısa bir sürede gerçekleştirilebilir. Bu süre ek deneyimle daha da azaltılabilir.
Şekil 1: Distal bacak sarkomu olan bir hastanın BT görüntüsünden oluşturulan 3D modellerin gösterimi. (A) Kemik dokusu beyaz (tibia ve fibula) ile temsil edilir. (B) Tümör kırmızı ile temsil edilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: 3D Slicer'daki "görselleştirme" modunun kemik ve tümörün sanal 3D modellerini 3D baskılı marker referansına göre nasıl konumlandırdığını gösteren sonuçlar. Hasta 3D modelleri(A)marker küpün üst yüzünün üzerine yerleştirilmiştir (B). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: 3D Slicer'daki "kayıt" modunun kemik ve tümörün (A) sanal 3D modellerini 3D baskılı marker referansı (B) ile nasıl konumlandırdığını gösteren sonuçlar. Marker adaptörü kemik dokusu modeline iliştirilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 4: Kemik dokusunun küçük bir bölümü ve 3D marker adaptörü. İki bileşen birleştirilir ve 3B yazdırılır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 5: Son uygulama için gerekli 3B basılı araçlar. (A) "İki renkli küp işaretçisi" 3D baskılı ve iki renk malzeme. (B) "Sticker küp marker" 3D baskılı, çıkartmalar yapıştırılmış. (C) Marker baz küp adaptörü. (D) Hastanın kemik dokusunun kesiti 3Boyutlu model ve marker küp adaptörü. (E) "Sticker küp marker" marker temel küp adaptörü yerleştirilir. (F) "İki renkli küp marker" hastanın anatomisine bağlı marker adaptörüne yerleştirilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 6: "Görselleştirme" modunu kullanırken uygulama ekranı. Hastanın etkilenen anatomi 3D modelleri 3D baskılı küpün üst yüzünün üzerine yerleştirilmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 7: "Kayıt" modunu kullanırken AR görselleştirme. 3D baskılı işaretçi, sanal 3B modellerle 3D baskılı biyomodelin kaydedilmesini sağlar. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Discussion
AR, tıp alanında eğitim, öğretim ve cerrahi rehberlik alanlarında büyük bir potansiyele sahiptir. 3D baskı açıkları ile birleşimi klinik uygulamalarda yeni olanaklar açabilir. Bu protokol, deneyimsiz kullanıcıların 3D baskılı referans belirteçleri olan hastaların anatomik 3D modellerinin görselleştirilmesi için AR ve 3DP'yi birleştiren bir akıllı telefon uygulaması oluşturmalarına olanak tanıyan bir metodolojiyi açıklar.
Genel olarak, AR ve 3DP'nin en ilginç klinik uygulamalarından biri, hastaya vakaya farklı bir bakış açısı vererek, belirli tıbbi durum veya tedavilerin açıklamalarını geliştirerek hasta-hekim iletişimini geliştirmektir. Başka bir olası uygulama, 3D baskılı hastaya özgü aletlerin (referans AR işaretleyicisi takılı) sert yapılara (örn. kemik) yerleştirilebildiği ve navigasyon için referans olarak kullanılabildiği hedef lokalizasyonu için cerrahi kılavuzluk içerir. Bu uygulama özellikle ameliyat sırasında kemik dokusu yüzeyine kolayca erişilebilen ortopedik ve maksillofasiyal cerrahi işlemler için yararlıdır.
Protokol, iş istasyonu kurulumu ve gerekli yazılım araçlarını açıklayan bölüm 1 ile başlar. Bölüm 2, 3D modeller elde etmek için herhangi bir tıbbi görüntüleme yönteminden hastanın hedef atomlarını kolayca segmente etmek için 3D Slicer yazılımının nasıl kullanılacağını açıklar. Oluşturulan sanal 3D modeller son AR uygulamasında görüntülenen olduğundan, bu adım çok önemlidir.
Bölüm 3'te, 3B Dilimleyici önceki bölümde oluşturulan 3B modelleri ar işaretçisiyle kaydetmek için kullanılır. Bu kayıt işlemi sırasında, hasta 3D modelleri verimli ve sadece AR marker ile ilgili olarak konumlandırılmış. Bu bölümde tanımlanan konum, son uygulamadaki hologram göreli konumunu belirler. Bu çözümün karmaşıklığı azalttığına ve olası uygulamaları çoğalttığına inanılmaktadır. Bölüm 3, modeller ve AR işaretçileri arasındaki uzamsal ilişkileri tanımlamak için iki farklı seçenek açıklar: "görselleştirme" ve "kayıt" modu. İlk seçenek, "görselleştirme" modu, 3D modellerin işaretçiye göre herhangi bir yere konumlandırılmasını ve tüm biyomodel olarak görüntülenmesini sağlar. Bu mod hastanın anatomisinin gerçekçi, 3Boyutlu bir perspektifini sağlar ve izlenen AR işaretleyicisini hareket ettirerek biyomodellerin hareket ettirilmesine ve döndürülmesine olanak tanır. İkinci seçenek, "kayıt" modu, otomatik bir kayıt işlemi sunan, biyomodel herhangi bir bölümüne bir işaretadaptörü eki ve birleştirme sağlar. Bu seçenekle, işaretleyici adaptörü de dahil olmak üzere 3B modelin küçük bir bölümü 3D yazdırılabilir ve uygulama modelin geri kalanını hologram olarak görüntüleyebilir.
Bölüm 4, 3B yazdırma işlemi için yönergeler sağlar. İlk olarak, kullanıcı iki farklı işaretçi arasında seçim yapabilir: "çift renk işaretçisi" ve "etiket işaretçisi". Tüm "çift renk işaretçisi" 3D baskılı olabilir, ancak çift ekstrüder 3D yazıcı gerektirir. Bu yazıcının kullanılamaması durumunda, "etiket işaretçisi" önerilir. Bu, kübik yapının 3D baskısı yla elde edilebilen, daha sonra küpün görüntülerini etiket kağıdı veya etiket tutkalı ile yapıştırarak elde edilebilen daha basit bir işarettir. Ayrıca, her iki belirteç de belirli bir adaptöre mükemmel bir şekilde sığacak şekilde genişletilebilir kesitlerle tasarlanmıştır. Böylece, işaretçi birkaç durumda yeniden kullanılabilir.
Bölüm 5, Vuforia yazılım geliştirme kitini kullanarak AR için bir Birlik projesi oluşturma sürecini açıklar. Bu adım, programlama deneyimi olmayan kullanıcılar için en zor bölüm olabilir, ancak bu yönergelerle, bölüm 6'da sunulan son uygulamayı elde etmek daha kolay olmalıdır. Kamera 3D baskılı işaretleyiciyi tanıdığında uygulama hastanın sanal modellerini akıllı telefon ekranında görüntüler. Uygulamanın 3D işaretleyiciyi tespit edebilmesi için, telefondan işaretçiye en az 40 cm veya daha az mesafenin yanı sıra iyi aydınlatma koşulları gereklidir.
Bu protokolün son uygulaması, kullanıcının görselleştirmek için belirli biyomodelleri ve hangi konumlarda seçmesini sağlar. Ek olarak, uygulama biyomodele bağlı 3D baskılı işaretçi ve adaptör kullanarak otomatik hasta-hologram kaydı gerçekleştirebilir. Bu, sanal modelleri çevreye doğrudan ve uygun bir şekilde kaydetme sorununu çözer. Ayrıca, bu metodoloji tıbbi görüntüleme veya yazılım geliştirme geniş bilgi gerektirmez, karmaşık donanım ve pahalı yazılım bağlı değildir ve kısa bir süre içinde uygulanabilir. Bu yöntemin ar ve 3DP teknolojilerinin tıp uzmanları tarafından benimsenmesini hızlandırmaya yardımcı olması beklenmektedir.
Disclosures
Yazarların açıklayacak bir şeyi yok.
Acknowledgments
Bu rapor PI18/01625 ve PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III ve Avrupa Bölgesel Kalkınma Fonu "Una manera de hacer Europa") ve IND2018/TIC-9753 (Comunidad de Madrid) projeleri tarafından desteklenmiştir.
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
