Method Article

Artırılmış Gerçeklik Kullanılarak Transkateter Aort Kapak Replasmanında Otomatik Cerrahi

DOI:

10.3791/67096

⸱

August 9th, 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makale, artırılmış gerçeklik (AR) tabanlı 3D rekonstrüksiyona dayalı bir otomatik cerrahi modülünün tasarımını ve uygulanmasını sunmaktadır. Sistem, cerrahların yeniden yapılandırılmış özellikleri incelemesine ve cerrahi el hareketlerini ameliyatı yakın bir yerde yapıyormuş gibi tekrarlamasına olanak tanıyarak uzaktan ameliyatı mümkün kılar.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Artırılmış Gerçeklik (AR), tıbbi uygulamalarda yüksek talep görmektedir. Bu makalenin amacı, Transkateter Aort Kapak Replasmanı (TAVR) için AR kullanarak otomatik cerrahi sağlamaktır. TAVR, açık kalp cerrahisi için alternatif tıbbi prosedürdür. TAVR, bir kateter kullanarak yaralı kapağı yenisiyle değiştirir. Mevcut modelde uzaktan yönlendirme yapılırken, ameliyat AR'ye dayalı olarak otomatikleştirilmemektedir. Bu makalede, cerrahi ortamda görüntü yakalamanın otomasyonu için bir motora bağlı, uzamsal olarak hizalanmış bir kamera kullandık. Kamera, kateter test yatağı ile birlikte hastanın kalbinin 2D yüksek çözünürlüklü görüntüsünü izler. Yakalanan bu görüntüler, mobil uygulama kullanılarak kardiyoloji uzmanı olan uzaktaki bir cerraha yüklenir. Bu görüntü, 2D görüntü izlemeden 3D rekonstrüksiyon için kullanılır. Bu, bir dizüstü bilgisayardaki öykünücü gibi bir HoloLens görüntülenir. Cerrah, döndürme ve ölçekleme gibi ek dönüştürme özellikleriyle yeniden yapılandırılmış 3D görüntüleri uzaktan inceleyebilir. Bu dönüştürme özellikleri el hareketleriyle etkinleştirilir. Cerrahın rehberliği, süreci gerçek zamanlı senaryolarda otomatikleştirmek için cerrahi ortama iletilir. Cerrahi alandaki kateter test yatağı, uzaktaki cerrahın el hareketi rehberliği ile kontrol edilir. Geliştirilen prototip model, AR aracılığıyla uzaktan cerrahi rehberliğin etkinliğini göstermektedir.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AR, 3B modeli gerçek dünya ortamında üst üste bindirebilir. AR'ye yönelik teknolojik gelişme, eğitim1, tıp2, üretim3 ve eğlence4 olmak üzere birçok alanda paradigma kayması yarattı. AR teknolojisi, ultra güvenilir düşük gecikmeli iletişim ile birlikte, tıp alanındaki kaçınılmaz rolünü kanıtlıyor. İnsan anatomisinin öğrenme aşamasından cerrahi rehberliğe kadar, öğrenme aşamaları AR destekli yazılım 5,6 ve donanım ile görselleştirilebilir. AR, cerrahi bir ortamda tıp doktoruna çok önemli ve güvenilir bir çözüm sunar 7,8.

Aort kapak darlığı, insanoğlunda en sık görülen kalp kapak hastalığıdır9. Hastalığın temel nedeni, kötü beslenme alışkanlıkları ve günlük yaşamın düzensiz rutinleridir. Hastalığın belirtisi ve sonucu kalp kapakçığının daralması ve ardından kan akışının azalmasıdır. İnsan kalbinde herhangi bir hasar meydana gelmeden önce bu sorunun ele alınması gerekir. Böylece, kalp kan akışını işlemek için aşırı yüklenir. Bu nedenle, herhangi bir hasar meydana gelmeden önce, son günlerdeki teknolojik gelişmeler nedeniyle TAVR prosedürü kullanılarak da yapılabilen ameliyatın yapılması gerekir. Prosedür, kalbin ve hastaların diğer vücut bölümlerinin durumuna göre benimsenebilir. Bu TAVR 10,11'de, kalpteki hasarlı kapağın yerini almak için kateter yerleştirilir. Bununla birlikte, valfi değiştirmek için kateter pozisyonunu12 yerleştirmek uygulayıcı için sıkıcıdır. Bu fikir bizi, cerrahın değiştirme işlemi sırasında kapağı hassas bir şekilde konumlandırmasına yardımcı olan AR 13,14'e dayalı otomatik bir cerrahi modeli tasarlamaya motive etti. Ayrıca ameliyat, cerrahın uzak bir konumdan yakalanan hareketini robotik kola eşleyen bir hareket haritalama algoritması ile gerçekleştirilebilir.

Mevcut çalışma 15,16,17'de, TAVR18 prosedürünün görselleştirilmesi floroskopi ile izlenmektedir. Bu nedenle, kalp kapakçığını analiz etmek zordur ve değiştirme yerini bulmak sıkıcıdır. Bu, kateterin insan kalbine yerleştirilmesi için bir engel oluşturur. Ek olarak, süreci otomatik hale getirmek için uzak hareket cerrahi alanla eşleştirilir. Bununla birlikte, araştırma boşluğunun üstesinden gelmek için, AR destekli teknolojiyi kullanarak valf değişimi için otomatik robotik tabanlı bir ameliyat öneriyoruz.

Protokol tüm cerrahi ortamlara uygulanabilen jenerik bir modeldir. Çalışmanın başlangıç aşamasında, 2D görüntüler, en büyük serbestlik derecesinin en yüksek uzamsal çözünürlüğü ile cerrahi ortamın her yerinde yakalanır. Bu, 3D rekonstrüksiyon19 amacı için yeterli görüntünün yakalandığı ve ardından el hareketi izleme20 yoluyla hareket haritalamanın yapıldığı anlamına gelir.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Cerrahi ortam

  1. Şekil 1'de gösterildiği gibi bir ameliyat ortamı tasarlayın. Ortamda, nesne taşıyan bir plaka, robotik bir kol ve biri kamera yer tutucusunu, diğeri ise tutarlı bir beyaz arka plana sahip olmak için terazi tartım modülüyle birlikte iki yana asılı tuttuğa sahip olduğundan emin olun.
  2. Biri 2.1 ila 2.10 adımlarında belirtildiği gibi canlı cerrahi ortamın anlık görüntüsü için, diğeri ise 3.1 ila 3.4 adımlarında belirtildiği gibi 360° gözetimi destekleyen döner mekanizmayı kontrol etmek için iki sürücü geliştirin.
  3. Yukarıdaki iki modülü uygulamadan önce, cerrahın HoloLens öykünücüsü olarak hizmet veren mobil cihazın ve dizüstü bilgisayarın Bluetooth'unu etkinleştirin.
  4. Kesintisiz görüntü aktarımı için cihazları eşleştirin.

2. Sürücüyü iki asılı kolu kontrol edecek şekilde ayarlama

  1. 360°'lik kusursuz bir dönüş için asılı kolların Şekil 2'de gösterildiği gibi bir step motor tarafından kontrol edildiğinden emin olun.
  2. TB 6600 sürücüsünü kullanarak motoru mikrodenetleyici kartına bağlayın. Motoru çalıştırmak için tarayıcıdan mikrodenetleyici IDE'yi yükleyin.
  3. Yazılımı indirmek için İndir düğmesine tıklayın. Ardından, mikrodenetleyici IDE'sinde, kodu yazmak için Dosya > Yeni Bir Çizim Aç'a gidin.
  4. Mikrodenetleyici kartını, örneğin COM 4 gibi özel bir bağlantı portu aracılığıyla yeni çizimle arayüz oluşturmak için bağladığınızdan emin olun. Com Bağlantı Noktasını kontrol edin ve mikrodenetleyici kartını gösterdiğini doğrulayın.
  5. Step motor sürücüsü TB 6600'ün donanım anahtarı ayarlarını kontrol edin. Ayarların, SW2 AÇIK ve SW4 AÇIK ve SW5 ve SW5 KAPALI ayarlanarak elde edilebilecek akım akışı 6 A olacak şekilde olduğundan emin olun.
  6. SW1, SW2 ve SW3'ün anahtar konumlarının, gereksinime göre devir adımlarına ulaşmak için mikro adımın 1/8 adım olacak şekilde ayarlandığından emin olun. TB1'de ayarların SW2 KAPALI, SW3 AÇIK ve SW6600 KAPALI olduğundan emin olun.
  7. Gerçek küresel zaman senkronizasyonuna sahip olmak için RTC 3231'i mikrodenetleyiciye bağlayın. Devir adım boyutunun 12° olduğundan ve motor adım artışının yalnızca gerçek zamanlı birimin, yani RTC modülünden okunan saniyenin sayısı tek olduğunda tetiklendiğinden emin olun.
  8. Mikrodenetleyici kartının 5 V pinini RTC VCC'ye ve mikrodenetleyicinin GND'sini RTC'nin GND'sine bağlayın.
  9. RTC'nin SCL pinini A0 pinine ve SDA'yı mikrodenetleyicinin A1 pinine bağlayın. Bu modül, bir devirde 30 adım atarak 12 ° 'lik bir adım boyutu sağlayabilir. Adım artışının her tek saniyede bir gerçekleştiğinden emin olun. Bu yazılım modülünün step motoru21 sürmesine izin verin.
  10. GitHub sayfasında bulunan kodu çalıştırarak kurulumun doğru çalıştığını doğrulayın: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Otomatik kamera uygulamasını geliştirmek için Android Studio'yu indirin. Sistem gereksinimlerinin karşılandığından emin olun, ardından yazılımı web sitesinden indirin.

3. İstemci modülü olarak mobil tabanlı sahne gözetimi ve görüntü aktarımı için bir sürücü geliştirmek

  1. Android işletim sisteminde, özellikle saniyelerin tek sayılar olduğu durumlarda her 2 saniyede bir anlık görüntü alabilen bir kamera uygulaması geliştirin.
  2. Cep telefonunu sisteme bağlayın. Android Studio'da Yeni > Yeni Proje'ye tıklayın ve Boş Görünümler Etkinliği'ni seçin. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR'da bulunan bir Android kodu geliştirmek için İleri'ye tıklayın.
  3. Uygulamanın görüntüleri otomatik olarak yakaladığından ve bunları tutarlı bir şekilde uzaktaki bir cihaza gönderdiğinden emin olun.
  4. Anlık görüntüyü aldıktan hemen sonra mobil uygulamadan anlık görüntüleri eşleştirilen cihaza, yani Bluetooth aracılığıyla uzaktaki cerrahın sistemine iletin.
    NOT: Bölüm 2 ve 3'te bahsedilen modüllerin, biri her çift saniye sayısı ve diğeri her tek saniye sayısı için olmak üzere zaman senkronizasyonunda çalıştığından emin olun.

4. Gözetim görüntülerini almak ve işlemek için bir istemci modülü geliştirmek

  1. Grafiksel bir kullanıcı arabirimi olan sunucu modülünü açın.
  2. Varsayılan değeri 94f39d29 7d6d 437d 973b fba39e49d4ee olan VVID metin alanına VVID bağlantı noktası numarasını girin.
  3. Soketi oluşturmak ve bağlamak için Soket Oluştur'a tıklayın. Mobil uygulama ile bağlantı kurmak için Bağlan'a tıklayın.
  4. Sahne gözetim görüntülerini yakalamak ve yerel klasöre kaydetmek için Yakala'ya tıklayın
  5. Belirtilen varsayılan addan farklı olması gerekiyorsa, klasör adı alanına yerel klasör adını girin.

5. Robotik kolun çalıştırılması

  1. İstemci modülünün bir robotik kol da içermesine izin verin. Kolu tabanı, omzu, dirseği, bileği ve parmaklarında dönme hareketine sahip olacak şekilde tasarlayın.
  2. Taban, omuz ve dirsekteki dönme hareketini yönetmek için MG 996R servoların kullanıldığından emin olun. Dirsek ve parmaklardaki dönme hareketini kontrol etmek için SG 90 servo motorun kullanıldığından emin olun.
  3. Uzaktaki cerrahtan alınan komutlara göre robotik kolu sürmek için https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR olarak verilen kodu mikrodenetleyici IDE'de derleyin.

6. 3D artırılmış gerçeklik için yeniden yapılandırma

  1. Aralarındaki olası örtüşmeyi elde etmek için yerel klasörden sırayla iki görüntüyü tek tek okuyun (görüntüler yakın bir şekilde toplandığından, ardışık görüntüler arasında bir örtüşme olacaktır).
  2. Degrade ve yönlendirmeyi elde etmek için Üçüncül Filtreleme22 (DITF) algoritmasını kullanarak Yönlü Yoğunlaştırılmış Özellik Açıklamasının gereksinimine göre bir üçüncül filtre tasarlayın.
  3. Şekil 22'te gösterildiği gibi DITF yöntemini 3 kullanarak özellikleri ayıklayın.
  4. SFM23'ü kullanarak toplanan özelliklerden 3B görüntüleri yeniden oluşturun.

7. Cerrahın bulunduğu yerde el hareketi tanıma

  1. Cerrahın, el hareketine dayalı döndürme ve yeniden yapılandırılmış özellikleri yakınlaştırma/uzaklaştırma sağlayarak çevreyi tüm perspektiflerden görselleştirmesini sağlayarak 3D yeniden yapılandırılmış görüntü özelliklerini incelemesini kolaylaştırın.
  2. Cerrahın başparmağının ucu ile sağ elin işaret parmağı arasındaki mesafeyi normalleştirin ve karşılık gelen bir dönme açısına eşleyin. Normalleştirme, çıplak minimum mesafe 0°'ye ve maksimum mesafe 180°'ye karşılık gelecek şekilde olsun.
  3. El hareketi kontrolünü, Bluetooth aracılığıyla, nesne plakasının dönüşü için uzaktan ameliyat ortamına ve ayrıca 3D yeniden yapılandırılmış özellikler cerrahın ucunda dönerken kendi ekseni etrafında dönmesini sağlayan iletin.
  4. Robot kolun parmaklarının hareketini kontrol etmek için cerrahın sol elinin ucu ile başparmağı arasındaki mesafeyi bulun.
  5. Yükseklik açısını belirlemek için cerrahın sol elinin başparmağının ucu ile işaret parmakları arasındaki uzamsal mesafeden yükseklik açısını hayali bir xy yer düzlemine göre ölçün. Bu açıyı, robot kolunun xy düzlemi ile yapabileceği bir yükseklik açısına eşleyin.
  6. Cerrahın elinin sanal y-z düzleminin eliyle yaptığı azimut açısını bulun. El hareketine dayalı tanıma ile bu açıları belirleyin.
  7. Robotun parmak hareketini ve kol dönüşünü kontrol etmek için mesafeyi, yüksekliği ve azimut açılarını haritalayın, her ikisi de yükseklik ve azimut açılarına karşılık gelir.
  8. Cerrahın yeniden yapılandırılan özellikleri yakınlaştırarak ve döndürerek incelemesine izin verin. Cerrahın uzak bir yerden ameliyat yapması için komutları robot koluna iletmesine izin verin.
  9. Ameliyat komutlarının, bir dizi uyumuyla başlayarak bir dizi kontrol dizisi olarak iletildiğinden ve ardından plaka dönüşünü ve robotik kol kontrolörünü kontrol etmek için değerlerin geldiğinden emin olun. [θb, θs, θe, θw, θf], her biri robot kolunun tabanına, omzuna, dirseği, bileğine ve parmağına karşılık gelen kontrol sinyaline karşılık gelen değerlerden oluşan vektörün açısı olsun.
    NOT: GitHub bağlantısı, cerrahi alanda el hareketi kontrolünü etkinleştirmek için kod sağlar. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokol kalp fantom modeli ile test edildi. Şekil 2 , mekansal olarak dağıtılmış kameralar yardımıyla cerrahi alanın canlı gözetimi için beklenen kurulumu göstermektedir. Şekil 2'de gösterildiği gibi dağıtılmış kameralar, etkili 3D rekonstrüksiyon için alanın uzamsal çözünürlüğünü artırmaya yardımcı olur. Bununla birlikte, bu kameraların çeşitli mekansal konumlara fiziksel olarak yerleştirilmesinin gerçekleştirilmesi karmaşıklık içerir. Bu nedenle, kurulum tasarımını optimize ettik ve bir TB6600 sürücüsü tarafından tahrik edilen bir NEMA motoru tarafından döndürülen uzamsal olarak kendi kendine odaklı kamera düzenlemesi çözümünü bulduk. Bu yapı uygulanabilir ve modelde uygulanmıştır ve aynısı Şekil 1'de gösterilmiştir.

Şekil 1'de, otomatik kamera anlık görüntüleri ve ardından Bluetooth protokolü aracılığıyla iletimleri bir Android kodu tarafından yönetilir. Modül, yakalama her tek saniyede bir gerçekleşecek ve iletimleri, bölüm 3'te belirtildiği gibi her çift saniyede bir yapılacak şekilde düzenlenmiştir. NEMA motorunu arayüzleyen mikrodenetleyici modülü, yapıyı saniyede bir döndürmeye özen gösterir, böylece bulanık olmayan fotoğraf çekimi için yeterli zaman garanti edilir. Böylece, 30 ° döndürme ile toplamda 360 fotoğraf çekilir ve bunlar Bluetooth kullanılarak iletilir.

Ayrıca, Şekil 1'de, cerrahi ortamın DITF tanımlayıcılarının 3D yeniden yapılandırılmış görünümü gösterilmektedir. Bu tanımlayıcı tabanlı rekonstrüksiyonların cerrahlar tarafından el hareketi haritalaması yoluyla yakınlaştırma ve döndürme yoluyla incelenebileceğine dikkat edilmelidir. Ayrıca bu hareketler cerrahi ortama gönderilerek kateterin gerçek alana yerleştirilebilmesi için ameliyatı taklit eder. Hareket haritalama, robot parçalarını, yani taban, omuz, dirsek, bilek, tutucu ve parmağı kontrol etmek için altı farklı açıyla eşlenecek şekilde yapılır. Bu açılar vektör biçiminde [θb, θs, θe, θw, θf] olarak gösterilir. Verilen vektörde, θpdeğeri, insan nesnesinin tabağını döndürmek için hareket haritalamasına karşılık gelir. Aynı θp, HoloLens öykünücüsünde görüntülenen tanımlayıcıyı cerrahın yanında da yönlendirmek için kullanılır.

Şekil 3, 3D rekonstrüksiyon için temel adım olan fantom modelinin DITF özelliklerini göstermektedir. Çıkarılan özelliklere bağlı olarak, yazışmalar görüntü eşleştirmede tanımlanır. Referans görüntüler ile 45° dönüşün çeşitli sonuçları arasındaki yazışma Şekil 4'te gösterilmiştir. Farklı renklerle yazışmalar, görüntüler farklı görünüm yönelimlerinde olsa bile benzer özellikleri tanımlamanın ve eşleştirmenin etkinliğini açıkça gösterir. Şekil 5'te, hareket eşlemenin doğruluğu dahil edilmiştir, bu da iki parmak arasındaki mesafe düşük olduğunda doğruluğun yüksek olduğunu gösterir. Bununla birlikte, parmaklar arasındaki mesafe arttığında, doğruluk azalmaya başlar.

Öte yandan, modelin verileri işlemesi için geçen süre AR'de çok önemlidir. Bu nedenle, önerilen modelin doğrulanması için bu parametre dahil edilir, görüntünün işlenmesi için zaman gecikmesi ölçülür ve sonuçlar, Yönlendirilmiş HIZLI ve döndürülmüş KISA (ORB)24 ve Artırılmış Verimli İkili Yerel Görüntü Tanımlayıcı (BEBLID)25 gibi mevcut algoritmalarla doğrulanır. Sonuçlar, Şekil 6'da gösterildiği gibi, DITF'nin gecikme açısından ORB ve BEBLID gibi mevcut modelleri aştığını göstermektedir. Buna ek olarak, 3D rekonstrüksiyon modeli rekonstrüksiyon hatası ile doğrulanır ve Şekil 7'de gösterilen şekil histogramın dar olduğunu gösterir, bu da rekonstrüksiyon hatasının minimum olduğu anlamına gelir; Önerilen algoritmanın yeniden yapılandırılmasının doğrulandığını ve onaylandığını gösterir. Şekil 8 , önerilen model için 3D rekonstrüksiyonun çıktısını göstermektedir. Görselleştirmedeki netliği yansıtır ve görüntünün nicel sonuçları da çizimler kullanılarak doğrulanır. Bu sonuçlar, önerilen modelin, 3B modeli yeniden oluşturmak için döndürme dönüşümü ile gerekli tüm özellikleri çıkardığını kanıtlamaktadır. Bu nedenle, uzaktaki uzman, cerrahi alanın hassas bir şekilde görselleştirilmesine ve kontrolüne sahip olabilir.

figure-results-1
Şekil 1: Artırılmış Gerçeklik kullanılarak Transkateter Aort Kapak Değiştirme otomatik cerrahisi için donanım kurulumunun uygulanması. (A) Canlı izleme sistemi ile Cerrahi Alan. (b) Artırılmış Gerçeklik Tabanlı Görselleştirme. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-2
Şekil 2: Cerrahi ortamın beklenen modeli. Gösterilen model, uzamsal olarak dağıtılmış kamera sensörleri kullanılarak cerrahi ortamın canlı gözetimi ile donatılmıştır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-3
Şekil 3: Cerrahi test yatağına yerleştirilen bir insan kalbinin modeli ve öznitelik tanımlayıcı algoritması kullanılarak çıkarılan özellikleri. (A) Giriş kalp fantom modeli. (B) Kalp fantom Modelinin üçüncül filtreleme özelliği ekstraksiyonu kullanılarak yönlü yoğunlaştırılmış özellik açıklaması. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-4
Şekil 4: İki görüntü unsuru arasındaki özellik eşleştirme. (A) Kalp fantom modeli için üçüncül filtreleme özelliği çıkarımı kullanılarak yönlü yoğunlaştırılmış özellik açıklaması. (B) 45 ° döndürülmüş kalp fantom modelinin üçüncül filtreleme özelliği çıkarımı kullanılarak yönlü yoğunlaştırılmış özellik açıklaması. Çizgiler, iki farklı yöndeki benzer görüntülerin özellikleri arasındaki yazışmayı gösterir. Çizgi rengi, seçilen farklı özellikleri gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-5
Şekil 5: El hareketi izlemenin doğruluğu. Şekil yüzde doğruluğunu göstermektedir. Numune numarası (N) 500 olarak seçilmiştir. Hareket haritalama 500 kez yapılır ve bunlardan doğru harita sayısı bulunur. Daha sonra doğruluk, doğru eşleme ile toplam numune sayısı arasındaki oran olarak hesaplanır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-6
Şekil 6: Yönlendirilmiş HIZLI ve döndürülmüş BRIEF ve Artırılmış Verimli İkili Yerel Görüntü Tanımlayıcı Algoritması ile üçüncül filtreleme kullanılarak yönlü yoğunlaştırılmış özellik açıklamasının gecikmesi. Bir görüntüden özellikleri çıkarmak için geçen süre olan gecikme süresi çizilir. N'yi 500 olarak seçtik, bu da zaman gecikmesi hesaplamasının 500 üzerinden yapıldığı ve ardından ortalamasının alındığı anlamına gelir. Prosedür üç algoritma için yapılır ve çizilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-7
Şekil 7: Önerilen modelin yeniden yapılandırma hata dağılımı. Yeniden yapılandırma hatası, özelliğinden yeniden yapılandırılmış 3D görüntü ile orijinal görüntü arasındaki hatadır. Hata grafiği, belirli bir olayın oluşumlarının sayısını gösteren bir histogramdır. Hata sıfır olduğunda sayı maksimumdur ve her iki tarafta da bozulur. İstenen sonuç budur. Şekil, histogramın (Normal yoğunluk) varyansının daha az olduğunu gösterir, bu nedenle ortalamadan (0) gelen hata her iki yönde de çok fazla yayılmaz. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-8
Şekil 8: Kalp modelinin 3 boyutlu rekonstrüksiyonu. Her renkli nokta, karşılık gelen özellikten 3B yeniden yapılandırılmış noktayı gösterir. Şu an itibariyle, özellik yeniden yapılandırma algoritması rengi normalleştiriyor ve bununla birlikte diğer özellikler renklendiriliyor. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mevcut bir çalışmada15, kalpteki kateterin yerini belirlemek için X-ışını ve BT taramaları incelenir. Bununla birlikte, AR TAVR replasmanı, 3D rekonstrüksiyon kullanılarak otomatik bir modelin uygulanmasıyla TAVR18 cerrahi prosedüründe yeni bir olasılık oluşturmaktadır. Protokol bölümünde de belirtildiği gibi, bu çalışmanın tasarlanması için beş aşamadan oluşmaktadır. Önceki çalışmamız22'de önerdiğimiz, bölüm 6'da bahsedilen DITF22'nin ilk aşaması, modeli tıbbi uygulamalara yerleştirecek şekilde geliştirilmiştir. 3B rekonstrüksiyonun ikinci aşaması, 3B modeli 2B noktalardan oluşturmanın zorlu görevidir. Modeli doğrulamak için modeli çeşitli giriş görüntüleriyle test ettik. Görüntüleri yeniden oluşturmak için SFM23 benimsenmiştir. Görüntünün yazışması, bir kalibrasyon matrisi ile birlikte DITF22 yardımıyla ölçülür. Bir sonraki aşama el hareketi takibidir; 3D rekonstrüksiyonda el hareketi kontrolünün arayüzü, gerçek zamanlı olarak başka bir zorlu görevdir. Ölçekleme kontrolü ve döndürme varyasyonu, uzaktaki uzman tarafından 3D modellere kolay erişim için el hareketleriyle yerleştirilmiştir. Dördüncü aşama, otomatik görüntü yakalama için 3. bölümde belirtilen Mobil uygulama oluşturmadır. Bu uygulama, verileri uzaktaki uzmana 3D model olarak yükler. Son aşama, Şekil 1'de gösterildiği gibi, kalbin yaralı kapakçığını değiştirmek için kateteri yerleştirmek üzere otomatikleştirilmiş bir robot kollu kalp fantom modeli kullanılarak gösterilen donanım kurulumudur.

Geliştirilen yöntem, artırılmış gerçeklik ve özellik çıkarma kullanılarak cerrahi ortamın olay yeri gözetiminden uzaktan ameliyatın gerçekleştirilmesine yöneliktir. Bu makalede önerilen önemli katkılar, en iyi bilgilerimize göre literatürde görülmemiştir. Geliştirilen yöntem, özelliklerden 3D görüntüyü yeniden oluşturmak için düşük gecikme süresine sahiptir. Ayrıca, yöntem yeniden yapılandırılmış özellikler ile orijinal görüntü arasında çok düşük hataya sahiptir. Bu gecikme ve hata sırasıyla Şekil 6 ve Şekil 7'de gösterilmiştir. Rakamlar ayrıca diğer algoritmaların, yani ORB24 ve BEBLID25'in önerilen yöntemden daha düşük standart olduğunu göstermektedir.

Yöntemin geliştirilmesinde karşılaştığımız zorluklar, mobil Uygulama ile uzak sunucu arasındaki Bluetooth protokolü tabanlı iletimdir. Sahne yakalama ve iletimin her 2 saniyede bir tamamlanması gerektiğinden, ultra yüksek hızlı iletişim gerektiriyordu. Genellikle kırık bir soketle sonuçlanıyordu ve sorunsuz işleme için çok sayıda istisna işleme ve paralel rutin yönetim gerektiriyordu. Buna ek olarak, yöntemin geliştirilmesi ve uygulanması sırasında bazı sorunlarla karşılaştık.

Ancak, bunları çözmek için bazı sorun giderme teknikleri vardır. Bluetooth iletişimi, doğru kanalın veya VVID bağlantı noktası numarasının seçilmesini içerir. Ayrıca, daha fazla ilerlemeden önce Bluetooth cihazının her iki ucundan da değiştirildiğinden emin olunmalıdır. Robot kolunu ve asılı rotasyon kolunu sürmek için mikroişlemci tabanlı rutin ile ilgili olarak, seri iletişim için port numaraları sağlanmalıdır. Motor sürücü bağlantısı, NEMA ve servo motor göz önünde bulundurularak düzgün bir şekilde sağlanmalıdır. Düzgün yapılmazsa, sadece sürücüye olan bağlantı yanlış yapılsa bile NEMA motoru istenmeyen bir şekilde döner. NEMA motorunun iki bobininin uçlarının doğru bir şekilde tanımlanması gerekir; Aksi takdirde, sürücü ile bağlantı istenmeyen bir şekilde dönebilir ve hatta motora zarar verebilir. Yaklaşık 1 kg ağırlığındaki dönen bir kolun asılmasını desteklemek için bir kuplörün tasarımı zorlu bir işti. Sorunu çözmek için motorun milinde 1 mm çapında bir delik açtık. Bir mobil cihazın ağırlığı da dahil olmak üzere kolun her iki tarafını dengelemek de zorlu bir iştir; Aksi takdirde, yapı zemin yüzeyinde sürüklenebilir ve bu da yapının motor milinden yırtılmasına veya aşağı çekilmesine neden olur. Robot kolunun tabanına, omzuna, dirseği, bileğine ve parmaklarına uygun şekilde vidalanması sağlanmalıdır; Aksi takdirde, döndüğünde ve ağırlığı kaldırdığında parçalar düşebilir. İki modülün paralel çalışması, sorunsuz çalışma için farklı iş parçacıklarının paralel olarak çalıştığı uygun bir Python ortamı ayarlanarak halledilmelidir.

Sonuçlar, önerilen Otomatik TAVR18 modelinin AR'de cerrahi rehberlik için etkili bir yöntem olduğu sonucuna varmıştır. Önerilen bu model, bu prototipi tıp uzmanı rehberliğine göre tıp alanındaki herhangi bir ameliyata uygulamak için esnektir. Öğrenmeye dayalı modeller, 3D rekonstrüksiyonu geliştirebilir. 3B modeli yeniden oluşturmak için, iyi aydınlatma görüntülerine sahip birden çok görünümün girdi olarak verilmesi gerekir; Ancak, bu gelecekte ele alınabilir. Ayrıca gelecekte, hatasız ve sorunsuz çalışma için düşük gecikme süresi ve ultra güvenilir iletişim sağlamak için 5G iletişim tabanlı bir iletim geliştirmek istiyoruz. Ayrıca şu anda kullanılan bir emülatör yerine kendi AR cihazımızı geliştirmek istiyoruz. Bu, 3D modelin canlı bir cerrahi ortamda görselleştirilmesini iyileştirebilir.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar herhangi bir çıkar çatışması beyan etmemektedir.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar bu araştırma için herhangi bir fon olmadığını kabul etmektedir.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
android IDEyazılımıhttps://developer.android.com/studioyazılımı bu linkten indirilebilir
Arduino KartıArdunio Uno, Ardunio Uno,işlemek için mikrodenetleyici
https://www.arduino.cc/en/software.Yazılım bu bağlantıdan indirilebilir
İnsan Kalbi hayalet modeliBiyoloji Laboratuvarı Ekipmanları Üreticisi ve İhracatçısıB071YBLX2V (8B-ZB2Q-H3MS-1)kalbin derin analizine kadar 3 parçalı hafif model.
mobil tutucuMütevazı üniversal monopoad tutucuB07S9KNGVSCep telefonunu cerrahi alanda taşımak için
pycharm IDEyazılımıhttps://www.jetbrains.com/pycharm/yazılım bu linkten indirilebilir
Robot koluBaskılı botlarB08R2JLKYM(P0-E2UT-JSOU)kol kontrol ile kontrol edilebilir signal.it 5 derece erişim serbestliğine sahiptir.
servo motorKollmorgen Ortak Mühendisleri MotorlarMG-966Ryüksek torklu servo motor, 500 ila 2500 mikrosaniye arasında değişen servo darbeleri (&mikro; s), 50Hz ila 333Hz frekansı ile.
servomotorKollmorgen Yardımcı Mühendisleri  MotorlarSG-90R1,8 kg-cm ila 2,5 kg-cm yük SG-90R servoya uygulanabilir.
Step Motor28BYJ-4828BYJ-48Step motor, 5V DC, 100 Hz frekans, tork 1200 Gf.cm
Step MotorNema 23NemaStep motor, 9V - 42 V DC, 100 Hz frekans
: , Arduino yazılım yazılımını ,

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Augmented Reality SurgeryTranscatheter Aortic ValveRemote Surgical Guidance3D ReconstructionRobotic Arm ControlHand Gesture ControlReal Time SynchronizationFeature ExtractionCatheter TestbedTelemedicine Surgery

Related Articles