Yöntem makalesi

Açık Kalp Cerrahisinin Stereo 3D Görselleştirilmesi için İdeal Yapılandırmayı Belirlemek için Kamera Konumlarının Robotlu Testi

DOI:

10.3791/62786

⸱

12 Ağustos 2021

 ,  ,  ,  ,  , 
1Cardiac Surgery Unit, Children’s Heart Centre, Skåne University Hospital, 2Department of Clinical Sciences, Lund University, 3Student at Lund University

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

3D stereo videoların insan derinliği algısı kamera ayrımına, yakınsama noktasına, nesneye olan uzaklığa ve aşinalığına bağlıdır. Bu makale, ideal kamera yapılandırmasını belirlemek için canlı açık kalp ameliyatı sırasında hızlı ve güvenilir test verisi toplama için robotlaştırılmış bir yöntem sönmektedir.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cerrahi prosedürlerden elde edilen Stereo 3D video, tıp eğitimi için son derece değerli olabilir ve klinik iletişimi geliştirebilir. Ama ameliyathaneye ve cerrahi alana girişler kısıtlı. Steril bir ortamdır ve fiziksel alan cerrahi personel ve teknik ekipmanlarla kalabalıktır. Bu ortamda, cerrahi işlemlerin engelsiz yakalanması ve gerçekçi bir şekilde çoğaltılması zordur. Bu makale, farklı kamera taban çizgisi mesafelerinde ve yakınsama mesafelerinde stereoskopik 3D videoların hızlı ve güvenilir veri toplaması için bir yöntem sunun. Ameliyat sırasında minimum parazitle, yüksek hassasiyet ve tekrarlanabilirlikle test verilerini toplamak için kameralar çift kollu bir robotun her eline tutturuldu. Robot ameliyathaneye tavana monte edilmiş. 10 mm artımlı adımlarda ve 1100 mm ve 1400 mm'lik iki yakınsama mesafesinde 50-240 mm arasında taban çizgisi mesafesine sahip bir dizi test pozisyonundan geçen zamanlanmış bir dizi senkronize kamera hareketi gerçekleştirmek için programlandı. Art arda 40 5'li video örneğine izin vermek için ameliyata ara verildi. Toplam 10 cerrahi senaryo kaydedildi.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cerrahide 3D görselleştirme eğitim, tanılar, ameliyat öncesi planlama ve ameliyat sonrası değerlendirme için kullanılabilir1,2. Gerçekçi derinlik algısı normal ve anormal anatomilerin 3,4,5,6'sının anlaşılmasına neden olabilir. Cerrahi işlemlerin basit 2D video kayıtları iyi bir başlangıçtır. Bununla birlikte, derinlik algısının olmaması, ameliyatsız meslektaşların farklı anatomik yapılar arasındaki antero-posterior ilişkileri tam olarak anlamalarını zorlayabilir ve bu nedenle anatominin yanlış yorumlanması riskini de doğurabilir7,8,9,10.

3D görüntüleme deneyimi beş faktörden etkilenir: (1) Kamera yapılandırması Şekil 1, (2) Taban çizgisi uzaklığında (kameralar arasındaki ayrım) gösterildiği gibi paralel veya toed-in olabilir. (3) İlgi çekici nesneye ve arka plan gibi diğer sahne özelliklerine uzaklık. (4) Ekran boyutu ve görüntüleme konumu gibi görüntüleme cihazlarının özellikleri1,11,12,13. (5) İzleyenlerin bireysel tercihleri14,15.

3D kamera kurulumu tasarlamak, çeşitli kamera taban çizgisi mesafelerinde kaydedilen test videolarının yakalanması ve öznel veya otomatik değerlendirme için kullanılacak yapılandırmalarla başlar16,17,18,19,20. Keskin görüntüler yakalamak için kamera mesafesi cerrahi alana sabit olmalıdır. Otomatik odaklama, görünüme gelebilecek ellere, aletlere veya kafalara odaklanacak şekilde ayarlanacağı için sabit odak tercih edilir. Ancak, ilgi alanı cerrahi alan olduğunda bu kolayca elde edilemez. Ameliyathaneler sınırlı erişim alanlarıdır, çünkü bu tesislerin temiz ve steril tutulması gerekir. Teknik ekipmanlar, cerrahlar ve ovma hemşireleri genellikle iyi bir görsel genel bakış ve verimli bir iş akışı sağlamak için hastanın etrafında yakından kümelenir. Kamera konumlarının 3D görüntüleme deneyimi üzerindeki etkisini karşılaştırmak ve değerlendirmek için, şekil, boyut ve renk gibi nesne özellikleri 3D görüntüleme deneyimini etkileyebileceğinden, kamera konumlarının tam bir test aralığı aynı sahneyi kaydediyor olmalıdır21.

Aynı nedenle, farklı cerrahi prosedürlerde kamera pozisyonlarının tam test aralıkları tekrarlanmalıdır. Tüm pozisyon sırası yüksek doğrulukla tekrarlanmalıdır. Cerrahi bir ortamda, taban çizgisi mesafesinin manuel olarak ayarlanması gereken mevcut yöntemler22 veya sabit taban çizgisi mesafelerine sahip farklı kamera çiftleri23 , hem alan hem de zaman kısıtlamaları nedeniyle mümkün değildir. Bu zorluğu gidermek için bu robotlaştırılmış çözüm tasarlandı.

Veriler, ameliyathanedeki tavana monte edilmiş çift kollu işbirlikçi endüstriyel robotla toplandı. Kameralar robotun bileklerine tutturuldu ve Şekil 2'de gösterildiği gibi taban çizgisi mesafesini artırarak yay şeklinde bir yörünge boyunca hareket etti.

Yaklaşımı göstermek için 4 farklı doğumsal kalp kusuru olan 4 farklı hastadan 10 test serisi kaydedildi. Ameliyatta duraklama mümkün olduğunda sahneler seçildi: cerrahi onarımdan hemen önce ve sonra atan kalplerle. Kalpler tutuklandığında diziler de yapıldı. Ameliyatlar, sahneyi yakalamak için farklı kamera yakınsama mesafeleri ve taban çizgisi mesafeleri ile kırk 5 sıra toplamak için 3 dakika 20 s duraklatıldı. Videolar daha sonra işlendi, klinik ekip için 3D olarak gösterildi, 3D videonun 0-5 arasında bir ölçek boyunca ne kadar gerçekçi olduğunu derecelendirdi.

Parmaklı stereo kameralar için yakınsama noktası, her iki görüntüdeki orta noktaların buluştuğu yerdir. Yakınsama noktası, prensip olarak nesnenin önüne, içine veya arkasına yerlenebilir, bkz. Yakınsama noktası nesnenin önünde olduğunda, nesne yakalanır ve sol kamera görüntüsü için orta çizginin solunda ve sağ kamera görüntüsü için orta çizginin sağında görüntülenir (Şekil 1A). Yakınsama noktası nesnenin arkasında olduğunda tam tersi geçerlidir (Şekil 1B). Yakınsama noktası nesne üzerinde olduğunda, nesne kamera görüntülerinin orta çizgisinde de görünür (Şekil 1C), görüntüleri birleştirmek için gözlerini kısmak gerekmediğinden muhtemelen en rahat görüntülemeyi sağlayacaktır. Rahat stereo 3D video elde etmek için, yakınsama noktasının ilgi çekici nesnenin üzerinde veya biraz arkasında bulunması gerekir, aksi takdirde izleyicinin gönüllü olarak dışa doğru gözlerini kısması gerekir (ekzotropi).

Veriler, kameraları konumlandırmak için çift kollu işbirlikçi bir endüstriyel robot kullanılarak toplanmıştı (Şekil 2A-B). Robot ekipmansız 38 kg ağırlığındadır. Robot özünde güvenlidir; beklenmedik bir etki algıladığında, hareket etmeyi durdurur. Robot, C-mount lensli 5 Megapiksel kameraları önceden belirlenmiş taban çizgisi mesafelerinde duran yay şeklindeki bir yörünge boyunca konumlandırmak için programlandı (Şekil 2C). Kameralar, Şekil 3'te gösterildiği gibi adaptör plakaları kullanılarak robot ellere tutturuldu. Her kamera saniyede 25 kare olarak kaydedildi. Lensler f-stop 1/8'de, odak noktası ilgi çekici nesneye (kalbin yaklaşık geometrik merkezi) sabitlenmiş olarak ayarlanmıştır. Her görüntü çerçevesinin iki video akışını senkronize etmek için kullanılan bir zaman damgası vardı.

Robot bileği ve kamera arasındaki ofsetler kalibre edildi. Bu, Şekil 4'te gösterildiği gibi kamera görüntülerinin artılarını hizalayarak elde edilebilir. Bu kurulumda, robot bileğindeki montaj noktasından ve kamera görüntü sensörünün merkezinden toplam çevirisel ofset, Şekil 5'te görüntülenen X yönünde 55,3 mm ve Z yönünde 21,2 mm idi. Dönme ofsetleri 1100 mm yakınsama mesafesinde ve 50 mm taban çizgisi mesafesinde kalibre edildi ve robot kontrol panelindeki joystick ile manuel olarak ayarlandı. Bu çalışmadaki robot, Kartezyen alanında 0,02 mm ve 0,01 derece dönme çözünürlüğü24 belirli bir hassasiyete sahipti. 1100 m yarıçapında, 0,01 derecelik bir açı farkı orta noktayı 0,2 mm dengeler. 50-240 mm'lik ayırmadan tam robot hareketi sırasında, her kamera için çapraz çizgi ideal yakınsama merkezinden 2 mm içindeydi.

Kameraların görüş alanının merkezi etrafında 50-240 mm arasında değişen 10 mm'lik artışlarla simetrik olarak ayrılmasıyla taban çizgisi mesafesi adım adım artırıldı (Şekil 2). Kameralar her pozisyonda 5 sn boyunca durma noktasında tutuldu ve 50 mm/s hızında pozisyonlar arasında hareket etti. Yakınsama noktası grafik kullanıcı arabirimi kullanılarak X ve Z yönleriyle ayarlanabilir (Şekil 6). Robot, çalışma aralığında buna göre takip etti.

Yakınsama noktasının doğruluğu, Şekil 7A ve B'deki tekdüze üçgenler ve değişken adları kullanılarak tahmin edildi. 'z' yüksekliği, Pisagor teoremi ile 'R' yakınsama mesafesinden hesaplanmıştır.

figure-introduction-1

Şekil 7A'da gösterildiği gibi, gerçek yakınsama noktası istenen noktadan daha yakın olduğunda, 'f1' hata mesafesi

figure-introduction-2

Benzer şekilde, yakınsama noktası istenen noktaya kadar distal olduğunda, 'f2' hata mesafesi

figure-introduction-3

Burada 'e' , kalibrasyon sırasında maksimum taban çizgisi ayrımında en fazla 2 mm (D = 240 mm) artı işareti arasındaki maksimum ayrımdı. R = 1100 mm (z = 1093 mm) için hata ± 9,2 mm'den azdı. R = 1400 mm (z = 1395 mm) için hata 11,7 mm ±. Yani, yakınsama noktasının yerleştirilmesinin hatası istenenin% 1'i içindeydi. Bu nedenle 1100 mm ve 1400 mm'lik iki test mesafesi iyi ayrılmıştır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deneyler İsveç'in Lund kentindeki yerel Etik Kurulu tarafından onaylandı. Katılım gönüllülük esasına dayalıydı ve hastaların yasal vasileri bilgilendirilmiş yazılı onay verdi.

1. Robot kurulumu ve konfigürasyonu

NOT: Bu deneyde çift kollu işbirlikçi endüstriyel robot ve dokunmatik ekranlı standart kontrol paneli kullanıldı. Robot, RobotWare 6.10.01 kontrol yazılımı ve robot entegre geliştirme ortamı (IDE) RobotStudio 2019.525 ile kontrol ediliyor. Robot uygulaması, kayıt uygulaması ve postprocessing komut dosyaları da dahil olmak üzere yazarlar tarafından geliştirilen yazılım gitHub deposunda mevcuttur26.

DİkKAT: Robot programının kurulumu ve testi sırasında koruyucu gözlükler ve daha düşük hız kullanın.

  1. Robotu, üreticinin spesifikasyonlarına uygun olarak, ürün spesifikasyonu24'teki 25. Kolların serbestçe hareket edebildiğinden ve görüş alanına görüş hattının göze çarpmamasını sağlayın.
    DİkKAT: Robotu yüksek bir konuma monte ederken kaldırma veya emniyet halatları kullanın.
  2. Robotun tabanında bulunan çalıştırma anahtarını çevirerek robotu başlatın. 47-5625 sayfalarındaki kullanım kılavuzunda açıklanan prosedürü izleyerek robotu kalibre edin.
  3. Robot IDE'i bir Windows bilgisayarında başlatın.
  4. Fiziksel robot sistemine bağlanın (kullanım kılavuzu sayfası 14027).
  5. Robot programı ve kullanıcı arayüzü için uygulama kitaplıklarının kodunu robota yükleyin:
    1. Tavana monte robot için robot kodu Robot/InvertedCode klasöründe ve Robot/TableMountedCode'da masaya monte robot içindir. Dosyaların her biri için left/Data.mod, left/MainModule.mod, right/Data.mod ve right/MainModule.mod:
    2. Dosyayla (Veri veya MainModule) aynı ada sahip yeni bir program modülü oluşturun (bkz. çalışma kılavuzu sayfası 31827) ve dosya içeriğini yeni modüle kopyalayın.
    3. Dosyaları robota kaydetmek için Robot IDE'sinde Uygula'ya basın.
  6. FPApp klasöründe bulunan robot uygulama dosyaları TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll ve TpsViewStereo2.pdb robota aktarmak için Dosya Aktarımı'nı (kullanım kılavuzu sayfası 34627) kullanın. Bu adımdan sonra robot IDE daha fazla kullanılmayacaktır.
  7. Grafik arayüzünü yeniden yüklemek için robot dokunmatik ekranın (FlexPendant) arkadaki Sıfırla düğmesine basın. Stereo2 robot uygulaması artık dokunmatik ekran menüsünün altında görülebilecek.
  8. Github deposundaki kök klasörde bulunan komut dosyası install_all_linux.sh çalıştırarak kayıt uygulamasını (Liveview) ve postprocessing uygulamasını bir Ubuntu 20.04 bilgisayarına yükleyin.
  9. Her kamerayı robota monte edin. Montaj için gereken bileşenler Şekil 3A'da görüntülenir.
    1. Lensi kameraya takın.
    2. Kamerayı üç M2 vidalı kamera adaptör plakasına monte edin.
    3. Dairesel montaj plakasını, kameranın karşı tarafında dört M6 vidalı kamera adaptör plakasına monte edin.
  10. Diğer kamera için 1.9.1-1.9.3 adımlarını yineleyin. Elde edilen derlemeler Şekil 3B ve Şekil 3C'de gösterildiği gibi yansıtılır.
  11. Adaptör plakasını Şekil 3D'de gösterildiği gibi dört M2,5 vida ile robot bileğine monte edin.
    1. Tavana monte bir robot için: Şekil 3C'deki sol kamerayı Şekil 2A'da gösterildiği gibi sol robot koluna takın.
    2. Masaya monte edilmiş bir robot için: Şekil 3C'deki sol kamerayı sağ robot koluna takın.
  12. USB kablolarını Şekil 3E'de gösterildiği gibi kameralara ve Ubuntu bilgisayarına bağlayın.

2. Kamera kalibrasyonunu doğrulayın

  1. Robot dokunmatik ekranında Menü düğmesine basın ve robot uygulamasını başlatmak için Stereo2'yi seçin. Bu, Şekil 6A'da gösterildiği gibi ana ekranı açacaktır.
    1. Ana ekranda, robot uygulamasında 1100 mm'ye başlamak için Git'e basın ve robotun başlangıç konumuna geçmesini bekleyin.
    2. Koruyucu lens kapaklarını kameralardan çıkarın ve USB kablolarını Ubuntu bilgisayarına bağlayın.
    3. Kamera sensörlerinden 1100 mm uzaklıktaki baskılı kalibrasyon ızgarasını (CalibrationGrid.png depoya yerleştirin. İlgili karelerin doğru tanımlanmasını kolaylaştırmak için, ızgaranın ortasında bir yere küçük bir vida somunu yerleştirin veya işaretleyin.
  2. Kayıt uygulamasını Ubuntu bilgisayarında başlatın (github deposunun içindeki canlı görüntü klasöründe bulunan komut dosyasını start.sh çalıştırın). Bu, Şekil 4'te gösterildiği gibi arabirimi başlatır.
    1. Diyaframı ayarlayın ve diyafram ve netleme halkaları ile lense odaklanın.
    2. Kayıt uygulamasında, nişangahları görselleştirmek için Crosshair'i kontrol edin.
  3. Kayıt uygulamasında, şekil 4'te gösterildiği gibi, artı işaretinin her iki kamera görüntüsünde de kalibrasyon ızgarasıyla aynı konumda hizalaşabildiğine emin olun. Büyük olasılıkla, aşağıdaki gibi bazı ayarlamalar gerekecektir:
    1. Haçlar üst üste gelmezse, Şekil 6B'de gösterildiği gibi ayar ekranını açmak için robot dokunmatik ekranındaki robot uygulamasındaki Dişli simgesine (sol alt Şekil 6A) basın.
    2. 1'e basın. Şekil 6B'de gösterildiği gibi Pos'ı Başlat'a gidin.
    3. Kamera konumunu ayarlamak için robotu joystick ile koşun (kullanım kılavuzu sayfası 3123).
    4. Her robot kolu için takım konumunu güncelleyin. 3'e basın. Sol Aracı Güncelleştir ve 4. Kalibrasyonu sırasıyla sol ve sağ kol için kaydetmek için Sağ Aleti Güncelleyin.
    5. Ana ekrana dönmek için Arka Ok simgesine (sağ üst, Şekil 6B) basın.
  4. Robot uygulamasında DenemeYi Çalıştır 'a (Şekil 6A) basın ve artı işaretinin hizaladığını doğrulayın. Aksi takdirde, 2.3-2.3.5 adımlarını yineleyin.
  5. Bu noktada mesafelerde ve/veya zamanda herhangi bir değişiklik ekleyin ve test edin. Bu, robot program kodunda ve gelişmiş robot programlama becerilerinde değişiklikler gerektirir. Sol görevdeki (kol) Veri modülündeki aşağıdaki değişkenleri değiştirin: tamsayı dizisi değişkeni Uzaklıklar'da istenen ayırma mesafeleri, tamsayı dizisindeki yakınsama mesafeleri ConvergencePos ve nwaittime değişkenini (saniye olarak değer) düzenleyerek her adımda saati düzenleyin.
    DİkKAT: Canlı ameliyat sırasında asla test edilmemiş bir robot programı çalıştırmayın.
  6. Kalibrasyon tamamlandığında, robot kollarını bekleme konumuna yükseltmek için Yükselt'e basın.
  7. İsteğe bağlı olarak robotu kapatın.
    NOT: Yordam yukarıdaki adımlardan herhangi biri arasında duraklatılabilir.

3. Ameliyatın başlangıcında hazırlık

  1. Robotun tozunu ala.
    1. Robot kapalıysa, robotun tabanında bulunan Başlat düğmesini açarak başlatın.
  2. Robot uygulamasını 2.1 ve 2.2 adımlarında açıklanan dokunmatik ekran ve kayıt uygulamasında başlatın.
  3. Kayıt uygulamasında, videonun kaydedileceği klasörü oluşturun ve seçin ( Klasörü Değiştir'e basın).
  4. Robot uygulamasında: dişli simgesine basın, kameraları hastaya göre konumlandırın. Görüntü cerrahi alanı yakalayabilmesi için sırasıyla Robot ve Yükseklikten El Mesafesi için +/- tuşuna basarak X ve Z yönünü değiştirin. Robotu veya hastayı manuel olarak hareket ettirerek Y yönünde konumlandırmayı gerçekleştirin.
    NOT: Hazırlıklar 3.1-3.4 hazırlık adımları arasında duraklatılabilir.

4. Deney

DİkKAT: Tüm personel deney hakkında önceden bilgilendirilmelidir.

  1. Ameliyatı durdurun.
    1. Ameliyathane personeline deneyin başlatıldığını bildirin.
  2. Kayıt uygulamasında Kaydet'e basın.
  3. Robot uygulamasında Çalıştır deneyine basın.
  4. Program çalışırken bekleyin; robot bittiğinde dokunmatik ekranda robot uygulamasında "Bitti" görüntüler.
  5. Çık'a basarak kayıt uygulamasında kaydı durdurun.
    1. Ameliyathane personeline deneyin bittiğini bildirin.
  6. Ameliyata devam et.
    NOT: Deneme, 4.1-4.6 adımları sırasında duraklatılamaz.

5. Tekrarlayın

  1. Başka bir dizi yakalamak için 4.1-4.6 adımlarını ve farklı ameliyatlardan dizileri yakalamak için 3.1-3.4 adımlarını ve 4.1-4.6 adımlarını yineleyin. Yaklaşık on tam dizi yakalayın.

6. İşlem Sonrası

NOT: Aşağıdaki adımlar, çoğu video düzenleme yazılımı veya postprocessing klasöründe sağlanan komut dosyaları kullanılarak gerçekleştirilebilir.

  1. Bu durumda, videoyu RAW biçiminde kaydedilirken debayer:
    1. Şekil 8A'da gösterilen debayer uygulamasını açmak için .sh postprocessing/debayer/run komut dosyasını çalıştırın.
    2. Giriş Dizinine Gözat'a basın ve RAW videonun olduğu klasörü seçin.
    3. Çıktı Dizinine Gözat'a basın ve ortaya çıkan debayerlenmiş ve renk ayarlı video dosyaları için bir klasör seçin.
    4. Debayer'e basın! ve işlem bitene kadar bekleyin - Şekil 8B'de gösterildiği gibi her iki ilerleme çubuğu da doludur.
  2. Sağ ve sol senkronize videoları 3D stereo formatla birleştirin28:
    1. Birleştirme uygulamasını başlatmak için postprocessing/merge_tb/run.sh komut dosyasını çalıştırın; Şekil 8C'de gösterilen grafik kullanıcı arayüzünü açar.
    2. Giriş Dizinine Gözat'a basın ve debayered video dosyalarının olduğu klasörü seçin.
    3. Çıktı Dizinine Gözat'a basın ve elde edilen birleştirilmiş 3D stereo dosya için bir klasör seçin.
    4. Birleştir'e basın! ve Şekil 8D'deki bitiş ekranı gösterilene kadar bekleyin.
  3. Videodaki her kamera mesafesine metin etiketleri eklemek için Premiere Pro gibi hazır video düzenleme yazılımını kullanın.
    NOT: Videoda, robot her hareket halinde olduğunda görünür bir sarsıntı vardır ve kamera mesafesi artmıştır. Bu deneyde kamera mesafeleri için A-T etiketleri kullanıldı.

7. Değerlendirme

  1. Videoyu etkin bir 3B projektörle üst-alt 3D formatında görüntüleyin.
  2. Görüntüleme deneyimi görüntüleme açısına ve ekrana olan uzaklıklara bağlıdır; hedeflenen kitleyi ve kurulumu kullanarak videoyu değerlendirin.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Video1'de, üst-alt stereoskopik 3D'de en üste yerleştirilmiş doğru görüntüye sahip kabul edilebilir bir değerlendirme videosu gösterilir. Başarılı bir sıra keskin, odaklanmış ve eşitlenmemiş görüntü çerçeveleri olmadan olmalıdır. Eşitlenmemiş video akışları, Video 2 dosyasında gösterildiği gibi bulanıklığa neden olur. Yakınsama noktası, Şekil 9A,B'de görüldüğü gibi kamera ayrımından bağımsız olarak yatay olarak ortalanmalıdır. Robot pozisyon...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Canlı cerrahi sırasında, 3D video veri toplama için kullanılan deneyin toplam süresi hasta için güvenli olacak şekilde sınırlandırıldı. Nesne odaklanmamış veya aşırı pozlanmışsa, veriler kullanılamaz. Kritik adımlar kamera aleti kalibrasyonu ve kurulumu sırasındadır (adım 2). Ameliyat başladığında kamera diyaframı ve netlem değiştirilemez; kurulum ve ameliyat sırasında da aynı aydınlatma koşulları ve mesafe kullanılmalıdır. Kalbin çekilen videoda ortalanabilmesini sağlamak için 2.1-2.4 adımlarındaki kamera kalibrasyonu d...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların açıklayacak bir şeyi yok.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Araştırma Vinnova (2017-03728, 2018-05302 ve 2018-03651), Kalp-Akciğer Vakfı (20180390), Family Kamprad Vakfı (20190194) ve Anna-Lisa ve Sven Eric Lundgren Vakfı (2017 ve 2018) tarafından finanse edilen fonlarla gerçekleştirildi.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
2 C-mount lens (35 mm F2.1, 5 M piksel)TamronM112FM355 Mpixel 3D gözlük için derecelendirilmiştir
(DLP-link aktif deklanşör)CelexonG1000Herhangi bir uyumlu 3D gözlük kullanılabilir
3D ProjektörViewsonicX10-4K3D 1080 inç görüntüler, diğer 3D projektörlerle değiştirilebilir
6 M2 x 8 vidacXimea kameraları kamera adaptör plakalarına takmak için
8 M2.5 x 8 vidaDairesel montaj plakalarını robot bileğine takmak için
8 M5 x 40 vidaRobotu monte etmek için
Düz başlıDairesel montaj plakasını ve kamera adaptör plakalarını takmak için
Kalibrasyon kontrol panosu plakası (25 x 25 mm)Kameralarda ızgara net bir şekilde görülebildiği sürece, basılı da dahil olmak üzere herhangi bir standart dama tahtası kullanılabilir
Kamera adaptör plakaları, x2Yazarlar tarafından robot_camera_adaptor_plates.dwg olarak tasarlanmış, alüminyumda frezelenmiştir.
Dairesel montaj plakaları, x2Tasarımcı Julius Klein'ın izniyle dağıtılmıştır ve bir FDM 3D yazıcıda ABS plastik ile basılmıştır. Lisans Tecnalia Research & İnovasyon 2017. Mountingplate_ROBOT_SIDE_
NewDesign_4.stl olarak ekli
Sabit odaklı usb kameralar, x2 (5 Mpixel)XimeaMC050CG-SY-UBSony IMX250LQR sensörlü
FlexpendantABB3HAC028357-001robot dokunmatik ekran
Canlı görüntükayıt uygulaması
RobotStudio  robota entegre geliştirme ortamı (IDE)
USB3 aktif kablolar (10,0 m), x2Kelebek vidalı kilit konnektörü, su geçirmez.
YuMi çift kollu robotABBIRB14000
: : : 8 M6 x 10 vida

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
  2. van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
  3. Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
  4. Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).
  5. Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
  6. Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
  7. Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
  8. Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
  9. Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
  10. Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
  11. Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
  12. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  13. Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
  14. McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
  15. Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
  16. Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
  17. Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
  18. Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
  19. Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
  20. López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).
  21. Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
  22. Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
  23. Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
  24. Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
  25. Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  26. Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
  27. Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  28. Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
  29. Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
  30. Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
  31. Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Stereo 3D VisualizationRobotized Camera TestingOpen Heart SurgeryCamera ConfigurationStereoscopic 3D VideoSurgical Field CaptureCamera Baseline DistanceDepth Perception StudyMedical Education VideoDual Arm Robot

İlgili makaleler