Summary
3D stereo videoların insan derinliği algısı kamera ayrımına, yakınsama noktasına, nesneye olan uzaklığa ve aşinalığına bağlıdır. Bu makale, ideal kamera yapılandırmasını belirlemek için canlı açık kalp ameliyatı sırasında hızlı ve güvenilir test verisi toplama için robotlaştırılmış bir yöntem sönmektedir.
Abstract
Cerrahi prosedürlerden elde edilen Stereo 3D video, tıp eğitimi için son derece değerli olabilir ve klinik iletişimi geliştirebilir. Ama ameliyathaneye ve cerrahi alana girişler kısıtlı. Steril bir ortamdır ve fiziksel alan cerrahi personel ve teknik ekipmanlarla kalabalıktır. Bu ortamda, cerrahi işlemlerin engelsiz yakalanması ve gerçekçi bir şekilde çoğaltılması zordur. Bu makale, farklı kamera taban çizgisi mesafelerinde ve yakınsama mesafelerinde stereoskopik 3D videoların hızlı ve güvenilir veri toplaması için bir yöntem sunun. Ameliyat sırasında minimum parazitle, yüksek hassasiyet ve tekrarlanabilirlikle test verilerini toplamak için kameralar çift kollu bir robotun her eline tutturuldu. Robot ameliyathaneye tavana monte edilmiş. 10 mm artımlı adımlarda ve 1100 mm ve 1400 mm'lik iki yakınsama mesafesinde 50-240 mm arasında taban çizgisi mesafesine sahip bir dizi test pozisyonundan geçen zamanlanmış bir dizi senkronize kamera hareketi gerçekleştirmek için programlandı. Art arda 40 5'li video örneğine izin vermek için ameliyata ara verildi. Toplam 10 cerrahi senaryo kaydedildi.
Introduction
Cerrahide 3D görselleştirme eğitim, tanılar, ameliyat öncesi planlama ve ameliyat sonrası değerlendirme için kullanılabilir1,2. Gerçekçi derinlik algısı normal ve anormal anatomilerin 3,4,5,6'sının anlaşılmasına neden olabilir. Cerrahi işlemlerin basit 2D video kayıtları iyi bir başlangıçtır. Bununla birlikte, derinlik algısının olmaması, ameliyatsız meslektaşların farklı anatomik yapılar arasındaki antero-posterior ilişkileri tam olarak anlamalarını zorlayabilir ve bu nedenle anatominin yanlış yorumlanması riskini de doğurabilir7,8,9,10.
3D görüntüleme deneyimi beş faktörden etkilenir: (1) Kamera yapılandırması Şekil 1, (2) Taban çizgisi uzaklığında (kameralar arasındaki ayrım) gösterildiği gibi paralel veya toed-in olabilir. (3) İlgi çekici nesneye ve arka plan gibi diğer sahne özelliklerine uzaklık. (4) Ekran boyutu ve görüntüleme konumu gibi görüntüleme cihazlarının özellikleri1,11,12,13. (5) İzleyenlerin bireysel tercihleri14,15.
3D kamera kurulumu tasarlamak, çeşitli kamera taban çizgisi mesafelerinde kaydedilen test videolarının yakalanması ve öznel veya otomatik değerlendirme için kullanılacak yapılandırmalarla başlar16,17,18,19,20. Keskin görüntüler yakalamak için kamera mesafesi cerrahi alana sabit olmalıdır. Otomatik odaklama, görünüme gelebilecek ellere, aletlere veya kafalara odaklanacak şekilde ayarlanacağı için sabit odak tercih edilir. Ancak, ilgi alanı cerrahi alan olduğunda bu kolayca elde edilemez. Ameliyathaneler sınırlı erişim alanlarıdır, çünkü bu tesislerin temiz ve steril tutulması gerekir. Teknik ekipmanlar, cerrahlar ve ovma hemşireleri genellikle iyi bir görsel genel bakış ve verimli bir iş akışı sağlamak için hastanın etrafında yakından kümelenir. Kamera konumlarının 3D görüntüleme deneyimi üzerindeki etkisini karşılaştırmak ve değerlendirmek için, şekil, boyut ve renk gibi nesne özellikleri 3D görüntüleme deneyimini etkileyebileceğinden, kamera konumlarının tam bir test aralığı aynı sahneyi kaydediyor olmalıdır21.
Aynı nedenle, farklı cerrahi prosedürlerde kamera pozisyonlarının tam test aralıkları tekrarlanmalıdır. Tüm pozisyon sırası yüksek doğrulukla tekrarlanmalıdır. Cerrahi bir ortamda, taban çizgisi mesafesinin manuel olarak ayarlanması gereken mevcut yöntemler22 veya sabit taban çizgisi mesafelerine sahip farklı kamera çiftleri23 , hem alan hem de zaman kısıtlamaları nedeniyle mümkün değildir. Bu zorluğu gidermek için bu robotlaştırılmış çözüm tasarlandı.
Veriler, ameliyathanedeki tavana monte edilmiş çift kollu işbirlikçi endüstriyel robotla toplandı. Kameralar robotun bileklerine tutturuldu ve Şekil 2'de gösterildiği gibi taban çizgisi mesafesini artırarak yay şeklinde bir yörünge boyunca hareket etti.
Yaklaşımı göstermek için 4 farklı doğumsal kalp kusuru olan 4 farklı hastadan 10 test serisi kaydedildi. Ameliyatta duraklama mümkün olduğunda sahneler seçildi: cerrahi onarımdan hemen önce ve sonra atan kalplerle. Kalpler tutuklandığında diziler de yapıldı. Ameliyatlar, sahneyi yakalamak için farklı kamera yakınsama mesafeleri ve taban çizgisi mesafeleri ile kırk 5 sıra toplamak için 3 dakika 20 s duraklatıldı. Videolar daha sonra işlendi, klinik ekip için 3D olarak gösterildi, 3D videonun 0-5 arasında bir ölçek boyunca ne kadar gerçekçi olduğunu derecelendirdi.
Parmaklı stereo kameralar için yakınsama noktası, her iki görüntüdeki orta noktaların buluştuğu yerdir. Yakınsama noktası, prensip olarak nesnenin önüne, içine veya arkasına yerlenebilir, bkz. Yakınsama noktası nesnenin önünde olduğunda, nesne yakalanır ve sol kamera görüntüsü için orta çizginin solunda ve sağ kamera görüntüsü için orta çizginin sağında görüntülenir (Şekil 1A). Yakınsama noktası nesnenin arkasında olduğunda tam tersi geçerlidir (Şekil 1B). Yakınsama noktası nesne üzerinde olduğunda, nesne kamera görüntülerinin orta çizgisinde de görünür (Şekil 1C), görüntüleri birleştirmek için gözlerini kısmak gerekmediğinden muhtemelen en rahat görüntülemeyi sağlayacaktır. Rahat stereo 3D video elde etmek için, yakınsama noktasının ilgi çekici nesnenin üzerinde veya biraz arkasında bulunması gerekir, aksi takdirde izleyicinin gönüllü olarak dışa doğru gözlerini kısması gerekir (ekzotropi).
Veriler, kameraları konumlandırmak için çift kollu işbirlikçi bir endüstriyel robot kullanılarak toplanmıştı (Şekil 2A-B). Robot ekipmansız 38 kg ağırlığındadır. Robot özünde güvenlidir; beklenmedik bir etki algıladığında, hareket etmeyi durdurur. Robot, C-mount lensli 5 Megapiksel kameraları önceden belirlenmiş taban çizgisi mesafelerinde duran yay şeklindeki bir yörünge boyunca konumlandırmak için programlandı (Şekil 2C). Kameralar, Şekil 3'te gösterildiği gibi adaptör plakaları kullanılarak robot ellere tutturuldu. Her kamera saniyede 25 kare olarak kaydedildi. Lensler f-stop 1/8'de, odak noktası ilgi çekici nesneye (kalbin yaklaşık geometrik merkezi) sabitlenmiş olarak ayarlanmıştır. Her görüntü çerçevesinin iki video akışını senkronize etmek için kullanılan bir zaman damgası vardı.
Robot bileği ve kamera arasındaki ofsetler kalibre edildi. Bu, Şekil 4'te gösterildiği gibi kamera görüntülerinin artılarını hizalayarak elde edilebilir. Bu kurulumda, robot bileğindeki montaj noktasından ve kamera görüntü sensörünün merkezinden toplam çevirisel ofset, Şekil 5'te görüntülenen X yönünde 55,3 mm ve Z yönünde 21,2 mm idi. Dönme ofsetleri 1100 mm yakınsama mesafesinde ve 50 mm taban çizgisi mesafesinde kalibre edildi ve robot kontrol panelindeki joystick ile manuel olarak ayarlandı. Bu çalışmadaki robot, Kartezyen alanında 0,02 mm ve 0,01 derece dönme çözünürlüğü24 belirli bir hassasiyete sahipti. 1100 m yarıçapında, 0,01 derecelik bir açı farkı orta noktayı 0,2 mm dengeler. 50-240 mm'lik ayırmadan tam robot hareketi sırasında, her kamera için çapraz çizgi ideal yakınsama merkezinden 2 mm içindeydi.
Kameraların görüş alanının merkezi etrafında 50-240 mm arasında değişen 10 mm'lik artışlarla simetrik olarak ayrılmasıyla taban çizgisi mesafesi adım adım artırıldı (Şekil 2). Kameralar her pozisyonda 5 sn boyunca durma noktasında tutuldu ve 50 mm/s hızında pozisyonlar arasında hareket etti. Yakınsama noktası grafik kullanıcı arabirimi kullanılarak X ve Z yönleriyle ayarlanabilir (Şekil 6). Robot, çalışma aralığında buna göre takip etti.
Yakınsama noktasının doğruluğu, Şekil 7A ve B'deki tekdüze üçgenler ve değişken adları kullanılarak tahmin edildi. 'z' yüksekliği, Pisagor teoremi ile 'R' yakınsama mesafesinden hesaplanmıştır.
Şekil 7A'da gösterildiği gibi, gerçek yakınsama noktası istenen noktadan daha yakın olduğunda, 'f1' hata mesafesi
Benzer şekilde, yakınsama noktası istenen noktaya kadar distal olduğunda, 'f2' hata mesafesi
Burada 'e' , kalibrasyon sırasında maksimum taban çizgisi ayrımında en fazla 2 mm (D = 240 mm) artı işareti arasındaki maksimum ayrımdı. R = 1100 mm (z = 1093 mm) için hata ± 9,2 mm'den azdı. R = 1400 mm (z = 1395 mm) için hata 11,7 mm ±. Yani, yakınsama noktasının yerleştirilmesinin hatası istenenin% 1'i içindeydi. Bu nedenle 1100 mm ve 1400 mm'lik iki test mesafesi iyi ayrılmıştır.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Deneyler İsveç'in Lund kentindeki yerel Etik Kurulu tarafından onaylandı. Katılım gönüllülük esasına dayalıydı ve hastaların yasal vasileri bilgilendirilmiş yazılı onay verdi.
1. Robot kurulumu ve konfigürasyonu
NOT: Bu deneyde çift kollu işbirlikçi endüstriyel robot ve dokunmatik ekranlı standart kontrol paneli kullanıldı. Robot, RobotWare 6.10.01 kontrol yazılımı ve robot entegre geliştirme ortamı (IDE) RobotStudio 2019.525 ile kontrol ediliyor. Robot uygulaması, kayıt uygulaması ve postprocessing komut dosyaları da dahil olmak üzere yazarlar tarafından geliştirilen yazılım gitHub deposunda mevcuttur26.
DİkKAT: Robot programının kurulumu ve testi sırasında koruyucu gözlükler ve daha düşük hız kullanın.
- Robotu, üreticinin spesifikasyonlarına uygun olarak, ürün spesifikasyonu24'teki 25. Kolların serbestçe hareket edebildiğinden ve görüş alanına görüş hattının göze çarpmamasını sağlayın.
DİkKAT: Robotu yüksek bir konuma monte ederken kaldırma veya emniyet halatları kullanın. - Robotun tabanında bulunan çalıştırma anahtarını çevirerek robotu başlatın. 47-5625 sayfalarındaki kullanım kılavuzunda açıklanan prosedürü izleyerek robotu kalibre edin.
- Robot IDE'i bir Windows bilgisayarında başlatın.
- Fiziksel robot sistemine bağlanın (kullanım kılavuzu sayfası 14027).
- Robot programı ve kullanıcı arayüzü için uygulama kitaplıklarının kodunu robota yükleyin:
- Tavana monte robot için robot kodu Robot/InvertedCode klasöründe ve Robot/TableMountedCode'da masaya monte robot içindir. Dosyaların her biri için left/Data.mod, left/MainModule.mod, right/Data.mod ve right/MainModule.mod:
- Dosyayla (Veri veya MainModule) aynı ada sahip yeni bir program modülü oluşturun (bkz. çalışma kılavuzu sayfası 31827) ve dosya içeriğini yeni modüle kopyalayın.
- Dosyaları robota kaydetmek için Robot IDE'sinde Uygula'ya basın.
- FPApp klasöründe bulunan robot uygulama dosyaları TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll ve TpsViewStereo2.pdb robota aktarmak için Dosya Aktarımı'nı (kullanım kılavuzu sayfası 34627) kullanın. Bu adımdan sonra robot IDE daha fazla kullanılmayacaktır.
- Grafik arayüzünü yeniden yüklemek için robot dokunmatik ekranın (FlexPendant) arkadaki Sıfırla düğmesine basın. Stereo2 robot uygulaması artık dokunmatik ekran menüsünün altında görülebilecek.
- Github deposundaki kök klasörde bulunan komut dosyası install_all_linux.sh çalıştırarak kayıt uygulamasını (Liveview) ve postprocessing uygulamasını bir Ubuntu 20.04 bilgisayarına yükleyin.
- Her kamerayı robota monte edin. Montaj için gereken bileşenler Şekil 3A'da görüntülenir.
- Lensi kameraya takın.
- Kamerayı üç M2 vidalı kamera adaptör plakasına monte edin.
- Dairesel montaj plakasını, kameranın karşı tarafında dört M6 vidalı kamera adaptör plakasına monte edin.
- Diğer kamera için 1.9.1-1.9.3 adımlarını yineleyin. Elde edilen derlemeler Şekil 3B ve Şekil 3C'de gösterildiği gibi yansıtılır.
- Adaptör plakasını Şekil 3D'de gösterildiği gibi dört M2,5 vida ile robot bileğine monte edin.
- Tavana monte bir robot için: Şekil 3C'deki sol kamerayı Şekil 2A'da gösterildiği gibi sol robot koluna takın.
- Masaya monte edilmiş bir robot için: Şekil 3C'deki sol kamerayı sağ robot koluna takın.
- USB kablolarını Şekil 3E'de gösterildiği gibi kameralara ve Ubuntu bilgisayarına bağlayın.
2. Kamera kalibrasyonunu doğrulayın
- Robot dokunmatik ekranında Menü düğmesine basın ve robot uygulamasını başlatmak için Stereo2'yi seçin. Bu, Şekil 6A'da gösterildiği gibi ana ekranı açacaktır.
- Ana ekranda, robot uygulamasında 1100 mm'ye başlamak için Git'e basın ve robotun başlangıç konumuna geçmesini bekleyin.
- Koruyucu lens kapaklarını kameralardan çıkarın ve USB kablolarını Ubuntu bilgisayarına bağlayın.
- Kamera sensörlerinden 1100 mm uzaklıktaki baskılı kalibrasyon ızgarasını (CalibrationGrid.png depoya yerleştirin. İlgili karelerin doğru tanımlanmasını kolaylaştırmak için, ızgaranın ortasında bir yere küçük bir vida somunu yerleştirin veya işaretleyin.
- Kayıt uygulamasını Ubuntu bilgisayarında başlatın (github deposunun içindeki canlı görüntü klasöründe bulunan komut dosyasını start.sh çalıştırın). Bu, Şekil 4'te gösterildiği gibi arabirimi başlatır.
- Diyaframı ayarlayın ve diyafram ve netleme halkaları ile lense odaklanın.
- Kayıt uygulamasında, nişangahları görselleştirmek için Crosshair'i kontrol edin.
- Kayıt uygulamasında, şekil 4'te gösterildiği gibi, artı işaretinin her iki kamera görüntüsünde de kalibrasyon ızgarasıyla aynı konumda hizalaşabildiğine emin olun. Büyük olasılıkla, aşağıdaki gibi bazı ayarlamalar gerekecektir:
- Haçlar üst üste gelmezse, Şekil 6B'de gösterildiği gibi ayar ekranını açmak için robot dokunmatik ekranındaki robot uygulamasındaki Dişli simgesine (sol alt Şekil 6A) basın.
- 1'e basın. Şekil 6B'de gösterildiği gibi Pos'ı Başlat'a gidin.
- Kamera konumunu ayarlamak için robotu joystick ile koşun (kullanım kılavuzu sayfası 3123).
- Her robot kolu için takım konumunu güncelleyin. 3'e basın. Sol Aracı Güncelleştir ve 4. Kalibrasyonu sırasıyla sol ve sağ kol için kaydetmek için Sağ Aleti Güncelleyin.
- Ana ekrana dönmek için Arka Ok simgesine (sağ üst, Şekil 6B) basın.
- Robot uygulamasında DenemeYi Çalıştır 'a (Şekil 6A) basın ve artı işaretinin hizaladığını doğrulayın. Aksi takdirde, 2.3-2.3.5 adımlarını yineleyin.
- Bu noktada mesafelerde ve/veya zamanda herhangi bir değişiklik ekleyin ve test edin. Bu, robot program kodunda ve gelişmiş robot programlama becerilerinde değişiklikler gerektirir. Sol görevdeki (kol) Veri modülündeki aşağıdaki değişkenleri değiştirin: tamsayı dizisi değişkeni Uzaklıklar'da istenen ayırma mesafeleri, tamsayı dizisindeki yakınsama mesafeleri ConvergencePos ve nwaittime değişkenini (saniye olarak değer) düzenleyerek her adımda saati düzenleyin.
DİkKAT: Canlı ameliyat sırasında asla test edilmemiş bir robot programı çalıştırmayın. - Kalibrasyon tamamlandığında, robot kollarını bekleme konumuna yükseltmek için Yükselt'e basın.
- İsteğe bağlı olarak robotu kapatın.
NOT: Yordam yukarıdaki adımlardan herhangi biri arasında duraklatılabilir.
3. Ameliyatın başlangıcında hazırlık
- Robotun tozunu ala.
- Robot kapalıysa, robotun tabanında bulunan Başlat düğmesini açarak başlatın.
- Robot uygulamasını 2.1 ve 2.2 adımlarında açıklanan dokunmatik ekran ve kayıt uygulamasında başlatın.
- Kayıt uygulamasında, videonun kaydedileceği klasörü oluşturun ve seçin ( Klasörü Değiştir'e basın).
- Robot uygulamasında: dişli simgesine basın, kameraları hastaya göre konumlandırın. Görüntü cerrahi alanı yakalayabilmesi için sırasıyla Robot ve Yükseklikten El Mesafesi için +/- tuşuna basarak X ve Z yönünü değiştirin. Robotu veya hastayı manuel olarak hareket ettirerek Y yönünde konumlandırmayı gerçekleştirin.
NOT: Hazırlıklar 3.1-3.4 hazırlık adımları arasında duraklatılabilir.
4. Deney
DİkKAT: Tüm personel deney hakkında önceden bilgilendirilmelidir.
- Ameliyatı durdurun.
- Ameliyathane personeline deneyin başlatıldığını bildirin.
- Kayıt uygulamasında Kaydet'e basın.
- Robot uygulamasında Çalıştır deneyine basın.
- Program çalışırken bekleyin; robot bittiğinde dokunmatik ekranda robot uygulamasında "Bitti" görüntüler.
- Çık'a basarak kayıt uygulamasında kaydı durdurun.
- Ameliyathane personeline deneyin bittiğini bildirin.
- Ameliyata devam et.
NOT: Deneme, 4.1-4.6 adımları sırasında duraklatılamaz.
5. Tekrarlayın
- Başka bir dizi yakalamak için 4.1-4.6 adımlarını ve farklı ameliyatlardan dizileri yakalamak için 3.1-3.4 adımlarını ve 4.1-4.6 adımlarını yineleyin. Yaklaşık on tam dizi yakalayın.
6. İşlem Sonrası
NOT: Aşağıdaki adımlar, çoğu video düzenleme yazılımı veya postprocessing klasöründe sağlanan komut dosyaları kullanılarak gerçekleştirilebilir.
- Bu durumda, videoyu RAW biçiminde kaydedilirken debayer:
- Şekil 8A'da gösterilen debayer uygulamasını açmak için .sh postprocessing/debayer/run komut dosyasını çalıştırın.
- Giriş Dizinine Gözat'a basın ve RAW videonun olduğu klasörü seçin.
- Çıktı Dizinine Gözat'a basın ve ortaya çıkan debayerlenmiş ve renk ayarlı video dosyaları için bir klasör seçin.
- Debayer'e basın! ve işlem bitene kadar bekleyin - Şekil 8B'de gösterildiği gibi her iki ilerleme çubuğu da doludur.
- Sağ ve sol senkronize videoları 3D stereo formatla birleştirin28:
- Birleştirme uygulamasını başlatmak için postprocessing/merge_tb/run.sh komut dosyasını çalıştırın; Şekil 8C'de gösterilen grafik kullanıcı arayüzünü açar.
- Giriş Dizinine Gözat'a basın ve debayered video dosyalarının olduğu klasörü seçin.
- Çıktı Dizinine Gözat'a basın ve elde edilen birleştirilmiş 3D stereo dosya için bir klasör seçin.
- Birleştir'e basın! ve Şekil 8D'deki bitiş ekranı gösterilene kadar bekleyin.
- Videodaki her kamera mesafesine metin etiketleri eklemek için Premiere Pro gibi hazır video düzenleme yazılımını kullanın.
NOT: Videoda, robot her hareket halinde olduğunda görünür bir sarsıntı vardır ve kamera mesafesi artmıştır. Bu deneyde kamera mesafeleri için A-T etiketleri kullanıldı.
7. Değerlendirme
- Videoyu etkin bir 3B projektörle üst-alt 3D formatında görüntüleyin.
- Görüntüleme deneyimi görüntüleme açısına ve ekrana olan uzaklıklara bağlıdır; hedeflenen kitleyi ve kurulumu kullanarak videoyu değerlendirin.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Video1'de, üst-alt stereoskopik 3D'de en üste yerleştirilmiş doğru görüntüye sahip kabul edilebilir bir değerlendirme videosu gösterilir. Başarılı bir sıra keskin, odaklanmış ve eşitlenmemiş görüntü çerçeveleri olmadan olmalıdır. Eşitlenmemiş video akışları, Video 2 dosyasında gösterildiği gibi bulanıklığa neden olur. Yakınsama noktası, Şekil 9A,B'de görüldüğü gibi kamera ayrımından bağımsız olarak yatay olarak ortalanmalıdır. Robot pozisyonlar arasında geçiş yaptığında, videoda 50 mm / s geçiş hızında beklenmesi gereken küçük bir sarsıntı vardır. Sağ ve sol görüntü arasındaki çok büyük ayrımla, beyin görüntüleri tek bir 3D görüntüde birleştiremez, bkz.
Kalbin görüntülerdeki konumu, Şekil 1C'de gösterildiği gibi videonun tamamı boyunca ortalanmalıdır. Bunun başarısız olmasının birkaç nedeni olabilir: (1) Yakınsama noktası kalpten çok uzaktır, bkz. Şekil 7. Hastaya göre kamera konumları robot uygulama ayar ekranından değiştirilebilir (Şekil 6B). (2) Kamera aracı koordinat sistemi düzgün yapılandırılmamıştır. Robot programı aynı anda kamerayı yakınsama noktası (Şekil 2C) etrafında radyal bir hareketle simetrik olarak hareket ettirecek ve kameraları kamera aracı koordinat sisteminin etrafında döndürecektir (Şekil 5). Kamera adaptör plakaları (Şekil 3) yanlış monte edilirse veya monte edilirse, varsayılan değerler çalışmaz. 2.1-2.4 adımını yeniden çalıştırın ve kayıt uygulamasındaki (Şekil 6) hedeflerin tam robot hareketi sırasında aynı nesneyi işaret ettiğine emin olun. Koordinat çerçevelerini ayarlarken, kalibrasyon için kullanılan nesnenin (Şekil 4) kameralar arasında ortalandığından emin olun; aksi takdirde, kalibrasyon simetrik olmayan koordinat çerçevelerine neden olur.
Debayering uygulamasıyla debayeringden sonra renkler yanlışsa (Şekil 8), yakalanan videolar yanlış debayering formatına sahiptir. Bu, kullanıcının debayering uygulamasının kodunu değiştirmesini veya başka bir debayering aracı kullanmasını gerektirir. Benzer şekilde, stereo videolar arasındaki otomatik senkronizasyon başarısız olursa, kullanıcı videoları hizalamak için Premiere Pro gibi video düzenleme programlarını kullanmalıdır.
Sonuçları analiz etmek için, video hedeflenen kitle için bir 3D projektörde görüntülenmelidir. İzleyiciler, 3D videonun gerçek hayattaki duruma ne kadar iyi karşılık geldiğini öznel olarak dereceleyebilir. 6.3 adımına eklenen etiketler farklı mesafeler puanlamak için kullanılabilir.
Şekil 1. Yakınsama noktasının yerleştirilmesi. Yakınsama noktalarının ilgi çekici nesneye (gri nokta) göre farklı yerleşimi. (A) Nesnenin önündeki yakınsama noktası, (B) nesnenin arkasında ve (C) nesne üzerinde. Her kamera görüntüsünün orta çizgisi noktalı bir çizgiyle gösterilir. Cerrah yukarıdan gösterilir, kameraların arasında durur. Üstte, nesnenin soldaki sonuç konumu ve sağ kamera görüntüleri orta çizgiye göre görüntülenir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: Robot hareketi. Kamera ayrımı 10 mm'lik artımlı adımlarla (A) 50 mm'den (B) 240 mm'ye yükseltildi. (C) Robot kameraları radyal olarak hareket ettirerek kameraları her zaman yakınsama noktasına - kalbe doğru yönlendirdi. Burada D mesafesi kameralar arasındaki mesafe, R yarıçapı 1100 veya 1400 mm ve a kameraların açısıdır, sin(a) = D/2R. Sağ ve sol kameralar, araç Z ekseni etrafında sırasıyla negatif ve pozitif yönde bir dereceye kadar açılıydı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Kameraların robota montajı. (A) Bir kamera için bileşenlerin patlatılmış görünümü: lens, kamera sensörü, kamera adaptör plakası, dairesel montaj plakası, robot bileği ve vidalar. Monte edilmiş iki kamera adaptörü (B) robot tarafından ve (C) önden gösterilir. (D) Dört M2.5 vida ile robot bileğine takılan adaptörler. (E) Kameralara bağlı USB kabloları. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 4: Kayıt uygulaması ile kamera kalibrasyonu. Kamera aracı koordinat sistemlerini robot yazılarına göre kalibre etmek için bir kalibrasyon ızgarası ve bir vida somunu kullanıldı. Kameralar, somun görüntülerin ortasında olacak şekilde açılı olmalıdır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 5: Kamera aracı koordinat sistemi. Kamera aracı koordinat sisteminin X ekseni (kırmızı), Y ekseni (yeşil) ve Z ekseni (mavi). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 6: Robot uygulaması. (A) Deneyleri çalıştırmak için ana ekranın dokunmatik ekranda görüntülenmesi. (B) Takım kalibrasyonu ve yakınsama noktasının ayarlanması için kurulum ekranı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 7: Hata tahmini. Yakınsama hatası (A) yukarıda ve (B) istenen yakınsama noktasının altında. Yatay taban çizgisi uzaklığı (D = 240 mm), kameralar arasındaki mesafe ve yakınsama noktası (R = 1100). Kameralar arasındaki dikey mesafe ve yakınsama noktası (z = 1093 mm), görüntü merkezi noktaları (artı işareti) (e = 2 mm) arasındaki maksimum ayrım, gerçek yakınsama noktası istenen yakınsama konumunun (f1 = 9 mm) üzerinde olduğunda dikey hata mesafesi. Gerçek yakınsama noktası istenen yakınsama konumunun (f2 = 9,2 mm) altında olduğunda dikey hata mesafesi. Şekil ölçeklemek için çizilmedi . Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 8: Debayerleme ve birleştirme için postişlem uygulamaları. (A) Debayer uygulamasının Başlangıç ve (B) Bitiş ekranları. (C) Birleştirme uygulamasının Başlangıç ve (D) Bitiş ekranları. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 9: Bitmiş stereo videoların anlık görüntüleri. Standart üst/alt 3D stereo formatına uymak için orijinal görüntülerden yalnızca diğer tüm piksel satırları kullanıldı. Üst görüntüler sağ kameradan ve sol kameradan daha düşüktür. (A) 50 mm taban çizgisi mesafesine ve kalbin arkasındaki OR masasındaki yakınsama noktasına sahip 3D stereo görüntü. (B) 240 mm taban çizgisi mesafesine ve kalbin arkasındaki OR masasındaki yakınsama noktasına sahip 3D stereo görüntü. (C) 240 mm taban çizgisi mesafesine ve kalbin arkasındaki yakınsama noktasına sahip 3D stereo görüntü. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Video 1. Stereo 3D video 1100 mm'de. Yakınsama noktası kalpte, kameralardan 1100 mm uzakta. Video 50 mm (A) taban çizgisi mesafesi ile başlar ve 10 mm ila 240 mm (T) adımlarla artar. Bu Videoyu indirmek için lütfen tıklayınız.
Video 2. Eşitlenmemiş stereo 3D video. Sağ ve sol videolar senkronize edilmez, bu da 3D olarak görüntülendiğinde bulanıklığa neden olur.
Video 3. Stereo 3D video 1400 mm'de. Yakınsama noktası kalbin arkasında, kameralardan 1400 mm uzakta. Video Bu Videoyu indirmek için lütfen buraya tıklayın.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Canlı cerrahi sırasında, 3D video veri toplama için kullanılan deneyin toplam süresi hasta için güvenli olacak şekilde sınırlandırıldı. Nesne odaklanmamış veya aşırı pozlanmışsa, veriler kullanılamaz. Kritik adımlar kamera aleti kalibrasyonu ve kurulumu sırasındadır (adım 2). Ameliyat başladığında kamera diyaframı ve netlem değiştirilemez; kurulum ve ameliyat sırasında da aynı aydınlatma koşulları ve mesafe kullanılmalıdır. Kalbin çekilen videoda ortalanabilmesini sağlamak için 2.1-2.4 adımlarındaki kamera kalibrasyonu dikkatlice yapılmalıdır. Kalibrasyon sorunlarını gidermek için, kamera aracı koordinat sisteminin değerleri, robotu koordinat sisteminde çalıştırarak ayrı ayrı doğrulanabilir (adım 2.3.3). Ameliyat öncesi kayıt uygulaması ile birlikte tam robot programı ve kameraların test etmesi kritik öneme sahiptir. Ameliyat sırasında bazen ameliyat masasının yüksekliği ayarlanır; robot kameraların yüksekliği, kalbe istenen mesafeyi korumak için robot uygulamasında (adım 3.4) canlı olarak da değiştirilebilir. Robot programının mesafeleri ve bekleme süreleri, 2.5.
Bu tekniğin bir sınırlaması, ameliyatın duraklatilmesini gerektirmedir; bu nedenle, veri toplama işlemi ancak hastanın ameliyatı duraklatmasının güvenli olduğu zamanlarda gerçekleştirilebilir. Başka bir sınırlama, robotu tavana monte etmek için ameliyathanenin fiziksel adaptasyonunu gerektirmesi ve programlanmış robot hareketinin robotun kalbin üzerinde ortalanmış olduğunu varsaymesidir. Ayrıca, kameralar paralel yerine toed-in'dir ve bu da kilit taşı etkisine neden olabilir. Kilit taşı etkisi postprodüksiyonda ayarlanabilir29,30,31.
Benzer verileri toplamak için bir yay üzerine yerleştirilmiş birden fazla kamera dizisi kullanılabilir23. Kamera dizisi tüm kameralardan aynı anda görüntü yakalayabilir; böylece ameliyata daha kısa süre ara verilebilir. Bir kamera dizisi için hata kaynağı, kameraların biraz farklı bir netleme, diyafram ve kalibrasyona sahip olması ve farklı kamera çiftlerinden videolar karşılaştırıldığında, taban çizgisi mesafesinden başka parametrelerin görüntü kalitesini ve derinlik algısını etkileyebilmesidir. Bir kamera dizisine sahip bir başka dezavantaj, taban çizgisi mesafeleri arasındaki adım boyutunun kameraların fiziksel boyutuyla sınırlı olmasıdır. Örneğin, bu çalışmada kullanılan lensin çapı 30 mm'dir ve bu da mümkün olan en düşük adım boyutuna eşittir. Çalışmada sunulan kurulum ile 10 mm'lik adım boyutları test edildi ancak gerekirse daha küçük olarak ayarlanabildi. Ayrıca, dizi kurulumu ile yükseklik ve yakınsama mesafesi dinamik olarak ayarlanamaz.
Diğer bir alternatif ise kameraları önceden tanımlanmış konumlara manuel olarak taşımak22. Bu, canlı kalp ameliyatı sırasında mümkün değildir, çünkü kritik cerrahi çalışma alanını ve zamanı ihlal eder.
Bu yöntem, optimal taban çizgisi ve yakınsama mesafelerinin henüz belirlenmediği ortopedik, vasküler ve genel cerrahi dahil olmak üzere birçok açık cerrahi türü için geçerlidir.
Bu yöntem, 3D görselleştirme dışındaki amaçlar için görüntü toplamak için de uyarlanabilir. Birçok bilgisayar görme uygulaması, bir nesneye olan uzaklığı hesaplamak için görüntüler arasındaki eşitsizliği kullanır. 3D modeller oluşturmak için sabit nesneleri birden fazla yönden 3D taramak için hassas bir kamera hareketi kullanılabilir. 3D yerelleştirme için, nesnedeki aynı noktalar doğru kamera konumlandırmasına, kamera kalibrasyonuna, ışık koşullarına ve kare senkronizasyonuna bağlı olarak farklı görüntülerde tanımlanabiliyorsa 3D görüntüleme deneyimi daha az önemlidir.
Robot kontrollü kamera konumlandırma, stereoskopik 3D video için en uygun kamera konumlarının tanımlanması için video verilerini toplamak için hem güvenli hem de etkilidir.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarların açıklayacak bir şeyi yok.
Acknowledgments
Araştırma Vinnova (2017-03728, 2018-05302 ve 2018-03651), Kalp-Akciğer Vakfı (20180390), Family Kamprad Vakfı (20190194) ve Anna-Lisa ve Sven Eric Lundgren Vakfı (2017 ve 2018) tarafından finanse edilen fonlarla gerçekleştirildi.
Materials
| Name | Company | Catalog Number | Comments |
| 2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
| 3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
| 3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
| 6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
| 8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
| 8 M5 x 40 screws | To mount the robot | ||
| 8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
| Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
| Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
| Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
| Flexpendant | ABB | 3HAC028357-001 | robot touch display |
| Liveview | recording application | ||
| RobotStudio | robot integrated development environment (IDE) | ||
| USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
| YuMi dual-arm robot | ABB | IRB14000 |
References
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
