Bu makale, endoskopik müdahaleler sırasında endoskopların peri-operatif, sıvıya daldırılmış kalibrasyonu için sterilize edilebilir bir özel kamera optik bozulma kalibrasyon hedefinin tasarımını ve geliştirilmesini açıklamaktadır.
Yöntem makalesi
* These authors contributed equally
Bu makale, endoskopik müdahaleler sırasında endoskopların peri-operatif, sıvıya daldırılmış kalibrasyonu için sterilize edilebilir bir özel kamera optik bozulma kalibrasyon hedefinin tasarımını ve geliştirilmesini açıklamaktadır.
GIFT-Surg (Fetal Terapi ve Cerrahi için Kılavuzlu Enstrümantasyon) projesi kapsamında sıvıya daldırılmış endoskoplarla kullanım için bir kalibrasyon hedefi geliştirdik. Bu projenin amaçlarından biri, spina bifida ve ikizden ikize transfüzyon sendromu gibi konjenital doğum kusurlarının tedavisinde intraoperatif kullanım için yeni, gerçek zamanlı görüntü işleme yöntemleri tasarlamaktır. Geliştirilen hedef, endoskopların birkaç dakika içinde steriliteyi koruyan optik distorsiyon kalibrasyonuna izin verir. İyi optik distorsiyon kalibrasyonu ve kompanzasyonu, yalnızca fetal cerrahi sırasında mevcut endoskopik teknolojiyi kullanarak doğru görüntülemeyi engellemekle kalmayan, aynı zamanda elde edilen görüntüleri gerçek zamanlı mozaikleme gibi potansiyel olarak çok yararlı görüntü hesaplama uygulamaları için daha az uygun hale getiren radyal distorsiyonlar gibi istenmeyen etkileri azaltmak için önemlidir. Bu yazıda, klinik bir kurulumda kullanıma uygun, uygun maliyetli, sterilize edilebilir bir kalibrasyon hedefi oluşturmak için yeni bir üretim yöntemi önerilmektedir. Bu yöntem, kumlanmış bir paslanmaz çelik levhayı lazerle keserek bir kalibrasyon modelinin aşındırılmasını içerir. Bu hedef, bilgisayarla görme topluluğunda popüler olan son teknoloji bir yazılım kütüphanesi olan OpenCV tarafından sağlanan kamera kalibrasyon modülü kullanılarak doğrulandı.
Kamera kalibrasyonu yoğun yıl 1, 2, 3 üzerinde çalışılmıştır bilgisayar görme alanında tanınmış bir sorundur. kamera kalibrasyon prosedürleri önemli bir adım alt piksel doğruluk ile kamera görüntüleri bilinen geometri ile puan ızgara ayıklanması, bir bozulma modelinin parametrelerini yanı sıra içsel kamera parametrelerini tahmin etmektir. Siyah beyaz kareler içeren bir dama tahtası deseni kalibrasyon hedefler bu amaçla yaygın olarak kullanılmaktadır. Dairesel lekeler alternatif bir model 4, 5, 6 sunuyoruz.
Son yıllarda, fetusa bu tür ikiz ikize transfüzyon sendromu (TTTS) tedavisinde fetal cerrahi prosedürleri, cerrahi navigasyon teknolojisinin geliştirilmesinde artan bir ilgi olmuştur> 7, 8, 9, 10. Fetoscope görüş alanı (yani, fetal cerrahi prosedürlerde kullanılan bir endoskop) ait dış izci kullanılmadan plasental damar tasarlamak için metotlar TTTS cerrahi 11, 12, 13 yardım etmek için önerilmiştir, sınırlıdır. Fetoscopic görüntüler içinde optik bozulmaları görsel bilgi çıkarımı 11 itimat bu hesaplama mosaicing yöntemleri üzerinde olumsuz etkileri vardır. Böylece, optik bozulma tazminat müdahalesi sırasında gerçek zamanlı olarak yapılabilir böylece peri-operatif fetoscopes kalibre edilmesi için bir maliyet-etkin ve hızlı bir araç için bir karşılanmamış ihtiyaç vardır.
Nedeniyle fetoscope, müdahale sırasında amniyotik sıvı içinde arasındaki kırılma indeksi farkı batırılır gerçeğiir ve amniyotik sıvı fetal cerrahi prosedürleri için uygun klasik olarak hava kamera kalibrasyon metotları vermektedir. Havadaki kamera parametreleri sıvı dalmış kamera parametrelerini tahmin zor bir iştir ve sıvı dalmış kalibrasyon hedefe 14 en az bir görüntü gerektirir. Ayrıca, peri-operatif, sıvı dalmış fetoscopic kamera kalibrasyonu ameliyathanede izin malzemelere sterilizasyon şartlarına ve kısıtlamalar nedeniyle şu anda pratik değildir. Bu nedenlerden ötürü, optik bozulmaları endoskop kalibre genellikle mevcut klinik iş akışının bir parçası değildir. Bu yazıda iş tasarımı ve asimetrik çevrelerin bir desen içeren bir sterilize ve pratik optik bozulma kalibrasyon hedefi üreterek bu kamera kalibrasyon açığını kapatmak için bir girişimdir. Daha önce, Wengert ve diğ. Kalibrasyon hedefi olarak oksitlenmiş alüminyum levha içeren özel bir kalibrasyon cihazı fabrikasyon. onların mete, ancak, sadece, 15 geliştirilmiş özel kalibrasyon algoritması ile birlikte çalışır.
1. Hedef Fabrikasyon
2. Peri-operatif Kalibrasyon
Biz, tasarımı, Şekil 1 'de gösterilen bir kum püskürtme, paslanmaz çelik sac, asimetrik dairenin bir model gravür ile sterilize kalibrasyon hedefi hazırlandı. Bir fetoscope ile birlikte eylem bu kalibrasyon hedefi gösteren bir örnek kurulum Şekil 2'de gösterilmiştir. Lazer aşındırma yazılımı içine bu tasarımı beslemek için özel bir uygulama Python programlama dili 16 uygulanmıştır. tasarım deseni oluşturma tekrarlı bir metal levha üzerine paralel çizgiler gravür içerir. Desen ucunda tutarlı bir renge sahip olması için, bu çizgiler arasındaki mesafe, lazer ışınının genişliğinden daha az olmalıdır (Şekil 1 olarak yerleştirilir bakınız) değeri Violino (Laservall) lazer kesici 45 um -bu.

Rong> Şekil 1: asimetrik çevrelerinin 3-by-11 grid sahip oyulmuş desen tasarımı. Ankastre: uzaklaştırdınız-asimetrik çevrelerin ızgara görünümü. çizgileri arasındaki mesafe (lazer ışını genişliğine eşit) 45 um ve her bir daire, 1 mm bir çapa sahiptir. Diğer boyutlar da ızgara için kullanılabilir, ancak bu bakış açısının fetoscope alanı ile ilgili olarak en uygun olduğu bulunmuştur. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 2: Kullanılan kalibrasyon hedefi ile Exemplar kurulum. Su dalmış fetoscope ucu sağdaki kalibrasyon hedefe yöneliktir. Solda ölçekli bilgi sağlamak için bir İngiliz kuruş olduğunu."Target =" _ blank "> bu rakamın daha büyük bir versiyonunu görmek için lütfen buraya tıklayınız.
Fabrikasyon kalibrasyon hedef yerleri daha sonra önceden tanımlanmış asimetrik dairesel ızgara içine sıralanır OpenCV 17, endoskopik video akışında dairesel desen tespiti için izin verir (bakınız Şekil 3). önceden bilinen ızgara geometrisi ile bağlantılı olarak, bu bilgileri kullanarak, iç kamera parametreleri tahmin edilebilir. Bu kamera matrisi ve bozulma katsayılarını içerir. Kamera matrisi odak uzunlukları ve 2D görüntü düzleminin x ve y ekseni boyunca optik merkezden oluşmaktadır. Distorsiyon katsayıları Kahverengi-Conrady modeline 3 dayanmaktadır. Bu iş için, sadece radyal distorsiyon parametreleri tahmin edilmiştir unutmayın. pratik örnekler ile teori kısa bir tartışma için, 17 ve MATLAB kamera kalibrasyon araç 22. Kamera kalibrasyon prosedürü hakkında daha fazla ayrıntı Zhang'ın çalışmalarında 20 mevcuttur. Endocal yazılım deposu fabrikasyon kalibrasyon hedefinin 16 10 endoskopik görüş örnek bir veri kümesi bulunmaktadır. (: 0.16, max: min 0.45) Bu veri kümesi, 0.28 piksel ortalama yeniden projeksiyon hata ile bir kalibrasyon kullanılarak elde edilmiştir. Bu Wengert ve arkadaşları tarafından rapor 0.25 piksel ile karşılaştırılabilir. kendi özel kalibrasyon algoritması 15 kullanılmıştır. Plasental 18 mozaikleme için kullanılan endoskopik kamera kalibrasyonu için 15 yöntemi kullanırken aynı araştırma grubu, ancak daha yeni bir kağıt 0,6 piksel yeniden projeksiyon hata bildirdi.

Şekil 3: Kalibrasyon desen gerçek zamanlı algılama. Tespit edilen kalibrasyon desenini içeren kalibrasyon uygulamasının 16 ekran görüntüsü OpenCV 17 sanal gerçeklik görselleştirme kullanarak canlı video akışı üzerine üst üste. Kalibrasyon modelin her algılanan sütun farklı bir renk ile vurgulanmıştır unutmayın. tespit çevreler, bilinen geometrisi ile bağlantılı olarak, kamera parametrelerini hesaplamak için kullanılır. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.
Tahmini kamera parametreleri optik distorsiyon düzeltme için kullanılır. Optik bozulmalar hat eğrileri olarak görünür yapmak için bir fetoscope kullanılarak bakıldığında Şekil 4, dikdörtgen satranç tahtası modelini göstermektedir. çizgiler distorti normal göründüğüne dikkat edinGörüntüyü on-düzeltildi.

Şekil 4: Optik distorsiyon düzeltme. Distorsiyon düzeltilmiş görüntü (sağda) ile dama tahtası deseni (solda) bir fetoscope kayıt canlı video görüntüsünü içeren kalibrasyon uygulaması 16 ekran görüntüsü. Üç örnek hatları yörünge doğrusal bir köşesinden, her iki görüntüde çizilir. Nedeniyle optik çarpıtmalara, bu çizgiler orijinal fetoscope görüntülerde eğrileri olarak görünür. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.
ham metal yüzeyi belirgin imkansız çevreler tespit edilmesi için yapım, endoskop ışığı yansıtır çünkü Kumlama fabrikasyon sürecinde önemli bir adımdır. Hatta çıplak gözle çevreleri ayırt etmek zordur (Şekil 5). gösterilen hedef yüzeyi daha önce bir lazer ile kabartma dikkat etmek gerekir. Bununla birlikte, bu ışık yansıması azaltmamaktadır.

Şekil 5: Kalibrasyon hedefi yok kumlama ile uygulanır. Soldaki endoskop görünümünden görüldüğü gibi, malzeme yüzeyinde endoskop ışık parlama çıplak gözle çevreleri ayırt etmek için bile zor yapar (sadece büyük yansıma güneydoğusundaki bir daire vardır). Bu hedef yüzeyi (yani, "arka plan") zaten kazınmış olduğunu unutmayın, ancak bu değil kumlama yokluğunda yararlı. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.
Önceki model gravür için, bütün numune yüzeyini aşındırma da önemlidir. Bu kumlanmış yüzey birçok aynaya yansımaları olduğundan blob algılama ile müdahale, (bakınız Şekil 6) gereklidir.

Şekil 6: hayır aşındırma yüzeyi Kumlu. ham metal yüzeyi gibi belirgin olmasa da, (bazıları sarı oklarla vurgulanır) nispeten küçük aynaya yansımaları hala başarılı dan blob algılanmasını önlemek için yeterli hiçbir kalibrasyon Bu hedef ile yapılabilir.arget = "_ blank"> bu rakamın daha büyük bir versiyonunu görmek için lütfen buraya tıklayınız.
farklı hızlarda lazer uygulayarak farklı arka plan renkleri verir. arka plan rengi çevreleri ve arka plan arasındaki kontrast önemli bir rol oynamaktadır. Bu nedenle, optimal arka plan rengini belirlemek için hayati önem taşımaktadır. Bu amaçla, çevreleriyle bir tabak oluşturulan farklı geçmişlere (bakınız Şekil 7) bir dizi karşı kazınmış. Arka OpenCV kamera kalibrasyon modülü 17 kullanılan OpenCV 23, özelliği algılama modülü kullanılarak test edilmiştir. Tıbbi cihazlar için klinikte kullanılan en yaygın ve güvenilir bir malzeme olduğu için, bu iş, hedef, paslanmaz çelikten imal edilmiştir. Bu madde serbestçe, pahalı değil, mevcut sağlam ve sterilize etmek kolaydır. Diğer maddeler, potansiyel olarak, alüminyum veya iyotlu metaller gibi, kalibrasyon hedef için kullanılabilir, ama bu SCOP olangelecekte yapılacak çalışmalar e.

Şekil 7: lazer ile kazınmış farklı arka plan renk paletini içeren paslanmaz çelik levha. Pratik deneyler blob-zemin aksine 23 açısından en iyi sonucu veren arka plan rengini belirlemek için OpenCV özelliği algılama modülü ile birlikte yapılmıştır. Soldaki endoskop görünümü plakasını göstermektedir. Orta arka plan renkleri (yani, diğer olanlar koyu ve en açık olanlar o) bu palette daha iyi damla algılama verim. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.
Bu çalışmanın avantajlarından biri fabrikasyon hedefini kullanarak bir kalibrasyon yapma 2-3 dakika sürer olmasıdır. çaba çoğu gitmekes el kalibrasyon desen iyi görüşlerini almak için endoskop stabilize etmek. Bir özel yapılmış endoskop tutucu kullanarak sırayla anlamlı kalibrasyon süresini kısaltabilir manuel stabilizasyonu, ihtiyacını ortadan kaldırabilir.

Video 1: Video Endocal yazılımı ile birlikte geliştirilen kalibrasyon hedefi kullanılarak yapılabilir nasıl optik bozulma kalibrasyon gösteren. Bu videoyu görmek için lütfen buraya tıklayınız. (Indirmek için sağ tıklatın.)
Wengert ark çalışmalarına kıyasla Çalışmalarımızın bir avantajı. 15 OpenCV kamera kalibrasyon modülü 17 herhangi bir değişiklik ya da özel parametrede gerektirmeden, kalibrasyon için olduğu gibi kullanılabilir olmasıdıryon. OpenCV köklü ve bakımlı bir yazılım paketi ve yazma ve özel yazılım koruma ihtiyacını ortadan kaldırıyor kullanarak, bilgisayar görme toplumda çok popüler olduğu için. Okuyucunun kolaylık sağlamak için, kompakt bir GUI uygulaması okuyucu kolayca yüklemek ve yeni kalibrasyon hedefleri test etmek için kullanabileceğiniz, 16 sağlanır. Wengert ve diğerleri ile karşılaştırıldığında bizim yönteminin bir dezavantajı. 15 tüm lekeler tespitini gerektirmez olarak yöntem, desen tıkanmalara daha sağlam olmasıdır.
Başlangıçta, bir dama tahtası deseni ile bir kalibrasyon hedefi bu iş için imal edilmiştir. Bununla birlikte, kalibrasyon hedefi, bu tür bağlı dama tahtası kareler köşeleri tespit zorluğu deneylerde uygun olduğu kanıtlanmıştır. Köşe algılama histogram tabanlı görüntü İkiye (OpenCV kaynak kodunu 24) dayanır. bu impŞekil 6'da gösterilen olanlar gibi, kısmen yansıtıcı yansımaları, bizim dama tahtası deseni ile garanti edilemeyen açık ve koyu kareler arasında net bir renk kontrastı ihtiyacını yatıyor. Böyle aynaya yansımalar bile arka plan aşındırma sonrasında mevcut; Ancak, çevrelerin algılama bu eksiklik daha az duyarlı olduğu görülmektedir.
Geçerli kurulumda, kalibrasyon hedefin sadece dik görüşleri başarılı damla tespiti için izin verir. Bu eğik açılarda damla algılama engel hedef yüzey speküler yansımalar kaynaklanmaktadır. Biz potansiyel gerçekleştirilen kalibrasyonların 20 kalitesini artırmak olabilir açıları daha geniş, en görüşlerinin alımı için izin verecek şekilde daha fazla hedef geliştirmek için çalışıyoruz.
Gerçek zamanlı olarak plasental önce 11 önerilmiştir boru hattı, trans hesaplamasını mozaiklemegörüntü çiftleri haritalar oluşumu başarılı algılama ve özellikleri gruplama dayanmaktadır. Optik bozulmalar, diğer taraftan, bir bükülmez geometrili özelliğin grup görüntüleri üzerindeki farklı görünmesine neden olabilir. Sonuç olarak, bu fark çıkan görüntü mozaikler sürükleniyor neden bilgisayarlı dönüşümler, yanlışlıklar yol açar. En belirgin optik çarpıtmalar kenarlara doğru mevcut olduğundan, endoskopik görüntüleri şu anda kendi içteki bölgelerine kırpılır. optik çarpıtma için iyi bir düzeltme potansiyel mosaicing sürecine her resmin daha büyük bir kısmının dahil edilmesi için izin verecek. Bu yöntemin avantajı iki yönlüdür. Birincisi, potansiyel görüntü dönüşümleri hesaplama iyileştirilmesi, her görüntünün tespit özelliklerin sayısını artıracaktır. İkinci olarak, daha kısa bir süre içinde yeniden inşa edilmesi tüm hedef anatomik yüzeyi sağlayacaktır.
Yazarların açıklayacak hiçbir şeyi yoktur.
Bu çalışma, Wellcome Trust [WT101957], Mühendislik ve Fizik Bilimleri Araştırma Konseyi (EPSRC) [NS/A000027/1] ve Ulusal Sağlık Araştırmaları Enstitüsü Biyomedikal Araştırma Merkezi UCLH/UCL Yüksek Etki Girişimi tarafından Sağlık için Yenilikçi Mühendislik ödülü ile desteklenmiştir. Jan Deprest, Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; Klinik araştırmacı olarak JD 1.8.012.07). Danail Stoyanov, EPSRC (EP/N013220/1, EP/N022750/1), AB-FP7 projesi CASCADE (FP7-ICT-2913-601021) ve EU-Horizon2020 projesi EndoVESPA'dan (H2020-ICT- 2015-688592) fon almaktadır. Sebastien Ourselin, EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) ve MRC'den (MR/J01107X/1) fon almaktadır. Marcel Tella, EPSRC tarafından finanse edilen UCL Tıbbi Görüntüleme Doktora Eğitimi Merkezi (EP / L016478/1) tarafından desteklenmektedir.
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| 1,2 mm Metal levha 316 Kalite, 40 mm x 40 mm | |||
| Su kabı en az 50 mm x 50 mm x 30 mm | |||
| Bir sterilizasyon paketi | |||
| Tuzlu su | |||
| Manuel metal kesici | |||
| Köşeleri | |||
| yuvarlamak için bir dosya50 mm x 50 mm boyutlarında en az 10 mm kalınlığında | |||
| Bir mengene (arzu edilir ancak gerekli değildir) | |||
| Kumlama makinesi | |||
| .dxf dosyası oluşturmak için GUI uygulaması | |||
| PC | |||
| Lazer Kesici | |||
| Otoklav | |||
| GitHub'dan bir endoskop kalibrasyon yazılımı | : https://github.com/gift-surg/endocal | ||
| Endoskop | |||
| OpenCV kamera kalibrasyon modülü | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| Koruyucu gözlükler | |||
| Bir laboratuvar önlüğü | |||
| Bir cetvel ve bir işaretleyici | |||
| Tozun giderilmesi ve temizlenmesi |