Name: Orbital Bilgisayarlı Tomografi ile Derin Öğrenme Tabanlı Tıbbi Görüntü Segmentasyonunun Uygulanması (Video) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: Öğrenin, orbital BT görüntülerinde derin öğrenme tabanlı segmentasyon protokolü ile göz küresi, optik sinir ve ekstraoküler kasları hassas şekilde maskeleyin. Bu yöntem, orbital hastalıkların invaziv olmayan tanısında araştırmacılara zaman kazandırır.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

Bu çalışma, Kore Bilim ve BİT Bakanlığı (MSIT) tarafından finanse edilen hibe olan Kore Ulusal Araştırma Vakfı (NRF) tarafından desteklenmiştir (sayı: 2020R1C1C1010079). CMC-ORBIT veri kümesi için, Katolik Tıp Merkezi'nin merkezi Kurumsal İnceleme Kurulu (IRB) onay verdi (XC19REGI0076). Bu çalışma 2022 Hongik Üniversitesi Araştırma Fonu tarafından desteklenmiştir.

Mevcut çalışma, Katolik Tıp Merkezi Kurumsal Gözden Geçirme Kurulu'nun (IRB) onayı ile gerçekleştirilmiş ve sağlık bilgilerinin gizliliği, gizliliği ve güvenliği korunmuştur. Orbital BT verileri, Kore Katolik Üniversitesi Tıp Fakültesi'ne (CMC; Seul St. Mary's Hastanesi, Yeouido St. Mary's Hastanesi, Daejeon St. Mary's Hastanesi ve St. Vincent Hastanesi). Orbital BT taramaları Ocak 2016'dan Aralık 2020'ye kadar elde edildi. Veri kümesi, yaşları 20 ila 60 yıl arasında değişen Koreli erkek ve kadınlardan 46 orbital BT taraması içeriyordu. Çalışma zamanı ortamı (RTE) Ek Tablo 1'de özetlenmiştir.
1. Orbital BT taramalarında göz küresi, optik sinir ve ekstraoküler kasların maskelenmesi
<ol><li>Maskeleme yazılımı programını çalıştırın. NOT: Maskeleme yazılımı programı (MediLabel, Malzeme Tablosuna bakınız), segmentasyon için birkaç tıklama gerektiren ve yüksek hıza sahip bir tıbbi görüntü etiketleme yazılımı programıdır.</li>
	<li>Açık dosya simgesine tıklayarak ve hedef BT dosyasını seçerek orbital BT'yi yükleyin. Daha sonra BT taramaları ekranda gösterilir.</li>
	<li>Süper pikseller kullanarak göz küresini, optik siniri ve ekstraoküler kasları maskeleyin.<ol><li>MediLabel'daki SmartPencil sihirbazına tıklayarak SmartPencil'ı çalıştırın (Video 1).</li>
		<li>Gerekirse süper piksel haritasının çözünürlüğünü kontrol edin (ör. 100, 500, 1.000 ve 2.000 süper piksel).</li>
		<li>Benzer görüntü yoğunluğu değerlerine sahip piksellerin kümelendiği süper piksel haritasındaki göz küresi, optik sinir ve ekstraoküler kasların süper pikselleri kümesine tıklayın.</li>
	</ol></li>
	<li>MediLabel'daki otomatik düzeltme işlevleriyle maskeleri hassaslaştırın.<ol><li>Dilimlerdeki süper piksellerden bazılarını maskeledikten sonra SmartFill sihirbazına tıklayın (Video 2).</li>
		<li>Otomatik Düzeltme simgesine tıklayın ve düzeltilen maske etiketlerinin hesaplandığından emin olun (Video 3).</li>
	</ol></li>
	<li>Maskelemenin iyileştirilmesi tamamlanana kadar adım 1.3 ve adım 1.4'ü tekrarlayın.</li>
	<li>Maskelenmiş görüntüleri kaydedin.</li>
</ol>2. Ön işleme: VOI'leri pencere kırpma ve kırpma
<ol><li>VOI'leri preprocessing_multilabel.py ayıklayın (dosya GitHub'dan indirilebilir).<ol><li>preprocessing_multilabel.py çalıştırın.</li>
		<li>Kırpılan ve VOI'ler klasörüne kaydedilen taramaları ve maskeleri kontrol edin.</li>
	</ol></li>
	<li>builder_multilabel.py ile SEQ-UNET'e giriş için VOI'leri üç sıralı BT dilimi kümesine dönüştürün (dosya GitHub'dan indirilebilir).<ol><li>sequence_builder_multilabel.py çalıştırın.</li>
		<li>Dönüştürme sırasında dilimlerin ve maskelerin 64 piksele 64 piksel olarak yeniden boyutlandırıldığından emin olun.</li>
		<li>Dönüştürme sırasında, 48 HU kırpma düzeyi ve 400 HU penceresiyle kırpma gerçekleştirin.</li>
		<li>Sırasıyla tarama klasöründeki kaydedilmiş dönüştürülmüş BT taramalarını (nii dosyası) ve maskeleri (nii dosyası) ve önceden işlenmiş klasörlerin altındaki maske klasörünü kontrol edin.</li>
	</ol></li>
</ol>3. Yörüngesel segmentasyon modelinin dört çapraz doğrulaması
<ol><li>Aşağıdaki adımları izleyerek modeli oluşturun.<ol><li>main.py çalıştırın.</li>
		<li>main.py çalıştırırken, dört çapraz doğrulamanın katlama sayısını, x'in 0, 1, 2 veya 3 olduğu "-katlama sayısı x" ile verin.</li>
		<li>main.py çalıştırırken, eğitim yinelemelerinin sayısı olan dönemi, x'in çağ numarası olduğu "-epoch x" gibi bir seçenek olarak kullanın. Varsayılan sayı 500'dür.</li>
		<li>main.py çalıştırırken, tek bir eğitim oturumundaki eğitim örneklerinin sayısı olan toplu iş boyutunu ayarlayın. Varsayılan sayı 32'dir.</li>
		<li>main.py, BT taramalarını ve maskelerini yükleyin ve LIDC-IDRI veri kümesini kullanarak SEQ-UNET'i önceden eğitilmiş parametrelerle başlatın (kanser görüntüleme arşivinden indirilebilir).</li>
		<li>main.py, eğitimden sonra modelin testini gerçekleştirin. Değerlendirme metriklerini, zar puanını ve hacim benzerliğini hesaplayın ve bunları metrikler klasörüne kaydedin.</li>
		<li>Segmentlere ayrılmış klasördeki sonuçları kontrol edin.</li>
	</ol></li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

Yazarlar çıkar çatışması olmadığını beyan ederler.

Derin öğrenme tabanlı tıbbi görüntü analizi, hastalık tespiti için yaygın olarak kullanılmaktadır. Oftalmoloji alanında diyabetik retinopati, glokom, yaşa bağlı makula dejenerasyonu ve prematüre retinopatisinde tespit ve segmentasyon modelleri kullanılmaktadır. Bununla birlikte, oftalmolojidekiler dışındaki diğer nadir hastalıklar, derin öğrenme analizi için büyük açık kamu veri kümelerine sınırlı erişim nedeniyle çalışılmamıştır. Genel veri kümesinin bulunmadığı durumlarda bu yöntem uygulanırken, emek yoğun ve zaman alıcı bir görev olan maskeleme adımı kaçınılmazdır. Bununla birlikte, önerilen maskeleme adımı (protokol bölümü, adım 1) kısa sürede yüksek doğrulukta maskeleme oluşturmaya yardımcı olur. Düşük düzeyli görüntü özelliklerinde benzer pikselleri kümeleyen süper pikselleri ve sinir ağı tabanlı dolguyu kullanan klinisyenler, belirli pikselleri işaret etmek yerine piksel gruplarını tıklatarak maskeleri etiketleyebilir. Ayrıca, otomatik düzeltme işlevleri maske işlemlerinin iyileştirilmesine yardımcı olur. Bu yöntemin etkinliği ve etkinliği, tıbbi araştırmalarda daha fazla maskelenmiş görüntü üretilmesine yardımcı olacaktır.
Ön işlemedeki birçok olasılık arasında, VOI'lerin çıkarılması ve pencere kırpması etkili yöntemlerdir. Burada, VOI'lerin çıkarılması ve pencere kırpma, protokolün 2. adımında tanıtılmıştır. Klinisyenler veri kümesini hazırlarken, verilen veri kümesinden VOI'nin çıkarılması süreçteki en önemli adımdır, çünkü çoğu segmentasyon vakası tüm tıbbi görüntüdeki küçük ve belirli bölgelere odaklanır. VOI'lerle ilgili olarak, göz küresi, optik sinir ve ekstraoküler kasların bölgeleri konuma göre kırpılır, ancak VOI'leri çıkarmak için daha etkili yöntemler segmentasyon performansını iyileştirme potansiyeline sahiptir14. 
Segmentasyon için çalışmada SEQ-UNET kullanılmıştır. 3D tıbbi görüntüler büyük hacimlere sahiptir, bu nedenle derin sinir ağı modelleri büyük bellek kapasiteleri gerektirir. SEQ-UNET'te, segmentasyon modeli, 3D bilgilerin özelliklerini kaybetmeden gerekli bellek boyutunu azaltmak için az sayıda dilimle uygulanır. 
Model, model eğitimi için çok fazla bir sayı olmayan 46 VOI ile eğitilmiştir. Az sayıda eğitim veri kümesi nedeniyle, optik sinir ve ekstraoküler kas segmentasyonunun performansı sınırlıdır. Transfer öğrenme15 ve alan adı uyarlaması8 , segmentasyon performansını iyileştirmek için bir çözüm sağlayabilir.
Burada tanıtılan tüm segmentasyon süreci orbital BT segmentasyonu ile sınırlı değildir. Etkili etiketleme yöntemi, uygulama etki alanının araştırma alanına özgü olduğu durumlar için yeni bir tıbbi görüntü veri kümesi oluşturulmasına yardımcı olur. GitHub'ın ön işleme ve segmentasyon modellemesi ile ilgili python kodları, kırpma bölgesinin, pencere kırpma düzeyinin ve sıralı dilimlerin sayısı, U-Net mimarileri vb. gibi model hiper parametrelerinin değiştirilmesiyle diğer etki alanlarına uygulanabilir.

Yörünge, göz küresi, sinirler, ekstraoküler kaslar, destekleyici dokular ve görme ve göz küresi hareketleri için damarlar gibi önemli yapıları içeren yaklaşık30.1 cm3'lük küçük ve karmaşık bir alandır1. Orbital tümörler yörüngedeki anormal doku büyümeleridir ve bazıları hastaların görme veya göz küresi hareketini tehdit eder ve bu da ölümcül işlev bozukluğuna yol açabilir. Hastaların görme fonksiyonlarını korumak için, klinisyenler tümör özelliklerine göre tedavi yöntemlerine karar vermelidir ve cerrahi biyopsi genellikle kaçınılmazdır. Bu kompakt ve kalabalık alan genellikle klinisyenlerin normal yapıya zarar vermeden biyopsi yapmalarını zorlaştırır. Yörüngenin durumunu belirlemek için patolojinin derin öğrenmeye dayalı görüntü analizi, biyopsi sırasında orbital dokularda gereksiz veya önlenebilir yaralanmalardan kaçınmaya yardımcı olabilir2. Orbital tümörler için bir görüntü analizi yöntemi tümör tespiti ve segmentasyonudur. Bununla birlikte, orbital tümörleri içeren BT görüntüleri için büyük miktarda veri toplanması, düşük insidansları nedeniyle sınırlıdır3. Hesaplamalı tümör tanısı için diğer etkili yöntem4 , tümörün yörüngenin normal yapılarıyla karşılaştırılmasını içerir. Normal yapılardaki orbital BT görüntülerinin sayısı tümörlerdekinden nispeten daha fazladır. Bu nedenle, normal yörünge yapılarının segmentasyonu bu hedefe ulaşmak için ilk adımdır.
Bu çalışma, veri toplama, ön işleme ve sonraki modelleme dahil olmak üzere derin öğrenme tabanlı yörüngesel yapı segmentasyonunun tüm sürecini sunmaktadır. Çalışmanın, maskelenmiş bir veri kümesini verimli bir şekilde oluşturmak için mevcut yöntemi kullanmak isteyen klinisyenler ve orbital BT görüntüleri için ön işleme ve modelleme hakkında bilgi gerektiren oftalmologlar için bir kaynak olması amaçlanmıştır. Bu makalede, yörüngesel yapı segmentasyonu ve sıralı U-Net için yeni bir yöntem, tıbbi görüntü segmentasyonu için U-Net'te temsili bir derin öğrenme çözümüne dayanan sıralı bir 2D segmentasyon modeli sunulmaktadır. Protokol, (1) yörünge yapısı segmentasyonunun zemin gerçeği için bir maskeleme aracının nasıl kullanılacağı, (2) yörünge görüntülerinin ön işlenmesi için gerekli adımlar ve (3) segmentasyon modelinin nasıl eğitileceği ve segmentasyon performansının nasıl değerlendirileceği dahil olmak üzere yörünge segmentasyonunun ayrıntılı prosedürünü açıklamaktadır.
Denetimli öğrenme için, 5 yıldan fazla bir süredir kurul sertifikalı dört deneyimli göz doktoru, göz küresi, optik sinir ve ekstraoküler kasların maskelerine manuel olarak açıklama ekledi. Tüm göz doktorları, BT taramalarında verimli maskeleme için süper çözünürlük kullanan maskeleme yazılımı programını (MediLabel, Malzeme Tablosuna bakınız) kullandılar. Maskeleme yazılımı aşağıdaki yarı otomatik özelliklere sahiptir: (1) Benzer görüntü yoğunluğu5 değerlerine sahip süper piksel harita kümeleri oluşturan SmartPencil; (2) Devam eden ön plan ve arka planın enerji fonksiyonunu hesaplayarak segmentasyon maskeleri üreten SmartFill, 6,7; ve (3) segmentasyon maskelerinin kenarlıklarını orijinal görüntüyle temiz ve tutarlı hale getiren Otomatik Düzeltme. Yarı otomatik özelliklerin örnek görüntüleri Şekil 1'de gösterilmiştir. Manuel maskelemenin ayrıntılı adımları protokol bölümünde verilmiştir (adım 1).
Bir sonraki adım, orbital BT taramalarının ön işlenmesidir. İlgilenilen orbital hacimleri (VOI'ler) elde etmek için, normal koşullarda göz küresi, kas ve sinirin bulunduğu yörünge alanları tanımlanır ve bu alanlar kırpılır. Veri kümesi, <1 mm düzlem içi voksel çözünürlüğü ve dilim kalınlığı ile yüksek bir çözünürlüğe sahiptir, bu nedenle enterpolasyon işlemi atlanır. Bunun yerine, pencere kırpma 48 HU kırpma düzeyinde ve 400 HU penceresinde gerçekleştirilir. Kırpma ve pencere kırpmasından sonra, segmentasyon modeli girişi8 için yörünge VOI'lerinin üç seri dilimi oluşturulur. Protokol bölümü (adım 2), ön işleme adımları hakkında ayrıntılı bilgi sağlar.
U-Net9, tıbbi görüntüler için yaygın olarak kullanılan bir segmentasyon modelidir. U-Net mimarisi, tıbbi görüntülerin özelliklerini çıkaran bir kodlayıcı ve ayrımcı özellikleri semantik olarak sunan bir kod çözücüden oluşur. BT taramaları için U-Net kullanıldığında, evrişimli katmanlar 3D filtrelerden oluşur10,11. Bu bir zorluktur çünkü 3B filtrelerin hesaplanması büyük bir bellek kapasitesi gerektirir. 3D U-Net'in bellek gereksinimlerini azaltmak için, U-Net'te bir dizi sıralı 2D dilimin kullanıldığı SEQ-UNET8 önerilmiştir. 3D BT taramasının 2D görüntü dilimleri arasındaki mekansal zamansal korelasyonların kaybını önlemek için, temel U-Net'te iki çift yönlü evrişimli uzun süreli kısa anı (C-LSTM)12 kullanılır. İlk çift yönlü C-LSTM, kodlayıcının sonundaki dilimler arası korelasyonları çıkarır. İkinci çift yönlü C-LSTM, kod çözücünün çıkışından sonra, dilim dizisinin boyutlarındaki anlamsal segmentasyon bilgisini tek bir görüntü segmentasyonuna dönüştürür. SEQ-UNET'in mimarisi Şekil 2'de gösterilmiştir. Uygulama kodları github.com/SleepyChild1005/OrbitSeg mevcuttur ve kodların kullanımı protokol bölümünde (adım 3) ayrıntılı olarak açıklanmıştır.

<table><tbody><tr><td>MediLabel</td><td>INGRADIENT (Seul, Kore)</td><td></td> github.com/SleepyChild1005/OrbitSeg GitHub bağlantısı<td>, daha az tıklama ve daha yüksek hız ile segmentasyon için bir tıbbi görüntü etiketleme yazılımı programı</td></tr> olan <tr>MediLabel'daki GitHub<td>SmartFil</td> sihirbazından indirilebilen SEQ-UNET<td></td><td></td><td></td></tr><tr><td></td><td></td><td></td><td></td></tr>&nbsp;<tr><td></td><td></td><td></td><td></td></tr><tr><td>Akıllı Kalem&nbsp;</td><td></td><td></td><td>MediLabel'da sihirbaz&nbsp;</td></tr></tbody></table>

orbital bilgisayarlı tomografi ile derin Öğrenme tabanlı tıbbi görüntü segmentasyonunun uygulanması

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

Son zamanlarda, derin öğrenme tabanlı segmentasyon modelleri oftalmik alanda yaygın olarak uygulanmaktadır. Bu çalışma, U-Net'e dayalı bir orbital bilgisayarlı tomografi (BT) segmentasyon modeli oluşturma sürecinin tamamını sunmaktadır. Denetimli öğrenme için, emek yoğun ve zaman alıcı bir süreç gereklidir. Orbital BT görüntülerindeki zemin gerçeğini verimli bir şekilde maskelemek için süper çözünürlükle etiketleme yöntemi tanıtıldı. Ayrıca, ilgi alanı hacmi, veri kümesinin ön işlemesinin bir parçası olarak kırpılır. Daha sonra, yörüngesel yapıların ilgi hacimlerini çıkardıktan sonra, yörüngesel BT'nin anahtar yapılarını segmentlere ayırma modeli, girdi olarak kullanılan sıralı 2D dilimler ve dilimler arası korelasyonları korumak için iki çift yönlü evrişimli uzun vadeli kısa anı ile U-Net kullanılarak inşa edilir. Bu çalışma öncelikle göz küresi, optik sinir ve ekstraoküler kasların segmentasyonuna odaklanmaktadır. Segmentasyonun değerlendirilmesi, segmentasyonun derin öğrenme yöntemleri kullanılarak orbital BT görüntülerine potansiyel olarak uygulanmasını ortaya koymaktadır.

Kantitatif değerlendirme için, BT görüntü segmentasyonu görevinde kullanılan iki değerlendirme metriği benimsenmiştir. Bunlar, zar puanı (DICE) ve hacim benzerliği (VS)13 dahil olmak üzere iki benzerlik metriğiydi:
ZAR (%) = 2 × TP/(2 × TP + FP + FN) VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
TP, FP ve FN, segmentasyon sonucu ve segmentasyon maskesi verildiğinde, sırasıyla gerçek pozitif, yanlış pozitif ve yanlış negatif değerleri gösterir.
SEQ-UNET'in yörüngesel yapı segmentasyonu için performansı dört çapraz doğrulama ile değerlendirildi. Sonuçlar Tablo 1'de gösterilmiştir. SEQ-UNET kullanılarak yapılan göz küresi segmentasyonu 0.86 zar skoru ve 0.83 VS elde etti. Ekstraoküler kasların ve optik sinirin segmentasyonu düşük zar skorlarına ulaştı (sırasıyla 0.54 ve 0.34). Göz küresi segmentasyonunun zar skoru% 80'in üzerindeydi, çünkü VOI'lerin büyük bir kısmına ve BT taramaları arasında çok az heterojenliğe sahipti. Ekstraoküler kasların ve optik sinirin zar skorları nispeten düşüktü, çünkü BT hacminde nadiren ortaya çıktılar ve nispeten az sayıda BT diliminde bulundular. Bununla birlikte, ekstraoküler kasların ve optik sinirin görsel benzerlik puanları (sırasıyla 0.65 ve 0.80) zar skorlarından daha yüksekti. Bu sonuç, segmentasyonun özgüllüğünün düşük olduğunu göstermektedir. Genel olarak, SEQ-UNET'in tüm yörüngesel alt yapıların segmentasyonu için zar skoru ve görsel benzerliği sırasıyla 0.79 ve 0.82 idi. Yörüngesel yapı segmentasyonunun görsel sonuçlarına örnekler Şekil 3'te gösterilmiştir. Şekil 3A-C'de, mavi tahmin edilen segmentasyon sonucudur ve kırmızı temel doğruluk maskesidir. Şekil 3B'de kırmızı, yeşil ve turuncu sırasıyla göz küresi, optik kas ve sinir segmentasyonudur.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg"> Şekil 1: Yarı otomatik maskeleme özellikleri. Orbital BT taramalarında (A) SmartPencil, (B) SmartFill ve (C) Otomatik Düzeltme kullanarak göz küresini, ekstraoküler kasları ve optik siniri maskelemek. Göz küresinin maskesi, dilimlerin süper piksellerini hesaplayan SmartPencil tarafından etiketlenir ve maske, süper piksellere tıklanarak yapılır. Göz küresi süper piksellerinden bazılarına tıkladıktan sonra, tüm göz küresi maskesi SmartFill tarafından hesaplanabilir. Optik sinirin maskelenmesi durumunda, maskeleme iyileştirmesi Otomatik Düzeltme ile yapılır. Mavi renk etiketli göz küreleri (A) ve (B) harflerinde gösterilir. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg"> Resim 2: SEQ U-Net mimarisi. Giriş ve çıkış olarak sıralı 2B dilimler; U-Net mimarisine dayalı kodlama ve kod çözme bloklarının sonuna iki çift yönlü C-LSTM uygulanır. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg"> Şekil 3: Yörünge yapılarının segmentasyon sonuçları. (A) Göz küresi (etiket 1), (B) optik kas (etiket 2), (C) optik sinir (etiket 3) ve (D) çoklu etiket (etiket 1, 2 ve 3). Soldaki görüntü yörüngenin VOI'sidir, merkez görüntü tahmin edilen segmentasyondur ve sağ görüntü temel gerçektir. (A), (B) ve (C)'de, mavi tahmin edilen segmentasyon sonucudur ve kırmızı temel doğruluk maskesidir. (D)'de kırmızı, yeşil ve turuncu sırasıyla göz küresi, ekstraoküler kas ve optik sinir segmentasyonudur. Tahmin edilen segmentasyon, göz küresi durumunda yüksek performans (DICE: 0.86'ya karşı 0.82), ancak ekstraoküler kas (DICE: 0.54'e karşı 0.65) ve optik sinir (DICE: 0.34'e karşı 0.8) durumunda düşük performans gösterdi. <a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody><tr><td rowspan="2"></td>
			<td colspan="2">Çoklu Etiket</td>
			<td colspan="2">Etiket 1 (Göz küresi)</td>
			<td colspan="2">Etiket 2 (Ekstraoküler kas)</td>
			<td colspan="2">Etiket 3 (Optik sinir)</td>
		</tr><tr><td>ZAR</td>
			<td>VS</td>
			<td>ZAR</td>
			<td>VS</td>
			<td>ZAR</td>
			<td>VS</td>
			<td>ZAR</td>
			<td>VS</td>
		</tr><tr><td>SEQ-UNET</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr></tbody></table>Tablo 1: Zar skoru ve görsel benzerlik için segmentasyon sonuçları. Nispeten çok sayıda dilime sahip olan göz küresi, 0.8'lik bir DICE ile iyi bir şekilde segmente edildi, ancak az sayıda dilim ve çizgi şekline sahip olan ekstraoküler kas ve optik sinir, sırasıyla 0.54 ve 0.34 DICE değerleriyle kısmen bölümlere ayrıldı.
Video 1: Maskeleme yazılımı programındaki SmartPencil sihirbazı. Göz küresi maskelemesi için birden fazla piksele açıklama eklemenin bir gösterimi. Maskeleme görevleri, kümelenmiş süper piksellere tek bir tıklama ile etkinleştirilir. <a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">Bu videoyu indirmek için lütfen tıklayınız.</a>
Video 2: Maskeleme yazılımı programındaki SmartFill sihirbazı. Göz küresi maskelemesi için birden fazla piksele açıklama eklemenin bir gösterimi. Açıklama alanında bazı pikselleri seçtikten sonra, bu işlev seçilen piksellere benzer yoğunluklarda tam segmentasyon maskeleri oluşturur. <a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">Bu videoyu indirmek için lütfen tıklayınız.</a>
Video 3: Maskeleme yazılımı programında Otomatik Düzeltme. Önceden eğitilmiş bir evrişimli sinir ağı algoritması kullanılarak maskelenmiş bir pikselin otomatik olarak düzeltilmesinin bir gösterimi. <a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">Bu videoyu indirmek için lütfen tıklayınız.</a>
Ek Tablo 1: Maskeleme, ön işleme ve segmentasyon modellemesinin çalışma zamanı ortamı (RTE). <a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">Bu tabloyu indirmek için lütfen tıklayınız.</a>

Orbital bilgisayarlı tomografi (BT) görüntüleri için nesne segmentasyon protokolü tanıtıldı. Süper çözünürlük kullanarak yörüngesel yapıların temel gerçekliğini etiketleme, BT görüntülerinden ilgi hacmini çıkarma ve orbital BT görüntüleri için 2D sıralı U-Net kullanarak çok etiketli segmentasyonu modelleme yöntemleri denetimli öğrenme için açıklanmaktadır.

Orbital Bilgisayarlı Tomografi ile Derin Öğrenme Tabanlı Tıbbi Görüntü Segmentasyonunun Uygulanması

Recently, deep learning-based segmentation models have been widely applied in the ophthalmic field. This study presents the complete process of ...

Bu çalışmada orbital bilgisayarlı tomografi görüntüleri için nesne segmentasyon protokolünü tanıttık. Dünyadaki ilk denemedir. Bu programı kullanarak, herhangi bir anatomi parçasında maskelemeyi istediğiniz yerde kolayca yapabilirsiniz.Zamanınızı ve emeğinizi görselleştirir ve tasarruf etmenizi sağlar. Bu çalışmanın biyopsi için zor olan orbital hastalıkların tanısında bir mihenk taşı olabileceğini umuyoruz. Maskeleme yazılımı programını çalıştırarak başlayın.Orbital BT'yi yüklemek için, açık dosya simgesine tıklayın ve hedef BT dosyasını seçin. Göz küresini, optik siniri ve ekstraoküler kasları süper pikseller kullanarak maskelemek için MediLabel'daki SmartPencil sihirbazına tıklayarak SmartPencil'ı çalıştırın. Ardından, gerekirse süper piksel haritasının çözünürlüğünü kontrol edin ve benzer görüntü yoğunluğu değerlerine sahip piksellerin kümelendiği süper piksel haritasında göz küresinin, ekstraoküler kasların ve optik sinirin süper pikselleri kümesine tıklayın.Maskeleri hassaslaştırmak için, dilimlerdeki bazı süper pikselleri maskeledikten sonra SmartFill sihirbazına tıklayın, ardından Otomatik Düzeltme simgesine tıklayın ve düzeltilen maske etiketlerinin hesaplandığından emin olun. Maskelemenin iyileştirilmesi tamamlandıktan sonra, maskelenmiş görüntüleri kaydedin. Ön işleme için Python betiğini çalıştırın ve VOI'ler klasörüne kırpılan ve kaydedilen taramaları ve maskeleri kontrol edin.VOI'leri U-Net dizisi için giriş olarak kullanmak üzere üç sıralı CT dilimi kümesine dönüştürmek için dizi oluşturucu Python betiğini çalıştırın. Sırasıyla tarama klasöründeki ve maske klasöründeki ve önceden işlenmiş klasörlerdeki kaydedilmiş, dönüştürülmüş BT taramalarını ve maskelerini kontrol edin. Yörüngesel segmentasyon modelini oluşturmak için, Python komut dosyası anasını çalıştırın.py ve kıvrım numaralarını verin. Eğitim yinelemelerinin sayısı olan dönemi ayarlayın ve tek bir eğitim oturumundaki eğitim örneklerinin sayısı olan toplu iş boyutunu ayarlayın. Komut dosyası ana.py ayrıştırıcılar olmadan çalışabilir, bu durumda varsayılan değerlerle çalışır. Eğitimden sonra modelin testini gerçekleştirin ve zar puanı ve hacim benzerliği gibi değerlendirme metriklerini hesaplayın. Son olarak, görüntü dosyaları olarak kaydedilen sonuçları kontrol edin.Orbital yapı segmentasyonu için U-Net dizisini kullanan göz küresi segmentasyonu, görsel benzerlik veya VS skoru 0.83 ve yüksek zar skoru 0.86 elde etti, çünkü VOI'lerin büyük bir kısmına ve BT taramaları arasında çok az heterojenliğe sahipti. Ekstraoküler kasların segmentasyonu için 0.54 ve optik sinir için 0.34 gibi düşük bir zar skoru elde edildi, çünkü BT hacminde nadiren ortaya çıktılar ve nispeten az sayıda BT diliminde bulundular. Bununla birlikte, ekstraoküler kasların ve optik sinirin görsel benzerlik puanları, zar skorlarından daha yüksekti, bu da segmentasyonun özgüllüğünün düşük olduğunu göstermektedir.Genel olarak, tüm yörüngesel alt yapıların segmentasyonu 0.79'luk bir zar puanı ve 0.82'lik bir görsel benzerlik puanı elde etti. Uygulamaya bağlı olarak, VOI'nin boyutu ve pencere kırpma seviyesi değişebilir. Dizi oluşturucu kodunu başka büyük amaçlar için değiştirebilirsiniz.Ayrıca, model eğitimi için hiperparametreler değiştirilebilir. Model, model eğitimi için çok fazla bir sayı olmayan 46 VOI ile eğitilmiştir. Eğitim veri kümelerinin az sayıda olması nedeniyle düşük performansın üstesinden gelmek için, aktarım öğrenimi ve etki alanı gösterimi uygulanabilir.

application-deep-learning-based-medical-image-segmentation-via

Research

JoVE Journal

Engineering

Mühendislik

Otomatik bir orta hat kayması tahmini ve intrakraniyal basınç (ICP) travmatik beyin hasarı (TBI) olan hastalarda bilgisayarlı tomografi (BT) görüntüleri dayalı ön eleme sisteminin görüntü işleme ve makine öğrenme teknikleri kullanılarak önerilmiştir.

Beyin BT Görüntüleri dayalı otomatik Midline Shift ve İntrakraniyal Basınç Tahmini

Burada sunulan yöntem, 18 F-florodeoksiglikoz kullanır (18 F-FDG) pozitron emisyon tomografisi / bilgisayarlı tomografi (PET-BT) ve yağ-su ayrılmış manyetik rezonans görüntüleme (MRG), her termonötral 2 saat maruz (24 ° C aşağıdaki taranan ) ve yetişkin insan deneklerde kahverengi adipoz doku (BAT) eşleştirmek için, soğuk koşullar (17 ° C).

İnsan Brown Yağ Dokusu Depolar otomatik Pozitron Emisyon Tomografi / Bilgisayarlı Tomografi tarafından Parçalı ve Manyetik Rezonans Görüntüler Kayıtlı

Bu, bir tomogramın bir kısmını eğitim girdisi olarak kullanarak kriyo-elektron tomogramlarının çok sınıflı segmentasyonu için çok dilimli bir U-Net'i eğitmek için kullanılan bir yöntemdir. Bu ağın diğer tomogramlara nasıl çıkarılacağını ve subtomogram ortalaması ve filament izleme gibi daha ileri analizler için segmentasyonların nasıl çıkarılacağını açıklıyoruz.

Kriyo-Elektron Tomogramlarının Derin Öğrenme Tabanlı Segmentasyonu

Orbital rekonstrüksiyon için kişiselleştirilmiş tıp hızla gelişmektedir. Yörüngenin hassas doğası nedeniyle, kırık rekonstrüksiyonunu takiben küçük tutarsızlıklar görsel algıda bozulmaya neden olabilir. Burada, yörünge kusurlarının sanal 3D rekonstrüksiyonu için üç yöntemi ve bunların göstergelerini ve doğru rekonstrüksiyon için potansiyel tuzakları açıklıyoruz.

Orbita Kırıklarının Üç Boyutlu Rekonstrüksiyonu

Kriyo-elektron tomografisi (kriyo-ET), hücresel üst yapının nanometre çözünürlükte 3D görselleştirilmesini sağlar, ancak manuel segmentasyon zaman alıcı ve karmaşık olmaya devam etmektedir. Kriyo-ET tomogramlarını segmentlere ayırmak için gelişmiş sanal gerçeklik yazılımını entegre eden ve memeli hücrelerinde mitokondrinin segmentasyonu yoluyla etkinliğini gösteren yeni bir iş akışı sunuyoruz.

Kriyo-elektron tomografi verilerinin sürükleyici segmentasyonu ve analizi için sanal gerçeklikten yararlanma

Otomatik eklem alanı algılama iş akışının geliştirilmesi, vahşi tipli hayvanlarda farklı fare arka pence kemiklerinin yüksek verimli segmentasyonunu %&gt;98 doğrulukla mümkün kıldı. İltihap-erozivli artritli ön patiler ve patilere esnek uygulama sağlandı, ancak performans düşük olup, kamuya açık veriler kullanılarak gelecekteki çalışmalarda daha fazla optimizasyon yapılmasını gerektiriyor.

Otomatik Eklem Alanı Tespiti Kemik Segmentasyon Hassasiyetini Artırır

Optik opak sıvılar veya optik opak geometrileri vasıtasıyla hızının iki boyutlu alanları edinme yeteneğine sahip bir yankı parçacık görüntülemeli hız (EPIV) sistemi tanımlanmakta olup, boru akışı validasyon ölçümleri bildirilmiştir.

Parçacık Hızı Echo

Yüksek çözünürlüklü, yüksek hızlı parçacık görüntü velosimetri (PIV) kullanarak sınırları yakınında geçici akımları incelemek için bir prosedür burada açıklanmıştır. PIV gibi görüntü ve kayıt özellikleri, lazer sac özellikleri ve analiz algoritmaları gibi birçok parametre kısıtlamaları optimize ederek herhangi bir optik erişilebilir akışı için geçerli olmayan bir müdahaleci ölçüm tekniğidir.

Yüzeyler Yakın yüksek hızlı Partikül imaj velosimetri

Aktif optik cihazların kapsamlı mikro-karakterizasyonu için bir iş akışı özetlenmiştir. Bu BT, LM ve SEM vasıtasıyla yapısal hem de fonksiyonel soruşturmaları içerir. yöntemi hala karakterizasyonu sırasında çalıştırılabilir olabilir beyaz LED için gösterilmiştir.

(SEM) X-ışını Bilgisayarlı Tomografi (BT) ve Taramalı Elektron Mikroskobu ile İlişkili Işık Mikroskopi (LM) bir kombinasyonu ile LED&#39;lerin Derinliği Analizlerinde

Bu protokoller hava ve toprak bazlı agro-kimyasal uygulamalarda kullanılan tarımsal memelerinin püskürme damlacık boyutuna ölçümünde kullanılmak üzere sunulmaktadır. sunulan bu yöntemler lazer difraksiyon sistemlerini kullanırken içi ve laboratuar hem tutarlı ve tekrarlanabilir damlacık boyutu verilerini sağlamak üzere geliştirilmiştir.

Lazer difraksiyonu kullanılarak tarım memelerden Ölçüm Sprey damlacık boyutu

Öğrenin, orbital BT görüntülerinde derin öğrenme tabanlı segmentasyon protokolü ile göz küresi, optik sinir ve ekstraoküler kasları hassas şekilde maskeleyin. Bu yöntem, orbital hastalıkların invaziv olmayan tanısında araştırmacılara zaman kazandırır.

Orbital Bilgisayarlı Tomografi ile Derin Öğrenme Tabanlı Tıbbi Görüntü Segmentasyonunun Uygulanması

Daha fazla video keşfet