RESEARCH
Peer reviewed scientific video journal
Video encyclopedia of advanced research methods
Visualizing science through experiment videos
EDUCATION
Video textbooks for undergraduate courses
Visual demonstrations of key scientific experiments
BUSINESS
Video textbooks for business education
OTHERS
Interactive video based quizzes for formative assessments
Products
RESEARCH
JoVE Journal
Peer reviewed scientific video journal
JoVE Encyclopedia of Experiments
Video encyclopedia of advanced research methods
EDUCATION
JoVE Core
Video textbooks for undergraduates
JoVE Science Education
Visual demonstrations of key scientific experiments
JoVE Lab Manual
Videos of experiments for undergraduate lab courses
BUSINESS
JoVE Business
Video textbooks for business education
Solutions
Language
tr_TR
Menu
Menu
Menu
Menu
A subscription to JoVE is required to view this content. Sign in or start your free trial.
Research Article
Konstantinos Kounakis1,2, Pablo E. Layana Castro3, Antonio Garcia Garvi3, Antonio-José Sánchez-Salmerón3, Nektarios Tavernarakis1,2
1Department of Basic Sciences, Faculty of Medicine,University of Crete, 2Institute of Molecular Biology and Biotechnology,Foundation for Research and Technology-Hellas, 3Instituto de Automática e Informática Industrial,Universitat Politècnica de València
Please note that some of the translations on this page are AI generated. Click here for the English version.
Erratum Notice
Important: There has been an erratum issued for this article. View Erratum Notice
Retraction Notice
The article Assisted Selection of Biomarkers by Linear Discriminant Analysis Effect Size (LEfSe) in Microbiome Data (10.3791/61715) has been retracted by the journal upon the authors' request due to a conflict regarding the data and methodology. View Retraction Notice
Burada, geniş alan mikroskobu görüntülerinde tek tek solucanların otomatik segmentasyonu için geliştirdiğimiz bir derin öğrenme sistemi olan SegElegans'ın daha sonra ImageJ gibi görüntü analiz yazılımlarında kullanılmak üzere etkin bir şekilde kullanılmasına ilişkin talimatlar sunuyoruz. Sistemi hem çevrimiçi hem de çevrimdışı kullanmanın yollarını sunuyoruz.
Mikroskopi, özellikle floresan türü, C. elegans araştırmalarında sıklıkla kullanılan bir araçtır. Bununla birlikte, mikroskopi deneylerinden elde edilen verilerin analizi oldukça sıkıcı ve zaman alıcı olabilir. Bu nedenle, otomasyon arzu edilir. Çok sayıda dokunan veya üst üste binen bireylerin bulunduğu görüntülerde bile solucanların otomatik segmentasyonu için özel olarak tasarlanmış, iki başlı U-net tabanlı evrişimli bir sinir ağı sistemi olan SegElegans'ı geliştirdik. SegElegans'ın ilk bölümü bir kodlayıcı ve iki kod çözücüden oluşur. SmaAt AT modelini temel alan kodlayıcı, çift evrişimli katmanlar ve ardından bir Evrişimli Blok Dikkat Modülü (CBAM) uygular. Her iki kod çözücü de evrişimli LSTM'ler kullanır: biri solucan görüntülerinin (gövde, kenar, arka plan veya örtüşme) anlamsal segmentasyonunu gerçekleştirirken, diğeri her solucan boyunca doğrusal bir iskelet çıkarır. İkinci bölüm, iki kod çözücünün çıktılarını birleştiren ve bunları doğru örnek segmentasyonları oluşturmak için kullanan bir işlem sonrası algoritmadır. Bu segmentasyonlar daha sonra ImageJ'ye veya diğer uygun görüntü analiz araçlarına beslenebilir. Burada bu sisteme nasıl erişileceği ve çalıştırılacağı ile ilgili talimatlar sunuyoruz. Çevrimiçi, bulut bilişim tabanlı bir uygulamanın yanı sıra, gerekli donanımın mevcut olması durumunda SegElegans modellerini yerel bir makinede çevrimdışı olarak kullanmak için iki yöntem sunuyoruz.
Caenorhabditis elegans, hücresel ve moleküler biyoloji alanlarında geniş kullanıma sahip ökaryotik bir model organizmadır 1,2,3. Hızlı bir yaşam döngüsüne (~ üç hafta) ve çok sayıda döle (tipik olarak kendi kendine döllenen hermafrodit ebeveyni ile genetik olarak özdeş) sahip küçük (vahşi tip yetişkinler için ~ 1 mm) toprakta yaşayan bir nematod solucanıdır. Göreceli basitliğine rağmen, hayvan, küçük boyutu ve şeffaflığı sayesinde, herhangi bir sabitleme veya diğer invaziv tedavilere gerek kalmadan in vivo olarak incelenebilen, tanımlanmış ve farklı doku ve organlara sahip karmaşık çok hücreli bir organizmadır4. Solucanın mikroskopi yoluyla in vivo çalışma kapasitesi, tek tek hücrelerin kolayca ayırt edilmesine ve hatta mitokondri, lipid damlacıkları veya protein agregatları gibi hücre altı organellerin/bileşenlerin ve sinyal iletimi, gen ekspresyonu, vezikül füzyonu gibi süreçlerin doğrudan görselleştirilmesine izin veren floresan raportörlerin kullanılmasıyla daha da güçlendirilebilir. otofaji, nöronal ve kas aksiyon potansiyelleri vb.5,6,7,8,9,10,11. Ek olarak, nematod ayrıca mutajenez12, mikroenjeksiyon veya mikropartikül bombardımanı13, CRISPR düzenleme14 ve en önemlisi, kolay ve uygun maliyetli genetik tarama söz konusu olduğunda, RNAi15 yoluyla genetik manipülasyona oldukça uygundur. Bu manipülasyon, genlerin ve nematodun kendisindeki rollerinin kapsamlı bir şekilde incelenmesine izin verirken, aynı zamanda, C. elegans'ın diğer model organizmalara sergilediği önemli genetik homoloji sayesinde, insanlarla ilgili temel keşifler yapar16,17. Son olarak, bu homoloji/koruma aynı zamanda solucanı ilaçlar ve kimyasal ajanlar için ideal bir ilk test alanı haline getirir ve ilaç aktivitesi mekanizmalarının aydınlatılmasına, potansiyel aktivite değiştirici genetik varyasyonların tanımlanmasına ve potansiyel istenmeyen etkileşimlerin ve hedef dışı etkilerin keşfedilmesine izin verir 18,19,20.
Yukarıda belirtilen tüm avantajlar, C. elegans'ı hücresel ve moleküler biyoloji çalışmaları için, özellikle mikroskopi yoluyla süreçlerin in vivo ve genellikle gerçek zamanlı izlenmesiyle ilgilenen bilim adamları için çekici bir model haline getirmiştir. Bu tür çalışmalar tipik olarak özel yazılımlar aracılığıyla önemli miktarda görüntü analizi içerir ve en yaygın kullanılan seçenek ImageJ 21,22,23'tür. Bu tür yazılımlar aracılığıyla yapılan analizin ortak bir özelliği, kullanıcının/araştırmacının seçim araçlarını kullanarak analiz için İlgi Alanlarını (ROI'ler) belirleme ihtiyacıdır. Oldukça sık olarak, bir görüntüdeki her bir solucan, basit morfolojik özellikler (vücut boyutları gibi) veya bir genin ekspresyon seviyeleri (bir floresan raportör ile ölçülen), oranmetrik bir raportörün okuması, lipid damlacıklarının sayısı ve boyutu gibi daha "gelişmiş" deneysel okumalar hakkında solucan başına bilgi elde etmek amacıyla kendi ROI'si olarak seçilecektir. protein agregatlarının oluşumu, bireysel organellerin morfolojisi ve ağları vb.5,8,10,24,25,26,27. Bu solucan başına seçimler tipik olarak manuel olarak yapılır, çünkü standart görüntü işleme algoritmalarına dayanan otomatik seçim yöntemleri, özellikle solucanların ana hatlarının net bir şekilde görülemediği karanlık alan görüntülerinde veya dokunan ve üst üste binen önemli sayıda hayvanın bulunduğu parlak alan görüntülerinde, genellikle solucanın şekillerini ve özelliklerini ayırt etmek için yeterli değildir. Bununla birlikte, manuel işlem yavaştır (ihtiyaç duyulan hassasiyete ve kullanıcının deneyimine bağlı olarak solucan başına 20 saniye ila 1 dakika), zahmetlidir ve kullanıcı önyargısına ve hatasına tabidir.
Bireysel C. elegans ROI'lerinin (bilgisayarla görme alanında tipik olarak segmentasyon olarak adlandırılan bir görev) oluşturulması için alternatif ve çok daha güçlü bir yaklaşım, bunu derin öğrenme/sinir ağı tekniklerinin yardımıyla otomatikleştirmektir. Öncelikle Mask R-CNN28 ve U-net mimarilerine29 dayanan evrişimli sinir ağları, C. elegans 33,34,35,36,37,38,39 dahil olmak üzere çeşitli biyolojik model sistemleri 30,31,32 üzerindeki segmentasyon görevlerinde iyi sonuçlar vermiştir , ancak hiçbiri, çok sayıda dokunan veya tamamen örtüşen solucan içeren yüksek çözünürlüklü görüntülerde tek tek hayvanları doğru bir şekilde ayırt eden tam vücut segmentasyonları (örnek segmentasyonu) oluşturma sorununa tatmin edici bir çözüm sağlamadı. Bu ihtiyacı karşılamak için, bu görev40 için özel olarak tasarlanmış ve optimize edilmiş bir derin öğrenme modeli olan SegElegans'ı geliştirdik.
SegElegans iki ana bölümden oluşmaktadır (Şekil 1). İlk bölüm, iki başlı bir U-net varyantı evrişimli sinir ağıdır. Bir kodlayıcı bloğu ve iki kod çözücü bloğundan oluşur. Kodlayıcı bloğu, SmaAt AT model41'e dayanmaktadır ve bir Evrişimli Blok Dikkat Modülüne (CBAM)42 beslenen her katman için çift evrişim blokları kullanır. İki kod çözücü bloğu, evrişimli uzun kısa süreli bellek (LSTM) ağına43 dayanmaktadır. Bir kod çözücü, görüntülerin her pikselini bir solucanın ana gövdesinin bir parçası, bir solucanın kenarının bir parçası, arka planın bir parçası veya solucanların üst üste geldiği bir alanın bir parçası olarak kategorize etmekten sorumludur (bu genellikle anlamsal segmentasyon olarak adlandırılır). Diğer kod çözücü, her solucanın uzunluğu boyunca doğrusal bir "iskelet" çizmekten sorumludur. İkinci bölüm, iki kod çözücünün çıktılarını birleştiren ve bunları doğru örnek segmentasyonları oluşturmak için kullanan bir işlem sonrası algoritmadır. Başlangıçta, anlamsal segmentasyon çıktısını iskelet olanla karşılaştırarak gerçek örtüşme segmentlerini tanımlar. Ardından, çakışma olmadan doğrudan solucanlar için veya çakışan40 için segmentlerden birleştirerek örnek segmentasyonunun çıktısını alır. Bu segmentasyonlar, ikili maskelerin yanı sıra ImageJ uyumlu yatırım getirileri olarak kaydedilir.
Aşağıdaki bölümlerde SegElegans'ın etkili bir şekilde nasıl kullanılacağına ilişkin ayrıntılı talimatlar yer almaktadır (Şekil 2). Bunlar, hazırlık amaçlı görüntü edinme (Bölüm 1), modelin çevrimiçi (Bölüm 2) veya çevrimdışı (Bölüm 3-5) nasıl çalıştırılacağı ve ROI'lerin ImageJ'ye veya diğer araçlara aktarılması (Bölüm 6) ile ilgili talimatları içerir. Görüntülerin model aracılığıyla değerlendirilmesi, en az 6 GB (ideal olarak daha fazla) video rasgele erişim belleğine (VRAM) sahip CUDA uyumlu Grafik İşlem Birimi'ne (GPU) sahip bir bilgisayar gerektirdiğinden, çoğu kullanıcının (Google'ın hizmetlerine erişimleri olması koşuluyla) bulut bilişim yoluyla bu donanım gereksinimlerini karşılayan ve aşan modelin çevrimiçi sürümünü kullanmaları önerilir (Bölüm 1 > Bölüm 2 > Bölüm 6). Alternatif olarak, uygun şekilde güçlü donanıma erişimi olan ve komut satırı/terminal kullanımı hakkında temel bir anlayışa sahip olan kullanıcılar (veya yukarıda belirtilen bulut bilişim seçeneklerine erişimi olmayan kullanıcılar) modeli yerel olarak çalıştırmayı daha uygun bulabilirler (Bölüm 1 > Bölüm 3 > Bölüm 4 veya 5 > Bölüm 6).
1. Örnek ve kılavuz görüntülerin alınması
2. SegElegans'ın çevrimiçi sürümünü çalıştırma
) düğmesine basarak kod bloğu 1'i çalıştırın. Çalışma zamanına kodu çalıştırma ve yürütme bittikten sonra çıkışı gözlemleme izni verin (yürüt düğmesinin yanında yeşil bir onay işareti görünür). Colab, CUDA uyumlu doğru çalışma zamanını otomatik olarak çalıştırmalı ve bir NVIDIA-SMI çıktı tablosu göstermelidir. Aksi takdirde, Çalışma Zamanı > Çalışma zamanı türünü değiştir menüsü aracılığıyla T4 GPU çalışma zamanı kullanımını zorlayın.3. İlk kullanımdan önce SegElegans'ın çevrimdışı sürümünün hazırlanması
4. SegElegans'ın çevrimdışı sürümünü hızlı bir komut dosyasıyla çalıştırma
5. SegElegans'ın çevrimdışı sürümünü Jupyter not defteriyle çalıştırma
) düğmesine basarak çalıştırın. Yürütme tamamlandığında kod bloğunun altında bir onay mesajı görünecektir.6. Segmentasyonları ImageJ'ye (veya alternatiflerine) aktarma
Araştırmacılar, bu protokolü izleyerek, görünür solucan sınırları olmayan floresan görüntülerin analizi için bile yüksek kaliteli solucan segmentasyonları çıkarabilmelidir. Protokolün 6. bölümünde tartışıldığı gibi, bu segmentasyonlar doğrudan ImageJ'ye aktarılabilir ve floresan raportörlerin yoğunluğu (genellikle ifade ölçümü için kullanılır) veya floresan etiketli alanların sayısı, boyutu ve morfolojisi (protein agregatlarını veya organellerini incelemek için sıklıkla kullanılır) gibi ilgili özelliklerin hızlı ölçümü için kullanılabilir. Ayrıca, SegElegans, floresandan bağımsız bir şekilde parlak alan görüntülerinden segmentasyonlar elde etmek için tasarlandığından, yoğunluk oranlarının ölçümü (örneğin, belirli organellerin otofajik bozulmasını ölçmek için) veya ortak lokalizasyon ölçümleri (örneğin, organeller arasındaki etkileşimleri tanımlamaya çalışırken) dahil olmak üzere çok kanallı analize de yardımcı olabilir.
SegElegans, %93'ün üzerinde bir segmentasyon IoU (Birlik Üzerinden Kesişme) puanı elde ederek (Tablo 1), yayınlandığı tarihteki alternatifleri geride bırakarak40. Pratikte bu, tüm görüntüleri açıklanan protokol üzerinden çalıştırdıktan sonra, yanlış bölümlere ayrılan ve kullanıcının ihtiyaçlarına bağlı olarak analizden göz ardı edilmesi veya dahil edilmeleri gerekli görülürse manuel olarak çizilen seçimlerle yeniden seçilmesi gereken bazı solucanlar olacağı anlamına gelir.
Testlerimiz, SegElegan'ları eğitmek için kullanılanlar gibi son derece hassas bir manuel seçimin (hayvanların gerçek kenarlarını mümkün olduğunca yakından/sıkı bir şekilde takip ederek), kullanıcıya bağlı olarak tek bir solucan başına 30-60 saniye sürebileceğini ve görüntü başına ortalama ~245 saniyelik bir analiz süresine yol açabileceğini göstermektedir. SegElegans, bir görüntüdeki tüm solucanlar için (7+ tane olsa bile) görüntü başına bir dakikadan kısa bir sürede bu kalitede segmentasyonlar üretebilir ve küratörlüğün manuel düzeltmeleri için kullanılan süre de dahil edilir. Ortalama olarak, SegElegans'ın etkili kullanımı, analizden önce solucan segmentasyonu için gereken süreyi manuel olarak ihtiyaç duyulanın dörtte birine, hatta beşte birine indirmelidir (Şekil 3).

Şekil 1: SegElegans'a Genel Bakış. Görüntünün anlamsal bir segmentasyonunu ve solucanların iskeletlerinin segmentasyonlarını ayrı ayrı oluşturan 1 kodlayıcı ve 2 kod çözücüden oluşan iki başlı bir U-net mimarisi üzerine inşa edilmiştir. Bu iki segmentasyon bir işlem sonrası sisteme beslenir ve daha sonra ImageJ uyumlu yatırım getirileri ve ikili maskeler biçiminde çıktı alınan son örnek segmentasyonunu oluşturmak için kullanılır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 2: Protokolün özeti ve sağlanan çoklu alternatif seçenekler. Görüntü alındıktan sonra (Bölüm 1), kullanıcılar çevrimiçi bir Jupyter arayüzü (Bölüm 2), çevrimdışı bir Jupyter arayüzü (Bölüm 3 ve 5) veya çevrimdışı bir komut dosyası (Bölüm 3 ve 4) aracılığıyla SegElegans'ı kullanarak kılavuz görüntülerden segmentasyonlar elde edebilirler. Segmentasyon çıktısı daha sonra gerçek verileri içeren görüntüleri analiz etmek için ImageJ'de veya başka bir yazılımda kullanılabilir (Bölüm 6). Bu şekilde örnek olarak kullanılan solucanlar AM141 suşu10'a aittir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 3: Görüntü başına ortalama segmentasyon süresi (saniye cinsinden ölçülür). Hata çubukları SEM'i gösterir. **** Welch'in t-testinde <0.0001 p değerini gösterir. N = 53 resim. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
| Ortalama IoU [0.5 cuttof] | Ort. IoU [0.7 cuttof] | Ort. IoU [0.9 cuttof] | ||||
| Model | Tüm Görüntü | Solucan başına | Tüm Görüntü | Solucan başına | Tüm Görüntü | Solucan başına |
| 30 Numaralı Göm | 0.8775 | 0.9017 | 0.823 | 0.8867 | 0.6891 | 0.7247 |
| UMF U-Net32 | 0.9266 | 0.9382 | 0.9266 | 0.9088 | 0.9266 | 0.9088 |
| SmaAt DS41 | 0.9272 | 0.9238 | 0.9272 | 0.8895 | 0.9272 | 0.8895 |
| SmaAt41 YAŞINDA | 0.9343 | 0.9498 | 0.9343 | 0.926 | 0.9343 | 0.926 |
| SegElegans40 | 0.9355 | 0.9627 | 0.9355 | 0.9461 | 0.9335 | 0.9461 |
Tablo 1: SegElegans ve diğer yayınlanmış C. elegans evrişimli sinir ağları 32,34,40,41 arasındaki tam vücut segmentasyonları için farklı kesimlerde birleşme üzerinden kesişme (IoU) puanı karşılaştırmaları.
Yazarların beyan edecekleri herhangi bir çıkar çatışması yoktur.
Burada, geniş alan mikroskobu görüntülerinde tek tek solucanların otomatik segmentasyonu için geliştirdiğimiz bir derin öğrenme sistemi olan SegElegans'ın daha sonra ImageJ gibi görüntü analiz yazılımlarında kullanılmak üzere etkin bir şekilde kullanılmasına ilişkin talimatlar sunuyoruz. Sistemi hem çevrimiçi hem de çevrimdışı kullanmanın yollarını sunuyoruz.
Yazarların laboratuvarındaki çalışmalar Genel Sekreterlik tarafından finanse edilmektedir.
Yunanistan Kalkınma Bakanlığı Araştırma ve Yenilik,
Avrupa Birliği - NextGenerationEU (proje kodu: TAEDR-0535850, Kısaltma:
BrainPrecision) "Amiral Gemisi Eylemleri" Eylemi çerçevesinde
Bağlantılı Özel İlgi Duyulan Disiplinlerarası Bilimsel Alanlar
Üretken Dokuya" Ulusal İyileşme ve Dayanıklılık kapsamında
"Yunanistan 2.0" Planı, Avrupa Komisyonu Araştırma Yürütme Ajansı
Mükemmellik Merkezi "CHAngeing" (GA-101087071) ve Yunan Vakfı
Araştırma ve İnovasyon (H.F.R.I.) için "1. H.F.R.I. Çağrısı" kapsamında
Öğretim Üyelerini ve Araştırmacıları desteklemeye yönelik Araştırma Projeleri ve
yüksek maliyetli araştırma ekipmanı tedariki" (Proje Numarası:
HFRI-FM17C3-0869, NöroMitofaji).
| İnternet erişimi olan bilgisayar (örneğin: Dell Vostro Desktop) | Birkaç şirket (örneğin Dell) | - | Bu, SegElegans'ın önerildiği gibi bulut bilişim üzerinden çevrimiçi çalıştırılmasına ve ImageJ gibi görüntü analiz yazılımlarının kullanılmasına olanak tanıyacaktır. |
| En az 6 GB VRAM içeren CUDA uyumlu Grafik İşlemci Birimi (örneğin: MSI Geforce RTX RTX3050 Ventus 2X 6GB) (Isteğe bağlı) | NVIDIA + birkaç üretici (örneğin Micro Star International) | https://developer.nvidia.com/cuda-gpus | Bu, SegElegans'ı yerel bir makinede çevrimdışı çalıştırmanıza olanak tanır. CUDA uyumlu GPU yonga setleri burada bulunabilir: https://developer.nvidia.com/cuda-gpus VRAM, üreticinin çipsetin GPU'ya uygulanmasına bağlıdır. UYARI: Bulut bilişim versiyonunun elde ettiği performansa ayak uydurmak için minimum gereksinimi (16+ GB VRAM) çok aşan pahalı ve güçlü bir CUDA kartına ihtiyacınız olacak. |
| Epifloresans Mikroskobu (Invitrogen EVOS FL Auto 2) | ThermoFisher Scientific | AMAFD2000 örneğin | Neredeyse aynı anda hem parlak alandan hem de bir veya daha fazla floresan kanalından otomatik olarak görüntü alabilen bir sistem kullanmanızı öneriyoruz. |
| ImageJ (İsteğe Bağlı) | NIH | https://imagej.net/software/fiji/downloads | Fiji dağıtımını öneriyoruz, burada bulunabilir: https://imagej.net/software/fiji/downloads |
| NVIDIA GPU uyumluluğuna sahip PC (örneğin: Dell Vostro Desktop) (İsteğe bağlı) | Birkaç şirket (örneğin Dell) | - | Bu, SegElegans'ı yerel bir makinede çevrimdışı çalıştırmak için GPU ile birlikte gereklidir. Bir GPU, anakartta uygun PCI yuvaları, kartın sığması için yer ve yeterince güçlü bir güç kaynağı ile Windows uyumlu donanım gerektirir. |
| SegElegans | - | https://github.com/KonstantinosKounakis/SegElegansOnline/tree/v1.0 | Tam talimatlar için el yazmasına bakınız. |