Name: Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu (Wideo) | JoVE Journal
Uploaded: 2022-11-11T14:00:00.000+00:00
Duration: 10 min 25 s
Description: Naucz się segmentacji tomogramów krioelektronowych z wykorzystaniem sieci neuronowej U-Net. Protokół przyspiesza analizę danych obrazowych i umożliwia automatyczną klasyfikację struktur biologicznych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To badanie było wspierane przez Penn State College of Medicine oraz Wydział Biochemii i Biologii Molekularnej, a także grant Tobacco Settlement Fund (TSF) 4100079742-EXT. Usługi i instrumenty CryoEM i CryoET Core (RRID:SCR_021178) wykorzystane w tym projekcie zostały częściowo sfinansowane przez Pennsylvania State University College of Medicine za pośrednictwem Biura Prodziekana ds. Badań i Doktorantów oraz Departamentu Zdrowia Pensylwanii przy użyciu funduszy na rzecz rozliczeń tytoniowych (CURE). Wyłączną odpowiedzialność za treść ponoszą autorzy i niekoniecznie reprezentują one oficjalne poglądy Uniwersytetu lub Kolegium Medycznego. Departament Zdrowia Pensylwanii wyraźnie zrzeka się odpowiedzialności za jakiekolwiek analizy, interpretacje lub wnioski.

<ol><li>Bai, X. -C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+cryo-EM+is+revolutionizing+structural+biology%5BTitle%5D)+AND+%22Trends+in+Biochemical+Sciences%22%5BJournal%5D)">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li>
<li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-EM%3A+The+resolution+revolution+and+drug+discovery%5BTitle%5D)+AND+%22SLAS+Discovery%22%5BJournal%5D)">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li>
<li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies%5BTitle%5D)+AND+%22Microscopy%22%5BJournal%5D)">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li>
<li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li>
<li>Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: 
 <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022).</li>
<li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Expanding+the+boundaries+of+cryo-EM+with+phase+plates%5BTitle%5D)+AND+%22Current+Opinion+in+Structural+Biology%22%5BJournal%5D)">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li>
<li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Challenges+and+triumphs+in+cryo-electron+tomography%5BTitle%5D)+AND+%22iScience%22%5BJournal%5D)">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li>
<li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+promise+and+the+challenges+of+cryo-electron+tomography%5BTitle%5D)+AND+%22FEBS+Letters%22%5BJournal%5D)">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li>
<li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cellular+electron+cryotomography%3A+Toward+structural+biology+in+situ%5BTitle%5D)+AND+%22Annual+Review+of+Biochemistry%22%5BJournal%5D)">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li>
<li>Wagner, J., Schaffer, M., Fernández-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold%5BTitle%5D)+AND+%22FEBS+Letters%22%5BJournal%5D)">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li>
<li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography%5BTitle%5D)+AND+%22Methods+in+Molecular+Biology%22%5BJournal%5D)">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li>
<li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Rapid+tilt-series+acquisition+for+electron+cryotomography%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li>
<li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li>
<li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-enabled+medical+computer+vision%5BTitle%5D)+AND+%22npj+Digital+Medicine%22%5BJournal%5D)">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li>
<li>Liu, Y. -T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Isotropic+reconstruction+of+electron+tomograms+with+deep+learning%5BTitle%5D)+AND+%22bioRxiv%22%5BJournal%5D)">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li>
<li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms%5BTitle%5D)+AND+%22Nature+Methods%22%5BJournal%5D)">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li>
<li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms%5BTitle%5D)+AND+%22Nature+Methods%22%5BJournal%5D)">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22Lecture+Notes+in+Computer+Science+%28including+subseries+Lecture+Notes+in+Artificial+Intelligence+and+Lecture+Notes+in+Bioinformatics%29%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li>
<li>Dragonfly 2021.3 (Computer Software). , Available from: 
 <a target="_blank" href="http://www.theobjects.com/dragonfly">http://www.theobjects.com/dragonfly</a> (2021).</li>
<li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+visualization+of+three-dimensional+image+data+using+IMOD%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li>
<li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+%26%2334%3Bflip-flop%26%2334%3B+rotation+stage+for+routine+dual-axis+electron+cryotomography%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">A &#34;flip-flop&#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li>
</ol>

Licencja otwartego dostępu do tego protokołu została opłacona przez Object Research Systems.

Protokół ten określa procedurę korzystania z oprogramowania Dragonfly 2022.1 do trenowania wieloklasowej sieci U-Net na podstawie pojedynczego tomogramu oraz sposobu wnioskowania o tej sieci z innymi tomogramami, które nie muszą pochodzić z tego samego zestawu danych. Szkolenie jest stosunkowo szybkie (może trwać nawet 3-5 minut na epokę lub nawet kilka godzin, w zależności od trenowanej sieci i używanego sprzętu), a ponowne trenowanie sieci w celu poprawy jej uczenia się jest intuicyjne. Tak długo, jak etapy przetwarzania wstępnego są przeprowadzane dla każdego tomogramu, wnioskowanie jest zazwyczaj solidne.
Spójne przetwarzanie wstępne jest najbardziej krytycznym krokiem wnioskowania uczenia głębokiego. W oprogramowaniu znajduje się wiele filtrów obrazowania, a użytkownik może eksperymentować, aby określić, które filtry najlepiej sprawdzają się w przypadku określonych zestawów danych; Należy zauważyć, że jakiekolwiek filtrowanie jest używane w tomogramie treningowym, musi być zastosowane w ten sam sposób do tomogramów wnioskowania. Należy również zadbać o to, aby sieć otrzymywała dokładne i wystarczające informacje szkoleniowe. Bardzo ważne jest, aby wszystkie funkcje podzielone na segmenty w ramach wycinków treningowych były podzielone na segmenty tak starannie i precyzyjnie, jak to możliwe.
Segmentacja obrazu jest ułatwiona przez zaawansowany interfejs użytkownika klasy komercyjnej. Zapewnia wszystkie niezbędne narzędzia do segmentacji rąk i pozwala na proste ponowne przypisanie wokseli z jednej klasy do drugiej przed treningiem i ponownym trenowaniem. Użytkownik może ręcznie segmentować woksele w całym kontekście tomogramu, a także ma do dyspozycji wiele widoków i możliwość swobodnego obracania głośności. Dodatkowo oprogramowanie zapewnia możliwość korzystania z sieci wieloklasowych, które zwykle osiągają lepszewyniki 16 i są szybsze niż segmentacja z wieloma sieciami jednoklasowymi.
Istnieją oczywiście ograniczenia w możliwościach sieci neuronowej. Dane Cryo-ET są z natury bardzo zaszumione i ograniczone w próbkowaniu kątowym, co prowadzi do zniekształceń specyficznych dla orientacji w identycznych obiektach21. Szkolenie opiera się na ekspertze, który dokładnie dzieli struktury na segmenty, a udana sieć jest tylko tak dobra (lub tak zła), jak dane treningowe, które są jej dostarczane. Filtrowanie obrazu w celu wzmocnienia sygnału jest pomocne dla trenera, ale nadal istnieje wiele przypadków, w których dokładna identyfikacja wszystkich pikseli danej struktury jest trudna. Dlatego ważne jest, aby przy tworzeniu segmentacji szkoleń zachować dużą ostrożność, aby sieć miała jak najlepsze informacje do przyswojenia podczas szkolenia.
Ten przepływ pracy można łatwo modyfikować zgodnie z preferencjami każdego użytkownika. Chociaż ważne jest, aby wszystkie tomogramy były wstępnie przetworzone w dokładnie ten sam sposób, nie jest konieczne stosowanie dokładnie tych filtrów, które są używane w protokole. Oprogramowanie posiada wiele opcji filtrowania obrazów i zaleca się ich optymalizację pod kątem konkretnych danych użytkownika przed rozpoczęciem dużego projektu segmentacji obejmującego wiele tomogramów. Dostępnych jest również wiele architektur sieciowych: stwierdzono, że wielowarstwowa sieć U-Net działa najlepiej w przypadku danych z tego laboratorium, ale inny użytkownik może uznać, że inna architektura (taka jak 3D U-Net lub Sensor 3D) działa lepiej. Kreator segmentacji zapewnia wygodny interfejs do porównywania wydajności wielu sieci przy użyciu tych samych danych treningowych.
Narzędzia takie jak te przedstawione tutaj sprawią, że ręczna segmentacja pełnych tomogramów stanie się zadaniem należącym do przeszłości. Dzięki dobrze wyszkolonym sieciom neuronowym, które można solidnie wywnioskować, całkowicie możliwe jest stworzenie przepływu pracy, w którym dane tomograficzne są rekonstruowane, przetwarzane i w pełni segmentowane tak szybko, jak mikroskop jest w stanie je zebrać.

Rozwój sprzętu i oprogramowania w ciągu ostatniej dekady doprowadził do "rewolucji rozdzielczości" dla mikroskopii krioelektronowej (cryo-EM)1,2. Dzięki lepszym i szybszym detektorom3, oprogramowaniu do automatyzacji zbierania danych4,5, oraz zaawansowanym funkcjom wzmacniania sygnału, takim jak płytki fazowe6, zbieranie dużych ilości danych kriogenicznych o wysokiej rozdzielczości jest stosunkowo proste.
Cryo-ET zapewnia bezprecedensowy wgląd w ultrastrukturę komórkową w natywnym, uwodnionym stanie7,8,9,10. Podstawowym ograniczeniem jest grubość próbki, ale wraz z przyjęciem metod takich jak mielenie skupionej wiązki jonów (FIB), gdzie grube próbki komórkowe i tkankowe są rozrzedzane do tomografii11, horyzont tego, co można obrazować za pomocą cryo-ET, stale się poszerza. Najnowsze mikroskopy są w stanie wyprodukować ponad 50 tomogramów dziennie, a przewiduje się, że tempo to wzrośnie tylko ze względu na rozwój schematów szybkiego gromadzenia danych12,13. Analiza ogromnych ilości danych wytwarzanych przez cryo-ET pozostaje wąskim gardłem dla tej metody obrazowania.
Ilościowa analiza informacji tomograficznych wymaga najpierw adnotacji. Tradycyjnie wymaga to segmentacji rąk przez eksperta, co jest czasochłonne; W zależności od złożoności molekularnej zawartej w kriotomogramie, może to zająć godziny lub dni poświęconej uwagi. Sztuczne sieci neuronowe są atrakcyjnym rozwiązaniem tego problemu, ponieważ można je wytrenować do wykonywania większości prac związanych z segmentacją w ułamku czasu. Konwolucyjne sieci neuronowe (CNN) są szczególnie przydatne do zadań związanych z widzeniem komputerowym14 i zostały ostatnio przystosowane do analizy tomogramów krioelektronowych15,16,17.
Tradycyjne CNN wymagają wielu tysięcy próbek treningowych z adnotacjami, co często nie jest możliwe w przypadku zadań analizy obrazów biologicznych. W związku z tym architektura U-Net doskonale radzi sobie w tej dziedzinie18, ponieważ opiera się na rozszerzaniu danych, aby skutecznie trenować sieć, minimalizując zależność od dużych zestawów treningowych. Na przykład, architektura U-Net może być trenowana za pomocą zaledwie kilku wycinków pojedynczego tomogramu (czterech lub pięciu plasterków) i solidnie wnioskowana na innych tomogramach bez ponownego trenowania. Ten protokół zawiera przewodnik krok po kroku dotyczący trenowania architektur sieci neuronowych U-Net w celu segmentacji kriotomogram elektronowych w Dragonfly 2022.119.
Dragonfly to komercyjnie opracowane oprogramowanie służące do segmentacji i analizy obrazów 3D za pomocą modeli głębokiego uczenia się, które jest swobodnie dostępne do użytku akademickiego (obowiązują pewne ograniczenia geograficzne). Posiada zaawansowany interfejs graficzny, który pozwala laikom w pełni wykorzystać możliwości głębokiego uczenia się zarówno do segmentacji semantycznej, jak i odszumiania obrazu. Protokół ten pokazuje, jak wstępnie przetwarzać i opisywać tomogramy krioelektronowe w Dragonfly w celu trenowania sztucznych sieci neuronowych, które można następnie wywnioskować w celu szybkiej segmentacji dużych zbiorów danych. W dalszej części omówiono i pokrótce pokazano, jak wykorzystać dane segmentowane do dalszej analizy, takiej jak śledzenie włókien i ekstrakcja współrzędnych w celu uśredniania subtomogramu.

<table><tbody><tr>Systemy <td>badań</td><td></td> obiektowych <td>Dragonfly 2022.1</td><td>https://www.theobjects.com/dragonfly/index.html</td></tr><tr><td>E18 Szczur Zdysocjowana</td><td>tkanka transnetyx</td><td>hipokampa KTSDEDHP</td><td>https://tissue.transnetyx.com/faqs</td></tr><tr><td>IMOD</td><td>University of Colorado</td><td></td><td>https://bio3d.colorado.edu/imod/</td></tr> <tr><td>Intel&reg; Xeon&reg; Złoty procesor 6124 3,2 GHz</td><td>Intel</td><td></td><td></td></tr><tr><td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html NVIDIA Quadro P4000</td><td>NVIDIA</td><td></td><td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td></tr><tr><td>Windows 10 Minimalne</td><td></td><td></td>wymagania dotyczące stacji roboczej Microsoft <td></td> https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise Enterprise 2016</tr><tr><td>https://theobjects.com/dragonfly/system-requirements.html</td><td></td><td></td><td></td></tr></tbody></table>

segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

Tomografia krioelektronowa (cryo-ET) pozwala naukowcom obrazować komórki w ich naturalnym, uwodnionym stanie w najwyższej obecnie możliwej rozdzielczości. Technika ta ma jednak kilka ograniczeń, które sprawiają, że analiza generowanych przez nią danych jest czasochłonna i trudna. Ręczna segmentacja pojedynczego tomogramu może trwać od kilku godzin do kilku dni, ale mikroskop może z łatwością wygenerować 50 lub więcej tomogramów dziennie. Obecne programy segmentacji głębokiego uczenia dla cryo-ET istnieją, ale ograniczają się do segmentacji jednej struktury na raz. W tym przypadku wielowarstwowe konwolucyjne sieci neuronowe U-Net są trenowane i stosowane do automatycznej segmentacji wielu struktur jednocześnie w kriotomogramach. Przy odpowiednim przetwarzaniu wstępnym, sieci te mogą być solidnie wywnioskowane dla wielu tomogramów bez potrzeby trenowania poszczególnych sieci dla każdego tomogramu. Ten przepływ pracy znacznie poprawia szybkość, z jaką można analizować tomogramy krioelektronowe, skracając czas segmentacji do mniej niż 30 minut w większości przypadków. Co więcej, segmentacje mogą być wykorzystywane do poprawy dokładności śledzenia włókien w kontekście komórkowym oraz do szybkiego wyodrębniania współrzędnych do uśredniania subtomogramu.

Zgodnie z protokołem, sieć U-Net obejmująca pięć przekrojów została wytrenowana na pojedynczym tomogramie (Rycina 2A) w celu zidentyfikowania pięciu klas: błony, mikrotubul, aktyny, markerów fiducjalnych oraz tła. Sieć była trenowana iteracyjnie łącznie trzy razy, a następnie zastosowano ją do tomogramu w celu jego pełnej segmentacji i adnotacji (Rycina 2B,C). Minimalne czyszczenie wykonano zgodnie z krokami 7.1 i 7.2. Kolejne trzy interesujące tomogramy (Rycina 2D,G,J) zostały wczytane do oprogramowania w celu wstępnego przetwarzania. Przed importem obrazów jeden z tomogramów (Rycina 2J) wymagał korekty rozmiaru piksela z 17.22 Å/px do 13.3 Å/px, ponieważ został on zebrany na innym mikroskopie przy nieco innym powiększeniu. Do zmiany rozmiaru wykorzystano program IMOD squeezevol za pomocą następującego polecenia:
'squeezevol -f 0.772 plik_wejsciowy.mrc plik_wyjsciowy.mrc'
W tym poleceniu parametr -f odnosi się do współczynnika zmiany rozmiaru piksela (w tym przypadku: 13,3/17,22). Po imporcie wszystkie trzy cele wnioskowania zostały poddane wstępnemu przetwarzaniu zgodnie z krokami 3.2 i 3.3, a następnie zastosowano sieć U-Net z pięcioma warstwami (five-slice U-Net). Ponownie wykonano minimalne czyszczenie danych. Końcowe segmentacje przedstawiono na Rysunku 2.
Segmentacje mikrotubul z każdego tomogramu wyeksportowano jako binarne (krok 7.4) pliki TIF, przekonwertowano na format MRC (program IMOD tif2mrc), a następnie wykorzystano do korelacji cylindrów i śledzenia filamentów. Binarne segmentacje filamentów pozwalają na znacznie bardziej stabilne śledzenie niż śledzenie bezpośrednio na tomogramach. Mapy współrzędnych powstałe w wyniku śledzenia filamentów (Rysunek 3) zostaną wykorzystane do dalszych analiz, takich jak pomiary najbliższego sąsiada (upakowanie filamentów) oraz średniowanie sub-tomogramów helikalnych wzdłuż pojedynczych filamentów w celu określenia orientacji mikrotubul.
Łatwo jest zidentyfikować sieci, które nie zostały pomyślnie lub w sposób wystarczający wytrenowane. Sieć, która nie zadziałała, nie będzie w stanie wysegmentować żadnych struktur, natomiast sieć niedostatecznie wytrenowana zazwyczaj poprawnie wysegmentuje niektóre struktury, wykazując jednocześnie znaczną liczbę wyników fałszywie dodatnich i fałszywie ujemnych. Takie sieci można korygować i trenować iteracyjnie w celu poprawy ich wydajności. Kreator segmentacji automatycznie oblicza współczynnik podobieństwa Dice'a (oznaczany jako score w SegWiz) po zakończeniu trenowania modelu. Statystyka ta dostarcza szacunkową wartość podobieństwa między danymi treningowymi a segmentacją U-Net. Program Dragonfly 2022.1 posiada również wbudowane narzędzie do oceny wydajności modelu, które jest dostępne w zakładce Artificial Intelligence na górze interfejsu (instrukcje użytkowania znajdują się w dokumentacji).
<img alt="Struktura włókien neuronów szczura; wizualizacja; obraz mikroskopowy; organizacja strukturalna neuronów DIV 5." class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 2"> 
Rysunek 2: Inferencja. (A-C) Oryginalny tomogram treningowy neuronu hipokampa szczura DIV 5, zebrany w 2019 roku na Titan Krios. Jest to rekonstrukcja metodą wstecznej projekcji z korekcją CTF w programie IMOD. (A) Żółta ramka reprezentuje obszar, w którym wykonano ręczną segmentację dla danych wejściowych do treningu. (B) Segmentacja 2D z modelu U-Net po zakończeniu treningu. (C) Rendering 3D segmentowanych obszarów pokazujący błonę (niebieski), mikrotubule (zielony) i aktynę (czerwony). (D-F) Neuron hipokampa szczura DIV 5 z tej samej sesji co tomogram treningowy. (E) Segmentacja 2D z modelu U-Net bez dodatkowego treningu i po szybkim oczyszczaniu. Błona (niebieski), mikrotubule (zielony), aktyna (czerwony), znaczniki fiducjalne (różowy). (F) Rendering 3D segmentowanych obszarów. (G-I) Neuron hipokampa szczura DIV 5 z sesji z 2019 roku. (H) Segmentacja 2D z modelu U-Net po szybkim oczyszczaniu oraz (I) rendering 3D. (J-L) Neuron hipokampa szczura DIV 5, zebrany w 2021 roku na innym Titan Krios przy innym powiększeniu. Rozmiar piksela został zmieniony za pomocą programu IMOD squeezevol , aby dopasować go do tomogramu treningowego. (K) Segmentacja 2D z modelu U-Net po szybkim oczyszczaniu, wykazująca stabilną inferencję w różnych zbiorach danych przy odpowiednim wstępnym przetwarzaniu oraz (L) rendering 3D segmentacji. Paski skali = 100 nm. Skróty: DIV = dni in vitro; CTF = funkcja przenoszenia kontrastu. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<img alt="Proces tomogramu, segmentacja U-Net, binarna maska aktyny; schemat analizy mikroskopowej pokazujący śledzenie filamentów." class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 3"> 
Rycina 3: Udoskonalenie śledzenia filamentów. (A) Tomogram neuronu hipokampa szczura w 4. dniu hodowli (DIV 4), wykonany na Titan Krios. (B) Mapa korelacji wygenerowana z korelacji cylindrycznej w obrębie filamentów aktynowych. (C) Śledzenie filamentów aktyny z wykorzystaniem intensywności filamentów aktynowych na mapie korelacji do zdefiniowania parametrów. Śledzenie obejmuje błonę i mikrotubule, a także szum, podczas próby śledzenia wyłącznie aktyny. (D) Segmentacja tomogramu za pomocą sieci U-Net. Błona zaznaczona na niebiesko, mikrotubule na czerwono, rybosomy na pomarańczowo, triC na fioletowo, a aktyna na zielono. (E) Segmentacja aktyny wyodrębniona jako binarna maska do śledzenia filamentów. (F) Mapa korelacji wygenerowana z korelacji cylindrycznej przy użyciu tych samych parametrów co w (B). (G) Znacznie ulepszone śledzenie wyłącznie filamentów aktynowych z tomogramu. Skrót: DIV = dni in vitro. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
Plik uzupełniający 1: Tomogram wykorzystany w niniejszym protokole oraz wieloobszarowy region zainteresowania (multi-ROI) wygenerowany jako dane treningowe zostały dołączone jako zestaw danych (Training.ORSObject). Patrz: https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

To jest metoda trenowania wielowarstwowego U-Net do wieloklasowej segmentacji tomogramów krioelektronowych przy użyciu części jednego tomogramu jako danych wejściowych do treningu. Opisujemy, jak wywnioskować tę sieć z innymi tomogramami i jak wyodrębnić segmentacje do dalszych analiz, takich jak uśrednianie subtomogramu i śledzenie włókien.

Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

Najbardziej ekscytujące w naszym protokole jest to, że pozwala on każdemu laboratorium rozpocząć pracę przy użyciu tych protokołów głębokiego uczenia się do segmentacji dużych ilości danych krio-ET. Główną zaletą naszego przepływu pracy jest to, że Dragonfly zapewnia profesjonalne środowisko obliczeniowe do trenowania wieloklasowych sieci neuronowych do segmentacji, a to naprawdę może znacznie przyspieszyć proces segmentacji. Segmentacja obrazów wymaga czasu, aby się nauczyć, więc upewnij się, że przetestowałeś narzędzia i nauczyłeś się kluczowych powiązań, aby naprawdę usprawnić przepływ pracy w czasie.Po skonfigurowaniu oprogramowania kontynuuj importowanie obrazu, przechodząc do Plik i wybierając Importuj pliki obrazów. Następnie kliknij Dodaj, przejdź do pliku obrazu, kliknij Otwórz i wybierz Dalej, a następnie Zakończ. Utwórz niestandardową skalę intensywności, przechodząc do sekcji Narzędzia i wybierając Menedżera jednostek wymiarów.Kliknij plus w lewym dolnym rogu, aby utworzyć nową jednostkę wymiaru. Wybierz funkcję wysokiej i niskiej intensywności we wszystkich interesujących Cię tomogramach. Nadaj jednostce nazwę i skrót, a następnie zapisz jednostkę wymiaru niestandardowego.Aby skalibrować obrazy do niestandardowej skali intensywności, kliknij prawym przyciskiem myszy zestaw danych w kolumnie Właściwości po prawej stronie ekranu i wybierz opcję Kalibruj skalę intensywności. Następnie przejdź do głównej zakładki po lewej stronie ekranu i przewiń w dół do sekcji sondy. Używając sondy okrągłej o odpowiedniej średnicy, kliknij kilka miejsc w obszarze tła tomogramu i zapisz średnią liczbę w kolumnie intensywności surowej.Powtórz te czynności dla znaczników odniesienia i kliknij przycisk Kalibruj. W razie potrzeby dostosuj kontrast, aby struktury były ponownie widoczne za pomocą narzędzia Obszar w sekcji Wyrównywanie okien na karcie głównej. Po lewej stronie karty głównej przewiń w dół do panelu przetwarzania obrazu.Kliknij Zaawansowane i poczekaj, aż otworzy się nowe okno. W panelu Właściwości wybierz zestaw danych, który ma być filtrowany, i wyświetl go, klikając ikonę oka po lewej stronie zestawu danych. Następnie użyj menu rozwijanego z panelu operacji, aby wybrać korekcję histogramu dla pierwszej operacji.Wybierz pozycję Dodaj operację, kliknij pozycję Gaussian i zmień wymiar jądra na 3D. Dodaj trzecią operację, a następnie wybierz pozycję Unsharp i pozostaw dane wyjściowe dla tej operacji. Zastosuj wyrównanie do wszystkich plasterków i pozwól na uruchomienie filtrowania, a następnie zamknij okno przetwarzania obrazu, aby powrócić do głównego interfejsu.Aby zidentyfikować obszar treningowy, przejdź do panelu właściwości danych, ukrywając najpierw niefiltrowany zestaw danych, klikając ikonę oka po lewej stronie. Następnie pokaż nowo przefiltrowany zestaw danych. Korzystając z przefiltrowanego zestawu danych, zidentyfikuj podregion tomogramu, który zawiera wszystkie interesujące Cię cechy.Teraz utwórz pole wokół obszaru zainteresowania, przewijając w dół do kategorii Kształty i wybierając opcję Utwórz pole po lewej stronie karty głównej. Będąc w panelu z czterema widokami, użyj różnych płaszczyzn 2D, aby pomóc w prowadzeniu lub przeciągnij krawędzie ramki, aby objąć tylko obszar zainteresowania we wszystkich wymiarach. Na liście danych zaznacz obszar pola i zmień kolor obramowania, aby ułatwić przeglądanie, klikając szary kwadrat obok symbolu oka.Aby utworzyć multi-ROI, wybierz kartę Segmentacja, kliknij Nowy po lewej stronie i zaznacz opcję Utwórz jako multi-ROI. Upewnij się, że liczba klas odpowiada liczbie interesujących obiektów oraz klasie tła. Nazwij dane treningowe z wieloma ROI i upewnij się, że geometria odpowiada zestawowi danych przed kliknięciem przycisku OK. Następnie przewiń dane, aż znajdą się w granicach regionu obramowanego.Wybierz opcję Multi-ROI w menu Właściwości po prawej stronie. Kliknij dwukrotnie pierwszą pustą nazwę klasy w multi-ROI, aby nadać jej nazwę. Aby malować za pomocą pędzla 2D, przewiń w dół do sekcji Narzędzia 2D na karcie Segmentacja po lewej stronie i wybierz pędzel okrągły.Następnie z menu rozwijanego wybierz Adaptacyjny GAUSSOWSKI lub Lokalny OTSU, maluj, przytrzymując lewy Control plus kliknięcie i wymaż, przytrzymując lewy Shift plus kliknięcie. Po oznaczeniu wszystkich struktur kliknij prawym przyciskiem myszy klasę tła w multi-ROI i wybierz Dodaj wszystkie woksele bez etykiet do klasy. Następnie utwórz nowy jednoklasowy zwrot z inwestycji o nazwie Maska.Upewnij się, że geometria jest ustawiona na filtrowany zestaw danych, a następnie kliknij przycisk Zastosuj. Na karcie Właściwości po prawej stronie kliknij pole prawym przyciskiem myszy, wybierz Dodaj do ROI i dodaj go do maski ROI. Aby przyciąć dane treningowe za pomocą maski, przejdź do zakładki Właściwości i wybierz zarówno dane treningowe, wielokrotny zwrot z inwestycji, jak i zwrot z inwestycji maski, przytrzymując Control i klikając każdy z nich.Następnie kliknij przycisk Przetnij poniżej listy właściwości danych w sekcji Operacje logiczne. Nazwij nowy zestaw danych jako przycięte dane wejściowe trenowania i upewnij się, że geometria odpowiada filtrowanemu zestawowi danych przed kliknięciem przycisku OK. Zaimportuj dane treningowe do Kreatora segmentacji, klikając prawym przyciskiem myszy przefiltrowany zestaw danych na karcie Właściwości i wybierając opcję Kreator segmentacji. Gdy otworzy się nowe okno, poszukaj zakładki Dane wejściowe po prawej stronie.Kliknij opcję Importuj klatki z wielu ROI i wybierz dane wejściowe Przycięte szkolenie. Aby wygenerować nowy model sieci neuronowej, kliknij przycisk plusa po prawej stronie w zakładce modelu. Wybierz z listy opcję U Net, wybierz opcję 2,5 D i pięć wycinków jako wymiar wejściowy, a następnie kliknij przycisk Generuj.Aby wytrenować sieć, kliknij przycisk Trenuj w prawym dolnym rogu okna Seg Wiz. Po zakończeniu szkolenia jednostki użyj wytrenowanej sieci, aby podzielić nowe klatki na segmenty, utworzyć nową ramkę i kliknąć przycisk Przewiduj. Następnie kliknij strzałkę w górę w prawym górnym rogu przewidywanej klatki, aby przenieść segmentację do rzeczywistej klatki.Aby skorygować przewidywanie, kliknij z Control w dwie klasy, aby zmienić segmentowane piksele jednej z nich na drugą. Zaznacz obie klasy i maluj pędzlem, aby pomalować tylko piksele należące do każdej z nich. Popraw segmentację w co najmniej pięciu nowych klatkach.W przypadku trenowania iteracyjnego kliknij ponownie przycisk Trenuj i zezwól sieci na dalsze trenowanie przez kolejne 30 do 40 kolejnych epików. W tym momencie przerwij trening i rozpocznij kolejną rundę treningu. Jeśli wydajność sieci jest zadowalająca, opublikuj ją, zamykając Kreatora segmentacji.Pojawi się okno dialogowe z pytaniem, które modele opublikować. Wybierz pomyślną sieć, nazwij ją, a następnie opublikuj, aby udostępnić sieć do użytku poza Kreatorem segmentacji. Najpierw wybierz przefiltrowany zestaw danych w panelu Właściwości, który ma zostać zastosowany do tomogramu treningowego.W panelu Segmentacja po lewej stronie przewiń w dół do sekcji Segment ze sztuczną inteligencją. Upewnij się, że wybrano właściwy zestaw danych. Wybierz ostatnio opublikowany model z menu rozwijanego, a następnie kliknij opcję Segmentuj, a następnie Wszystkie plasterki.Aby zastosować do zestawu danych wnioskowania, zaimportuj nowy tomogram i wstępnie go przetwól, jak pokazano wcześniej. W panelu segmentacji przejdź do sekcji segment ze sztuczną inteligencją. Upewnij się, że nowo przefiltrowany tomogram jest wybranym zestawem danych, wybierz wcześniej wytrenowany model, kliknij segment i wybierz opcję Wszystkie przekroje.Szybko usuń szum, wybierając najpierw jedną z klas, które mają podzielony szum na segmenty i interesującą Cię funkcję. Następnie kliknij prawym przyciskiem myszy pozycję Przetwarzaj wyspy, wybierz opcję Usunięto według liczby wokseli, a następnie kliknij polecenie Wybierz rozmiar woksela. Zacznij od małych liczb i stopniowo zwiększaj liczbę, aby usunąć większość hałasu.Aby skorygować segmentację, kliknij z wciśniętym Control dwie klasy, aby pomalować piksele należące tylko do tych klas. Kliknij z wciśniętym Control i przeciągnij za pomocą narzędzi do segmentacji, aby zmienić piksele drugiej klasy na pierwsze, a kliknięcie z wciśniętym Shift i przeciągnięcie spowoduje odwrotny efekt. Jednostka składająca się z pięciu warstw została przeszkolona na pojedynczym tomogramie i przeprowadzono segmentację ręczną w celu uzyskania danych wejściowych do treningu.Segmentacja 2D z jednostki po pełnym treningu jest shown. 3D renderowanie segmentowanych obszarów pokazuje błonę, mikrotubule i włókna aktynowe. Pokazano neurony hipokampa szczura DIV 5 z tej samej sesji, co tomogram treningowy.Wizualizowano również segmentację 2D z jednostki bez dodatkowego szkolenia w zakresie szybkiego czyszczenia wyświetlanej membrany, mikrotubul, aktyny i fiducials. 3D renderowania segmentowanych regionów. Zaobserwowano również neuron szczura hipokampa DIV 5 z wcześniejszej sesji.Wykonano również segmentację 2D z jednostki z szybkim czyszczeniem i renderowaniem 3D. Neuron szczura hipokampa DIV 5 zaobserwowano również na innym Titan Krios w innym powiększeniu. Rozmiar piksela został zmieniony za pomocą programu IMOD squeeze vault, aby pasował do tomogramu treningowego.Segmentacja 2D z jednostki z szybkim czyszczeniem demonstruje solidne wnioskowanie w zestawach danych przy odpowiednim przetwarzaniu wstępnym, a także przeprowadzono renderowanie segmentacji 3D. Wstępne przetwarzanie identycznych danych i kalibracja histogramów są zdecydowanie najważniejszymi krokami dla prawidłowego wnioskowania o sieci. Gdy lokalizacja cząsteczek jest znana w tomogramie, w Dragonfly naprawdę trywialnie jest obliczyć pomiary ilościowe lub obliczyć współrzędne i wprowadzić je do rurociągu uśredniającego sub-tomogram.Dopiero zaczynamy dostrzegać wpływ głębokiego uczenia na analizę obrazów krio-ET, ale jest to tylko kolejny obszar, w którym jest to naprawdę niezwykle obiecujące.

deep-learning-based-segmentation-of-cryo-electron-tomograms

Research

JoVE Journal

Biology

Biologia

Aby zachować procesy neuronalne do analizy ultrastrukturalnej, opisujemy protokół posiewu pierwotnych neuronów na siatkach mikroskopii elektronowej, po którym następuje błyskawiczne zamrażanie, co daje próbki zawieszone w warstwie lodu szklistego. Próbki te można badać za pomocą mikroskopu krioelektronowego w celu wizualizacji struktur w skali nanometrowej.

Przygotowanie neuronów pierwotnych do wizualizacji neurytów w stanie zamrożono-uwodnionym za pomocą tomografii krioelektronowej

Wąskim gardłem dla komórkowej mikroskopii elektronowej 3D jest ekstrakcja cech (segmentacja) w bardzo złożonych mapach gęstości 3D. Opracowaliśmy zestaw kryteriów, które zawierają wskazówki dotyczące tego, które podejście do segmentacji (ręczne, półautomatyczne lub zautomatyzowane) najlepiej nadaje się do różnych typów danych, stanowiąc tym samym punkt wyjścia do skutecznej segmentacji.

Od wokseli do wiedzy: praktyczny przewodnik po segmentacji złożonych danych 3D z mikroskopii elektronowej

Używanie mielenia skupionej wiązki jonów do produkcji szklistych blaszek na siatce z zamrożonych próbek biologicznych do krioelektronowej tomografii.

Przygotowanie blaszek z szklistych próbek biologicznych przy użyciu dwuwiązkowego skaningowego mikroskopu elektronowego do kriotomografii elektronowej

Rosnące zapotrzebowanie na gromadzenie danych na dużą skalę w kriogenicznej tomografii elektronowej wymaga wysokoprzepustowych procedur akwizycji obrazów. Opisano tutaj protokół, który wdraża najnowsze osiągnięcia zaawansowanych strategii akwizycji mających na celu maksymalizację efektywności czasowej i przepustowości gromadzenia danych tomograficznych.

Strategie optymalizacji pozyskiwania danych z kriogenicznej tomografii elektronowej

Celem tego protokołu jest skierowanie adhezji i wzrostu komórek do docelowych obszarów siatek do mikroskopii krioelektronowej. Osiąga się to poprzez nałożenie warstwy przeciwporostowej, która jest ablowana w określonych przez użytkownika wzorach, a następnie osadzanie się białek macierzy zewnątrzkomórkowej w obszarach wzorzystych przed wysiewem komórek.

Mikrowzorce Transmisyjne siatki mikroskopii elektronowej do bezpośredniego pozycjonowania komórek w przepływach pracy kriotomografii elektronowej całej komórki

Obecny protokół opisuje zdalne pozyskiwanie danych za pomocą tomografii krioelektronowej o wysokiej rozdzielczości za pomocą Tomo5 oraz późniejsze przetwarzanie danych i uśrednianie subtomogramowe za pomocą emClarity. Apoferrytyna jest używana jako przykład do zilustrowania szczegółowych procesów krok po kroku w celu uzyskania struktury krio-ET o rozdzielczości 2,86 A.

Tomografia krioelektronowa: zdalne zbieranie danych i uśrednianie subtomogramu

Tomografia krio-STEM umożliwia wizualizację organelli nienaruszonych komórek bez osadzania, cięcia lub innych inwazyjnych przygotowań. Uzyskana rozdzielczość 3D mieści się obecnie w zakresie kilku nanometrów, przy polu widzenia kilku mikrometrów i dostępnej grubości rzędu 1 μm.

Wizualizacja organelli in situ za pomocą tomografii krio-STEM

Tomografia krioelektronowa (cryo-ET) umożliwia wizualizację 3D ultrastruktury komórkowej w rozdzielczości nanometrów, ale ręczna segmentacja pozostaje czasochłonna i skomplikowana. Przedstawiamy nowatorski przepływ pracy, który integruje zaawansowane oprogramowanie rzeczywistości wirtualnej do segmentacji tomogramów krio-ET, pokazując jego skuteczność poprzez segmentację mitochondriów w komórkach ssaków.

Wykorzystanie rzeczywistości wirtualnej do immersyjnej segmentacji i analizy danych z tomografii krioelektronowej

Protokół ten standaryzuje tomografię krioelektronową (cryo-ET) dla grubych tkanek poprzez integrację zamrażania pod wysokim ciśnieniem (HPF) z metodą gofrową, wyciąganie kriogenicznej wiązki jonowej (krio-FIB) oraz równoległe pobieranie pod względem dawki, co daje jednolicie cienkie lamele i próbki zwitryfikowane do powtarzalnej analizy in situ w hipokampie myszy.

Workflow tomografii krioelektronowej dla grubych tkanek wykazany u hipokampa myszy

Wprowadzenie prawokątnych mikropryzmatów do nowokory mózgu myszy umożliwia głębokie obrazowanie wielu warstw kory z perspektywy typowej dla preparatów przekrojowych. Mikropryzmaty o rozmiarze jednego milimetra zapewniają szerokie pole widzenia (~900 μm) oraz rozdzielczość przestrzenną wystarczającą do zobrazowania kolców dendrytycznych. Prezentujemy obrazowanie neuronów warstwy V oraz obrazowanie naczyń krwionośnych nowokory z wykorzystaniem mikropryzmatów.

Obrazowanie in vivo głębokich warstw kory mózgowej z wykorzystaniem mikropryzmatu

Naucz się segmentacji tomogramów krioelektronowych z wykorzystaniem sieci neuronowej U-Net. Protokół przyspiesza analizę danych obrazowych i umożliwia automatyczną klasyfikację struktur biologicznych.

Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

Przeglądaj więcej filmów