Artykuł metodologiczny

Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

DOI:

10.3791/64435

⸱

11 listopada 2022

 ,  ,  ,  ,  , 
1Pennsylvania State University-College of Medicine, 2Object Research Systems

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To jest metoda trenowania wielowarstwowego U-Net do wieloklasowej segmentacji tomogramów krioelektronowych przy użyciu części jednego tomogramu jako danych wejściowych do treningu. Opisujemy, jak wywnioskować tę sieć z innymi tomogramami i jak wyodrębnić segmentacje do dalszych analiz, takich jak uśrednianie subtomogramu i śledzenie włókien.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tomografia krioelektronowa (cryo-ET) pozwala naukowcom obrazować komórki w ich naturalnym, uwodnionym stanie w najwyższej obecnie możliwej rozdzielczości. Technika ta ma jednak kilka ograniczeń, które sprawiają, że analiza generowanych przez nią danych jest czasochłonna i trudna. Ręczna segmentacja pojedynczego tomogramu może trwać od kilku godzin do kilku dni, ale mikroskop może z łatwością wygenerować 50 lub więcej tomogramów dziennie. Obecne programy segmentacji głębokiego uczenia dla cryo-ET istnieją, ale ograniczają się do segmentacji jednej struktury na raz. W tym przypadku wielowarstwowe konwolucyjne sieci neuronowe U-Net są trenowane i stosowane do automatycznej segmentacji wielu struktur jednocześnie w kriotomogramach. Przy odpowiednim przetwarzaniu wstępnym, sieci te mogą być solidnie wywnioskowane dla wielu tomogramów bez potrzeby trenowania poszczególnych sieci dla każdego tomogramu. Ten przepływ pracy znacznie poprawia szybkość, z jaką można analizować tomogramy krioelektronowe, skracając czas segmentacji do mniej niż 30 minut w większości przypadków. Co więcej, segmentacje mogą być wykorzystywane do poprawy dokładności śledzenia włókien w kontekście komórkowym oraz do szybkiego wyodrębniania współrzędnych do uśredniania subtomogramu.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rozwój sprzętu i oprogramowania w ciągu ostatniej dekady doprowadził do "rewolucji rozdzielczości" dla mikroskopii krioelektronowej (cryo-EM)1,2. Dzięki lepszym i szybszym detektorom3, oprogramowaniu do automatyzacji zbierania danych4,5, oraz zaawansowanym funkcjom wzmacniania sygnału, takim jak płytki fazowe6, zbieranie dużych ilości danych kriogenicznych o wysokiej rozdzielczości jest stosunkowo proste.

Cryo-ET zapewnia bezprecedensowy wgląd w ultrastrukturę komórkową w natywnym, uwodnionym stanie7,8,9,10. Podstawowym ograniczeniem jest grubość próbki, ale wraz z przyjęciem metod takich jak mielenie skupionej wiązki jonów (FIB), gdzie grube próbki komórkowe i tkankowe są rozrzedzane do tomografii11, horyzont tego, co można obrazować za pomocą cryo-ET, stale się poszerza. Najnowsze mikroskopy są w stanie wyprodukować ponad 50 tomogramów dziennie, a przewiduje się, że tempo to wzrośnie tylko ze względu na rozwój schematów szybkiego gromadzenia danych12,13. Analiza ogromnych ilości danych wytwarzanych przez cryo-ET pozostaje wąskim gardłem dla tej metody obrazowania.

Ilościowa analiza informacji tomograficznych wymaga najpierw adnotacji. Tradycyjnie wymaga to segmentacji rąk przez eksperta, co jest czasochłonne; W zależności od złożoności molekularnej zawartej w kriotomogramie, może to zająć godziny lub dni poświęconej uwagi. Sztuczne sieci neuronowe są atrakcyjnym rozwiązaniem tego problemu, ponieważ można je wytrenować do wykonywania większości prac związanych z segmentacją w ułamku czasu. Konwolucyjne sieci neuronowe (CNN) są szczególnie przydatne do zadań związanych z widzeniem komputerowym14 i zostały ostatnio przystosowane do analizy tomogramów krioelektronowych15,16,17.

Tradycyjne CNN wymagają wielu tysięcy próbek treningowych z adnotacjami, co często nie jest możliwe w przypadku zadań analizy obrazów biologicznych. W związku z tym architektura U-Net doskonale radzi sobie w tej dziedzinie18, ponieważ opiera się na rozszerzaniu danych, aby skutecznie trenować sieć, minimalizując zależność od dużych zestawów treningowych. Na przykład, architektura U-Net może być trenowana za pomocą zaledwie kilku wycinków pojedynczego tomogramu (czterech lub pięciu plasterków) i solidnie wnioskowana na innych tomogramach bez ponownego trenowania. Ten protokół zawiera przewodnik krok po kroku dotyczący trenowania architektur sieci neuronowych U-Net w celu segmentacji kriotomogram elektronowych w Dragonfly 2022.119.

Dragonfly to komercyjnie opracowane oprogramowanie służące do segmentacji i analizy obrazów 3D za pomocą modeli głębokiego uczenia się, które jest swobodnie dostępne do użytku akademickiego (obowiązują pewne ograniczenia geograficzne). Posiada zaawansowany interfejs graficzny, który pozwala laikom w pełni wykorzystać możliwości głębokiego uczenia się zarówno do segmentacji semantycznej, jak i odszumiania obrazu. Protokół ten pokazuje, jak wstępnie przetwarzać i opisywać tomogramy krioelektronowe w Dragonfly w celu trenowania sztucznych sieci neuronowych, które można następnie wywnioskować w celu szybkiej segmentacji dużych zbiorów danych. W dalszej części omówiono i pokrótce pokazano, jak wykorzystać dane segmentowane do dalszej analizy, takiej jak śledzenie włókien i ekstrakcja współrzędnych w celu uśredniania subtomogramu.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

UWAGA: Dragonfly 2022.1 wymaga stacji roboczej o wysokiej wydajności. Zalecenia systemowe znajdują się w Tabeli Materiałów wraz ze sprzętem stacji roboczej używanej dla tego protokołu. Wszystkie tomogramy używane w tym protokole są 4-krotnie binowane od rozmiaru piksela od 3,3 do 13,2 ang/pix. Próbki wykorzystane w reprezentatywnych wynikach zostały uzyskane od firmy (zob. tabela materiałów), która przestrzega wytycznych dotyczących opieki nad zwierzętami, które są zgodne ze standardami etycznymi tej instytucji. Tomogram używany w tym protokole i multi-ROI, który został wygenerowany jako dane wejściowe treningu, zostały dołączone jako zestaw danych w pakiecie do pliku uzupełniającego 1 (który można znaleźć pod adresem https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct), dzięki czemu użytkownik może śledzić te same dane, jeśli chce. Dragonfly obsługuje również bazę danych o otwartym dostępie o nazwie Infinite Toolbox, w której użytkownicy mogą udostępniać wyszkolone sieci.

1. Konfiguracja

  1. Zmiana domyślnego obszaru roboczego:
    1. Aby zmienić przestrzeń roboczą tak, aby odzwierciedlała przestrzeń roboczą używaną w tym protokole, po lewej stronie panelu głównego przewiń w dół do sekcji Właściwości widoku sceny i usuń zaznaczenie opcji Pokaż legendy. Przewiń w dół do sekcji Układ i wybierz widok Pojedyncza scena i Cztery równe widoki.
    2. Aby zaktualizować jednostkę domyślną, przejdź do punktu menu Plik | Preferencje. W oknie, które zostanie otwarte, zmień jednostkę domyślną z milimetrów na nanometry.
  2. Pomocne domyślne skróty klawiszowe:
    1. Naciśnij Esc, aby wyświetlić krzyżyk w widokach 2D i zezwolić na obracanie objętości 3D w widoku 3D. Naciśnij X, aby ukryć krzyżyk w widokach 2D i zezwolić na translację 2D i translację objętości 3D w widoku 3D.
    2. Najedź kursorem na krzyż nitkowy, aby zobaczyć małe strzałki, które można kliknąć i przeciągnąć, aby zmienić kąt płaszczyzny wyświetlania w innych widokach 2D.
    3. Naciśnij Z, aby przejść do stanu powiększenia w obu widokach, umożliwiając użytkownikom klikanie i przeciąganie w dowolnym miejscu w celu powiększania i pomniejszania.
    4. Kliknij dwukrotnie widok w scenie Four View, aby skupić się tylko na tym widoku; kliknij dwukrotnie ponownie, aby powrócić do wszystkich czterech widoków.
  3. Okresowo zapisuj postępy, eksportując wszystko na karcie Właściwości jako obiekt ORS w celu łatwego importu. Zaznacz wszystkie obiekty na liście i kliknij prawym przyciskiem myszy Eksportuj | Jako obiekt ORS. Nazwij plik i zapisz. Możesz też przejść do punktu menu Plik | Zapisz sesję. Aby korzystać z funkcji automatycznego zapisywania w oprogramowaniu, włącz ją za pomocą menu Plik | Preferencje | Automatyczne zapisywanie.

2. Import obrazów

  1. Aby zaimportować obraz, przejdź do punktu menu Plik | Importuj pliki obrazów. Kliknij przycisk Dodaj, przejdź do pliku obrazu i kliknij przycisk Otwórz | Następny | Wykończenie.
    UWAGA: Oprogramowanie nie rozpoznaje plików .rec. Wszystkie tomogramy muszą mieć przyrostek .mrc. Jeśli korzystasz z podanych danych, przejdź do punktu menu Plik | Importuj obiekt(y). Przejdź do pliku Training.ORSObject i kliknij przycisk Otwórz, a następnie kliknij przycisk OK.

3. Przetwarzanie wstępne (Rysunek 1.1)

  1. Utwórz niestandardową skalę intensywności (używaną do kalibrowania intensywności obrazu w zestawach danych). Przejdź do Narzędzia | Menedżer jednostek wymiarów. W lewym dolnym rogu kliknij przycisk +, aby utworzyć nową jednostkę wymiaru.
  2. Wybierz funkcję o wysokiej intensywności (jasny) i niskiej intensywności (ciemny), która znajduje się we wszystkich interesujących Cię tomogramach. Nadaj jednostce nazwę i skrót (np. dla tej skali ustaw koraliki odniesienia na 0,0 intensywności standardowej, a tło na 100,0). Zapisz niestandardową jednostkę wymiaru.
    UWAGA: Niestandardowa skala intensywności to dowolna skala, która jest tworzona i stosowana do danych w celu zapewnienia, że wszystkie dane znajdują się na tej samej skali intensywności, mimo że są zbierane w różnym czasie lub na różnych urządzeniach. Wybierz jasne i ciemne cechy, które najlepiej reprezentują zakres, w którym mieści się sygnał. Jeśli w danych nie ma żadnych punktów odniesienia, po prostu wybierz najciemniejszą cechę, która zostanie podzielona na segmenty (na przykład najciemniejszy obszar białka).
  3. Aby skalibrować obrazy do niestandardowej skali intensywności, kliknij prawym przyciskiem myszy zestaw danych w kolumnie Właściwości po prawej stronie ekranu i wybierz polecenie Kalibruj skalę intensywności. Na karcie Główne po lewej stronie ekranu przewiń w dół do sekcji Sonda. Za pomocą sondy okrągłej o odpowiedniej średnicy kliknij kilka miejsc w obszarze tła tomogramu i zapisz średnią liczbę w kolumnie Raw Intensity (Surowa intensywność); powtórz te czynności dla znaczników odniesienia, a następnie kliknij przycisk Kalibruj. W razie potrzeby dostosuj kontrast, aby struktury były ponownie widoczne za pomocą narzędzia Obszar w sekcji Poziomowanie okien na karcie Główne.
  4. Filtrowanie obrazu:
    UWAGA: Filtrowanie obrazu może zredukować szumy i wzmocnić sygnał. Ten protokół wykorzystuje trzy filtry, które są wbudowane w oprogramowanie, ponieważ działają najlepiej dla tych danych, ale dostępnych jest wiele filtrów. Po ustaleniu protokołu filtrowania obrazów dla interesujących nas danych, konieczne będzie zastosowanie dokładnie tego samego protokołu do wszystkich tomogramów przed segmentacją.
    1. Na głównej karcie po lewej stronie przewiń w dół do panelu przetwarzania obrazu. Kliknij Zaawansowane i poczekaj, aż otworzy się nowe okno. W panelu Właściwości wybierz zestaw danych, który ma być filtrowany, i ustaw go jako widoczny, klikając ikonę oka po lewej stronie zestawu danych.
    2. Z panelu Operacje użyj menu rozwijanego, aby wybrać opcję Wyrównanie histogramu (w sekcji Kontrast) dla pierwszej operacji. Wybierz pozycję Dodaj operację | Gaussowski (w sekcji Wygładzanie). Zmień wymiar jądra na 3D.
    3. Dodaj trzecią operację, a następnie wybierz opcję Wyostrzanie (w sekcji Wyostrzanie). Pozostaw dane wyjściowe dla tego. Zastosuj do wszystkich plasterków i poczekaj, aż filtrowanie zostanie uruchomione, a następnie zamknij okno Przetwarzanie obrazu, aby powrócić do głównego interfejsu.

4. Utwórz dane treningowe (Rysunek 1.2)

  1. Zidentyfikuj obszar treningowy, ukrywając najpierw niefiltrowany zestaw danych, klikając ikonę oka po lewej stronie w panelu Właściwości danych. Następnie pokaż nowo przefiltrowany zestaw danych (który zostanie automatycznie nazwany DataSet-HistEq-Gauss-Unsharp). Korzystając z przefiltrowanego zestawu danych, zidentyfikuj podregion tomogramu, który zawiera wszystkie interesujące Cię cechy.
  2. Aby utworzyć ramkę wokół obszaru zainteresowania, po lewej stronie, na karcie głównej, przewiń w dół do kategorii Kształty i wybierz opcję Utwórz ramkę. Będąc w panelu Cztery widoki, użyj różnych płaszczyzn 2D, aby ułatwić prowadzenie/przeciąganie krawędzi ramki, aby objąć tylko obszar zainteresowania we wszystkich wymiarach. Na liście danych zaznacz obszar pola i zmień kolor obramowania, aby ułatwić przeglądanie, klikając szary kwadrat obok symbolu oka.
    UWAGA: Najmniejszy rozmiar łatki dla U-Net 2D to 32 x 32 piksele; 400 x 400 x 50 pikseli to rozsądny rozmiar pudełka na początek.
  3. Aby utworzyć multi-ROI, po lewej stronie wybierz zakładkę Segmentacja | Nowy i zaznacz opcję Utwórz jako Multi-ROI. Upewnij się, że liczba klas odpowiada liczbie interesujących obiektów + klasie tła. Nazwij dane treningowe z wieloma ROI i upewnij się, że geometria odpowiada zestawowi danych przed kliknięciem przycisku OK.
  4. Segmentacja danych treningowych
    1. Przewiń dane do momentu, gdy znajdą się w granicach regionu obramowanego. Wybierz opcję Multi-ROI w menu właściwości po prawej stronie. Kliknij dwukrotnie pierwszą pustą nazwę klasy w multi-ROI, aby nadać jej nazwę.
    2. Maluj pędzlem 2D. Na karcie segmentacji po lewej stronie przewiń w dół do sekcji Narzędzia 2D i wybierz pędzel okrągły. Następnie z menu rozwijanego wybierz Adaptacyjny GAUSSOWSKI lub Lokalny OTSU. Aby malować, przytrzymaj lewy Ctrl i kliknij. Aby wymazać, przytrzymaj lewy Shift i kliknij.
      UWAGA: Pędzel będzie odzwierciedlał kolor aktualnie wybranej klasy.
    3. Powtórz poprzedni krok dla każdej klasy obiektów w multi-ROI. Upewnij się, że wszystkie struktury w regionie pudełkowym są w pełni podzielone na segmenty, w przeciwnym razie będą traktowane przez sieć jako tło.
    4. Gdy wszystkie struktury zostaną oznaczone etykietami, kliknij prawym przyciskiem myszy klasę Tło w Multi-ROI i wybierz Dodaj wszystkie woksele bez etykiet do klasy.
  5. Utwórz nowy jednoklasowy zwrot z inwestycji o nazwie Maska. Upewnij się, że geometria jest ustawiona na filtrowany zestaw danych, a następnie kliknij przycisk Zastosuj. Na karcie właściwości po prawej stronie kliknij prawym przyciskiem myszy pole i wybierz Dodaj do ROI. Dodaj go do zwrotu z inwestycji w maskę.
  6. Aby przyciąć dane treningowe za pomocą maski, na karcie Właściwości wybierz zarówno dane treningowe z wieloma zwrotami z inwestycji, jak i z nakładem pracy maski, przytrzymując Ctrl i klikając każdy z nich. Następnie kliknij przycisk Przetnij poniżej listy właściwości danych w sekcji Operacje logiczne. Nadaj nowemu zestawowi danych nazwę Przycięte dane wejściowe trenowania i upewnij się, że geometria odpowiada filtrowanemu zestawowi danych przed kliknięciem przycisku OK.

5. Korzystanie z kreatora segmentacji do szkolenia iteracyjnego (Rysunek 1.3)

  1. Zaimportuj dane treningowe do kreatora segmentacji, klikając najpierw prawym przyciskiem myszy filtrowany zestaw danych na karcie Właściwości, a następnie wybierając opcję Kreator segmentacji. Gdy otworzy się nowe okno, poszukaj zakładki wprowadzania po prawej stronie. Kliknij opcję Importuj klatki z wielu ROI i wybierz przycięte dane wejściowe treningu.
  2. (Opcjonalnie) Utwórz ramkę wizualnej informacji zwrotnej, aby monitorować postęp szkolenia w czasie rzeczywistym.
    1. Wybierz ramkę z danych, która nie jest podzielona na segmenty, i kliknij przycisk +, aby dodać ją jako nową klatkę. Kliknij dwukrotnie etykietę mieszaną po prawej stronie ramki i zmień ją na Monitorowanie.
  3. W celu wygenerowania nowego modelu sieci neuronowej, po prawej stronie w zakładce Modele kliknij przycisk + aby wygenerować nowy model. Wybierz z listy opcję U-Net, a następnie w polu Wymiar wejściowy wybierz opcję 2,5D i 5 plasterków, a następnie kliknij przycisk Generuj.
  4. Aby wytrenować sieć, kliknij przycisk Trenuj w prawym dolnym rogu okna SegWiz.
    UWAGA: Trening można przerwać wcześniej bez utraty postępów.
  5. Aby użyć wytrenowanej sieci do segmentacji nowych ramek, po zakończeniu trenowania U-Net utwórz nową ramkę i kliknij przycisk Przewiduj (w prawym dolnym rogu). Następnie kliknij strzałkę w górę w prawym górnym rogu przewidywanej klatki, aby przenieść segmentację do rzeczywistej klatki.
  6. Aby poprawić przewidywanie, kliknij dwie klasy z wciśniętym Ctrl, aby zmienić segmentowane piksele jednej z nich na drugą. Zaznacz obie klasy i maluj pędzlem, aby pomalować tylko piksele należące do każdej z nich. Popraw segmentację w co najmniej pięciu nowych ramkach.
    UWAGA: Malowanie za pomocą narzędzia pędzla, gdy obie klasy są zaznaczone, oznacza, że zamiast wymazywania z wciśniętym Shift, jak to zwykle ma miejsce, piksele pierwszej klasy zostaną przekonwertowane na drugą. Kliknięcie z wciśniętym Ctrl spowoduje odwrotny skutek.
  7. W przypadku trenowania iteracyjnego kliknij ponownie przycisk Train (Trenuj) i zezwól sieci na dalsze trenowanie przez kolejne 30–40 epok, po czym zatrzymaj trenowanie i powtórz kroki 4.5 i 4.6 dla kolejnej rundy trenowania.
    UWAGA: W ten sposób model może być iteracyjnie trenowany i ulepszany przy użyciu pojedynczego zestawu danych.
  8. Aby opublikować sieć, gdy jest ona zadowolona z jej wydajności, wyjdź z Kreatora segmentacji. W oknie dialogowym, które automatycznie pojawi się z pytaniem, które modele opublikować (zapisać), wybierz pomyślną sieć, nazwij ją, a następnie opublikuj, aby udostępnić sieć do użytku poza kreatorem segmentacji.

6. Zastosuj sieć (Rysunek 1.4)

  1. Aby najpierw zastosować się do tomogramu treningowego, wybierz przefiltrowany zestaw danych w panelu Właściwości. W panelu Segmentacja po lewej stronie przewiń w dół do sekcji Segment ze sztuczną inteligencją. Upewnij się, że wybrano właściwy zestaw danych, wybierz model, który został właśnie opublikowany z menu rozwijanego, a następnie kliknij Segment | Wszystkie plasterki. Możesz też wybrać opcję Podgląd, aby wyświetlić podgląd segmentacji w jednym wycinku.
  2. Aby zastosować do zestawu danych wnioskowania, zaimportuj nowy tomogram. Wykonaj wstępne przetwarzanie zgodnie z Krokiem 3 (Rysunek 1.1). W panelu Segmentacja przejdź do sekcji Segment za pomocą sztucznej inteligencji. Upewnij się, że nowo przefiltrowany tomogram jest wybranym zestawem danych, wybierz wcześniej wytrenowany model i kliknij Segment | Wszystkie plasterki.

7. Manipulacja segmentacją i czyszczenie

  1. Szybko usuń szum, wybierając najpierw jedną z klas, która ma podzielony szum na segmenty i interesującą Cię funkcję. Kliknij prawym przyciskiem myszy | Wyspy procesowe | Usuń według liczby wokseli | Wybierz rozmiar woksela. Zacznij od małych rozmiarów (~200) i stopniowo zwiększaj liczbę, aby usunąć większość szumów.
  2. Aby uzyskać korekcję segmentacji, kliknij dwie klasy z wciśniętym Ctrl, aby pomalować tylko piksele należące do tych klas. Kliknij z wciśniętym Ctrl + przeciągnij za pomocą narzędzi do segmentacji, aby zmienić piksele drugiej klasy na pierwsze, a kliknięcie z wciśniętym Shift + przeciągnij, aby uzyskać odwrotny efekt. Kontynuuj tę czynność, aby szybko poprawić nieprawidłowo oznaczone piksele.
  3. Oddzielne połączone komponenty.
    1. Wybierz klasę. Kliknij klasę prawym przyciskiem myszy w Multi-ROI | Oddziel połączone komponenty, aby utworzyć nową klasę dla każdego komponentu, który nie jest połączony z innym komponentem tej samej klasy. Użyj przycisków poniżej Multi-ROI, aby łatwo scalić klasy.
  4. Wyeksportuj ROI jako binarny/TIFF.
    1. Wybierz klasę w Multi-ROI, a następnie kliknij prawym przyciskiem myszy i wyodrębnij klasę jako ROI. W panelu właściwości powyżej wybierz nowy zwrot z inwestycji, kliknij prawym przyciskiem myszy | Eksport | ROI jako binarny (upewnij się, że wybrana jest opcja eksportowania wszystkich obrazów do jednego pliku).
      UWAGA: Użytkownicy mogą łatwo konwertować z formatu tiff na mrc za pomocą programu IMOD tif2mrc20. Jest to przydatne do śledzenia filamentu.

8. Generowanie współrzędnych do uśredniania sub-tomogramu na podstawie ROI

  1. Wyodrębnianie klasy.
    1. Kliknij prawym przyciskiem myszy Klasa, która ma być używana do uśredniania | Wyodrębnij klasę jako ROI. Kliknij prawym przyciskiem myszy klasę ROI | Połączone komponenty | Nowy Multi-ROI (26 podłączonych).
  2. Generuj współrzędne.
    1. Kliknij prawym przyciskiem myszy nowy Multi-ROI | Generator skalarny. Rozwiń Podstawowe pomiary za pomocą zestawu danych | sprawdź ważony środek masy X, Y i Z. Wybierz zestaw danych i obliczenia. Kliknij prawym przyciskiem myszy Multi-ROI | Eksport wartości skalarnych. Zaznacz opcję Wybierz wszystkie gniazda skalarne, a następnie OK, aby wygenerować współrzędne świata środka ciężkości dla każdej klasy w wielu źródłach zwrotu jako plik CSV.
      UWAGA: Jeśli cząstki znajdują się blisko siebie, a segmentacje się stykają, może być konieczne wykonanie transformacji zlewni w celu rozdzielenia komponentów w celu uzyskania wielu zwrotów akcji.

9. Transformacja zlewni

  1. Wyodrębnij klasę, klikając prawym przyciskiem myszy klasę w Multi-ROI, która ma być używana do uśredniania | Wyodrębnij klasę jako ROI. Nazwij tę maskę ROI Watershed Mask.
  2. (Opcjonalnie) Zamknij otwory.
    1. Jeśli podzielone na segmenty cząstki mają otwory lub otwory, zamknij je dla zlewni. Kliknij ROI w obszarze Właściwości danych. Na karcie Segmentacja (po lewej stronie) przejdź do sekcji Operacje morfologiczne i użyj dowolnej kombinacji Dilate, Erode i Close niezbędnej do uzyskania segmentacji brył bez otworów.
  3. Odwróć ROI, klikając ROI | Kopiuj zaznaczony obiekt (poniżej opcji Właściwości danych). Wybierz skopiowany ROI, a po lewej stronie w zakładce Segmentacja kliknij Odwróć.
  4. Utwórz mapę odległości, klikając prawym przyciskiem myszy odwrócony zwrot z inwestycji | Utwórz mapowanie | Mapa odległości. Do późniejszego wykorzystania utwórz kopię mapy odległości i odwróć ją (kliknij prawym przyciskiem myszy | Modyfikowanie i przekształcanie | Odwracanie wartości | Zastosuj). Nazwij tę odwróconą mapę Krajobraz.
  5. Utwórz punkty początkowe.
    1. Ukryj zwrot z inwestycji i wyświetl mapę odległości. Na karcie Segmentacja kliknij opcję Definiuj zakres i zmniejszaj zakres, aż zostanie wyróżnionych tylko kilka pikseli w środku każdego punktu i żaden z nich nie będzie połączony z innym punktem. U dołu sekcji Zakres kliknij Dodaj do nowego. Nazwij to nowym ROI Seedpoints.
  6. Wykonaj transformację zlewiska.
    1. Kliknij prawym przyciskiem myszy Punkty bazowe ROI | Połączone komponenty | Nowy Multi-ROI (26 podłączonych). Kliknij prawym przyciskiem myszy nowo wygenerowany Multi-ROI | Transformacja zlewni. Wybierz mapę odległości o nazwie Krajobraz i kliknij przycisk OK; wybierz ROI o nazwie Watershed Mask i kliknij OK, aby obliczyć transformację zlewni z każdego punktu początkowego i rozdzielić poszczególne cząstki na osobne klasy w wielu ROI. Wygeneruj współrzędne jak w kroku 8.2.

figure-protocol-1
Rysunek 1: Przepływ pracy. 1) Wstępnie przetworzyć tomogram treningowy, kalibrując skalę intensywności i filtrując zestaw danych. 2) Utwórz dane treningowe, ręcznie dzieląc niewielką część tomogramu na segmenty ze wszystkimi odpowiednimi etykietami, które użytkownik chce zidentyfikować. 3) Używając przefiltrowanego tomogramu jako danych wejściowych i segmentacji dłoni jako danych wyjściowych treningu, w kreatorze segmentacji trenowana jest pięciowarstwowa, wielowarstwowa sieć U-Net. 4) Wytrenowaną sieć można zastosować do pełnego tomogramu w celu opisania go, a renderowanie 3D można wygenerować z każdej segmentowanej klasy. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zgodnie z protokołem, pięciowarstwowy U-Net został przeszkolony na jednym tomogramie (Rysunek 2A) w celu zidentyfikowania pięciu klas: Membrana, Mikrotubule, Aktyna, Markery Fiducial i Tło. Sieć została iteracyjnie przeszkolona w sumie trzy razy, a następnie zastosowana do tomogramu, aby w pełni go segmentować i opisywać (Rysunek 2B, C). Minimalne czyszczenie zostało wykonane przy użyciu kroków 7.1 i 7.2. Kolejne trzy interesujące nas tomogramy (Rysunek 2D,G,J) zostały załadowane do oprogramowania w celu wstępnego przetworzenia. Przed importem obrazu jeden z tomogramów (Ryc. 2J) wymagał regulacji rozmiaru piksela z 17,22 A/px do 13,3 A/px, ponieważ został zebrany pod innym mikroskopem w nieco innym powiększeniu. Program IMOD squeezevol został użyty do zmiany rozmiaru za pomocą następującego polecenia:

'squeezevol -f 0.772 plik_wejściowy.mrc plik_wyjściowy.mrc'

W tym poleceniu, -f odnosi się do czynnika, za pomocą którego należy zmienić rozmiar piksela (w tym przypadku: 13,3/17,22). Po zaimportowaniu wszystkie trzy cele wnioskowania zostały wstępnie przetworzone zgodnie z krokami 3.2 i 3.3, a następnie zastosowano pięciowarstwową sieć U-Net. Ponownie przeprowadzono minimalne czyszczenie. Końcowe segmentacje są wyświetlane w Rysunek 2.

Segmentacje mikrotubul z każdego tomogramu zostały wyeksportowane jako binarne (krok 7.4) pliki TIF, przekonwertowane na MRC (program IMOD tif2mrc), a następnie użyte do korelacji cylindrów i śledzenia filamentów. Binarne segmentacje włókien skutkują znacznie bardziej niezawodnym śledzeniem włókien niż śledzenie na tomogramach. Mapy współrzędnych ze śledzenia włókien (Rysunek 3) zostaną wykorzystane do dalszych analiz, takich jak pomiary najbliższego sąsiedztwa (upakowanie filamentu) i spiralne uśrednianie subtomogramu wzdłuż pojedynczych włókien w celu określenia orientacji mikrotubul.

Nieudane lub nieodpowiednio wyszkolone sieci są łatwe do określenia. Uszkodzona sieć nie będzie w stanie w ogóle segmentować żadnych struktur, podczas gdy nieodpowiednio przeszkolona sieć zazwyczaj będzie prawidłowo segmentować niektóre struktury i będzie miała znaczną liczbę wyników fałszywie dodatnich i fałszywie ujemnych. Sieci te można korygować i iteracyjnie trenować w celu poprawy ich wydajności. Kreator segmentacji automatycznie oblicza współczynnik podobieństwa kości modelu (nazywany wynikiem w SegWiz) po jego wytrenowaniu. Ta statystyka daje oszacowanie podobieństwa między danymi treningowymi a segmentacją U-Net. Dragonfly 2022.1 ma również wbudowane narzędzie do oceny wydajności modelu, do którego można uzyskać dostęp w zakładce Sztuczna inteligencja u góry interfejsu (zobacz dokumentację dotyczącą użytkowania).

figure-results-1
Rysunek 2: Wnioskowanie. (A-C) Oryginalny tomogram treningowy neuronu szczura hipokampa DIV 5, zebrany w 2019 roku na Titan Krios. Jest to rekonstrukcja wstecznie rzutowana z korektą CTF w IMOD. (A) Żółte pole reprezentuje region, w którym przeprowadzono segmentację dłoni w celu uzyskania danych wejściowych do treningu. (B) Segmentacja 2D z sieci U-Net po zakończeniu szkolenia. (C) Renderowanie 3D segmentowanych obszarów pokazujących błonę (niebieski), mikrotubule (zielony) i aktynę (czerwony). (D-F) DIV 5 neuron szczura hipokampa z tej samej sesji co tomogram treningowy. (E) Segmentacja 2D z U-Net bez dodatkowego szkolenia i szybkiego czyszczenia. Błona (niebieska), mikrotubule (zielona), aktyna (czerwona), fiducials (różowa). (F) Renderowanie 3D podzielonych na segmenty regionów. (G-I) DIV 5 neuron szczura hipokampa z sesji z 2019 roku. (H) Segmentacja 2D z U-Net z szybkim czyszczeniem i (I) renderowanie 3D. (J-L) DIV 5 neuron szczura hipokampa, pobrany w 2021 roku na innym Titan Krios w innym powiększeniu. Rozmiar piksela został zmieniony za pomocą programu IMOD squeezevol, aby pasował do tomogramu treningowego. (K) Segmentacja 2D z U-Net z szybkim czyszczeniem, demonstrująca solidne wnioskowanie w zestawach danych z odpowiednim przetwarzaniem wstępnym i (L) renderowanie segmentacji 3D. Podziałka liniowa = 100 nm. Skróty: DIV = dni in vitro; CTF = funkcja transferu kontrastu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 3: Poprawa śledzenia filamentu. (A) Tomogram neuronu hipokampa szczura DIV 4, zebrany na Titan Krios. (B) Mapa korelacji wygenerowana na podstawie korelacji cylindrów nad filamentami aktyny. (C) Śledzenie włókien aktyny z wykorzystaniem intensywności włókien aktynowych na mapie korelacji w celu zdefiniowania parametrów. Śledzenie wychwytuje błonę i mikrotubule, a także szum, próbując jednocześnie śledzić samą aktynę. (D) Segmentacja tomogramu metodą U-Net. Błona podświetlona na niebiesko, mikrotubule na czerwono, rybosomy na pomarańczowo, triC na fioletowo, a aktyna na zielono. (E) Segmentacja aktyny ekstrahowana jako maska binarna do śledzenia włókien. (F) Mapa korelacji wygenerowana z korelacji cylindra o tych samych parametrach z (B). (G) Znacznie ulepszone śledzenie samych filamentów aktynowych z tomogramu. Skrót: DIV = dni in vitro. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Plik uzupełniający 1: Tomogram używany w tym protokole oraz multi-ROI, który został wygenerowany jako dane wejściowe treningu, są dołączone jako zestaw danych (Training.ORSObject). Zobacz https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół ten określa procedurę korzystania z oprogramowania Dragonfly 2022.1 do trenowania wieloklasowej sieci U-Net na podstawie pojedynczego tomogramu oraz sposobu wnioskowania o tej sieci z innymi tomogramami, które nie muszą pochodzić z tego samego zestawu danych. Szkolenie jest stosunkowo szybkie (może trwać nawet 3-5 minut na epokę lub nawet kilka godzin, w zależności od trenowanej sieci i używanego sprzętu), a ponowne trenowanie sieci w celu poprawy jej uczenia się jest intuicyjne. Tak długo, jak etapy przetwarzania wstępnego są przeprowadzane dla każdego tomogramu, wnioskowanie jest zazwyczaj solidne.

Spójne przetwarzanie wstępne jest najbardziej krytycznym krokiem wnioskowania uczenia głębokiego. W oprogramowaniu znajduje się wiele filtrów obrazowania, a użytkownik może eksperymentować, aby określić, które filtry najlepiej sprawdzają się w przypadku określonych zestawów danych; Należy zauważyć, że jakiekolwiek filtrowanie jest używane w tomogramie treningowym, musi być zastosowane w ten sam sposób do tomogramów wnioskowania. Należy również zadbać o to, aby sieć otrzymywała dokładne i wystarczające informacje szkoleniowe. Bardzo ważne jest, aby wszystkie funkcje podzielone na segmenty w ramach wycinków treningowych były podzielone na segmenty tak starannie i precyzyjnie, jak to możliwe.

Segmentacja obrazu jest ułatwiona przez zaawansowany interfejs użytkownika klasy komercyjnej. Zapewnia wszystkie niezbędne narzędzia do segmentacji rąk i pozwala na proste ponowne przypisanie wokseli z jednej klasy do drugiej przed treningiem i ponownym trenowaniem. Użytkownik może ręcznie segmentować woksele w całym kontekście tomogramu, a także ma do dyspozycji wiele widoków i możliwość swobodnego obracania głośności. Dodatkowo oprogramowanie zapewnia możliwość korzystania z sieci wieloklasowych, które zwykle osiągają lepszewyniki 16 i są szybsze niż segmentacja z wieloma sieciami jednoklasowymi.

Istnieją oczywiście ograniczenia w możliwościach sieci neuronowej. Dane Cryo-ET są z natury bardzo zaszumione i ograniczone w próbkowaniu kątowym, co prowadzi do zniekształceń specyficznych dla orientacji w identycznych obiektach21. Szkolenie opiera się na ekspertze, który dokładnie dzieli struktury na segmenty, a udana sieć jest tylko tak dobra (lub tak zła), jak dane treningowe, które są jej dostarczane. Filtrowanie obrazu w celu wzmocnienia sygnału jest pomocne dla trenera, ale nadal istnieje wiele przypadków, w których dokładna identyfikacja wszystkich pikseli danej struktury jest trudna. Dlatego ważne jest, aby przy tworzeniu segmentacji szkoleń zachować dużą ostrożność, aby sieć miała jak najlepsze informacje do przyswojenia podczas szkolenia.

Ten przepływ pracy można łatwo modyfikować zgodnie z preferencjami każdego użytkownika. Chociaż ważne jest, aby wszystkie tomogramy były wstępnie przetworzone w dokładnie ten sam sposób, nie jest konieczne stosowanie dokładnie tych filtrów, które są używane w protokole. Oprogramowanie posiada wiele opcji filtrowania obrazów i zaleca się ich optymalizację pod kątem konkretnych danych użytkownika przed rozpoczęciem dużego projektu segmentacji obejmującego wiele tomogramów. Dostępnych jest również wiele architektur sieciowych: stwierdzono, że wielowarstwowa sieć U-Net działa najlepiej w przypadku danych z tego laboratorium, ale inny użytkownik może uznać, że inna architektura (taka jak 3D U-Net lub Sensor 3D) działa lepiej. Kreator segmentacji zapewnia wygodny interfejs do porównywania wydajności wielu sieci przy użyciu tych samych danych treningowych.

Narzędzia takie jak te przedstawione tutaj sprawią, że ręczna segmentacja pełnych tomogramów stanie się zadaniem należącym do przeszłości. Dzięki dobrze wyszkolonym sieciom neuronowym, które można solidnie wywnioskować, całkowicie możliwe jest stworzenie przepływu pracy, w którym dane tomograficzne są rekonstruowane, przetwarzane i w pełni segmentowane tak szybko, jak mikroskop jest w stanie je zebrać.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Licencja otwartego dostępu do tego protokołu została opłacona przez Object Research Systems.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie było wspierane przez Penn State College of Medicine oraz Wydział Biochemii i Biologii Molekularnej, a także grant Tobacco Settlement Fund (TSF) 4100079742-EXT. Usługi i instrumenty CryoEM i CryoET Core (RRID:SCR_021178) wykorzystane w tym projekcie zostały częściowo sfinansowane przez Pennsylvania State University College of Medicine za pośrednictwem Biura Prodziekana ds. Badań i Doktorantów oraz Departamentu Zdrowia Pensylwanii przy użyciu funduszy na rzecz rozliczeń tytoniowych (CURE). Wyłączną odpowiedzialność za treść ponoszą autorzy i niekoniecznie reprezentują one oficjalne poglądy Uniwersytetu lub Kolegium Medycznego. Departament Zdrowia Pensylwanii wyraźnie zrzeka się odpowiedzialności za jakiekolwiek analizy, interpretacje lub wnioski.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
badańDragonfly 2022.1https://www.theobjects.com/dragonfly/index.html
E18 Szczur Zdysocjowanatkanka transnetyxhipokampa KTSDEDHPhttps://tissue.transnetyx.com/faqs
IMODUniversity of Coloradohttps://bio3d.colorado.edu/imod/
Intel® Xeon® Złoty procesor 6124 3,2 GHzIntel
https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html NVIDIA Quadro P4000NVIDIAhttps://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf
Windows 10 Minimalne
https://theobjects.com/dragonfly/system-requirements.html
Systemy obiektowych wymagania dotyczące stacji roboczej Microsoft https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise Enterprise 2016

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
  2. de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
  3. Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
  4. Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
  5. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
  6. Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
  7. Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
  8. Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
  9. Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
  10. Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
  11. Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
  12. Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
  13. Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
  14. Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
  15. Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
  16. Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
  17. Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
  18. Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
  19. Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
  20. Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
  21. Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Cryo Electron TomographyDeep Learning SegmentationU Net Neural NetworkMulti Class SegmentationImage PreprocessingTomogram Analysis3D RenderingFilament TracingSubtomogram AveragingNeural Network Training

Powiązane artykuły