Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

Rozwój sprzętu i oprogramowania w ciągu ostatniej dekady doprowadził do "rewolucji rozdzielczości" dla mikroskopii krioelektronowej (cryo-EM)^1,2. Dzięki lepszym i szybszym detektorom³, oprogramowaniu do automatyzacji zbierania danych^4,5, oraz zaawansowanym funkcjom wzmacniania sygnału, takim jak płytki fazowe⁶, zbieranie dużych ilości danych kriogenicznych o wysokiej rozdzielczości jest stosunkowo proste.

Cryo-ET zapewnia bezprecedensowy wgląd w ultrastrukturę komórkową w natywnym, uwodnionym stanie^7,8,9,10. Podstawowym ograniczeniem jest grubość próbki, ale wraz z przyjęciem metod takich jak mielenie skupionej wiązki jonów (FIB), gdzie grube próbki komórkowe i tkankowe są rozrzedzane do tomografii¹¹, horyzont tego, co można obrazować za pomocą cryo-ET, stale się poszerza. Najnowsze mikroskopy są w stanie wyprodukować ponad 50 tomogramów dziennie, a przewiduje się, że tempo to wzrośnie tylko ze względu na rozwój schematów szybkiego gromadzenia danych^12,13. Analiza ogromnych ilości danych wytwarzanych przez cryo-ET pozostaje wąskim gardłem dla tej metody obrazowania.

Ilościowa analiza informacji tomograficznych wymaga najpierw adnotacji. Tradycyjnie wymaga to segmentacji rąk przez eksperta, co jest czasochłonne; W zależności od złożoności molekularnej zawartej w kriotomogramie, może to zająć godziny lub dni poświęconej uwagi. Sztuczne sieci neuronowe są atrakcyjnym rozwiązaniem tego problemu, ponieważ można je wytrenować do wykonywania większości prac związanych z segmentacją w ułamku czasu. Konwolucyjne sieci neuronowe (CNN) są szczególnie przydatne do zadań związanych z widzeniem komputerowym¹⁴ i zostały ostatnio przystosowane do analizy tomogramów krioelektronowych^15,16,17.

Tradycyjne CNN wymagają wielu tysięcy próbek treningowych z adnotacjami, co często nie jest możliwe w przypadku zadań analizy obrazów biologicznych. W związku z tym architektura U-Net doskonale radzi sobie w tej dziedzinie¹⁸, ponieważ opiera się na rozszerzaniu danych, aby skutecznie trenować sieć, minimalizując zależność od dużych zestawów treningowych. Na przykład, architektura U-Net może być trenowana za pomocą zaledwie kilku wycinków pojedynczego tomogramu (czterech lub pięciu plasterków) i solidnie wnioskowana na innych tomogramach bez ponownego trenowania. Ten protokół zawiera przewodnik krok po kroku dotyczący trenowania architektur sieci neuronowych U-Net w celu segmentacji kriotomogram elektronowych w Dragonfly 2022.1¹⁹.

Dragonfly to komercyjnie opracowane oprogramowanie służące do segmentacji i analizy obrazów 3D za pomocą modeli głębokiego uczenia się, które jest swobodnie dostępne do użytku akademickiego (obowiązują pewne ograniczenia geograficzne). Posiada zaawansowany interfejs graficzny, który pozwala laikom w pełni wykorzystać możliwości głębokiego uczenia się zarówno do segmentacji semantycznej, jak i odszumiania obrazu. Protokół ten pokazuje, jak wstępnie przetwarzać i opisywać tomogramy krioelektronowe w Dragonfly w celu trenowania sztucznych sieci neuronowych, które można następnie wywnioskować w celu szybkiej segmentacji dużych zbiorów danych. W dalszej części omówiono i pokrótce pokazano, jak wykorzystać dane segmentowane do dalszej analizy, takiej jak śledzenie włókien i ekstrakcja współrzędnych w celu uśredniania subtomogramu.

UWAGA: Dragonfly 2022.1 wymaga stacji roboczej o wysokiej wydajności. Zalecenia systemowe znajdują się w Tabeli Materiałów wraz ze sprzętem stacji roboczej używanej dla tego protokołu. Wszystkie tomogramy używane w tym protokole są 4-krotnie binowane od rozmiaru piksela od 3,3 do 13,2 ang/pix. Próbki wykorzystane w reprezentatywnych wynikach zostały uzyskane od firmy (zob. tabela materiałów), która przestrzega wytycznych dotyczących opieki nad zwierzętami, które są zgodne ze standardami etycznymi tej instytucji. Tomogram używany w tym protokole i multi-ROI, który został wygenerowany jako dane wejściowe treningu, zostały dołączone jako zestaw danych w pakiecie do pliku uzupełniającego 1 (który można znaleźć pod adresem https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct), dzięki czemu użytkownik może śledzić te same dane, jeśli chce. Dragonfly obsługuje również bazę danych o otwartym dostępie o nazwie Infinite Toolbox, w której użytkownicy mogą udostępniać wyszkolone sieci.

1. Konfiguracja

1. Zmiana domyślnego obszaru roboczego:
   1. Aby zmienić przestrzeń roboczą tak, aby odzwierciedlała przestrzeń roboczą używaną w tym protokole, po lewej stronie panelu głównego przewiń w dół do sekcji Właściwości widoku sceny i usuń zaznaczenie opcji Pokaż legendy. Przewiń w dół do sekcji Układ i wybierz widok Pojedyncza scena i Cztery równe widoki.
   2. Aby zaktualizować jednostkę domyślną, przejdź do punktu menu Plik | Preferencje. W oknie, które zostanie otwarte, zmień jednostkę domyślną z milimetrów na nanometry.
2. Pomocne domyślne skróty klawiszowe:
   1. Naciśnij Esc, aby wyświetlić krzyżyk w widokach 2D i zezwolić na obracanie objętości 3D w widoku 3D. Naciśnij X, aby ukryć krzyżyk w widokach 2D i zezwolić na translację 2D i translację objętości 3D w widoku 3D.
   2. Najedź kursorem na krzyż nitkowy, aby zobaczyć małe strzałki, które można kliknąć i przeciągnąć, aby zmienić kąt płaszczyzny wyświetlania w innych widokach 2D.
   3. Naciśnij Z, aby przejść do stanu powiększenia w obu widokach, umożliwiając użytkownikom klikanie i przeciąganie w dowolnym miejscu w celu powiększania i pomniejszania.
   4. Kliknij dwukrotnie widok w scenie Four View, aby skupić się tylko na tym widoku; kliknij dwukrotnie ponownie, aby powrócić do wszystkich czterech widoków.
3. Okresowo zapisuj postępy, eksportując wszystko na karcie Właściwości jako obiekt ORS w celu łatwego importu. Zaznacz wszystkie obiekty na liście i kliknij prawym przyciskiem myszy Eksportuj | Jako obiekt ORS. Nazwij plik i zapisz. Możesz też przejść do punktu menu Plik | Zapisz sesję. Aby korzystać z funkcji automatycznego zapisywania w oprogramowaniu, włącz ją za pomocą menu Plik | Preferencje | Automatyczne zapisywanie.

2. Import obrazów

1. Aby zaimportować obraz, przejdź do punktu menu Plik | Importuj pliki obrazów. Kliknij przycisk Dodaj, przejdź do pliku obrazu i kliknij przycisk Otwórz | Następny | Wykończenie.
   UWAGA: Oprogramowanie nie rozpoznaje plików .rec. Wszystkie tomogramy muszą mieć przyrostek .mrc. Jeśli korzystasz z podanych danych, przejdź do punktu menu Plik | Importuj obiekt(y). Przejdź do pliku Training.ORSObject i kliknij przycisk Otwórz, a następnie kliknij przycisk OK.

3. Przetwarzanie wstępne (Rysunek 1.1)

1. Utwórz niestandardową skalę intensywności (używaną do kalibrowania intensywności obrazu w zestawach danych). Przejdź do Narzędzia | Menedżer jednostek wymiarów. W lewym dolnym rogu kliknij przycisk +, aby utworzyć nową jednostkę wymiaru.
2. Wybierz funkcję o wysokiej intensywności (jasny) i niskiej intensywności (ciemny), która znajduje się we wszystkich interesujących Cię tomogramach. Nadaj jednostce nazwę i skrót (np. dla tej skali ustaw koraliki odniesienia na 0,0 intensywności standardowej, a tło na 100,0). Zapisz niestandardową jednostkę wymiaru.
   UWAGA: Niestandardowa skala intensywności to dowolna skala, która jest tworzona i stosowana do danych w celu zapewnienia, że wszystkie dane znajdują się na tej samej skali intensywności, mimo że są zbierane w różnym czasie lub na różnych urządzeniach. Wybierz jasne i ciemne cechy, które najlepiej reprezentują zakres, w którym mieści się sygnał. Jeśli w danych nie ma żadnych punktów odniesienia, po prostu wybierz najciemniejszą cechę, która zostanie podzielona na segmenty (na przykład najciemniejszy obszar białka).
3. Aby skalibrować obrazy do niestandardowej skali intensywności, kliknij prawym przyciskiem myszy zestaw danych w kolumnie Właściwości po prawej stronie ekranu i wybierz polecenie Kalibruj skalę intensywności. Na karcie Główne po lewej stronie ekranu przewiń w dół do sekcji Sonda. Za pomocą sondy okrągłej o odpowiedniej średnicy kliknij kilka miejsc w obszarze tła tomogramu i zapisz średnią liczbę w kolumnie Raw Intensity (Surowa intensywność); powtórz te czynności dla znaczników odniesienia, a następnie kliknij przycisk Kalibruj. W razie potrzeby dostosuj kontrast, aby struktury były ponownie widoczne za pomocą narzędzia Obszar w sekcji Poziomowanie okien na karcie Główne.
4. Filtrowanie obrazu:
   UWAGA: Filtrowanie obrazu może zredukować szumy i wzmocnić sygnał. Ten protokół wykorzystuje trzy filtry, które są wbudowane w oprogramowanie, ponieważ działają najlepiej dla tych danych, ale dostępnych jest wiele filtrów. Po ustaleniu protokołu filtrowania obrazów dla interesujących nas danych, konieczne będzie zastosowanie dokładnie tego samego protokołu do wszystkich tomogramów przed segmentacją.
   1. Na głównej karcie po lewej stronie przewiń w dół do panelu przetwarzania obrazu. Kliknij Zaawansowane i poczekaj, aż otworzy się nowe okno. W panelu Właściwości wybierz zestaw danych, który ma być filtrowany, i ustaw go jako widoczny, klikając ikonę oka po lewej stronie zestawu danych.
   2. Z panelu Operacje użyj menu rozwijanego, aby wybrać opcję Wyrównanie histogramu (w sekcji Kontrast) dla pierwszej operacji. Wybierz pozycję Dodaj operację | Gaussowski (w sekcji Wygładzanie). Zmień wymiar jądra na 3D.
   3. Dodaj trzecią operację, a następnie wybierz opcję Wyostrzanie (w sekcji Wyostrzanie). Pozostaw dane wyjściowe dla tego. Zastosuj do wszystkich plasterków i poczekaj, aż filtrowanie zostanie uruchomione, a następnie zamknij okno Przetwarzanie obrazu, aby powrócić do głównego interfejsu.

4. Utwórz dane treningowe (Rysunek 1.2)

1. Zidentyfikuj obszar treningowy, ukrywając najpierw niefiltrowany zestaw danych, klikając ikonę oka po lewej stronie w panelu Właściwości danych. Następnie pokaż nowo przefiltrowany zestaw danych (który zostanie automatycznie nazwany DataSet-HistEq-Gauss-Unsharp). Korzystając z przefiltrowanego zestawu danych, zidentyfikuj podregion tomogramu, który zawiera wszystkie interesujące Cię cechy.
2. Aby utworzyć ramkę wokół obszaru zainteresowania, po lewej stronie, na karcie głównej, przewiń w dół do kategorii Kształty i wybierz opcję Utwórz ramkę. Będąc w panelu Cztery widoki, użyj różnych płaszczyzn 2D, aby ułatwić prowadzenie/przeciąganie krawędzi ramki, aby objąć tylko obszar zainteresowania we wszystkich wymiarach. Na liście danych zaznacz obszar pola i zmień kolor obramowania, aby ułatwić przeglądanie, klikając szary kwadrat obok symbolu oka.
   UWAGA: Najmniejszy rozmiar łatki dla U-Net 2D to 32 x 32 piksele; 400 x 400 x 50 pikseli to rozsądny rozmiar pudełka na początek.
3. Aby utworzyć multi-ROI, po lewej stronie wybierz zakładkę Segmentacja | Nowy i zaznacz opcję Utwórz jako Multi-ROI. Upewnij się, że liczba klas odpowiada liczbie interesujących obiektów + klasie tła. Nazwij dane treningowe z wieloma ROI i upewnij się, że geometria odpowiada zestawowi danych przed kliknięciem przycisku OK.
4. Segmentacja danych treningowych
   1. Przewiń dane do momentu, gdy znajdą się w granicach regionu obramowanego. Wybierz opcję Multi-ROI w menu właściwości po prawej stronie. Kliknij dwukrotnie pierwszą pustą nazwę klasy w multi-ROI, aby nadać jej nazwę.
   2. Maluj pędzlem 2D. Na karcie segmentacji po lewej stronie przewiń w dół do sekcji Narzędzia 2D i wybierz pędzel okrągły. Następnie z menu rozwijanego wybierz Adaptacyjny GAUSSOWSKI lub Lokalny OTSU. Aby malować, przytrzymaj lewy Ctrl i kliknij. Aby wymazać, przytrzymaj lewy Shift i kliknij.
      UWAGA: Pędzel będzie odzwierciedlał kolor aktualnie wybranej klasy.
   3. Powtórz poprzedni krok dla każdej klasy obiektów w multi-ROI. Upewnij się, że wszystkie struktury w regionie pudełkowym są w pełni podzielone na segmenty, w przeciwnym razie będą traktowane przez sieć jako tło.
   4. Gdy wszystkie struktury zostaną oznaczone etykietami, kliknij prawym przyciskiem myszy klasę Tło w Multi-ROI i wybierz Dodaj wszystkie woksele bez etykiet do klasy.
5. Utwórz nowy jednoklasowy zwrot z inwestycji o nazwie Maska. Upewnij się, że geometria jest ustawiona na filtrowany zestaw danych, a następnie kliknij przycisk Zastosuj. Na karcie właściwości po prawej stronie kliknij prawym przyciskiem myszy pole i wybierz Dodaj do ROI. Dodaj go do zwrotu z inwestycji w maskę.
6. Aby przyciąć dane treningowe za pomocą maski, na karcie Właściwości wybierz zarówno dane treningowe z wieloma zwrotami z inwestycji, jak i z nakładem pracy maski, przytrzymując Ctrl i klikając każdy z nich. Następnie kliknij przycisk Przetnij poniżej listy właściwości danych w sekcji Operacje logiczne. Nadaj nowemu zestawowi danych nazwę Przycięte dane wejściowe trenowania i upewnij się, że geometria odpowiada filtrowanemu zestawowi danych przed kliknięciem przycisku OK.

5. Korzystanie z kreatora segmentacji do szkolenia iteracyjnego (Rysunek 1.3)

1. Zaimportuj dane treningowe do kreatora segmentacji, klikając najpierw prawym przyciskiem myszy filtrowany zestaw danych na karcie Właściwości, a następnie wybierając opcję Kreator segmentacji. Gdy otworzy się nowe okno, poszukaj zakładki wprowadzania po prawej stronie. Kliknij opcję Importuj klatki z wielu ROI i wybierz przycięte dane wejściowe treningu.
2. (Opcjonalnie) Utwórz ramkę wizualnej informacji zwrotnej, aby monitorować postęp szkolenia w czasie rzeczywistym.
   1. Wybierz ramkę z danych, która nie jest podzielona na segmenty, i kliknij przycisk +, aby dodać ją jako nową klatkę. Kliknij dwukrotnie etykietę mieszaną po prawej stronie ramki i zmień ją na Monitorowanie.
3. W celu wygenerowania nowego modelu sieci neuronowej, po prawej stronie w zakładce Modele kliknij przycisk + aby wygenerować nowy model. Wybierz z listy opcję U-Net, a następnie w polu Wymiar wejściowy wybierz opcję 2,5D i 5 plasterków, a następnie kliknij przycisk Generuj.
4. Aby wytrenować sieć, kliknij przycisk Trenuj w prawym dolnym rogu okna SegWiz.
   UWAGA: Trening można przerwać wcześniej bez utraty postępów.
5. Aby użyć wytrenowanej sieci do segmentacji nowych ramek, po zakończeniu trenowania U-Net utwórz nową ramkę i kliknij przycisk Przewiduj (w prawym dolnym rogu). Następnie kliknij strzałkę w górę w prawym górnym rogu przewidywanej klatki, aby przenieść segmentację do rzeczywistej klatki.
6. Aby poprawić przewidywanie, kliknij dwie klasy z wciśniętym Ctrl, aby zmienić segmentowane piksele jednej z nich na drugą. Zaznacz obie klasy i maluj pędzlem, aby pomalować tylko piksele należące do każdej z nich. Popraw segmentację w co najmniej pięciu nowych ramkach.
   UWAGA: Malowanie za pomocą narzędzia pędzla, gdy obie klasy są zaznaczone, oznacza, że zamiast wymazywania z wciśniętym Shift, jak to zwykle ma miejsce, piksele pierwszej klasy zostaną przekonwertowane na drugą. Kliknięcie z wciśniętym Ctrl spowoduje odwrotny skutek.
7. W przypadku trenowania iteracyjnego kliknij ponownie przycisk Train (Trenuj) i zezwól sieci na dalsze trenowanie przez kolejne 30–40 epok, po czym zatrzymaj trenowanie i powtórz kroki 4.5 i 4.6 dla kolejnej rundy trenowania.
   UWAGA: W ten sposób model może być iteracyjnie trenowany i ulepszany przy użyciu pojedynczego zestawu danych.
8. Aby opublikować sieć, gdy jest ona zadowolona z jej wydajności, wyjdź z Kreatora segmentacji. W oknie dialogowym, które automatycznie pojawi się z pytaniem, które modele opublikować (zapisać), wybierz pomyślną sieć, nazwij ją, a następnie opublikuj, aby udostępnić sieć do użytku poza kreatorem segmentacji.

6. Zastosuj sieć (Rysunek 1.4)

1. Aby najpierw zastosować się do tomogramu treningowego, wybierz przefiltrowany zestaw danych w panelu Właściwości. W panelu Segmentacja po lewej stronie przewiń w dół do sekcji Segment ze sztuczną inteligencją. Upewnij się, że wybrano właściwy zestaw danych, wybierz model, który został właśnie opublikowany z menu rozwijanego, a następnie kliknij Segment | Wszystkie plasterki. Możesz też wybrać opcję Podgląd, aby wyświetlić podgląd segmentacji w jednym wycinku.
2. Aby zastosować do zestawu danych wnioskowania, zaimportuj nowy tomogram. Wykonaj wstępne przetwarzanie zgodnie z Krokiem 3 (Rysunek 1.1). W panelu Segmentacja przejdź do sekcji Segment za pomocą sztucznej inteligencji. Upewnij się, że nowo przefiltrowany tomogram jest wybranym zestawem danych, wybierz wcześniej wytrenowany model i kliknij Segment | Wszystkie plasterki.

7. Manipulacja segmentacją i czyszczenie

1. Szybko usuń szum, wybierając najpierw jedną z klas, która ma podzielony szum na segmenty i interesującą Cię funkcję. Kliknij prawym przyciskiem myszy | Wyspy procesowe | Usuń według liczby wokseli | Wybierz rozmiar woksela. Zacznij od małych rozmiarów (~200) i stopniowo zwiększaj liczbę, aby usunąć większość szumów.
2. Aby uzyskać korekcję segmentacji, kliknij dwie klasy z wciśniętym Ctrl, aby pomalować tylko piksele należące do tych klas. Kliknij z wciśniętym Ctrl + przeciągnij za pomocą narzędzi do segmentacji, aby zmienić piksele drugiej klasy na pierwsze, a kliknięcie z wciśniętym Shift + przeciągnij, aby uzyskać odwrotny efekt. Kontynuuj tę czynność, aby szybko poprawić nieprawidłowo oznaczone piksele.
3. Oddzielne połączone komponenty.
   1. Wybierz klasę. Kliknij klasę prawym przyciskiem myszy w Multi-ROI | Oddziel połączone komponenty, aby utworzyć nową klasę dla każdego komponentu, który nie jest połączony z innym komponentem tej samej klasy. Użyj przycisków poniżej Multi-ROI, aby łatwo scalić klasy.
4. Wyeksportuj ROI jako binarny/TIFF.
   1. Wybierz klasę w Multi-ROI, a następnie kliknij prawym przyciskiem myszy i wyodrębnij klasę jako ROI. W panelu właściwości powyżej wybierz nowy zwrot z inwestycji, kliknij prawym przyciskiem myszy | Eksport | ROI jako binarny (upewnij się, że wybrana jest opcja eksportowania wszystkich obrazów do jednego pliku).
      UWAGA: Użytkownicy mogą łatwo konwertować z formatu tiff na mrc za pomocą programu IMOD tif2mrc²⁰. Jest to przydatne do śledzenia filamentu.

8. Generowanie współrzędnych do uśredniania sub-tomogramu na podstawie ROI

1. Wyodrębnianie klasy.
   1. Kliknij prawym przyciskiem myszy Klasa, która ma być używana do uśredniania | Wyodrębnij klasę jako ROI. Kliknij prawym przyciskiem myszy klasę ROI | Połączone komponenty | Nowy Multi-ROI (26 podłączonych).
2. Generuj współrzędne.
   1. Kliknij prawym przyciskiem myszy nowy Multi-ROI | Generator skalarny. Rozwiń Podstawowe pomiary za pomocą zestawu danych | sprawdź ważony środek masy X, Y i Z. Wybierz zestaw danych i obliczenia. Kliknij prawym przyciskiem myszy Multi-ROI | Eksport wartości skalarnych. Zaznacz opcję Wybierz wszystkie gniazda skalarne, a następnie OK, aby wygenerować współrzędne świata środka ciężkości dla każdej klasy w wielu źródłach zwrotu jako plik CSV.
      UWAGA: Jeśli cząstki znajdują się blisko siebie, a segmentacje się stykają, może być konieczne wykonanie transformacji zlewni w celu rozdzielenia komponentów w celu uzyskania wielu zwrotów akcji.

9. Transformacja zlewni

1. Wyodrębnij klasę, klikając prawym przyciskiem myszy klasę w Multi-ROI, która ma być używana do uśredniania | Wyodrębnij klasę jako ROI. Nazwij tę maskę ROI Watershed Mask.
2. (Opcjonalnie) Zamknij otwory.
   1. Jeśli podzielone na segmenty cząstki mają otwory lub otwory, zamknij je dla zlewni. Kliknij ROI w obszarze Właściwości danych. Na karcie Segmentacja (po lewej stronie) przejdź do sekcji Operacje morfologiczne i użyj dowolnej kombinacji Dilate, Erode i Close niezbędnej do uzyskania segmentacji brył bez otworów.
3. Odwróć ROI, klikając ROI | Kopiuj zaznaczony obiekt (poniżej opcji Właściwości danych). Wybierz skopiowany ROI, a po lewej stronie w zakładce Segmentacja kliknij Odwróć.
4. Utwórz mapę odległości, klikając prawym przyciskiem myszy odwrócony zwrot z inwestycji | Utwórz mapowanie | Mapa odległości. Do późniejszego wykorzystania utwórz kopię mapy odległości i odwróć ją (kliknij prawym przyciskiem myszy | Modyfikowanie i przekształcanie | Odwracanie wartości | Zastosuj). Nazwij tę odwróconą mapę Krajobraz.
5. Utwórz punkty początkowe.
   1. Ukryj zwrot z inwestycji i wyświetl mapę odległości. Na karcie Segmentacja kliknij opcję Definiuj zakres i zmniejszaj zakres, aż zostanie wyróżnionych tylko kilka pikseli w środku każdego punktu i żaden z nich nie będzie połączony z innym punktem. U dołu sekcji Zakres kliknij Dodaj do nowego. Nazwij to nowym ROI Seedpoints.
6. Wykonaj transformację zlewiska.
   1. Kliknij prawym przyciskiem myszy Punkty bazowe ROI | Połączone komponenty | Nowy Multi-ROI (26 podłączonych). Kliknij prawym przyciskiem myszy nowo wygenerowany Multi-ROI | Transformacja zlewni. Wybierz mapę odległości o nazwie Krajobraz i kliknij przycisk OK; wybierz ROI o nazwie Watershed Mask i kliknij OK, aby obliczyć transformację zlewni z każdego punktu początkowego i rozdzielić poszczególne cząstki na osobne klasy w wielu ROI. Wygeneruj współrzędne jak w kroku 8.2.

Rysunek 1: Przepływ pracy. 1) Wstępnie przetworzyć tomogram treningowy, kalibrując skalę intensywności i filtrując zestaw danych. 2) Utwórz dane treningowe, ręcznie dzieląc niewielką część tomogramu na segmenty ze wszystkimi odpowiednimi etykietami, które użytkownik chce zidentyfikować. 3) Używając przefiltrowanego tomogramu jako danych wejściowych i segmentacji dłoni jako danych wyjściowych treningu, w kreatorze segmentacji trenowana jest pięciowarstwowa, wielowarstwowa sieć U-Net. 4) Wytrenowaną sieć można zastosować do pełnego tomogramu w celu opisania go, a renderowanie 3D można wygenerować z każdej segmentowanej klasy. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Zgodnie z protokołem, pięciowarstwowy U-Net został przeszkolony na jednym tomogramie (Rysunek 2A) w celu zidentyfikowania pięciu klas: Membrana, Mikrotubule, Aktyna, Markery Fiducial i Tło. Sieć została iteracyjnie przeszkolona w sumie trzy razy, a następnie zastosowana do tomogramu, aby w pełni go segmentować i opisywać (Rysunek 2B, C). Minimalne czyszczenie zostało wykonane przy użyciu kroków 7.1 i 7.2. Kolejne trzy interesujące nas tomogramy (Rysunek 2D,G,J) zostały załadowane do oprogramowania w celu wstępnego przetworzenia. Przed importem obrazu jeden z tomogramów (Ryc. 2J) wymagał regulacji rozmiaru piksela z 17,22 A/px do 13,3 A/px, ponieważ został zebrany pod innym mikroskopem w nieco innym powiększeniu. Program IMOD squeezevol został użyty do zmiany rozmiaru za pomocą następującego polecenia:

'squeezevol -f 0.772 plik_wejściowy.mrc plik_wyjściowy.mrc'

W tym poleceniu, -f odnosi się do czynnika, za pomocą którego należy zmienić rozmiar piksela (w tym przypadku: 13,3/17,22). Po zaimportowaniu wszystkie trzy cele wnioskowania zostały wstępnie przetworzone zgodnie z krokami 3.2 i 3.3, a następnie zastosowano pięciowarstwową sieć U-Net. Ponownie przeprowadzono minimalne czyszczenie. Końcowe segmentacje są wyświetlane w Rysunek 2.

Segmentacje mikrotubul z każdego tomogramu zostały wyeksportowane jako binarne (krok 7.4) pliki TIF, przekonwertowane na MRC (program IMOD tif2mrc), a następnie użyte do korelacji cylindrów i śledzenia filamentów. Binarne segmentacje włókien skutkują znacznie bardziej niezawodnym śledzeniem włókien niż śledzenie na tomogramach. Mapy współrzędnych ze śledzenia włókien (Rysunek 3) zostaną wykorzystane do dalszych analiz, takich jak pomiary najbliższego sąsiedztwa (upakowanie filamentu) i spiralne uśrednianie subtomogramu wzdłuż pojedynczych włókien w celu określenia orientacji mikrotubul.

Nieudane lub nieodpowiednio wyszkolone sieci są łatwe do określenia. Uszkodzona sieć nie będzie w stanie w ogóle segmentować żadnych struktur, podczas gdy nieodpowiednio przeszkolona sieć zazwyczaj będzie prawidłowo segmentować niektóre struktury i będzie miała znaczną liczbę wyników fałszywie dodatnich i fałszywie ujemnych. Sieci te można korygować i iteracyjnie trenować w celu poprawy ich wydajności. Kreator segmentacji automatycznie oblicza współczynnik podobieństwa kości modelu (nazywany wynikiem w SegWiz) po jego wytrenowaniu. Ta statystyka daje oszacowanie podobieństwa między danymi treningowymi a segmentacją U-Net. Dragonfly 2022.1 ma również wbudowane narzędzie do oceny wydajności modelu, do którego można uzyskać dostęp w zakładce Sztuczna inteligencja u góry interfejsu (zobacz dokumentację dotyczącą użytkowania).

Rysunek 2: Wnioskowanie. (A-C) Oryginalny tomogram treningowy neuronu szczura hipokampa DIV 5, zebrany w 2019 roku na Titan Krios. Jest to rekonstrukcja wstecznie rzutowana z korektą CTF w IMOD. (A) Żółte pole reprezentuje region, w którym przeprowadzono segmentację dłoni w celu uzyskania danych wejściowych do treningu. (B) Segmentacja 2D z sieci U-Net po zakończeniu szkolenia. (C) Renderowanie 3D segmentowanych obszarów pokazujących błonę (niebieski), mikrotubule (zielony) i aktynę (czerwony). (D-F) DIV 5 neuron szczura hipokampa z tej samej sesji co tomogram treningowy. (E) Segmentacja 2D z U-Net bez dodatkowego szkolenia i szybkiego czyszczenia. Błona (niebieska), mikrotubule (zielona), aktyna (czerwona), fiducials (różowa). (F) Renderowanie 3D podzielonych na segmenty regionów. (G-I) DIV 5 neuron szczura hipokampa z sesji z 2019 roku. (H) Segmentacja 2D z U-Net z szybkim czyszczeniem i (I) renderowanie 3D. (J-L) DIV 5 neuron szczura hipokampa, pobrany w 2021 roku na innym Titan Krios w innym powiększeniu. Rozmiar piksela został zmieniony za pomocą programu IMOD squeezevol, aby pasował do tomogramu treningowego. (K) Segmentacja 2D z U-Net z szybkim czyszczeniem, demonstrująca solidne wnioskowanie w zestawach danych z odpowiednim przetwarzaniem wstępnym i (L) renderowanie segmentacji 3D. Podziałka liniowa = 100 nm. Skróty: DIV = dni in vitro; CTF = funkcja transferu kontrastu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Poprawa śledzenia filamentu. (A) Tomogram neuronu hipokampa szczura DIV 4, zebrany na Titan Krios. (B) Mapa korelacji wygenerowana na podstawie korelacji cylindrów nad filamentami aktyny. (C) Śledzenie włókien aktyny z wykorzystaniem intensywności włókien aktynowych na mapie korelacji w celu zdefiniowania parametrów. Śledzenie wychwytuje błonę i mikrotubule, a także szum, próbując jednocześnie śledzić samą aktynę. (D) Segmentacja tomogramu metodą U-Net. Błona podświetlona na niebiesko, mikrotubule na czerwono, rybosomy na pomarańczowo, triC na fioletowo, a aktyna na zielono. (E) Segmentacja aktyny ekstrahowana jako maska binarna do śledzenia włókien. (F) Mapa korelacji wygenerowana z korelacji cylindra o tych samych parametrach z (B). (G) Znacznie ulepszone śledzenie samych filamentów aktynowych z tomogramu. Skrót: DIV = dni in vitro. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Plik uzupełniający 1: Tomogram używany w tym protokole oraz multi-ROI, który został wygenerowany jako dane wejściowe treningu, są dołączone jako zestaw danych (Training.ORSObject). Zobacz https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Licencja otwartego dostępu do tego protokołu została opłacona przez Object Research Systems.