Artykuł metodologiczny

Segmentacja objętościowa i analiza materiałów biologicznych za pomocą środowiska pracy SuRVoS (Super-region Volume Segmentation)

9.9K wyświetleń

⸱

DOI:

10.3791/56162

⸱

23 sierpnia 2017

 ,  ,  ,  ,  ,  ,  , 
1Science Division, Harwell Science and Innovation Campus, Diamond Light Source, 2School of Computer Science, University of Nottingham

W tym artykule

Podsumowanie

Segmentacja trójwymiarowych danych z wielu technik obrazowania jest głównym wąskim gardłem w analizie złożonych systemów biologicznych. W tym miejscu opisujemy zastosowanie SuRVoS Workbench do półautomatycznej segmentacji danych wolumetrycznych w różnych skalach długości przy użyciu przykładowych zestawów danych z techniki krioelektronowej tomografii, kriogenicznej miękkiej tomografii rentgenowskiej i tomografii rentgenowskiej z kontrastem fazowym.

Streszczenie

Segmentacja to proces izolowania określonych regionów lub obiektów w obrazowanej objętości, tak aby można było podjąć dalsze badania nad tymi obszarami zainteresowania. Biorąc pod uwagę analizę złożonych systemów biologicznych, segmentacja trójwymiarowych danych obrazowych jest czasochłonnym i pracochłonnym krokiem. Wraz ze zwiększoną dostępnością wielu metod obrazowania i zautomatyzowanymi schematami gromadzenia danych, stanowi to zwiększone wyzwanie dla współczesnego biologa doświadczalnego, aby przejść od danych do wiedzy. W tej publikacji opisano użycie SuRVoS Workbench, programu zaprojektowanego w celu rozwiązania tych problemów poprzez zapewnienie metod półautomatycznej segmentacji złożonych biologicznych danych wolumetrycznych. Przedstawiono tutaj trzy zestawy danych o różnych modalnościach powiększania i obrazowania, z których każdy podkreśla inne strategie segmentacji za pomocą SuRVoS. Tomografia rentgenowska z kontrastem fazowym (mikroCT) owocnika rośliny służy do demonstracji segmentacji za pomocą trenowania modelu, kriotomografia elektronowa (cryoET) ludzkich płytek krwi służy do demonstracji segmentacji za pomocą super- i megawokseli, a kriomiękka tomografia rentgenowska (cryoSXT) linii komórkowej ssaków służy do demonstracji narzędzi do dzielenia etykiet. Przedstawiono również strategie i parametry dla każdego typu danych. Łącząc szereg półautomatycznych procesów w jedno interaktywne narzędzie, SuRVoS zapewnia szereg korzyści. Całkowity czas segmentacji danych wolumetrycznych jest pięciokrotnie krótszy w porównaniu z segmentacją ręczną, która jest podstawą w wielu dziedzinach przetwarzania obrazów. Jest to znaczna oszczędność, gdy pełna ręczna segmentacja może zająć tygodnie wysiłku. Ponadto subiektywność jest rozwiązywana poprzez wykorzystanie obliczeniowo zidentyfikowanych granic i dzielenie złożonych zbiorów obiektów według ich obliczonych właściwości, a nie na podstawie indywidualnych przypadków.

Wprowadzenie

Środowisko pracy SuRVoS to oprogramowanie zaprojektowane tak, aby umożliwić badaczom wydobywanie naukowo istotnych informacji z danych wolumetrycznych z różnych próbek, niezależnie od interesującej ich struktury, rozdzielczości czy metody obrazowania1,2. Dane wolumetryczne, takie jak te, są często gromadzone za pomocą systemów tomografii rentgenowskiej lub elektronowej, rutynowo opartych na dużych laboratoriach lub scentralizowanych obiektach ze względu na ich złożoność. Obie te metody, a także inne techniki, generują duże, bogate w informacje zestawy danych, które okazują się trudne do segmentacji za pomocą metod półautomatycznych lub ręcznych. W szczególności zestawy danych unieruchomione kriogenicznie w stanie zbliżonym do natywnego wymagają warunków obrazowania o niskiej dawce, co skutkuje niskim stosunkiem sygnału do szumu i słabym kontrastem, szczególnie w kriotomografii elektronowej (cryoET)3,4,5. Dodatkowym czynnikiem w niektórych zestawach danych 3D jest obecność artefaktów wprowadzonych przez trudne warunki eksperymentalne, na przykład brakujące artefakty klinowe spowodowane gromadzeniem danych w ograniczonym zakresie nachylenia, co skutkuje brakiem informacji i wydłużeniem w kierunku belki3,4,5. Nawet jeśli niski stosunek sygnału do szumu lub brakujące artefakty klinowe nie są problematyczne (np. skupiona wiązka jonów SEM6 lub blok szeregowy SEM7), złożoność i trójwymiarowy charakter próbki oraz duża ilość danych średnio analizowane nadal skorzystałyby na zautomatyzowanym procesie segmentacji danych.

Obecnie, biorąc pod uwagę biologiczne objętości komórek, istnieje wiele opcji automatycznej lub półautomatycznej identyfikacji bardzo specyficznych cech komórkowych, takich jak aktyna, mikrotubule lub specyficzne kompleksy białkowe, za pomocą wyszukiwania opartego na szablonie, lub identyfikowania cech w określonych typach zestawów danych (np. próbki o wysokim kontraście, barwione, osadzone w żywicy)8,9,10,11,12. Jednak w takich przypadkach konieczne są informacje a priori lub określone protokoły przygotowania próbek, co ogranicza szerokie zastosowanie tych strategii segmentacji. Dostępne są również narzędzia, które przeprowadzają trening modelu na poziomie wokseli, aby nauczyć się wyglądu różnych interesujących struktur po wprowadzeniu danych przez użytkownika13. Jednak na tym poziomie złożoność trenowania i testowania modeli może być podatna na błędy i kosztowna obliczeniowo. Biorąc pod uwagę trudne warunki obrazowania i brak szeroko stosowanych, półautomatycznych strategii segmentacji, ręczna segmentacja jest powszechna, nawet podczas pracy ze złożonymi materiałami biologicznymi14,15,16,17. Jednak ogólnie przyjmuje się, że proces ręcznej segmentacji jest nie tylko czasochłonny, ale także podatny na błędy, subiektywny i zmienny4,5,18,19,20. Niektóre programy do segmentacji oferują narzędzia ułatwiające ręczny proces segmentacji (np. interpolacja, lasso lub narzędzia do rozdmuchiwania)21,22, jednak w przypadku hałaśliwych zbiorów danych są one trudne do skutecznego zastosowania, a nawet jeśli są używane z powodzeniem, proces jest nadal subiektywny i zmienny.

Tradycyjnie, segmentacje były używane na dwa różne sposoby: jakościowo lub ilościowo. Wraz z rozwojem technologii obrazowania i strategii segmentacji, coraz powszechniejsze staje się używanie segmentacji jako narzędzia ilościowego do odpowiadania na pytania biologiczne oraz jako "podstawowej prawdy" do opracowywania algorytmów8,12,15,23,24,25. W tym celu wymagane są szczegółowe kontrole i równowagi, aby zmniejszyć zmienność i subiektywność w całym procesie26. Jednak te środki ostrożności jeszcze bardziej zwiększają czasochłonny charakter segmentacji. Z tego powodu tak ważne jest zapewnienie szybszej i mniej zmiennej strategii segmentacji.

Środowisko pracy SuRVoS zaczyna rozwiązywać te problemy, dostarczając użytkownikowi wybór narzędzi do uczenia maszynowego i przetwarzania obrazów, które pomagają użytkownikowi w procesie segmentacji, jednocześnie prowadząc użytkownika przez wymagane kroki. Aby to osiągnąć, w SuRVoS wdrożono jednocześnie dwie kluczowe innowacje. Po pierwsze, używa hierarchii superregionów do grupowania podobnych, pobliskich regionów danych na podstawie ich nieodłącznych właściwości. Każdy z regionów w hierarchii reprezentuje ten sam wolumin przy użyciu mniejszej liczby elementów, a jednocześnie zapewnia silne przyleganie do granic. W ten sposób superregiony zmniejszają złożoność segmentacji woluminu o kilka rzędów wielkości, a jednocześnie reprezentują dane bez znaczącej utraty informacji27. Po drugie, SuRVoS zapewnia półautomatyczną strategię segmentacji, która wykorzystuje minimalną ilość ręcznych danych wejściowych segmentacji do trenowania klasyfikatorów, które są następnie używane do segmentacji pozostałej objętości28,29. Strategia ta ogranicza ręczną segmentację, znacznie zmniejszając ilość czasu poświęcanego przez użytkownika na segmentację, a w przypadku korzystania z superregionów eliminuje ręczne wyznaczanie granic, potencjalnie zmniejszając zmienność i subiektywność.

Kolejną kluczową funkcją SuRVoS jest narzędzie do dzielenia etykiet, dzięki któremu użytkownik może sklasyfikować serię już podzielonych na segmenty obiektów na podstawie ich nieodłącznych właściwości. Po segmentacji różnych obiektów zainteresowania, narzędzie to może być użyte do podzielenia zbioru na podklasy na podstawie miar, takich jak średnia intensywność obiektu, wariancja, rozmiar, lokalizacja itp. Jest to przydatne przy klasyfikowaniu dużych grup obiektów o dużej złożoności. Na przykład grupę organelli komórkowych można podzielić na mitochondria, puste pęcherzyki, kropelki lipidów itp.; lub zestaw wtrąceń materiałowych można rozdzielić na podstawie rozmiaru lub kształtu. Po segmentacji poszczególne etykiety można podzielić na grupy przy użyciu dowolnej liczby klasyfikatorów, co zmniejsza błąd systematyczny identyfikacji.

Środowisko pracy SuRVoS zostało z powodzeniem wykorzystane do segmentacji danych z kilku technik obrazowania. W tym przypadku synchrotronowa rentgenowska tomografia z kontrastem fazowym (mikroCT) owocnika rośliny jest wykorzystywana do demonstracji segmentacji za pomocą treningu modelowego, krioelektronowa tomografia (cryoET) ludzkich płytek krwi jest wykorzystywana do demonstracji segmentacji za pomocą super- i megawokseli, a kriomiękka tomografia rentgenowska (cryoSXT) linii komórkowej ssaków jest używana do demonstracji narzędzi do dzielenia etykiet

Protokół

UWAGA: Ogólnie użyteczne zakresy parametrów dla każdego kroku przetwarzania oraz szczegółowe parametry dla każdego typu danych pokazane tutaj są podane w Tabeli 1.

1. Przygotowanie przestrzeni roboczej i wczytywanie danych

  1. Uruchom SuRVoS Workbench, kliknij przycisk Otwórz zestaw danych, a następnie w wyświetlonym wyskakującym okienku wybierz plik danych, który chcesz podzielić na segmenty. Wybierz odpowiednią orientację zestawu danych. Następnie wybierz lub utwórz folder, w którym będzie przechowywany obszar roboczy i skojarzone pliki. Zaleca się, aby ten folder był pusty podczas rozpoczynania nowej segmentacji. Po załadowaniu danych otworzy się środowisko pracy z panelem Wtyczki po lewej stronie, panelem Wizualizacja po prawej stronie i zestawem skrótów narzędzi między dwoma panelami (Rysunek 1).

2. Przetwarzanie wstępne i reprezentacja danych

  1. Na karcie Wybierz ROI wprowadź współrzędne początkowe i końcowe z, y i x dla obszaru zainteresowania, a następnie kliknij przycisk dodaj. Aby wybrać odpowiednie współrzędne y i x, najedź kursorem myszy na punkt na obrazie. Wybierz współrzędne z za pomocą suwaka w górnej części okienka Wizualizacja. Po dodaniu regionu upewnij się, że jest on wybrany, zaznaczając pole po prawej stronie. Wszystkie obliczenia podrzędne zostaną wykonane w wybranym regionie. Ogólnie rzecz biorąc, zaleca się rozpoczęcie od małego, reprezentatywnego obszaru zainteresowania (ROI), optymalizację parametrów, a następnie ponowne zastosowanie tych parametrów do całego obszaru, który ma być podzielony na segmenty.
  2. Na karcie Kanały funkcji użyj menu rozwijanego u góry, aby wybrać funkcję/filtr i dodać go do kolejki (zobacz Dyskusja, aby uzyskać więcej informacji na temat kanałów funkcji). Po dodaniu i wybraniu funkcji/filtru poprzez kliknięcie jego nazwy zmodyfikuj opcje specyficzne dla funkcji/filtru i wybierz wejściowy zestaw danych, na którym chcesz uruchomić funkcję/filtr. Po wybraniu wszystkich opcji kliknij pole wyboru po prawej stronie nazwy funkcji/filtru, aby wykonać obliczenia.
    1. Aby zoptymalizować parametry dla nowego zestawu danych, dodaj wiele filtrów/funkcji i wybierz dla nich parametry, zanim zostaną obliczone w kolejności, jeden po drugim. W tym celu dodaj każdy nowy filtr/funkcję i wybierz odpowiednie parametry, zaznacz pole wyboru po lewej stronie każdego filtru/funkcji, która ma zostać uruchomiona, a następnie kliknij pole funkcji obliczeniowych w górnej części okienka. Zobacz Dyskusja, aby uzyskać dodatkowe informacje.

3. Generowanie odpowiednich superregionów

  1. Na karcie Super Regions, w sekcji Supervoxels (Superwoksele), użyj menu rozwijanego source, aby wybrać filtrowany zestaw danych, z którego zostaną utworzone superwoksele. Następnie określ kształt, odstępy i zwartość superwokseli (zobacz Dyskusja i Rysunek 2, aby uzyskać więcej informacji). Na koniec kliknij przycisk Zastosuj, aby wygenerować superwoksele. Po utworzeniu superwokseli można je wyświetlać w okienku Wizualizacja, włączać i wyłączać, a ich przezroczystość kontrolować na karcie Wizualizacja i skrótu w oknie przeglądarki.
  2. Na karcie Super Regions, w sekcji Megawoksele użyj menu rozwijanego źródła, aby wybrać filtrowany zestaw danych, z którego zostaną utworzone megawoksele. Następnie określ parametry lambda, numBins i Gamma megawokseli (więcej szczegółów można znaleźć w Dyskusji). Po utworzeniu megawokseli można je wyświetlać w okienku Wizualizacja, włączać i wyłączać, a ich przezroczystość kontrolować na karcie Wizualizacja i w skrócie Okno przeglądarki.

4. Wprowadzenie do adnotacji

  1. Na karcie Adnotacje użyj przycisku Dodaj poziom, aby dodać poziom adnotacji. Po dodaniu poziomu użyj przycisku Dodaj etykietę na tym poziomie, aby dodać etykietę do adnotacji. Po dodaniu nazwę i kolor etykiety można zmodyfikować w celu ułatwienia adnotacji.
  2. Następnie, aby rozpocząć dodawanie adnotacji, wybierz ikonę pióra z sekcji skrótów narzędzia. Po wybraniu tej opcji w górnej części okienka Wizualizacja zostanie wyświetlony zestaw opcji. Te opcje kontrolują szerokość pióra i to, czy woksele, superwoksele czy megawoksele będą używane do dodawania adnotacji.
    1. Na potrzeby trenowania modelu zazwyczaj wybieraj superwoksele w polu rozwijanym Poziom adnotacji i należy użyć pisaka o średniej lub dużej szerokości. Na karcie adnotacje wybierz etykietę, do której chcesz dodać adnotację, zaznaczając pole wyboru po prawej stronie informacji o etykiecie. Następnie kliknij w okienku Wizualizacja, aby dodać adnotację do pojedynczego superwoksela, lub kliknij i przeciągnij, aby dodać adnotację wiele.
      UWAGA: Woksele i megawoksele można wybrać w polu rozwijanym Poziom adnotacji i użyć do dodawania adnotacji w ten sam sposób, co w przypadku megawokseli może umożliwić segmentację wielu tysięcy podobnych wokseli za pomocą jednego kliknięcia myszą.

5. Segmentacja za pomocą treningu modelu zademonstrowana za pomocą zestawu danych microCT.

UWAGA: Pierwsza segmentacja dla wielu zestawów danych polega na odróżnieniu od siebie wielu dużych regionów. Na przykład oddzielenie jądra od cytoplazmy lub komórki od zewnętrznego lodu i struktury nośnej. W przypadku tego typu segmentacji, z wyraźnie wytyczonymi granicami i dużymi regionami, przydatne jest trenowanie modelu. Aby to zademonstrować, zostaną wykorzystane dane tomograficzne z kontrastem fazowym rentgenowskim trawy gęsiowej.

  1. Załaduj dane, wstępnie przetwórz je przy użyciu filtru i zestawu funkcji, a następnie określ odpowiednie superwoksele i/lub megawoksele, jak opisano w powyższych sekcjach, korzystając z parametrów w tabeli 1 jako przewodnika. Kontynuując korzystanie z parametrów z Tabeli 1 i instrukcji w sekcji 4, z grubsza opisz niektóre duże obszary zestawu danych, jak pokazano w Rysunek 3.
    UWAGA: W tym momencie zestaw danych nie musi być całkowicie podzielony na segmenty.
  2. Na karcie Trenowanie modelu ustaw poziom przewidywania na poziom zawierający adnotacje trenowania ręcznego, a w sekcji deskryptora ustaw region na Superwoksele. Następnie wybierz deskryptory, które mają być używane do różnicowania regionów danych, klikając menu rozwijane Wybierz źródła i zaznaczając pola wyboru funkcji i filtrów (patrz Tabela 1 i dyskusja).
  3. Następnie kliknij przycisk przewidywania. Po zakończeniu obliczeń okienko Wizualizacja zostanie zaktualizowane o przewidywania dla wszystkich wokseli bez etykiet pokazujące, do których klas adnotacji mają należeć. Ogólnie rzecz biorąc, parametry domyślne dla każdej metodologii klasyfikatora stanowią dobry punkt wyjścia, a użytkownik powinien potrzebować tylko przełączać się między klasyfikatorami, aby znaleźć dobre dopasowanie. Jednak dla doświadczonych użytkowników opcje dla każdego klasyfikatora są dostępne i mogą być modyfikowane.
  4. Po ocenie efektu metodyk szkoleniowych i wybraniu jednej z nich, zastosuj dodatkowe udoskonalenie, klikając menu rozwijane Uściślij w sekcji Uściślanie. W dolnej części karty Trenowanie modelu w sekcji "Aktualizuj adnotacje" upewnij się, że menu rozwijane wizualizacji jest ustawione na Przewidywania. Użyj suwaka ufności, aby przypisać więcej lub mniej superwokseli bez adnotacji do wybranych etykiet adnotacji.
  5. Po wybraniu odpowiedniego poziomu ufności na podstawie inspekcji wizualnej użyj przycisków Zapisz obok etykiet w dolnej części narzędzia Zaufanie, aby zapisać przewidywania na określonych etykietach. Okienko Wizualizacja zostanie zaktualizowane w celu wyświetlenia zmian. Każdą etykietę można zapisać osobno, a etykiety można zapisać z mniejszych podregionów, wprowadzając wartości w polach Od i Do z, y i x oraz klikając przycisk Zapisz dla każdej etykiety.
  6. Rozwiąż problem drobnych błędów w oznaczaniu, podając dalsze dane szkoleniowe zgodnie z opisem w sekcji 4. Po dodaniu odpowiednich przewidywań do etykiet powtórz proces trenowania modelu z uściślaniem i dodawaniem przewidywań o wysokim poziomie ufności, aż nie będzie już więcej nieoznaczonych superwokseli. Jest to skuteczne, ponieważ za każdym razem, gdy uruchamiany jest proces trenowania modelu, istnieje więcej przypisanych superwokseli do trenowania, a zatem proces staje się bardziej niezawodny wraz ze wzrostem iteracji.

6. Segmentacja za pomocą superregionów, zademonstrowana za pomocą zestawu danych CryoET.

UWAGA: Ponieważ segmentacja superregionów jest przydatna dla mniejszych, dyskretnie powiązanych obszarów, tutaj skupimy się na segmentacji organelli i mikrotubul w tym zestawie danych. Trening modelowy wykorzystano do szybkiej segmentacji płytek krwi od tła lodu i węgla; parametry te nie są dalej omawiane, ale przedstawiono je w tabeli 1.

  1. Załaduj dane, wstępnie przetwórz je przy użyciu filtru i zestawu funkcji, a następnie określ odpowiednie superwoksele i/lub megawoksele, jak opisano w powyższych sekcjach, korzystając z parametrów w tabeli 1 jako przewodnika.
  2. Dodaj odpowiednie poziomy i etykiety do karty adnotacji, wybierz etykietę i rozpocznij dodawanie adnotacji przy użyciu pisaka o średniej szerokości z wybranymi superwokselami. Należy pamiętać o konieczności wyboru różnych etykiet dla obiektów znajdujących się w bliskiej odległości od siebie, aby uniknąć oznaczania ich jako pojedynczego obiektu.
  3. W celu dalszego uporządkowania adnotacji należy zastosować metody udoskonalania morfologicznego (dylatacja, erozja, otwieranie, zamykanie i wypełnianie otworów). Te opcje można znaleźć u dołu karty Adnotacje. Aby z nich skorzystać, wybierz etykietę segmentacji i metodę zagęszczenia. Wprowadź wartość promienia i wybierz sposób zastosowania zagęszczenia. Następnie kliknij przycisk Uściślij.

7. Klasyfikacja i analiza obiektów danych na podstawie cech wrodzonych, zademonstrowana za pomocą zestawu danych CryoSXT

UWAGA: Generalnie, następnym krokiem po segmentacji jest analiza danych. Narzędzie do rozdzielania etykiet w SuRVoS pozwala na klasyfikację podzielonych na segmenty obiektów przy użyciu reguł opartych na wewnętrznych cechach obiektów, takich jak średnia intensywność obiektu, wariancja, objętość lub położenie. Narzędzie statystyk etykiet pozwala na wizualizację relacji między tymi miarami dla każdej nowej klasy obiektów. Są to nowe, potężne narzędzia do analizy złożonych zbiorów danych 3D po segmentacji.

  1. Załaduj dane, wstępnie przetwórz je za pomocą filtra i zestawu funkcji, określ odpowiednie superwoksele i/lub megawoksele i podziel je na segmenty zgodnie z opisem w powyższych sekcjach, korzystając z parametrów w tabeli 1 jako przewodnika.
  2. Po segmentacji kliknij drugą zakładkę okienka Wizualizacja o nazwie Rozdzielacz etykiet. Spowoduje to dodanie nowego obszaru po prawej stronie okna - okienka Tworzenie reguły.
  3. W górnej części tego obszaru wybierz odpowiedni poziom i etykiety do podziału etykiet. Następnie wybierz zestaw danych do wykonania zapytania, a następnie kliknij pozycję Etykieta. Wszystkie obiekty w wybranych etykietach będą teraz oznaczone kolorem niebieskim jako osobne obiekty w okienku Wizualizacja, a wykres przedstawiający średnią intensywność obiektów zostanie wyświetlony w okienku Tworzenie reguły. Aby zmienić miarę wyświetlaną na wykresie, kliknij listę rozwijaną w górnej części prawej strony.
  4. Aby rozpocząć dzielenie obiektów na odpowiednie klasy, kliknij przycisk Dodaj nową etykietę u dołu okienka Tworzenie reguły. Nazwę i kolor skojarzone z tą nową etykietą można zmienić w sposób opisany wcześniej.
    1. Kliknij przycisk Dodaj nową regułę i za pomocą pól rozwijanych oraz dowolnego wprowadzania zdefiniuj regułę, która ma zostać zastosowana. Kliknij przycisk Zastosuj, aby wyświetlić efekty nowej reguły w okienku Wizualizacja i wykresu w okienku Tworzenie reguły. Do jednej etykiety można zastosować wiele reguł, a w tym samym zestawie danych można utworzyć wiele etykiet.
      UWAGA: Aby zebrać wszystkie nieoznaczone obiekty, utwórz nową etykietę i zamiast dodawać do niej regułę, kliknij przycisk Wybierz inne.
  5. Gdy interesujące nas obiekty zostaną podzielone na nowe etykiety, utwórz nowy, pusty poziom w zakładce Adnotacje. Następnie wybierz ten poziom w zakładce Tworzenie reguły i kliknij Zapisz etykiety. Spowoduje to zapisanie nowych etykiet na tym pustym poziomie.
  6. Na krawędzi okienka Wizualizacja kliknij kartę Statystyka etykiety. Spowoduje to otwarcie nowego okienka Wizualizacja, którego można użyć do rozpoczęcia zrozumienia relacji między klasami obiektów w danych. U góry wybierz odpowiedni poziom i etykiety oraz zestaw danych do wykonania zapytania.
    1. Wybierz kilka interesujących Cię miar, zaznaczając pola obok nich. Następnie kliknij przycisk Etykieta. W ten sposób zostaną wygenerowane wykresy porównawcze parami dla każdej z wybranych miar. Aby zaktualizować wykresy, zaznacz lub odznacz odpowiednie miary, a następnie kliknij przycisk Aktualizuj wykres.

8. Eksport danych i segmentacji

  1. Wyeksportuj wykresy i surowe dane pomiarowe, klikając odpowiednio opcję Eksportuj wykres i Eksportuj dane na karcie Statystyki etykiet w okienku Wizualizacja.
  2. Wyeksportuj dane obrazu i segmentacje, klikając kartę Eksportuj w panelu Wtyczki. Najpierw kliknij, aby wybrać folder, w którym zostaną zapisane dane. Następnie wybierz dane wyjściowe (dane nieprzetworzone, adnotacje RAW, maski segmentacji lub dane maskowane) i format (HDF5, MRC lub TIFF). Na koniec wybierz poziomy adnotacji, które chcesz wyeksportować, korzystając z pól wyboru, i kliknij przycisk Eksportuj. W razie potrzeby dane można skalować i odwracać przed eksportem. Podczas eksportowania zamaskowanych danych zestaw danych, do którego zostaną zastosowane maski, można wybrać za pomocą menu rozwijanego.

Wyniki

Trzy zestawy danych wolumetrycznych zgromadzone przy użyciu trzech różnych technik (microCT, cryoET oraz cryoSXT) posłużyły do zademonstrowania trzech kluczowych funkcji SuRVoS Workbench: trenowania modelu, segmentacji super-regionów oraz rozdzielania etykiet. Zbiory danych te reprezentują zróżnicowaną grupę wyników eksperymentalnych, dla których podano pełne parametry przetwarzania (Tabela 1).

Aby zademonstrować trenowanie modelu przy użyciu SuRVoS Workbench, wybrano zbiór danych o stosunkowo wysokim kontraście z wyraźnie zdefiniowanymi granicami obszarów. Ten zbiór danych przedstawiający owoc Galium aparine (świerzopy aparinowej) został zebrany przy użyciu tomografii rentgenowskiej z kontrastem fazowym na linii I13-2 Diamond-Manchester Imaging Beamline w Diamond Light Source w Chilton, Oxfordshire, Wielka Brytania. Świeżą próbkę zamontowano w powietrzu na podstawie goniometru na stole obrotowym, w odległości 30 mm od detektora. Czasy ekspozycji wynosiły 0,10 s przy użyciu widma różowej wiązki (pink beam) o średniej energii około 2 keV. Projekcje zbierano w zakresie 180° z krokiem 0,1°. Rekonstrukcje tomograficzne wykonano za pomocą oprogramowania Savu30,31 z zastosowaniem filtru Paganina dla obrazów z kontrastem fazowym opartym na propagacji32, a następnie przeprowadzono rekonstrukcję metodą filtrowanej projekcji wstecznej w zestawie narzędzi ASTRA toolkit3,34. Następnie dane te zostały zmniejszone poprzez binning 2 x 2 x 2 w celu redukcji rozmiaru plików przed wprowadzeniem ich do SuRVoS Workbench.

Najpierw dane wejściowe (Rysunek 3A) zostały przefiltrowane i poddane ograniczaniu (clampingu), aby usunąć górne i dolne wartości intensywności w danych (Rysunek 3B). W ten sposób tło i pierwszy plan stały się łatwiejsze do rozróżnienia, a tekstura wewnętrznej struktury owocu została uwydatniona. Następnie, na bazie przefiltrowanego zbioru danych, zbudowano superwoxele (Rysunek 3C). Aby ocenić jakość superwoxeli, wyświetlono je bez danych, aby zweryfikować, czy istotne szczegóły zbioru danych zostały prawidłowo odwzorowane przez superwoxele (Rysunek 3D). Następnie, na trzech przekrojach objętości, przygotowano manualne adnotacje z wykorzystaniem superwoxeli jako dane treningowe (Rysunek 3E, ciemne kolory). Dane treningowe te były wystarczające, aby wytrenować klasyfikator do przewidywania (jasne kolory) obszarów odpowiadających tłu (zielony), szczecince owocu (czerwony), materiałowi nasiennemu (fioletowy) oraz otaczającemu miąższowi (niebieski). Do oczyszczenia segmentacji zastosowano korekty morfologiczne, polegające na wypełnianiu dziur oraz rozszerzaniu lub kurczeniu obszarów w zależności od potrzeb (Rysunek 3F). Całkowity czas poświęcony na ustalenie odpowiednich parametrów i segmentację tego zbioru danych wyniósł 2 h.

Aby zademonstrować segmentację superregionów przy użyciu SuRVoS Workbench, wybrano zaszumiony i złożony zestaw danych15. Zbiór ten został zgromadzony za pomocą kriotomografii elektronicznej (cryoET) w Narodowym Centrum Obrazowania Makcząsteczkowego (National Center for Macromolecular Imaging) w Baylor College of Medicine w Houston, TX, USA. W skrócie, płytki krwi zamrożono metodą gwałtownego chłodzenia na perforowanych siatkach TEM z węgla, poddanych wyładowaniom żarowym i traktowanych złotymi markerami fiducjalnymi. Serie nachyleń zbierano w zakresie ±65° z krokiem 2°. Następnie serie nachyleń zrekonstruowano za pomocą ważonej projekcji wstecznej w programie IMOD35.

Po załadowaniu danych do programu SuRVoS (Rycina 4A), wybrano obszar zainteresowania i zastosowano odpowiedni zestaw filtrów. W tym przypadku użyto wygładzającego filtra Gaussa, a następnie filtra całkowitej zmienności (total variation filter) z ograniczonym kontrastem, aby podkreślić krawędzie i tekstury danych (Rysunek 4B). Następnie, w celu odseparowania płytki krwi od tła stanowiącego lód i węgiel, zastosowano trenowanie modelu z minimalnym wkładem użytkownika opartym na superwokselach. Potem, do segmentacji organelli wykorzystano półautomatyczną segmentację z użyciem megawokseli i superwokseli. Na koniec zmieniono parametr źródłowy superwokseli na słabszy filtr odszumiający oraz zmniejszono kształt superwoksela (patrz Tabela 1) w celu lepszego zachowania granic mikrotubul do segmentacji (Rysunek 4C). W przypadku organelli i mikrotubul stosowano szybkie adnotacje ręczne co 5–10 przekrojów, aby wybrać superwoxele opisujące interesującą cechę (Rycina 4D & 4E). Całkowity czas poświęcony na wyznaczenie odpowiednich parametrów i segmentację zaprezentowanego obszaru zainteresowania wyniósł 6 h.

Aby zademonstrować dzielenie etykiet przy użyciu SuRVoS Workbench, wybrano zbiór danych zawierający wiele zróżnicowanych organelli. Zbiór ten zgromadzono przy użyciu cryoSXT na linii wiązki B24 w Diamond Light Source, Chilton, Oxfordshire, UK36. W skrócie, komórki HEK293 hodowano na złotych siatkach z markerami, dodano odpowiedniej wielkości złote punkty orientacyjne (fiducjały), a następnie siatkę zamrożono metodą plunge freezing przy użyciu EM z blottingiem od strony tylnej. Serie pochyleń zebrano na mikroskopie w zakresie ±65° z przyrostem 0,5°. Następnie serie pochyleń zrekonstruowano metodą ważonej projekcji wstecznej w programie IMOD35.

Po załadowaniu danych do programu SuRVoS (Rysunek 5A), wybrano obszar zainteresowania i zastosowano odpowiedni filtr całkowitej wariancji (total variation filter) w celu uwydatnienia granic organelli w całej objętości (Rysunek 5B). Następnie organelle poddano półautomatycznej segmentacji z wykorzystaniem megawokseli i superwokseli, a następnie doprecyzowano wyniki, stosując funkcje wypełniania dziur (fill holes), zamykania (closing) i dylatacji w celu wygładzenia krawędzi (Rysunek 5C). Całkowity czas potrzebny na ustalenie odpowiednich parametrów i segmentację przedstawionego obszaru zainteresowania wyniósł 4 h. Po sfinalizowaniu segmentacji wykorzystano narzędzie Label Splitter do wizualizacji każdej organelli jako osobnego obiektu w zbiorze danych (Rysunek 5D) oraz do analizy różnych charakterystyk każdego obiektu na wykresie danych (Rysunek 5E). Interfejs Label Splitter jest interaktywny i aktualizuje kolor przypisany do każdej nowej klasy etykiet zarówno w wizualizacji, jak i na wykresie danych. Pozwala to na tworzenie różnych reguł w oparciu o cechy właściwe dla danych, które mogą być wykorzystane do podziału obiektów na użyteczne klasy (Rysunek 5F).

Analiza obrazów cryo-EM; szczegółowa struktura komórki z ustawieniami kontrastu i warstw w oprogramowaniu analitycznym.
Rysunek 1. Układ i ogólne funkcje stanowiska roboczego SuRVoS.
Interfejs GUI znajduje się po lewej stronie, natomiast panel wizualizacji po prawej. Te dwa obszary są rozdzielone kolumną narzędzi i skrótów. GUI zostało tak zaprojektowane, aby przeprowadzić użytkownika przez główne etapy przetwarzania wstępnego danych, wyboru parametrów superwokseli i/lub megawokseli, segmentacji danych oraz, w razie potrzeby, trenowania modelu przed eksportem segmentacji. Panel wizualizacji może być używany w trzech trybach: podstawowej wizualizacji i segmentacji, służącej do przeglądania danych i zastosowanych filtrów oraz segmentacji danych; rozdzielacza etykiet (label splitter), służącego do kategoryzowania obiektów w nowe etykiety na podstawie cech immanentnych dla danych; oraz statystyk etykiet, służących do pomiaru i wizualizacji charakterystyk segmentowanych obiektów. W każdym z tych trybów menu rozwijane w lewym górnym rogu kontroluje wyświetlane dane, a suwak na górze steruje osią z. Skróty narzędzi zapewniają łatwy dostęp do regulacji kontrastu, przezroczystości warstw, przybliżania, przesuwania i powrotu do widoku „home” w panelu wizualizacji, a także uruchamiania narzędzi do adnotacji opisanych w protokole. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej figury.

Schemat hierarchii superregionów: obraz oryginalny, segmentacja superwokseli, abstrakcja megawokseli w obrazach.
Rysunek 2. Hierarchia superregionów zmniejsza złożoność segmentacji obrazu.
Obraz z Berkeley Segmentation Dataset (BSDS500)37) wykorzystano do zademonstrowania właściwości i efektów stosowania superregionów. Oryginalny obraz (po lewej) składa się z tysięcy wokseli, które następnie są łączone w sąsiadujące, podobne grupy, tworząc kilkaset superwokseli (środek). Superwoksele mogą być również łączone w sąsiadujące, podobne grupy, tworząc kilkanaście megawokseli (po prawej). Z każdym kolejnym grupowaniem stopień złożoności zadania segmentacji ulega zmniejszeniu, zarówno pod kątem zasobów obliczeniowych, jak i manualnych. Należy zaznaczyć, że przedstawiony tutaj przykład jest dwuwymiarowy, jednak zarówno superwoksele, jak i megawoksele są trójwymiarowe. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Schemat analizy segmentacji komórek; obrazy mikroskopowe oznaczone literami A-F przedstawiają poszczególne etapy przetwarzania.
Rycina 3. Przetwarzanie zbioru danych mikroCT z zastosowaniem strategii segmentacji opartej na trenowaniu modelu.
A. Pojedynczy przekrój 2D surowych danych. B. Zastosowanie filtra całkowitej wariacji z ograniczonym zakresem (clamped total variation filter) do surowych danych pozwoliło na uwidocznienie granic między poszczególnymi elementami owocnika. C. Wybrano odpowiednie parametry supervokseli. D. Obszar zainteresowania (czerwona ramka w C) pokazano, aby zademonstrować, że granice danych znajdują się w samych supervokselach. E. Trzy przekroje wolumenu z ręcznymi adnotacjami różnych obszarów zbioru danych wyświetlonymi w ciemnych kolorach (zielonym, czerwonym, niebieskim i fioletowym) oraz predykcjami po przeprowadzeniu treningu modelu wyświetlonymi w odpowiadających im jasnych kolorach. F. Te same trzy przekroje z końcową segmentacją po zaakceptowaniu predykcji z modelu po treningu. Paski skali wynoszą 1 mm. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Kriomikroskopia elektronowa, struktury komórkowe; panele A-E przedstawiają analizę komórek przy różnych powiększeniach.
Rysunek 4. Przetwarzanie zbioru danych cryoET z wykorzystaniem strategii segmentacji superregionów.
A. Pojedynczy przekrój 2D surowych danych. B. obszar zainteresowania (czerwona ramka w A) z zastosowaniem zestawu filtrów warstwowych w celu uwydatnienia granic organelli. C. Przykład adnotacji organellum z wykorzystaniem superregionów. Przedstawiono pojedyncze organellum z nałożonymi superwokselami, gdzie ręczna adnotacja użytkownika jest wyświetlona na czarno (po lewej), a superwoksele wybrane za pomocą tej adnotacji są zaznaczone na niebiesko (po prawej). D. Przykład adnotacji mikrotubuli z wykorzystaniem superregionów. Przedstawiono pojedynczy region mikrotubuli z wyświetloną ręczną adnotacją użytkownika w kolorze czarnym (po lewej) oraz superwokselami wybranymi na podstawie tej adnotacji w kolorze zielonym (po prawej). E. Ostateczna segmentacja przedstawiająca płytkę krwi wysegmentowaną z tła przy użyciu uczenia modelu (szczegóły w Tabeli 1) oraz różne organella i mikrotubule wysegmentowane przy użyciu strategii segmentacji super-regionów. Kolory nie wskazują konkretnych typów organelli, ponieważ są one tutaj przedstawione przed klasyfikacją. Paski skali w A, B i E wynoszą 1 μm a w C i D są 0.5 μm. Aby wyświetlić powiększoną wersję tej figury, kliknij tutaj.

Analiza segmentacji komórek; obrazy mikroskopowe i wykresy intensywności prezentują wyniki przetwarzania danych.
Rysunek 5. Analiza zbioru danych cryoSXT przy użyciu narzędzia Label Splitter.
A. Pojedynczy przekrój 2D surowych danych. B. Obszar zainteresowania (czerwona ramka w A) z zastosowanym filtrem całkowitej wariancji w celu uwydatnienia organelli. C. Końcowa segmentacja z nałożonymi superwokselami. D. część wizualizacyjna modułu dzielenia etykiet z organellami sklasyfikowanymi zgodnie z zasadami przedstawionymi w F. E. część wykresu rozdzielacza etykiet wyświetlająca średnią intensywność wewnątrz każdego obiektu, z regułami wyświetlanymi w F zastosowano. Każda pionowa linia wzdłuż osi x reprezentuje pojedynczy obiekt i jest oznaczona kolorem odpowiadającym przypisanej do niego klasie. F. Przykładowe reguły klasyfikacji służące do rozdzielania różnych obiektów na podstawie ich właściwości immanentnych. Paski skali wynoszą 1 μm. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Nazwa / Zbiór danychŹródłoP1P2P3P4
Filtr GaussaSigma
Zakres / Domyślne-[0.5, 10] / 1
(G1) cryoETSurowe dane1
(G2) cryoETSurowe dane2
Całkowita wariacjaLambdaOdstępyLiczba iteracjiZacisk
Zakres / Domyślne-[0.1, 30] / 10[0.1, 10] / 1[50, 500] / 10-
(TV1) microCTSurowe dane101100(1, -)
(TV2) cryoETG17120-
(TV3) cryoETG210110-
(TV4) cryoSXRSurowe dane7110-
ProgowanieVminVmax
Zakres / Domyślne
(TH1) cryoETTV30-
Centrowanie gaussowskieSigma
Zakres / Domyślne-[0.5, 10] / 2
(GC1) microCTTV12
Normalizacja gaussowskaSigma
Zakres / Domyślne-[0.5, 10] /2
(GN1) microCTTV12
Laplasjan GaussaSigmaPrógOdpowiedź
Zakres / Domyślne-[0.5, 10] / 2[Tak/Nie] / Nie[Jasna/Ciemna] / Jasna
(LG1) microCTTV12NieJasna
Różnica GaussówSigma początkowaStosunek Sigma
Zakres / Domyślne-[0.5, 10] / 2[1.1, 3] / 1.6
(DG1) microCTTV121.6
(DG2) cryoETTV321.6
Det. tensora strukturySigma1Sigma obszaru
Zakres / Domyślne-[0.5, 10] / 2[0.5, 10] / 2
(ST1) cryoETTV322
SuperwokseleKształtOdstępyKompaktowość
Zakres / Domyślne-[1, 10] / 10[0.1, 5] / 1[1, 20] / 20
(SV1) microCTTV1(10, 10, 10)(1, 1, 1)30
(SV2) cryoETTV3(10, 10, 10)(1, 1, 1)50
(SV3) cryoETTV2(3, 5, 5)(1, 1, 1)50
(SV4) cryoSXTTV4(10, 10, 10)(1, 1, 1)30
MegawokseleLambdaLiczba koszyGamma
Zakres / Domyślne-[0.01, 1] / 0.1[10, 20] / 20Brak, auto lub [0, 1] / Brak
(MV1) cryoETSV20.150auto
TV1
(MV2) cryoSXTSV40.450Brak
TV4
Trenowanie modeluRegionKlasyfikatorUdoskonalenie
Dostępne / Domyślne[woksel / superwoksel][Ensembles, SVM, Online Linear Models] / [Brak, Potts, Appearance] / Appearance
Ensemble - RF
microCTTV3SV1Random Forest:Appearance
 TH1 
GC1 - Liczba drzew:- Lambda:
GN1  [10, 10] / 10  [1, 50] / 10
LG1 1050
DG1
cryoETTV2   DG2   ST1SV2Random Forest:Appearance
- Liczba drzew:- Lambda:
  [10, 10] / 10  [1, 500] / 10
1050
Udoskonalenie adnotacjiPromień
Zakres / Domyślne[1, 20] / 1
microCT
Opening5
Wypełnianie dziur1
Dylatacja2
cryoET
Opening3
Wypełnianie dziur1
Dylatacja2
cryoSXT
Opening3
Wypełnianie dziur1
Dylatacja2

Tabela 1. Zoptymalizowane parametry wykorzystane do przetwarzania każdego z trzech zestawów danych (microCT, cryoET oraz cryoSXT).
Dla każdego parametru podano ogólny zakres oraz wartość domyślną. W wielu przypadkach jako źródło dla dalszego przetwarzania wykorzystano dane przefiltrowane. W takich sytuacjach zastosowano skrót w celu oznaczenia nowego zestawu danych źródłowych. Na przykład G1 (surowe dane cryoET po filtracji gaussowskiej) posłużyły jako dane wejściowe podczas filtracji wariancji całkowitej w celu utworzenia TV2. Informacje przedstawiono wyłącznie dla tych funkcji Workbench, które zostały wykorzystane do przetwarzania każdego zestawu danych. Na przykład trening modelu nie był stosowany podczas przetwarzania prezentowanego tutaj zestawu danych cryoSXT, dlatego nie podano dla niego żadnych parametrów.

Dyskusja

SuRVoS Workbench różni się od innych programów segmentacyjnych tym, że optymalizacja parametrów jest niezbędnym i ważnym krokiem przed rozpoczęciem właściwej segmentacji. W niektórych programach do segmentacji ręcznej lub półręcznej użytkownik rozpoczyna segmentację w ciągu kilku chwil od otwarcia nowego projektu. W przypadku SuRVoS, ponieważ duże ilości woluminu będą segmentowane przy bardzo niewielkim udziale użytkownika, a granice są wyznaczane przez program, optymalizacja parametrów ma kluczowe znaczenie dla udanej segmentacji. W szczególności kanały fabularne i budowanie superregionów to dwa obszary, na które należy zwrócić uwagę.

Kanały funkcji i trenowanie modeli

Oprócz danych surowych, SuRVoS umożliwia użytkownikowi tworzenie dodatkowych zestawów danych lub kanałów pochodzących z istniejącego zestawu danych. Kanały te można tworzyć przy użyciu wybranych metodologii obliczeniowych lub ekstraktorów funkcji. Każda z reprezentacji danych jest dostępna równolegle i może być indywidualnie wyświetlana w celu oceny wyników funkcji lub aplikacji filtrującej. Ze względu na te cechy są one określane jako kanały funkcji w SuRVoS. W SuRVoS dostępnych jest wiele opcji kanałów funkcji. Aby uzyskać informacje na temat opcji i parametrów używanych w tym miejscu, zobacz Tabelę 1, a pełną listę i opis dostępnych kanałów funkcji można znaleźć https://diamondlightsource.github.io/SuRVoS/ 2. Po pierwsze, hałaśliwe zestawy danych skorzystają na odszumianiu za pomocą filtra Gaussa lub filtra zmienności całkowitej. Zaleca się, aby dalsze obliczenia kanału cech i superwokseli/megawokseli były wykonywane przy użyciu jednego z tych odszumionych zestawów danych jako źródła danych. Ogólnie rzecz biorąc, zestaw danych odszumionych całkowitej zmienności jest używany jako dane źródłowe do obliczeń kanału cech i superwokseli/megawokseli. Sugeruje się, aby najpierw uruchomić z wartościami domyślnymi, ocenić wynik w 3D, a na końcu iteracyjnie zoptymalizować parametry zestawu danych. Ponadto kanały funkcji można przekształcić w "zestawy filtrów" w celu wyodrębnienia aspektów zbioru danych, a następnie można je wykorzystać jako źródła danych do tworzenia superwokseli i megawokseli. Chociaż ta strategia jest w dużym stopniu zależna od zestawu danych, może być korzystna.

Kanały funkcji są również używane jako źródła do trenowania klasyfikatora w trenowaniu modelu. Przy podejmowaniu decyzji o tym, które kanały funkcji mają być używane, zaleca się, aby podczas pracy z niewielką liczbą adnotacji w celu trenowania klasyfikatora używać kilku niezawodnych kanałów funkcji (np. z wykrywania obiektów blob, tekstury i struktury lub kategorii funkcji odpornych). Podczas pracy z dużą ilością danych treningowych zaleca się użycie większej liczby kanałów funkcji ogółem, z dowolnej kategorii, o ile dostarczają one różnych informacji do klasyfikatora (np. dodaj do powyższej listy kanały funkcji z kategorii funkcji lokalnych i cech Gaussa).

Trenowanie modelu składa się z trzech głównych części: dostarczania źródeł danych wejściowych, które opisują dane, używania tych danych wejściowych do trenowania klasyfikatora i wreszcie uściślania przewidywań wyjściowych. Ogólnie rzecz biorąc, mniejsze regiony danych będą wymagały większej liczby adnotacji użytkownika w celu dokładnego wytrenowania klasyfikatora, podczas gdy większe regiony danych będą wymagały mniejszej liczby adnotacji użytkownika. Trenowanie modelu najpierw bez wybierania uściślenia może służyć do znajdowania najlepszych przewidywań. Następnie uwzględnij udoskonalenie i zoptymalizuj parametr lambda zgodnie z potrzebami, aby rozwiązać problemy z przewidywaniami, takie jak lub postrzępione krawędzie.

Superwoksele i megawoksele

Superwoksele to zbitki wielu pobliskich, podobnych wokseli38,39. Superwoksele zaczynają się jako standardowa siatka 3D nałożona na dane, która jest następnie iteracyjnie deformowana w celu przylegania do podstawowych granic, a tym samym lepszego reprezentowania danych. Tworzenie i deformacja superwokseli jest kontrolowana przez cztery dane wejściowe użytkownika: źródło danych, kształt superpiksela, odstępy i zwartość. Źródło danych zawiera dane wejściowe, które są odpytywane podczas tworzenia superwoksela. Można użyć dowolnego źródła, w tym filtrowanych źródeł danych. Parametry kształtu superpiksela określają początkową siatkę 3D i przybliżony pożądany kształt wynikowych superwokseli. Zmiana tych parametrów może zwiększyć lub zmniejszyć rozmiar superwokseli przed deformacją. Parametry rozstawu określają znaczenie obwiedni w każdym kierunku. Zmiana tych parametrów może uwydatnić granice w jednym lub dwóch kierunkach kosztem pozostałych, co oznacza, że wynikowe superwoksele ulegną deformacji, aby lepiej podążać za granicami danych w danym kierunku. Ostatni parametr, zwartość, kontroluje, jak bardzo superwoksele mogą się odkształcać. Niska liczba zwartości pozwala superwokselom na większe odkształcenia. Te parametry powinny być zoptymalizowane w celu zapewnienia superwokseli reprezentujących granice danych będących przedmiotem zainteresowania. Uwaga: Obecnie parametry kształtu superwoksela muszą być równe 1024 lub mniej po pomnożeniu przez siebie.

Pod pewnymi względami parametry superwokseli mogą się nawzajem kompensować, co oznacza, że nie ma jednej "właściwej odpowiedzi" przy podejmowaniu decyzji o parametrach. Na przykład duża siatka początkowa (np. kształt superpiksela: 10 x 10 x 10) i niska liczba zwartości (np. 20) mogą dawać superwokselom podobne przyleganie granic w porównaniu z małą siatką początkową (np. kształt superpiksela 5 x 5 x 5) i wyższą liczbę zwartości (np . 50). Ponieważ w drugim scenariuszu jest więcej, mniejszych superwokseli, nie muszą one się tak bardzo deformować, aby reprezentować granice. Oba zestawy parametrów mogą być odpowiednie do segmentacji zbioru danych.

Największą kwestią przy wyborze parametrów superwokseli jest to, jak dobrze superwoksele reprezentują dane. Wyświetlanie samych superwokseli, bez danych pod nimi, jak na rysunku 2D, jest dobrym sposobem oceny parametrów superwokseli. Po wyświetleniu w ten sposób krawędzie i kontury kształtów znalezionych w danych powinny być nadal widoczne w superwokselach.

Megawoksele to konglomeraty wielu sąsiadujących, podobnych superwokseli38,39. Są one ponownie kontrolowane przez cztery dane wejściowe użytkownika: źródło danych, lambda, numbins i gamma. Podobnie jak w przypadku superwokseli, źródło danych udostępnia dane wejściowe, które są odpytywane podczas tworzenia megawokseli. Zarówno lambda, jak i numbiny wpływają na rozmiar i przyleganie granic megawokseli. W miarę powiększania się megawokseli (wysoka lambda, niskie drętwienia) zmniejsza się ich przyleganie do granic. Prawdą jest również to, że przyleganie do granic wzrośnie wraz z mniejszymi megawokselami (niska lambda, wysokie drętwienie), jednak wraz ze spadkiem rozmiaru megawoksela rośnie ich przydatność w szybkiej segmentacji dużych ilości wokseli. Opcjonalny parametr gamma steruje współczynnikiem gładkości w funkcji kosztu połączenia ze sobą dwóch superwokseli. Małe wartości gamma mogą zwiększyć podobieństwo między dwoma superwokselami, kosztem ogólnej mniejszej liczby megawokseli.

Podobnie jak w przypadku superwokseli, największą kwestią przy wyborze i optymalizacji parametrów megawokseli jest to, jak dobrze megawoksele reprezentują dane. Wyświetlanie samych megawokseli zgodnie z opisem dla superwokseli może być ponownie wykorzystane do oceny parametrów. Ponieważ jednak megawoksele są na ogół znacznie większe i są trójwymiarowe, zaleca się również korzystanie z narzędzi adnotacji w celu wybrania pojedynczych megawokseli, aby upewnić się, że granica między obszarami zainteresowania jest ścisła.

Strategia adnotacji

Opisano dwie ogólne strategie adnotacji: podejście do trenowania modelu jest przydatne do oddzielania dużych regionów zbioru danych, podczas gdy podejście do segmentacji superregionów jest przydatne w przypadku mniejszych, bardziej zróżnicowanych cech, takich jak poszczególne organelle. Adnotacje można organizować w sposób hierarchiczny, dzięki czemu można najpierw dodawać adnotacje do dużych regionów, a następnie dzielić je na bardziej szczegółowe regiony przy użyciu relacji nadrzędny-podrzędny. Etykietę nadrzędną etykiety można przypisać, klikając obszar po prawej stronie wyboru koloru etykiety i wybierając odpowiednią etykietę nadrzędną z poprzedniego poziomu. W praktyce większość zestawów danych korzysta zarówno ze strategii trenowania modelu, jak i segmentacji superregionów w celu segmentacji określonych regionów/funkcji zainteresowania.

W tym przykładzie trenowania modelu użyto kilku danych wejściowych trenowania (w postaci ręcznych adnotacji opartych na superwokselach użytkownika) na trzech równomiernie rozmieszczonych wycinkach danych. W ten sposób aspekt trenowania modelu SuRVoS znacznie zwiększa szybkość, z jaką możliwa jest segmentacja, zwłaszcza podczas pracy z dużymi, zróżnicowanymi regionami, takimi jak podział między regionami w owocniku trawy gęsiej, jak pokazano na rysunku 3.

Jeśli podczas trenowania modelu przewidywania nie są widoczne, może być konieczne przejście do karty Wizualizacja i upewnienie się, że warstwa Przewidywania jest włączona i ustawiona na odpowiednią przezroczystość. Ponadto pewność dokładności 0 przypisze każdy nieoznaczony superwoksel do etykiety, na podstawie tego, co jest najbliższym dopasowaniem. Ufność 100 spowoduje przypisanie etykiety tylko wtedy, gdy tylko jedna kategoria etykiety ma jakiekolwiek proporcjonalne dopasowanie. Wszystko, co znajduje się pomiędzy, jest kompromisem między tymi dwoma skrajnościami. Podczas wybierania poziomu ufności zaleca się sprawdzenie kilku wycinków, aby wizualnie sprawdzić, czy nie ma nieprawidłowo przewidywanych wokseli przed zapisaniem przewidywania na etykiecie.

Dobrą strategią adnotacji za pomocą superregionów jest użycie narzędzia do powiększania w celu powiększenia danych, dodania adnotacji do kilku organelli jednocześnie na jednym plasterku, stosując najpierw podejście "szybkie, niechlujne" (ryc. 4C). Następnie przesuń kilka plasterków w górę lub w dół w Z i powtórz ten proces. Ponieważ superwoksele są trójwymiarowe, wiele wad "niechlujnego" podejścia jest naprawianych przez adnotacje wykonane w powyższych lub niższych wycinkach. W ten sposób segmentacja jest przyspieszona, a granice są wyznaczane przez superwoksele, a nie ręcznie.

Aby oczyścić etykietę, udostępniono standardowe opcje uściślania segmentacji. Dylatacja powoduje, że wybrana etykieta segmentacji rośnie o zamierzony promień, erozja powoduje jej kurczenie się. Otwieranie i zamykanie to zastosowanie odpowiednio najpierw erozji, a następnie dylatacji lub odwrotnie. A wypełnianie dokładnie to robi. Kolejność tych operacji ma znaczenie. Ogólnie rzecz biorąc, dobrze sprawdza się wykonywanie wypełniania otworów, następnie otwierania, a następnie dylatacji. Każda metoda uszlachetniania może być zastosowana do pojedynczego plasterka ("ten plasterek"), do wszystkich plasterków w 2D ("Wszystkie plasterki (2D)") lub w 3D ("Cała objętość (3D)"). Zalecane są wszystkie plastry (2D).

Znaczenie i kierunki na przyszłość

Wydajna i dokładna segmentacja to kolejne wąskie gardło w przetwarzaniu zbiorów danych 3D, zwłaszcza w przypadku rutynowego automatycznego gromadzenia terabajtów danych obrazowych podczas długotrwałych sesji. SuRVoS Workbench może przyspieszyć proces segmentacji 5-krotnie w porównaniu z segmentacją ręczną. Ponadto, ponieważ granice są wyznaczane przez superwoksele, zmienność wynikowych segmentacji powinna się poprawić. Mamy nadzieję, że w przyszłości uda nam się zbadać sposoby wykorzystania segmentacji reprezentatywnego regionu 3D jako danych treningowych, które można zastosować do pozostałej części woluminu, a nawet oddzielnego woluminu, z dużą pewnością. Postęp ten jeszcze bardziej zmniejszyłby ilość czasu i wkładu użytkownika niezbędnego do segmentacji nawet złożonych objętości biologicznych, pomagając złagodzić wąskie gardło przetwarzania obrazu i segmentacji. To z kolei pozwoli na ilościowe porównanie danych biologicznych w różnych stanach (np. niechorobowy, chorobowy, leczony) z solidnymi liczbami doświadczalnymi.

Oświadczenia

Autorzy deklarują, że nie mają konkurencyjnych interesów finansowych.

Podziękowania

Chcielibyśmy podziękować Rui Wang i Wah Chiu z Baylor College of Medicine za dostarczenie zestawu danych cryoET oraz Andrew Bodeya z Diamond Light Source za pomoc w czasie transmisji I13. Część tych badań była wspierana przez grant National Institutes of Health (NIH) nr. (P41GM103832) Dziękujemy Diamond Light Source za wspólne finansowanie projektu Imanol Luengo w ramach studiów doktoranckich STU0079.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
komputernie dotyczyNie dotyczyMusi mieć system operacyjny Linux i procesor graficzny NVidia z co najmniej 4 GB pamięci

Bibliografia

  1. DiamondLightSource/SuRVoS: Version 1.0. Zenodo. , Available from: https://zenodo.org/record/247547 (2017).
  2. SuRVoS Workbench - Super Region Volume Segmentation. , Available from: https://diamondlightsource.github.io/SuRVoS/ (2017).
  3. Frangakis, A. S., Förster, F. Computational exploration of structural information from cryo-electron tomograms. Curr Opin Struct Biol. 14 (3), 325-331 (2004).
  4. Lucić, V., Förster, F., Baumeister, W. Structural studies by electron tomography: from cells to molecules. Annu Rev Biochem. 74, 833-865 (2005).
  5. Lučič, V., Rigort, A., Baumeister, W. Cryo-electron tomography: the challenge of doing structural biology in situ. J Cell Biol. 202 (3), 407-419 (2013).
  6. Milani, M., Drobne, D. Focused ion beam manipulation and ultramicroscopy of unprepared cells. Scanning. 28 (3), 148-154 (2006).
  7. Denk, W., Horstmann, H. Serial Block-Face Scanning Electron Microscopy to Reconstruct Three-Dimensional Tissue Nanostructure. PLoS Biol. 2 (11), (2004).
  8. Rigort, A., et al. Automated segmentation of electron tomograms for a quantitative description of actin filament networks. J Struct Biol. 177 (1), 135-144 (2012).
  9. Förster, F., Han, B. -G., Beck, M. Visual Proteomics. Meth Enzymolb. 483, 215-243 (2010).
  10. Liu, Y., Sigworth, F. J. Automatic cryo-EM particle selection for membrane proteins in spherical liposomes. J Struct Biol. 185 (3), 295-302 (2014).
  11. Asano, S., et al. A molecular census of 26S proteasomes in intact neurons. Science. 347 (6220), 439-442 (2015).
  12. Garduño, E., Wong-Barnum, M., Volkmann, N., Ellisman, M. H. Segmentation of electron tomographic data sets using fuzzy set theory principles. J Struct Biol. 162 (3), 368-379 (2008).
  13. Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE Int Symp Biomed Imaging: From Nano to Macro. , 230-233 (2011).
  14. Darrow, M. C., et al. Structural Mechanisms of Mutant Huntingtin Aggregation Suppression by the Synthetic Chaperonin-like CCT5 Complex Explained by Cryoelectron Tomography. J Biol Chem. 290 (28), 17451-17461 (2015).
  15. Wang, R., et al. Electron cryotomography reveals ultrastructure alterations in platelets from patients with ovarian cancer. Proc Natl Acad Sci USA. 112 (46), 14266-14271 (2015).
  16. Shahmoradian, S. H., et al. TRiC's tricks inhibit huntingtin aggregation. eLife. 2, (2013).
  17. Dai, W., et al. Visualizing virus assembly intermediates inside marine cyanobacteria. Nature. 502 (7473), 707-710 (2013).
  18. Sandberg, K. Methods for Image Segmentation in Cellular Tomography. Methods Cell Biol. 79, 769-798 (2007).
  19. Volkmann, N. Methods for Segmentation and Interpretation of Electron Tomographic Reconstructions. Methods Enzymol. 483, 31-46 (2010).
  20. Tsai, W. -T., et al. From Voxels to Knowledge: A Practical Guide to the Segmentation of Complex Electron Microscopy 3D-Data. J Vis Exp. (90), (2014).
  21. FEI. Amira & Avizo 3D: Software for Scientific and Industrial Data. , Available from: https://www.fei.com/software/amira-avizo/ (2016).
  22. Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer Visualization of Three-Dimensional Image Data Using IMOD. J Struct Biol. 116 (1), 71-76 (1996).
  23. Nguyen, H., Ji, Q. Shape-driven three-dimensional watersnake segmentation of biological membranes in electron tomography. IEEE trans med imaging. 27 (5), 616-628 (2008).
  24. Rusu, M., Starosolski, Z., Wahle, M., Rigort, A., Wriggers, W. Automated tracing of filaments in 3D electron tomography reconstructions using Sculptor and Situs. J Struct Biol. 178 (2), 121-128 (2012).
  25. Moussavi, F., Heitz, G., Amat, F., Comolli, L. R., Koller, D., Horowitz, M. 3D segmentation of cell boundaries from whole cell cryogenic electron tomography volumes. J Struct Biol. 170 (1), 134-145 (2010).
  26. Hecksel, C. W., et al. Quantifying Variability of Manual Annotation in Cryo-Electron Tomograms. Microsc Mpicroanal. 22 (3), 487-496 (2016).
  27. Achanta, R., Shaji, A., Smith, K., Lucchi, A., Fua, P., Süsstrunk, S. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE trans pattern anal mach intell. 34 (11), 2274-2282 (2012).
  28. Luengo, I., Basham, M., French, A. P. Fast global interactive volume segmentation with regional supervoxel descriptors. Proc. SPIE. 9784, (2016).
  29. Luengo, I., et al. SuRVoS: Super-Region Volume Segmentation Workbench. J Struct Biol. 198 (1), 43-53 (2017).
  30. Wadeson, N., Basham, M. Savu: A Python-based, MPI Framework for Simultaneous Processing of Multiple, N-dimensional, Large Tomography Datasets. arXiv:1610.08015 [cs]. , Available from: http://arxiv.org/abs/1610.08015 (2016).
  31. DiamondLightSource/Savu: Version 1.2. Zenodo. , Available from: https://zenodo.org/record/198726 (2014).
  32. Paganin, D., Mayo, S. C., Gureyev, T. E., Miller, P. R., Wilkins, S. W. Simultaneous phase and amplitude extraction from a single defocused image of a homogeneous object. J Microsc. 206 (Pt 1), 33-40 (2002).
  33. van Aarle, W., et al. Fast and flexible X-ray tomography using the ASTRA toolbox. Opt Express. 24 (22), 25129-25147 (2016).
  34. Palenstijn, W. J., Batenburg, K. J., Sijbers, J. Performance improvements for iterative electron tomography reconstruction using graphics processing units (GPUs). J Struct Biol. 176 (2), 250-253 (2011).
  35. Mastronarde, D. N. Dual-Axis Tomography: An Approach with Alignment Methods That Preserve Resolution. J Struct Biol. 120 (3), 343-352 (1997).
  36. Duke, E., Dent, K., Razi, M., Collinson, L. M. Biological applications of cryo-soft X-ray tomography. J Microsc. 255 (2), 65-70 (2014).
  37. Arbeláez, P., Maire, M., Fowlkes, C., Malik, J. Contour detection and hierarchical image segmentation. IEEE trans pattern anal mach intell. 33 (5), 898-916 (2011).
  38. Luengo, I., Basham, M., French, A. P. Hierarchical Piecewise-Constant Super-regions. arXiv:1605.05937 [cs]. , Available from: http://arxiv.org/abs/1605.05937 (2016).
  39. Luengo, I., Basham, M., French, A. P. SMURFS: superpixels from multi-scale refinement of super-regions. , Available from: http://www.bmva.org/bmvc/2016/papers/paper004/index.html 1-12 (2016).

Przedruki i uprawnienia

Tagi

Stanowisko pracy SuRVoSsuperwoxeletrenowanie modelurozdzielanie etykietkrioelektronowa tomografiatomografia rentgenowska z kontrastem fazowymkrio-tomografia miękkiego promieniowania rentgenowskiegosegmentacja superregionówsegmentacja półautomatyczna
Segmentacja objętościowa i analiza materiałów biologicznych za pomocą środowiska pracy SuRVoS (Super-region Volume Segmentation)
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.