Segmentacja objętościowa i analiza materiałów biologicznych za pomocą środowiska pracy SuRVoS (Super-region Volume Segmentation)

Summary

Segmentacja trójwymiarowych danych z wielu technik obrazowania jest głównym wąskim gardłem w analizie złożonych systemów biologicznych. W tym miejscu opisujemy zastosowanie SuRVoS Workbench do półautomatycznej segmentacji danych wolumetrycznych w różnych skalach długości przy użyciu przykładowych zestawów danych z techniki krioelektronowej tomografii, kriogenicznej miękkiej tomografii rentgenowskiej i tomografii rentgenowskiej z kontrastem fazowym.

Abstract

Segmentacja to proces izolowania określonych regionów lub obiektów w obrazowanej objętości, tak aby można było podjąć dalsze badania nad tymi obszarami zainteresowania. Biorąc pod uwagę analizę złożonych systemów biologicznych, segmentacja trójwymiarowych danych obrazowych jest czasochłonnym i pracochłonnym krokiem. Wraz ze zwiększoną dostępnością wielu metod obrazowania i zautomatyzowanymi schematami gromadzenia danych, stanowi to zwiększone wyzwanie dla współczesnego biologa doświadczalnego, aby przejść od danych do wiedzy. W tej publikacji opisano użycie SuRVoS Workbench, programu zaprojektowanego w celu rozwiązania tych problemów poprzez zapewnienie metod półautomatycznej segmentacji złożonych biologicznych danych wolumetrycznych. Przedstawiono tutaj trzy zestawy danych o różnych modalnościach powiększania i obrazowania, z których każdy podkreśla inne strategie segmentacji za pomocą SuRVoS. Tomografia rentgenowska z kontrastem fazowym (mikroCT) owocnika rośliny służy do demonstracji segmentacji za pomocą trenowania modelu, kriotomografia elektronowa (cryoET) ludzkich płytek krwi służy do demonstracji segmentacji za pomocą super- i megawokseli, a kriomiękka tomografia rentgenowska (cryoSXT) linii komórkowej ssaków służy do demonstracji narzędzi do dzielenia etykiet. Przedstawiono również strategie i parametry dla każdego typu danych. Łącząc szereg półautomatycznych procesów w jedno interaktywne narzędzie, SuRVoS zapewnia szereg korzyści. Całkowity czas segmentacji danych wolumetrycznych jest pięciokrotnie krótszy w porównaniu z segmentacją ręczną, która jest podstawą w wielu dziedzinach przetwarzania obrazów. Jest to znaczna oszczędność, gdy pełna ręczna segmentacja może zająć tygodnie wysiłku. Ponadto subiektywność jest rozwiązywana poprzez wykorzystanie obliczeniowo zidentyfikowanych granic i dzielenie złożonych zbiorów obiektów według ich obliczonych właściwości, a nie na podstawie indywidualnych przypadków.

Introduction

Środowisko pracy SuRVoS to oprogramowanie zaprojektowane tak, aby umożliwić badaczom wydobywanie naukowo istotnych informacji z danych wolumetrycznych z różnych próbek, niezależnie od interesującej ich struktury, rozdzielczości czy metody obrazowania1^,2. Dane wolumetryczne, takie jak te, są często gromadzone za pomocą systemów tomografii rentgenowskiej lub elektronowej, rutynowo opartych na dużych laboratoriach lub scentralizowanych obiektach ze względu na ich złożoność. Obie te metody, a także inne techniki, generują duże, bogate w informacje zestawy danych, które okazują się trudne do segmentacji za pomocą metod półautomatycznych lub ręcznych. W szczególności zestawy danych unieruchomione kriogenicznie w stanie zbliżonym do natywnego wymagają warunków obrazowania o niskiej dawce, co skutkuje niskim stosunkiem sygnału do szumu i słabym kontrastem, szczególnie w kriotomografii elektronowej (cryoET)^3,4,5. Dodatkowym czynnikiem w niektórych zestawach danych 3D jest obecność artefaktów wprowadzonych przez trudne warunki eksperymentalne, na przykład brakujące artefakty klinowe spowodowane gromadzeniem danych w ograniczonym zakresie nachylenia, co skutkuje brakiem informacji i wydłużeniem w kierunku belki^3,4,5. Nawet jeśli niski stosunek sygnału do szumu lub brakujące artefakty klinowe nie są problematyczne (np. skupiona wiązka jonów SEM⁶ lub blok szeregowy SEM⁷), złożoność i trójwymiarowy charakter próbki oraz duża ilość danych średnio analizowane nadal skorzystałyby na zautomatyzowanym procesie segmentacji danych.

Obecnie, biorąc pod uwagę biologiczne objętości komórek, istnieje wiele opcji automatycznej lub półautomatycznej identyfikacji bardzo specyficznych cech komórkowych, takich jak aktyna, mikrotubule lub specyficzne kompleksy białkowe, za pomocą wyszukiwania opartego na szablonie, lub identyfikowania cech w określonych typach zestawów danych (np. próbki o wysokim kontraście, barwione, osadzone w żywicy)^8,9,10,11,12. Jednak w takich przypadkach konieczne są informacje a priori lub określone protokoły przygotowania próbek, co ogranicza szerokie zastosowanie tych strategii segmentacji. Dostępne są również narzędzia, które przeprowadzają trening modelu na poziomie wokseli, aby nauczyć się wyglądu różnych interesujących struktur po wprowadzeniu danych przez użytkownika¹³. Jednak na tym poziomie złożoność trenowania i testowania modeli może być podatna na błędy i kosztowna obliczeniowo. Biorąc pod uwagę trudne warunki obrazowania i brak szeroko stosowanych, półautomatycznych strategii segmentacji, ręczna segmentacja jest powszechna, nawet podczas pracy ze złożonymi materiałami biologicznymi^14,15,16,17. Jednak ogólnie przyjmuje się, że proces ręcznej segmentacji jest nie tylko czasochłonny, ale także podatny na błędy, subiektywny i zmienny^4,5,18,19,20. Niektóre programy do segmentacji oferują narzędzia ułatwiające ręczny proces segmentacji (np. interpolacja, lasso lub narzędzia do rozdmuchiwania)^21,22, jednak w przypadku hałaśliwych zbiorów danych są one trudne do skutecznego zastosowania, a nawet jeśli są używane z powodzeniem, proces jest nadal subiektywny i zmienny.

Tradycyjnie, segmentacje były używane na dwa różne sposoby: jakościowo lub ilościowo. Wraz z rozwojem technologii obrazowania i strategii segmentacji, coraz powszechniejsze staje się używanie segmentacji jako narzędzia ilościowego do odpowiadania na pytania biologiczne oraz jako "podstawowej prawdy" do opracowywania algorytmów^{8,12,15,23,24,25}. W tym celu wymagane są szczegółowe kontrole i równowagi, aby zmniejszyć zmienność i subiektywność w całym procesie²⁶. Jednak te środki ostrożności jeszcze bardziej zwiększają czasochłonny charakter segmentacji. Z tego powodu tak ważne jest zapewnienie szybszej i mniej zmiennej strategii segmentacji.

Środowisko pracy SuRVoS zaczyna rozwiązywać te problemy, dostarczając użytkownikowi wybór narzędzi do uczenia maszynowego i przetwarzania obrazów, które pomagają użytkownikowi w procesie segmentacji, jednocześnie prowadząc użytkownika przez wymagane kroki. Aby to osiągnąć, w SuRVoS wdrożono jednocześnie dwie kluczowe innowacje. Po pierwsze, używa hierarchii superregionów do grupowania podobnych, pobliskich regionów danych na podstawie ich nieodłącznych właściwości. Każdy z regionów w hierarchii reprezentuje ten sam wolumin przy użyciu mniejszej liczby elementów, a jednocześnie zapewnia silne przyleganie do granic. W ten sposób superregiony zmniejszają złożoność segmentacji woluminu o kilka rzędów wielkości, a jednocześnie reprezentują dane bez znaczącej utraty informacji²⁷. Po drugie, SuRVoS zapewnia półautomatyczną strategię segmentacji, która wykorzystuje minimalną ilość ręcznych danych wejściowych segmentacji do trenowania klasyfikatorów, które są następnie używane do segmentacji pozostałej objętości^28,29. Strategia ta ogranicza ręczną segmentację, znacznie zmniejszając ilość czasu poświęcanego przez użytkownika na segmentację, a w przypadku korzystania z superregionów eliminuje ręczne wyznaczanie granic, potencjalnie zmniejszając zmienność i subiektywność.

Kolejną kluczową funkcją SuRVoS jest narzędzie do dzielenia etykiet, dzięki któremu użytkownik może sklasyfikować serię już podzielonych na segmenty obiektów na podstawie ich nieodłącznych właściwości. Po segmentacji różnych obiektów zainteresowania, narzędzie to może być użyte do podzielenia zbioru na podklasy na podstawie miar, takich jak średnia intensywność obiektu, wariancja, rozmiar, lokalizacja itp. Jest to przydatne przy klasyfikowaniu dużych grup obiektów o dużej złożoności. Na przykład grupę organelli komórkowych można podzielić na mitochondria, puste pęcherzyki, kropelki lipidów itp.; lub zestaw wtrąceń materiałowych można rozdzielić na podstawie rozmiaru lub kształtu. Po segmentacji poszczególne etykiety można podzielić na grupy przy użyciu dowolnej liczby klasyfikatorów, co zmniejsza błąd systematyczny identyfikacji.

Środowisko pracy SuRVoS zostało z powodzeniem wykorzystane do segmentacji danych z kilku technik obrazowania. W tym przypadku synchrotronowa rentgenowska tomografia z kontrastem fazowym (mikroCT) owocnika rośliny jest wykorzystywana do demonstracji segmentacji za pomocą treningu modelowego, krioelektronowa tomografia (cryoET) ludzkich płytek krwi jest wykorzystywana do demonstracji segmentacji za pomocą super- i megawokseli, a kriomiękka tomografia rentgenowska (cryoSXT) linii komórkowej ssaków jest używana do demonstracji narzędzi do dzielenia etykiet

Protocol

UWAGA: Ogólnie użyteczne zakresy parametrów dla każdego kroku przetwarzania oraz szczegółowe parametry dla każdego typu danych pokazane tutaj są podane w Tabeli 1.

1. Przygotowanie przestrzeni roboczej i wczytywanie danych

1. Uruchom SuRVoS Workbench, kliknij przycisk Otwórz zestaw danych, a następnie w wyświetlonym wyskakującym okienku wybierz plik danych, który chcesz podzielić na segmenty. Wybierz odpowiednią orientację zestawu danych. Następnie wybierz lub utwórz folder, w którym będzie przechowywany obszar roboczy i skojarzone pliki. Zaleca się, aby ten folder był pusty podczas rozpoczynania nowej segmentacji. Po załadowaniu danych otworzy się środowisko pracy z panelem Wtyczki po lewej stronie, panelem Wizualizacja po prawej stronie i zestawem skrótów narzędzi między dwoma panelami (Rysunek 1).

2. Przetwarzanie wstępne i reprezentacja danych

1. Na karcie Wybierz ROI wprowadź współrzędne początkowe i końcowe z, y i x dla obszaru zainteresowania, a następnie kliknij przycisk dodaj. Aby wybrać odpowiednie współrzędne y i x, najedź kursorem myszy na punkt na obrazie. Wybierz współrzędne z za pomocą suwaka w górnej części okienka Wizualizacja. Po dodaniu regionu upewnij się, że jest on wybrany, zaznaczając pole po prawej stronie. Wszystkie obliczenia podrzędne zostaną wykonane w wybranym regionie. Ogólnie rzecz biorąc, zaleca się rozpoczęcie od małego, reprezentatywnego obszaru zainteresowania (ROI), optymalizację parametrów, a następnie ponowne zastosowanie tych parametrów do całego obszaru, który ma być podzielony na segmenty.
2. Na karcie Kanały funkcji użyj menu rozwijanego u góry, aby wybrać funkcję/filtr i dodać go do kolejki (zobacz Dyskusja, aby uzyskać więcej informacji na temat kanałów funkcji). Po dodaniu i wybraniu funkcji/filtru poprzez kliknięcie jego nazwy zmodyfikuj opcje specyficzne dla funkcji/filtru i wybierz wejściowy zestaw danych, na którym chcesz uruchomić funkcję/filtr. Po wybraniu wszystkich opcji kliknij pole wyboru po prawej stronie nazwy funkcji/filtru, aby wykonać obliczenia.
   1. Aby zoptymalizować parametry dla nowego zestawu danych, dodaj wiele filtrów/funkcji i wybierz dla nich parametry, zanim zostaną obliczone w kolejności, jeden po drugim. W tym celu dodaj każdy nowy filtr/funkcję i wybierz odpowiednie parametry, zaznacz pole wyboru po lewej stronie każdego filtru/funkcji, która ma zostać uruchomiona, a następnie kliknij pole funkcji obliczeniowych w górnej części okienka. Zobacz Dyskusja, aby uzyskać dodatkowe informacje.

3. Generowanie odpowiednich superregionów

1. Na karcie Super Regions, w sekcji Supervoxels (Superwoksele), użyj menu rozwijanego source, aby wybrać filtrowany zestaw danych, z którego zostaną utworzone superwoksele. Następnie określ kształt, odstępy i zwartość superwokseli (zobacz Dyskusja i Rysunek 2, aby uzyskać więcej informacji). Na koniec kliknij przycisk Zastosuj, aby wygenerować superwoksele. Po utworzeniu superwokseli można je wyświetlać w okienku Wizualizacja, włączać i wyłączać, a ich przezroczystość kontrolować na karcie Wizualizacja i skrótu w oknie przeglądarki.
2. Na karcie Super Regions, w sekcji Megawoksele użyj menu rozwijanego źródła, aby wybrać filtrowany zestaw danych, z którego zostaną utworzone megawoksele. Następnie określ parametry lambda, numBins i Gamma megawokseli (więcej szczegółów można znaleźć w Dyskusji). Po utworzeniu megawokseli można je wyświetlać w okienku Wizualizacja, włączać i wyłączać, a ich przezroczystość kontrolować na karcie Wizualizacja i w skrócie Okno przeglądarki.

4. Wprowadzenie do adnotacji

1. Na karcie Adnotacje użyj przycisku Dodaj poziom, aby dodać poziom adnotacji. Po dodaniu poziomu użyj przycisku Dodaj etykietę na tym poziomie, aby dodać etykietę do adnotacji. Po dodaniu nazwę i kolor etykiety można zmodyfikować w celu ułatwienia adnotacji.
2. Następnie, aby rozpocząć dodawanie adnotacji, wybierz ikonę pióra z sekcji skrótów narzędzia. Po wybraniu tej opcji w górnej części okienka Wizualizacja zostanie wyświetlony zestaw opcji. Te opcje kontrolują szerokość pióra i to, czy woksele, superwoksele czy megawoksele będą używane do dodawania adnotacji.
   1. Na potrzeby trenowania modelu zazwyczaj wybieraj superwoksele w polu rozwijanym Poziom adnotacji i należy użyć pisaka o średniej lub dużej szerokości. Na karcie adnotacje wybierz etykietę, do której chcesz dodać adnotację, zaznaczając pole wyboru po prawej stronie informacji o etykiecie. Następnie kliknij w okienku Wizualizacja, aby dodać adnotację do pojedynczego superwoksela, lub kliknij i przeciągnij, aby dodać adnotację wiele.
      UWAGA: Woksele i megawoksele można wybrać w polu rozwijanym Poziom adnotacji i użyć do dodawania adnotacji w ten sam sposób, co w przypadku megawokseli może umożliwić segmentację wielu tysięcy podobnych wokseli za pomocą jednego kliknięcia myszą.

5. Segmentacja za pomocą treningu modelu zademonstrowana za pomocą zestawu danych microCT.

UWAGA: Pierwsza segmentacja dla wielu zestawów danych polega na odróżnieniu od siebie wielu dużych regionów. Na przykład oddzielenie jądra od cytoplazmy lub komórki od zewnętrznego lodu i struktury nośnej. W przypadku tego typu segmentacji, z wyraźnie wytyczonymi granicami i dużymi regionami, przydatne jest trenowanie modelu. Aby to zademonstrować, zostaną wykorzystane dane tomograficzne z kontrastem fazowym rentgenowskim trawy gęsiowej.

1. Załaduj dane, wstępnie przetwórz je przy użyciu filtru i zestawu funkcji, a następnie określ odpowiednie superwoksele i/lub megawoksele, jak opisano w powyższych sekcjach, korzystając z parametrów w tabeli 1 jako przewodnika. Kontynuując korzystanie z parametrów z Tabeli 1 i instrukcji w sekcji 4, z grubsza opisz niektóre duże obszary zestawu danych, jak pokazano w Rysunek 3.
   UWAGA: W tym momencie zestaw danych nie musi być całkowicie podzielony na segmenty.
2. Na karcie Trenowanie modelu ustaw poziom przewidywania na poziom zawierający adnotacje trenowania ręcznego, a w sekcji deskryptora ustaw region na Superwoksele. Następnie wybierz deskryptory, które mają być używane do różnicowania regionów danych, klikając menu rozwijane Wybierz źródła i zaznaczając pola wyboru funkcji i filtrów (patrz Tabela 1 i dyskusja).
3. Następnie kliknij przycisk przewidywania. Po zakończeniu obliczeń okienko Wizualizacja zostanie zaktualizowane o przewidywania dla wszystkich wokseli bez etykiet pokazujące, do których klas adnotacji mają należeć. Ogólnie rzecz biorąc, parametry domyślne dla każdej metodologii klasyfikatora stanowią dobry punkt wyjścia, a użytkownik powinien potrzebować tylko przełączać się między klasyfikatorami, aby znaleźć dobre dopasowanie. Jednak dla doświadczonych użytkowników opcje dla każdego klasyfikatora są dostępne i mogą być modyfikowane.
4. Po ocenie efektu metodyk szkoleniowych i wybraniu jednej z nich, zastosuj dodatkowe udoskonalenie, klikając menu rozwijane Uściślij w sekcji Uściślanie. W dolnej części karty Trenowanie modelu w sekcji "Aktualizuj adnotacje" upewnij się, że menu rozwijane wizualizacji jest ustawione na Przewidywania. Użyj suwaka ufności, aby przypisać więcej lub mniej superwokseli bez adnotacji do wybranych etykiet adnotacji.
5. Po wybraniu odpowiedniego poziomu ufności na podstawie inspekcji wizualnej użyj przycisków Zapisz obok etykiet w dolnej części narzędzia Zaufanie, aby zapisać przewidywania na określonych etykietach. Okienko Wizualizacja zostanie zaktualizowane w celu wyświetlenia zmian. Każdą etykietę można zapisać osobno, a etykiety można zapisać z mniejszych podregionów, wprowadzając wartości w polach Od i Do z, y i x oraz klikając przycisk Zapisz dla każdej etykiety.
6. Rozwiąż problem drobnych błędów w oznaczaniu, podając dalsze dane szkoleniowe zgodnie z opisem w sekcji 4. Po dodaniu odpowiednich przewidywań do etykiet powtórz proces trenowania modelu z uściślaniem i dodawaniem przewidywań o wysokim poziomie ufności, aż nie będzie już więcej nieoznaczonych superwokseli. Jest to skuteczne, ponieważ za każdym razem, gdy uruchamiany jest proces trenowania modelu, istnieje więcej przypisanych superwokseli do trenowania, a zatem proces staje się bardziej niezawodny wraz ze wzrostem iteracji.

6. Segmentacja za pomocą superregionów, zademonstrowana za pomocą zestawu danych CryoET.

UWAGA: Ponieważ segmentacja superregionów jest przydatna dla mniejszych, dyskretnie powiązanych obszarów, tutaj skupimy się na segmentacji organelli i mikrotubul w tym zestawie danych. Trening modelowy wykorzystano do szybkiej segmentacji płytek krwi od tła lodu i węgla; parametry te nie są dalej omawiane, ale przedstawiono je w tabeli 1.

1. Załaduj dane, wstępnie przetwórz je przy użyciu filtru i zestawu funkcji, a następnie określ odpowiednie superwoksele i/lub megawoksele, jak opisano w powyższych sekcjach, korzystając z parametrów w tabeli 1 jako przewodnika.
2. Dodaj odpowiednie poziomy i etykiety do karty adnotacji, wybierz etykietę i rozpocznij dodawanie adnotacji przy użyciu pisaka o średniej szerokości z wybranymi superwokselami. Należy pamiętać o konieczności wyboru różnych etykiet dla obiektów znajdujących się w bliskiej odległości od siebie, aby uniknąć oznaczania ich jako pojedynczego obiektu.
3. W celu dalszego uporządkowania adnotacji należy zastosować metody udoskonalania morfologicznego (dylatacja, erozja, otwieranie, zamykanie i wypełnianie otworów). Te opcje można znaleźć u dołu karty Adnotacje. Aby z nich skorzystać, wybierz etykietę segmentacji i metodę zagęszczenia. Wprowadź wartość promienia i wybierz sposób zastosowania zagęszczenia. Następnie kliknij przycisk Uściślij.

7. Klasyfikacja i analiza obiektów danych na podstawie cech wrodzonych, zademonstrowana za pomocą zestawu danych CryoSXT

UWAGA: Generalnie, następnym krokiem po segmentacji jest analiza danych. Narzędzie do rozdzielania etykiet w SuRVoS pozwala na klasyfikację podzielonych na segmenty obiektów przy użyciu reguł opartych na wewnętrznych cechach obiektów, takich jak średnia intensywność obiektu, wariancja, objętość lub położenie. Narzędzie statystyk etykiet pozwala na wizualizację relacji między tymi miarami dla każdej nowej klasy obiektów. Są to nowe, potężne narzędzia do analizy złożonych zbiorów danych 3D po segmentacji.

1. Załaduj dane, wstępnie przetwórz je za pomocą filtra i zestawu funkcji, określ odpowiednie superwoksele i/lub megawoksele i podziel je na segmenty zgodnie z opisem w powyższych sekcjach, korzystając z parametrów w tabeli 1 jako przewodnika.
2. Po segmentacji kliknij drugą zakładkę okienka Wizualizacja o nazwie Rozdzielacz etykiet. Spowoduje to dodanie nowego obszaru po prawej stronie okna - okienka Tworzenie reguły.
3. W górnej części tego obszaru wybierz odpowiedni poziom i etykiety do podziału etykiet. Następnie wybierz zestaw danych do wykonania zapytania, a następnie kliknij pozycję Etykieta. Wszystkie obiekty w wybranych etykietach będą teraz oznaczone kolorem niebieskim jako osobne obiekty w okienku Wizualizacja, a wykres przedstawiający średnią intensywność obiektów zostanie wyświetlony w okienku Tworzenie reguły. Aby zmienić miarę wyświetlaną na wykresie, kliknij listę rozwijaną w górnej części prawej strony.
4. Aby rozpocząć dzielenie obiektów na odpowiednie klasy, kliknij przycisk Dodaj nową etykietę u dołu okienka Tworzenie reguły. Nazwę i kolor skojarzone z tą nową etykietą można zmienić w sposób opisany wcześniej.
   1. Kliknij przycisk Dodaj nową regułę i za pomocą pól rozwijanych oraz dowolnego wprowadzania zdefiniuj regułę, która ma zostać zastosowana. Kliknij przycisk Zastosuj, aby wyświetlić efekty nowej reguły w okienku Wizualizacja i wykresu w okienku Tworzenie reguły. Do jednej etykiety można zastosować wiele reguł, a w tym samym zestawie danych można utworzyć wiele etykiet.
      UWAGA: Aby zebrać wszystkie nieoznaczone obiekty, utwórz nową etykietę i zamiast dodawać do niej regułę, kliknij przycisk Wybierz inne.
5. Gdy interesujące nas obiekty zostaną podzielone na nowe etykiety, utwórz nowy, pusty poziom w zakładce Adnotacje. Następnie wybierz ten poziom w zakładce Tworzenie reguły i kliknij Zapisz etykiety. Spowoduje to zapisanie nowych etykiet na tym pustym poziomie.
6. Na krawędzi okienka Wizualizacja kliknij kartę Statystyka etykiety. Spowoduje to otwarcie nowego okienka Wizualizacja, którego można użyć do rozpoczęcia zrozumienia relacji między klasami obiektów w danych. U góry wybierz odpowiedni poziom i etykiety oraz zestaw danych do wykonania zapytania.
   1. Wybierz kilka interesujących Cię miar, zaznaczając pola obok nich. Następnie kliknij przycisk Etykieta. W ten sposób zostaną wygenerowane wykresy porównawcze parami dla każdej z wybranych miar. Aby zaktualizować wykresy, zaznacz lub odznacz odpowiednie miary, a następnie kliknij przycisk Aktualizuj wykres.

8. Eksport danych i segmentacji

1. Wyeksportuj wykresy i surowe dane pomiarowe, klikając odpowiednio opcję Eksportuj wykres i Eksportuj dane na karcie Statystyki etykiet w okienku Wizualizacja.
2. Wyeksportuj dane obrazu i segmentacje, klikając kartę Eksportuj w panelu Wtyczki. Najpierw kliknij, aby wybrać folder, w którym zostaną zapisane dane. Następnie wybierz dane wyjściowe (dane nieprzetworzone, adnotacje RAW, maski segmentacji lub dane maskowane) i format (HDF5, MRC lub TIFF). Na koniec wybierz poziomy adnotacji, które chcesz wyeksportować, korzystając z pól wyboru, i kliknij przycisk Eksportuj. W razie potrzeby dane można skalować i odwracać przed eksportem. Podczas eksportowania zamaskowanych danych zestaw danych, do którego zostaną zastosowane maski, można wybrać za pomocą menu rozwijanego.

Results

Trzy zestawy danych objętościowych zebrane za pomocą trzech różnych technik (microCT, cryoET i cryoSXT) zostały wykorzystane do zademonstrowania trzech ważnych cech SuRVoS Workbench: trenowania modeli, segmentacji superregionów i podziału etykiet. Zbiory danych reprezentują zróżnicowaną grupę wyników eksperymentalnych, dla których podano pełne parametry przetwarzania (tabela 1).

Aby zademonstrować trenowanie modelu za pomocą SuRVoS Workbench, wybrano zestaw danych o stosunkowo wysokim kontraście z granicami definiującymi region. Ten zestaw danych dotyczący owoców Galium aparine, czyli trawy gęsiowej, został zebrany za pomocą rentgenowskiej tomografii kontrastowej z kontrastem fazowym na linii badawczej I13-2 Diamond-Manchester Imaging Beamline w Diamond Light Source, Chilton, Oxfordshire, Wielka Brytania. Świeżą próbkę umieszczono w powietrzu na podstawie goniometru umieszczonej na stoliku obrotowym, w odległości 30 mm od próbki do detektora. Czas naświetlania wynosił 0,10 s przy widmie różowej wiązki, której średnia energia wynosi około 22 keV. Projekcje zostały zebrane pod kątem 180° z krokiem 0,1°. Rekonstrukcje tomograficzne zostały wykonane przy użyciu Savu^30,31 z filtrem Paganina dla obrazów kontrastu fazowego opartego na propagacji³², a następnie przefiltrowaną rekonstrukcją projekcji wstecznej w zestawie narzędzi ASTRA^33,34. Te dane zostały następnie zmniejszone za pomocą kategoryzacji 2 x 2 x 2 w celu zmniejszenia rozmiaru pliku przed wprowadzeniem do środowiska pracy SuRVoS.

Najpierw dane wejściowe (Rysunek 3A) zostały przefiltrowane i zaciśnięte (w celu usunięcia górnych i dolnych wartości intensywności w danych) (Rysunek 3B). W ten sposób tło i pierwszy plan stały się łatwiejsze do odróżnienia, a faktura wewnętrznej struktury owocu została zaakcentowana. Następnie zbudowano superwoksele na przefiltrowanym zbiorze danych (Rysunek 3C). Aby ocenić jakość superwokseli, zostały one wyświetlone bez danych, aby zweryfikować, czy istotne szczegóły zestawu danych były dobrze reprezentowane przez superwoksele (Rysunek 3D). Następnie, ręczne adnotacje przy użyciu superwokseli zostały dostarczone jako dane treningowe na trzech wycinkach objętości (Rysunek 3E, ciemne kolory). Te dane treningowe były wystarczające, aby wytrenować klasyfikator do przewidywania (jasne kolory) obszarów odpowiadających tłu (zielony), szczeciny owoców (czerwony), materiału siewnego (fioletowy) i otaczającego miąższu (niebieski). Udoskonalenia morfologiczne zostały wykorzystane do oczyszczenia segmentacji poprzez wypełnianie, powiększanie lub zmniejszanie w zależności od potrzeb (Rysunek 3F). Łączny czas poświęcony na określenie odpowiednich parametrów i segmentację tego zbioru danych wyniósł 2 godziny.

Aby zademonstrować segmentację superregionów za pomocą SuRVoS Workbench, wybrano hałaśliwy i złożony zestaw danych¹⁵. Ten zestaw danych został zebrany przy użyciu cryoET w National Center for Macromolecular Imaging w Baylor College of Medicine, Houston, TX, USA. Krótko mówiąc, płytki krwi zostały zamrożone zanurzeniowo na wyładowanych jarzeniami i pokrytych złotem dziurawych węglowych siatkach TEM. Serie pochylenia były zbierane od ±65° z krokiem co 2°. Seria pochyleń została następnie zrekonstruowana przy użyciu ważonej projekcji wstecznej w IMOD³⁵.

Po załadowaniu danych do SuRVoS (Rysunek 4A), wybrano interesujący nas obszar i zastosowano odpowiedni zestaw filtrów. W tym przypadku zastosowano wygładzający filtr gaussowski, po którym nastąpił filtr całkowitej zmienności z zaciśniętym kontrastem, aby zaakcentować krawędzie i tekstury danych (Rysunek 4B). Następnie wykorzystano trenowanie modelu z minimalnym wkładem użytkownika opartym na superwokselach w celu segmentacji płytek krwi od tła lodu i węgla. Następnie do segmentacji organelli zastosowano półręczną segmentację za pomocą megawokseli i superwokseli. Na koniec, parametr źródła superwoksela został zmieniony na słabszy filtr odszumiający, a kształt superwoksela został zmniejszony (patrz Tabela 1), aby lepiej zachować granice mikrotubul dla segmentacji (Rysunek 4C). Zarówno w przypadku organelli, jak i mikrotubul, co 5 - 10 plasterków stosowano szybkie ręczne adnotacje, aby wybrać superwoksele, które opisują interesującą cechę (Rysunek 4D i 4E). Łączny czas poświęcony na określenie odpowiednich parametrów i segmentację prezentowanego obszaru zainteresowania wyniósł 6 godzin.

Aby zademonstrować dzielenie etykiet za pomocą SuRVoS Workbench, wybrano zestaw danych z wieloma różnorodnymi organellami. Ten zestaw danych został zebrany przy użyciu cryoSXT na linii badawczej B24 w Diamond Light Source, Chilton, Oxfordshire, UK³⁶. Krótko mówiąc, komórki HEK293 hodowano na siatkach szukacza złota, dodawano odpowiedniej wielkości złote fiduciale, a siatkę zamrażano za pomocą EM z tylnym blottingiem. Serie nachylenia zostały następnie zebrane pod mikroskopem pod kątem ±65° z krokiem co 0,5°. Seria pochyleń została następnie zrekonstruowana przy użyciu ważonej projekcji wstecznej w IMOD³⁵.

Po załadowaniu danych do SuRVoS (Rysunek 5A), wybrano obszar zainteresowania i użyto odpowiedniego filtra całkowitej zmienności, aby zwiększyć granice organelli w całej objętości (Rysunek 5B). Następnie organelle zostały półręcznie podzielone na segmenty za pomocą megawokseli i superwokseli, a następnie uszlachetnione za pomocą otworów wypełniających, zamykania i rozszerzania do gładkich krawędzi (Rysunek 5C). Łączny czas na określenie odpowiednich parametrów i segmentację prezentowanego obszaru zainteresowania wyniósł 4 h. Po sfinalizowaniu segmentacji, Rozdzielacz etykiet został użyty do wizualizacji każdej organelli jako obiektu w zestawie danych (Rysunek 5D) i różnych cech każdego obiektu na wykresie danych ( Rysunek 5E). Interfejs rozdzielacza etykiet jest interaktywny, aktualizując kolor skojarzony z każdą nową klasą etykiety zarówno w wizualizacji, jak i na wykresie danych. Pozwala to na tworzenie różnych reguł opartych na cechach charakterystycznych dla danych, które można wykorzystać do rozdzielenia obiektów na użyteczne klasy (Rysunek 5F).

Rysunek 1. Układ i ogólne funkcje środowiska pracy SuRVoS.
Interfejs graficznego interfejsu użytkownika znajduje się po lewej stronie, a okienko Wizualizacja po prawej. Te dwa obszary są oddzielone kolumną narzędzi i skrótów. Graficzny interfejs użytkownika jest skonfigurowany w taki sposób, aby przeprowadzić użytkownika przez główne kroki wstępnego przetwarzania danych, wybierania parametrów superwoksela i/lub megawoksela, segmentacji danych i, w razie potrzeby, trenowania modelu, przed wyeksportowaniem segmentacji. Okienko Wizualizacja może być używane w trzech trybach: podstawowa wizualizacja i segmentacja w celu wyświetlenia danych i wszelkich zastosowanych filtrów oraz segmentacja danych, rozdzielanie etykiet w celu kategoryzowania obiektów w nowe etykiety na podstawie aspektów nieodłącznie związanych z danymi, a na koniec statystyki etykiet w celu mierzenia i wizualizacji cech podzielonych na segmenty obiektów. Dla każdego z tych trybów menu rozwijane w lewym górnym rogu określa, które dane są wyświetlane, a suwak u góry steruje osią z. Skróty narzędzi zapewniają łatwy dostęp do kontroli kontrastu, przezroczystości warstw, powiększania, przesuwania i powrotu do punktu początkowego w okienku Wizualizacja oraz otwieranie narzędzi do adnotacji zgodnie z opisem w protokole. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2. Hierarchia superregionów zmniejsza złożoność segmentacji obrazów.
Obraz z zestawu danych segmentacji Berkeley (BSDS500³⁷) został wykorzystany do zademonstrowania właściwości i efektów superregionów. Oryginalny obraz (po lewej) składa się z tysięcy wokseli, które są następnie zbierane w sąsiednie, podobne grupy, aby utworzyć kilkaset superwokseli (środek). Superwoksele można również zebrać w sąsiednie, podobne grupy, aby utworzyć kilkadziesiąt megawokseli (po prawej). Z każdym grupowaniem zmniejsza się złożoność zadania segmentacji, zarówno w przypadku zasobów obliczeniowych, jak i ręcznych. Co ważne, pokazany jest tutaj przykład 2D, jednak zarówno superwoksele, jak i megawoksele są 3D. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3. Przetwarzanie zestawu danych mikrotomografii komputerowej przy użyciu strategii segmentacji trenowania modelu.
ZA. Pojedynczy wycinek 2D nieprzetworzonych danych. Ur. Zastosowanie zaciśniętego filtra całkowitej zmienności do surowych danych wzmocniło granice między różnymi aspektami owocnika. C. Dobrano odpowiednie parametry superwoksela. D. Pokazany jest obszar zainteresowania (czerwona ramka w C), aby zademonstrować, że granice danych są obecne w samych superwokselach. E. Trzy wycinki woluminu z ręcznymi adnotacjami różnych obszarów zestawu danych wyświetlanymi w ciemnych kolorach (zielonym, czerwonym, niebieskim i fioletowym) oraz przewidywaniami po uruchomieniu trenowania modelu wyświetlanymi w tych samych jasnych kolorach. Fot. Te same trzy wycinki z końcową segmentacją po zaakceptowaniu przewidywań trenowania modelu. Podziałka skali wynosi 1 mm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4. Przetwarzanie zbioru danych cryoET przy użyciu strategii segmentacji superregionów.
ZA. Pojedynczy wycinek 2D nieprzetworzonych danych. Ur. Obszar zainteresowania (czerwona ramka w A) z warstwowym zestawem filtrów zastosowanym w celu zaakcentowania granic organelli. C. Przykład adnotacji organelli za pomocą superregionów. Pojedyncza organella jest pokazana z superwokselami nałożonymi na ręczną adnotację użytkownika wyświetlaną w kolorze czarnym (po lewej), a wybrane superwoksele z tą adnotacją są pokazane na niebiesko (po prawej). D. Przykład opisywania mikrotubuli za pomocą superregionów. Pojedynczy obszar mikrotubuli jest pokazany z ręczną adnotacją użytkownika wyświetlaną na czarno (po lewej), a wybrane superwoksele z tą adnotacją są pokazane na zielono (po prawej). E. Końcowa segmentacja obejmująca płytki krwi podzielone na segmenty od tła przy użyciu treningu modelowego (szczegółowe informacje znajdują się w Tabeli 1) oraz różne organelle i mikrotubule podzielone na segmenty przy użyciu strategii segmentacji superregionów. Kolory nie wskazują konkretnych typów organelli, ponieważ są one pokazane tutaj przed klasyfikacją. Podziałki w A, B i E wynoszą 1 μm, a w C i D 0,5 μm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5. Analiza zestawu danych cryoSXT za pomocą narzędzia Label Splitter Tool.
ZA. Pojedynczy wycinek 2D nieprzetworzonych danych. Ur. Obszar zainteresowania (czerwona ramka w A) z filtrem całkowitej zmienności zastosowanym w celu zaakcentowania organelli. C. Końcowa segmentacja z nałożonymi superwokselami. D. Część wizualizacyjna rozdzielacza etykiet z organellami sklasyfikowanymi przy użyciu reguł wyświetlanych w F. E. Część wykresu rozdzielacza etykiet wyświetlająca średnią intensywność wewnątrz każdego obiektu, z zastosowanymi regułami wyświetlanymi w F. Każda pionowa linia wzdłuż osi x reprezentuje pojedynczy obiekt i jest oznaczona kolorem w celu dopasowania do klasy, do której została przypisana. Fot. Przykładowe reguły klasyfikacji do oddzielania różnych obiektów na podstawie ich nieodłącznych właściwości. Podziałka skali wynosi 1 μm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

szt. szt. powiedział: szt. szt. powiedział: powiedział: Rozdział Rozdział komputerowy powiedział: szt. Rozdział szt. Rozdział

Nazwa / Zbiór danych	źródło	Zobacz materiał P1	Zobacz materiał P2	Zobacz materiał P3	Klasa P4
Filtr Gaussa		Sigma
Zakres / Domyślny	-	[0,5, 10] / 1
(G1) krioET	Nieprzetworzone dane	1
(G2) krioET	Nieprzetworzone dane	cyfra arabska
Całkowita zmienność		lambda	Odstępy	# Iter	Zacisk
Zakres / Domyślny	-	[0,1, 30] / 10	[0,1, 10] / 1	[50, 500] / 100	-
(TV1) Mikrotomografia komputerowa	Nieprzetworzone dane	10	1	100	(1, -)
(TV2) krioET	G1	7	1	200	-
(TV3) krioET	G2	10	1	100	-
(TV4) cryoSXR	Nieprzetworzone dane	7	1	100	-
Progowanie		Vmin	Vmax (Wartość maksymalna
Zakres / Domyślny
(TH1) krioET	Telewizja TV3	0	-
Centrowanie gaussowskie		Sigma
Zakres / Domyślny	-	[0,5, 10] / 2
(GC1) mikrotomografia komputerowa	Telewizja TV1	cyfra arabska
Normalizacja Gaussa		Sigma
Zakres / Domyślny	-	[0,5, 10] /2
(GN1) mikrotomografia komputerowa	Telewizja TV1	cyfra arabska
Laplace'a Gaussa		Sigma	młócić	odpowiedź
Zakres / Domyślny	-	[0,5, 10] / 2	[Tak/Nie] / Nie	[Jasny/Ciemny] / Jasny
(LG1) mikrotomografia komputerowa	Telewizja TV1	cyfra arabska	Nie	jasny
Różnica Gaussianów		Sigma Init	Współczynnik Sigma
Zakres / Domyślny	-	[0,5, 10] / 2	[1.1, 3] / 1.6
(DG1) mikrotomografia komputerowa	Telewizja TV1	cyfra arabska	1.6
(DG2) krioET	Telewizja TV3	cyfra arabska	1.6
Tensor struktury det.		Sigma1	Obszar Sigma
Zakres / Domyślny	-	[0,5, 10] / 2	[0,5, 10] / 2
(ST1) krioET	Telewizja TV3	cyfra arabska	cyfra arabska
Superwoksele		kształt	Odstępy	Zwartość
Zakres / Domyślny	-	[1, 10] / 10	[0.1, 5] / 1	[1, 200] / 20
(SV1) mikrotomografia komputerowa	Telewizja TV1	(10, 10, 10)	(1, 1, 1)	Rozdział 30
(SV2) krioET	Telewizja TV3	(10, 10, 10)	(1, 1, 1)	50
(SV3) krioET	Telewizja TV2	(3, 5, 5)	(1, 1, 1)	50
(SV4) cryoSXT	Telewizja TV4	(10, 10, 10)	(1, 1, 1)	Rozdział 30
Megawoksele		lambda	# Pojemniki	Gamma
Zakres / Domyślny	-	[0.01, 1] / 0.1	[10, 200] / 20	Brak, auto lub [0, 1] / Brak
(MV1) cryoET	Zobacz materiał SV2	0.1	50	auto
	Telewizja TV1
(MV2) cryoSXT	Zobacz materiał SV4	0.4	50	Brak
	Telewizja TV4
Trenowanie modelu		region	Klasyfikatora	wyrafinowanie
Dostępne / Domyślne		[woksel / superwoksel]	[Zespoły, SVM, Modele liniowe online] /	[Brak, Potts, Wygląd] / Wygląd
			Zespół - RF
mikrotomograf	Telewizja TV3	SV1	Losowy las:	wygląd
	TH1
	GC1		- # Drzewo:	-lambda:
	Galaktyka GN1		[10, 100] / 100	[1, 500] / 10
	LG1		100	50
	Biblioteka DG1
cryoET	TV2 DG2 ST1	SV2	Losowy las:	wygląd
			- # Drzewo:	-lambda:
			[10, 100] / 100	[1, 500] / 10
			100	50
Uściślanie adnotacji		promień
Zakres / Domyślny		[1, 20] / 1
Mikrotomografia komputerowa
otwarcie		5
Otwory wypełniające		1
Dylatacja		cyfra arabska
krioET
otwarcie		3
Otwory wypełniające		1
Dylatacja		cyfra arabska
krioSXT
otwarcie		3
Otwory wypełniające		1
Dylatacja		cyfra arabska

Tabela 1. Zoptymalizowane parametry używane do przetwarzania każdego z trzech zestawów danych (microCT, cryoET i cryoSXT).
Dla każdego parametru podany jest zakres ogólnego przeznaczenia i wartość domyślna. W wielu przypadkach przefiltrowane dane są używane jako źródło przetwarzania podrzędnego. W takich przypadkach skrót jest używany do oznaczania nowego źródłowego zestawu danych. Na przykład G1 (surowe dane krioET z filtrem Gaussa) zostały użyte jako dane wejściowe podczas filtrowania zmienności całkowitej w celu utworzenia TV2. Informacje są prezentowane tylko dla aspektów środowiska pracy, które zostały użyte do przetworzenia każdego zestawu danych. Na przykład podczas przetwarzania przedstawionego tutaj zestawu danych cryoSXT nie zastosowano trenowania modelu, dlatego nie podano dla niego żadnych parametrów.

Discussion

SuRVoS Workbench różni się od innych programów segmentacyjnych tym, że optymalizacja parametrów jest niezbędnym i ważnym krokiem przed rozpoczęciem właściwej segmentacji. W niektórych programach do segmentacji ręcznej lub półręcznej użytkownik rozpoczyna segmentację w ciągu kilku chwil od otwarcia nowego projektu. W przypadku SuRVoS, ponieważ duże ilości woluminu będą segmentowane przy bardzo niewielkim udziale użytkownika, a granice są wyznaczane przez program, optymalizacja parametrów ma kluczowe znaczenie dla udanej segmentacji. W szczególności kanały fabularne i budowanie superregionów to dwa obszary, na które należy zwrócić uwagę.

Kanały funkcji i trenowanie modeli

Oprócz danych surowych, SuRVoS umożliwia użytkownikowi tworzenie dodatkowych zestawów danych lub kanałów pochodzących z istniejącego zestawu danych. Kanały te można tworzyć przy użyciu wybranych metodologii obliczeniowych lub ekstraktorów funkcji. Każda z reprezentacji danych jest dostępna równolegle i może być indywidualnie wyświetlana w celu oceny wyników funkcji lub aplikacji filtrującej. Ze względu na te cechy są one określane jako kanały funkcji w SuRVoS. W SuRVoS dostępnych jest wiele opcji kanałów funkcji. Aby uzyskać informacje na temat opcji i parametrów używanych w tym miejscu, zobacz Tabelę 1, a pełną listę i opis dostępnych kanałów funkcji można znaleźć https://diamondlightsource.github.io/SuRVoS/ ². Po pierwsze, hałaśliwe zestawy danych skorzystają na odszumianiu za pomocą filtra Gaussa lub filtra zmienności całkowitej. Zaleca się, aby dalsze obliczenia kanału cech i superwokseli/megawokseli były wykonywane przy użyciu jednego z tych odszumionych zestawów danych jako źródła danych. Ogólnie rzecz biorąc, zestaw danych odszumionych całkowitej zmienności jest używany jako dane źródłowe do obliczeń kanału cech i superwokseli/megawokseli. Sugeruje się, aby najpierw uruchomić z wartościami domyślnymi, ocenić wynik w 3D, a na końcu iteracyjnie zoptymalizować parametry zestawu danych. Ponadto kanały funkcji można przekształcić w "zestawy filtrów" w celu wyodrębnienia aspektów zbioru danych, a następnie można je wykorzystać jako źródła danych do tworzenia superwokseli i megawokseli. Chociaż ta strategia jest w dużym stopniu zależna od zestawu danych, może być korzystna.

Kanały funkcji są również używane jako źródła do trenowania klasyfikatora w trenowaniu modelu. Przy podejmowaniu decyzji o tym, które kanały funkcji mają być używane, zaleca się, aby podczas pracy z niewielką liczbą adnotacji w celu trenowania klasyfikatora używać kilku niezawodnych kanałów funkcji (np. z wykrywania obiektów blob, tekstury i struktury lub kategorii funkcji odpornych). Podczas pracy z dużą ilością danych treningowych zaleca się użycie większej liczby kanałów funkcji ogółem, z dowolnej kategorii, o ile dostarczają one różnych informacji do klasyfikatora (np. dodaj do powyższej listy kanały funkcji z kategorii funkcji lokalnych i cech Gaussa).

Trenowanie modelu składa się z trzech głównych części: dostarczania źródeł danych wejściowych, które opisują dane, używania tych danych wejściowych do trenowania klasyfikatora i wreszcie uściślania przewidywań wyjściowych. Ogólnie rzecz biorąc, mniejsze regiony danych będą wymagały większej liczby adnotacji użytkownika w celu dokładnego wytrenowania klasyfikatora, podczas gdy większe regiony danych będą wymagały mniejszej liczby adnotacji użytkownika. Trenowanie modelu najpierw bez wybierania uściślenia może służyć do znajdowania najlepszych przewidywań. Następnie uwzględnij udoskonalenie i zoptymalizuj parametr lambda zgodnie z potrzebami, aby rozwiązać problemy z przewidywaniami, takie jak lub postrzępione krawędzie.

Superwoksele i megawoksele

Superwoksele to zbitki wielu pobliskich, podobnych wokseli^38,39. Superwoksele zaczynają się jako standardowa siatka 3D nałożona na dane, która jest następnie iteracyjnie deformowana w celu przylegania do podstawowych granic, a tym samym lepszego reprezentowania danych. Tworzenie i deformacja superwokseli jest kontrolowana przez cztery dane wejściowe użytkownika: źródło danych, kształt superpiksela, odstępy i zwartość. Źródło danych zawiera dane wejściowe, które są odpytywane podczas tworzenia superwoksela. Można użyć dowolnego źródła, w tym filtrowanych źródeł danych. Parametry kształtu superpiksela określają początkową siatkę 3D i przybliżony pożądany kształt wynikowych superwokseli. Zmiana tych parametrów może zwiększyć lub zmniejszyć rozmiar superwokseli przed deformacją. Parametry rozstawu określają znaczenie obwiedni w każdym kierunku. Zmiana tych parametrów może uwydatnić granice w jednym lub dwóch kierunkach kosztem pozostałych, co oznacza, że wynikowe superwoksele ulegną deformacji, aby lepiej podążać za granicami danych w danym kierunku. Ostatni parametr, zwartość, kontroluje, jak bardzo superwoksele mogą się odkształcać. Niska liczba zwartości pozwala superwokselom na większe odkształcenia. Te parametry powinny być zoptymalizowane w celu zapewnienia superwokseli reprezentujących granice danych będących przedmiotem zainteresowania. Uwaga: Obecnie parametry kształtu superwoksela muszą być równe 1024 lub mniej po pomnożeniu przez siebie.

Pod pewnymi względami parametry superwokseli mogą się nawzajem kompensować, co oznacza, że nie ma jednej "właściwej odpowiedzi" przy podejmowaniu decyzji o parametrach. Na przykład duża siatka początkowa (np. kształt superpiksela: 10 x 10 x 10) i niska liczba zwartości (np. 20) mogą dawać superwokselom podobne przyleganie granic w porównaniu z małą siatką początkową (np. kształt superpiksela 5 x 5 x 5) i wyższą liczbę zwartości (np . 50). Ponieważ w drugim scenariuszu jest więcej, mniejszych superwokseli, nie muszą one się tak bardzo deformować, aby reprezentować granice. Oba zestawy parametrów mogą być odpowiednie do segmentacji zbioru danych.

Największą kwestią przy wyborze parametrów superwokseli jest to, jak dobrze superwoksele reprezentują dane. Wyświetlanie samych superwokseli, bez danych pod nimi, jak na rysunku 2D, jest dobrym sposobem oceny parametrów superwokseli. Po wyświetleniu w ten sposób krawędzie i kontury kształtów znalezionych w danych powinny być nadal widoczne w superwokselach.

Megawoksele to konglomeraty wielu sąsiadujących, podobnych superwokseli^38,39. Są one ponownie kontrolowane przez cztery dane wejściowe użytkownika: źródło danych, lambda, numbins i gamma. Podobnie jak w przypadku superwokseli, źródło danych udostępnia dane wejściowe, które są odpytywane podczas tworzenia megawokseli. Zarówno lambda, jak i numbiny wpływają na rozmiar i przyleganie granic megawokseli. W miarę powiększania się megawokseli (wysoka lambda, niskie drętwienia) zmniejsza się ich przyleganie do granic. Prawdą jest również to, że przyleganie do granic wzrośnie wraz z mniejszymi megawokselami (niska lambda, wysokie drętwienie), jednak wraz ze spadkiem rozmiaru megawoksela rośnie ich przydatność w szybkiej segmentacji dużych ilości wokseli. Opcjonalny parametr gamma steruje współczynnikiem gładkości w funkcji kosztu połączenia ze sobą dwóch superwokseli. Małe wartości gamma mogą zwiększyć podobieństwo między dwoma superwokselami, kosztem ogólnej mniejszej liczby megawokseli.

Podobnie jak w przypadku superwokseli, największą kwestią przy wyborze i optymalizacji parametrów megawokseli jest to, jak dobrze megawoksele reprezentują dane. Wyświetlanie samych megawokseli zgodnie z opisem dla superwokseli może być ponownie wykorzystane do oceny parametrów. Ponieważ jednak megawoksele są na ogół znacznie większe i są trójwymiarowe, zaleca się również korzystanie z narzędzi adnotacji w celu wybrania pojedynczych megawokseli, aby upewnić się, że granica między obszarami zainteresowania jest ścisła.

Strategia adnotacji

Opisano dwie ogólne strategie adnotacji: podejście do trenowania modelu jest przydatne do oddzielania dużych regionów zbioru danych, podczas gdy podejście do segmentacji superregionów jest przydatne w przypadku mniejszych, bardziej zróżnicowanych cech, takich jak poszczególne organelle. Adnotacje można organizować w sposób hierarchiczny, dzięki czemu można najpierw dodawać adnotacje do dużych regionów, a następnie dzielić je na bardziej szczegółowe regiony przy użyciu relacji nadrzędny-podrzędny. Etykietę nadrzędną etykiety można przypisać, klikając obszar po prawej stronie wyboru koloru etykiety i wybierając odpowiednią etykietę nadrzędną z poprzedniego poziomu. W praktyce większość zestawów danych korzysta zarówno ze strategii trenowania modelu, jak i segmentacji superregionów w celu segmentacji określonych regionów/funkcji zainteresowania.

W tym przykładzie trenowania modelu użyto kilku danych wejściowych trenowania (w postaci ręcznych adnotacji opartych na superwokselach użytkownika) na trzech równomiernie rozmieszczonych wycinkach danych. W ten sposób aspekt trenowania modelu SuRVoS znacznie zwiększa szybkość, z jaką możliwa jest segmentacja, zwłaszcza podczas pracy z dużymi, zróżnicowanymi regionami, takimi jak podział między regionami w owocniku trawy gęsiej, jak pokazano na rysunku 3.

Jeśli podczas trenowania modelu przewidywania nie są widoczne, może być konieczne przejście do karty Wizualizacja i upewnienie się, że warstwa Przewidywania jest włączona i ustawiona na odpowiednią przezroczystość. Ponadto pewność dokładności 0 przypisze każdy nieoznaczony superwoksel do etykiety, na podstawie tego, co jest najbliższym dopasowaniem. Ufność 100 spowoduje przypisanie etykiety tylko wtedy, gdy tylko jedna kategoria etykiety ma jakiekolwiek proporcjonalne dopasowanie. Wszystko, co znajduje się pomiędzy, jest kompromisem między tymi dwoma skrajnościami. Podczas wybierania poziomu ufności zaleca się sprawdzenie kilku wycinków, aby wizualnie sprawdzić, czy nie ma nieprawidłowo przewidywanych wokseli przed zapisaniem przewidywania na etykiecie.

Dobrą strategią adnotacji za pomocą superregionów jest użycie narzędzia do powiększania w celu powiększenia danych, dodania adnotacji do kilku organelli jednocześnie na jednym plasterku, stosując najpierw podejście "szybkie, niechlujne" (ryc. 4C). Następnie przesuń kilka plasterków w górę lub w dół w Z i powtórz ten proces. Ponieważ superwoksele są trójwymiarowe, wiele wad "niechlujnego" podejścia jest naprawianych przez adnotacje wykonane w powyższych lub niższych wycinkach. W ten sposób segmentacja jest przyspieszona, a granice są wyznaczane przez superwoksele, a nie ręcznie.

Aby oczyścić etykietę, udostępniono standardowe opcje uściślania segmentacji. Dylatacja powoduje, że wybrana etykieta segmentacji rośnie o zamierzony promień, erozja powoduje jej kurczenie się. Otwieranie i zamykanie to zastosowanie odpowiednio najpierw erozji, a następnie dylatacji lub odwrotnie. A wypełnianie dokładnie to robi. Kolejność tych operacji ma znaczenie. Ogólnie rzecz biorąc, dobrze sprawdza się wykonywanie wypełniania otworów, następnie otwierania, a następnie dylatacji. Każda metoda uszlachetniania może być zastosowana do pojedynczego plasterka ("ten plasterek"), do wszystkich plasterków w 2D ("Wszystkie plasterki (2D)") lub w 3D ("Cała objętość (3D)"). Zalecane są wszystkie plastry (2D).

Znaczenie i kierunki na przyszłość

Wydajna i dokładna segmentacja to kolejne wąskie gardło w przetwarzaniu zbiorów danych 3D, zwłaszcza w przypadku rutynowego automatycznego gromadzenia terabajtów danych obrazowych podczas długotrwałych sesji. SuRVoS Workbench może przyspieszyć proces segmentacji 5-krotnie w porównaniu z segmentacją ręczną. Ponadto, ponieważ granice są wyznaczane przez superwoksele, zmienność wynikowych segmentacji powinna się poprawić. Mamy nadzieję, że w przyszłości uda nam się zbadać sposoby wykorzystania segmentacji reprezentatywnego regionu 3D jako danych treningowych, które można zastosować do pozostałej części woluminu, a nawet oddzielnego woluminu, z dużą pewnością. Postęp ten jeszcze bardziej zmniejszyłby ilość czasu i wkładu użytkownika niezbędnego do segmentacji nawet złożonych objętości biologicznych, pomagając złagodzić wąskie gardło przetwarzania obrazu i segmentacji. To z kolei pozwoli na ilościowe porównanie danych biologicznych w różnych stanach (np. niechorobowy, chorobowy, leczony) z solidnymi liczbami doświadczalnymi.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
komputer	nie dotyczy	Nie dotyczy	Musi mieć system operacyjny Linux i procesor graficzny NVidia z co najmniej 4 GB pamięci