Od wokseli do wiedzy: praktyczny przewodnik po segmentacji złożonych danych 3D z mikroskopii elektronowej

Summary

Wąskim gardłem dla komórkowej mikroskopii elektronowej 3D jest ekstrakcja cech (segmentacja) w bardzo złożonych mapach gęstości 3D. Opracowaliśmy zestaw kryteriów, które zawierają wskazówki dotyczące tego, które podejście do segmentacji (ręczne, półautomatyczne lub zautomatyzowane) najlepiej nadaje się do różnych typów danych, stanowiąc tym samym punkt wyjścia do skutecznej segmentacji.

Abstract

Nowoczesne metody mikroskopii elektronowej 3D pozwoliły ostatnio na bezprecedensowy wgląd w ultrastrukturalną organizację komórek i tkanek w 3D, umożliwiając wizualizację dużych maszyn makromolekularnych, takich jak kompleksy adhezyjne, a także struktur wyższego rzędu, takich jak cytoszkielet i organelle komórkowe w ich odpowiednim kontekście komórkowym i tkankowym. Biorąc pod uwagę nieodłączną złożoność objętości komórkowych, konieczne jest najpierw wyodrębnienie interesujących cech, aby umożliwić wizualizację, kwantyfikację, a tym samym zrozumienie ich organizacji 3D. Każdy zbiór danych jest definiowany przez odrębne cechy, np. stosunek sygnału do szumu, ostrość (ostrość) danych, niejednorodność ich cech, zatłoczenie cech, obecność lub brak charakterystycznych kształtów, które pozwalają na łatwą identyfikację, oraz procent całej objętości, jaki zajmuje określony obszar zainteresowania. Wszystkie te cechy należy wziąć pod uwagę przy podejmowaniu decyzji o tym, jakie podejście przyjąć do segmentacji.

Sześć różnych zestawów danych ultrastrukturalnych 3D zostało uzyskanych za pomocą trzech różnych podejść do obrazowania: tomografii elektronowej z osadzoną żywicą, skoncentrowanej wiązki jonów i skaningowej mikroskopii elektronowej z blokiem szeregowym (FIB-SEM, SBF-SEM) odpowiednio dla próbek lekko i mocno zabarwionych. W przypadku tych zbiorów danych zastosowano cztery różne podejścia do segmentacji: (1) w pełni ręczne budowanie modelu, a następnie wyłącznie wizualizacja modelu, (2) ręczna segmentacja danych ze śledzeniem, a następnie renderowanie powierzchni, (3) podejścia półautomatyczne, po których następuje renderowanie powierzchni lub (4) zautomatyzowane, specjalnie zaprojektowane algorytmy segmentacji, po których następuje renderowanie powierzchni i analiza ilościowa. W zależności od kombinacji cech zbioru danych stwierdzono, że zazwyczaj jedno z tych czterech podejść kategorycznych jest lepsze od pozostałych, ale w zależności od dokładnej sekwencji kryteriów, więcej niż jedno podejście może być skuteczne. Na podstawie tych danych proponujemy schemat klasyfikacji, który kategoryzuje zarówno obiektywne cechy zestawu danych, jak i subiektywne kryteria osobiste do analizy różnych zestawów danych.

Introduction

Tradycyjnie, pole mikroskopii elektronowej (EM) zostało podzielone na 1) gałąź biologii strukturalnej przy użyciu wysokiej i super wysokiej rozdzielczości TEM, zwykle w połączeniu z niejawnym lub jawnym uśrednianiem danych w celu zbadania trójwymiarowej (3D) struktury kompleksów makromolekularnych o określonym składzie i zazwyczaj stosunkowo małym rozmiarze^1-4, oraz 2) gałąź obrazowania komórkowego, w której wizualizowane są całe scenerie komórkowe^1,5,6. Podczas gdy gałąź biologii strukturalnej przeszła spektakularny rozwój w ciągu ostatnich czterech dekad, gałąź biologii komórki była w większości ograniczona do dwóch wymiarów, często na mniej niż optymalnie zachowanych próbkach. Dopiero wraz z pojawieniem się tomografii elektronowej w ostatniej dekadzie biologiczne obrazowanie ultrastrukturalne komórek rozszerzyło się na trzeci wymiar^5,7, gdzie zazwyczaj nie można przeprowadzić uśredniania, ponieważ scenerie komórkowe, a tym samym interesujące cechy, są zazwyczaj unikalne.

Chociaż wizualizacje scen komórkowych są często oszałamiające dla oka, skuteczne wydobycie interesujących cech i późniejsza analiza ilościowa tak bardzo złożonych objętości komórkowych pozostają w tyle, częściowo dlatego, że dokładny skład białka jest zwykle nieznany, co utrudnia interpretację tych komórkowych objętości 3D. Do dnia dzisiejszego rozległa wiedza biologiczna jest często potrzebna do interpretacji złożonych tomogramów, a nawet do identyfikacji ważnych regionów i istotnych komponentów w objętości 3D. Dodatkową komplikacją jest to, że wizualizacja objętości 3D jest niezwykle prosta. Objętości 3D można traktować i w ten sposób wizualizować jako stosy obrazów 2D. Szczegółowa inspekcja sekwencyjnych obrazów 2D krok po wycinku zmniejsza złożoność, ale także ogranicza wyodrębnianie cech, a tym samym analizę ilościową, do dwóch wymiarów. Jednak w przypadku większości obiektów 3D przedstawianie objętości 3D jako zaledwie stosu następujących po sobie płaszczyzn prowadzi do niekompletnej i zniekształconej perspektywy w stosunku do trójwymiarowej natury danego systemu. Alternatywne tryby kontroli wizualnej wymagają renderowania objętościowego lub powierzchniowego, co — biorąc pod uwagę często gęsty charakter woluminu komórkowego — może łatwo prowadzić do zasłoniętego widoku zagnieżdżonych obiektów lub całkowicie przytłoczyć użytkownika, utrudniając w ten sposób interaktywną segmentację ręczną.

Aby zaradzić tym barierom, opracowano wiele różnych metod automatycznego wyodrębniania cech (segmentacji), które zazwyczaj są oparte na gęstości lub nachyleniu^8-10. Jednak metody te mają tendencję do segmentacji całej objętości niezależnie od tego, które obszary lub cechy są interesujące dla eksperta, chociaż niektóre najnowsze metody mogą być ukierunkowane na konkretną cechę zainteresowania, taką jak filamenty aktynowe¹¹. Ponadto programy wykonujące automatyczną segmentację mogą czasami prowadzić do wytworzenia dużej liczby podobjętości (np. w przypadku stosowania segmentacji zanurzeniowej w zlewni), które często muszą być ręcznie scalane z powrotem w całość interesującej nas funkcji lub poddawane dalszej segmentacji. Dotyczy to w szczególności złożonych i zatłoczonych zestawów danych, dlatego większość algorytmów komputerowych renderujących nie jest w stanie wyodrębnić z wiernością tylko interesujących ich cech, a często potrzebne są znaczne wysiłki eksperta, aby uzyskać pożądaną objętość podzieloną na segmenty.

Ponadto, niestandardowe rozwiązania bardzo specyficznego problemu są często publikowane jako dokument z zebrania naukowego, z niewielkim lub żadnym naciskiem na udostępnienie ich szerokim i wszechstronnym narzędziom dla badaczy, którzy nie mają dogłębnej wiedzy z dziedzin matematyki, informatyki i/lub grafiki komputerowej. Konfigurowalne środowisko oprogramowania programistycznego, zawierające szereg bibliotek do analizy obrazów, może być potężnym zestawem narzędzi umożliwiającym użytkownikom efektywne pisanie własnych modułów w celu dokładnej segmentacji. Takie podejście wymaga jednak intensywnego szkolenia i wykształcenia informatycznego, aby móc wykorzystać jego wiele funkcji lub możliwości do analizy obrazu. Można pracować w takim wszechstronnym środowisku oprogramowania dla pewnych zestawów danych, w których cechy są rzadsze, np. wykorzystując potężne podejścia oparte na kształtach, które opierają się na unikalnej geometrii "szablonów" w celu oddzielenia interesujących obiektów od ich otoczenia^12,13.

Istnieje spora różnorodność pakietów do wizualizacji grafiki komputerowej do interaktywnej ręcznej segmentacji i budowania modeli. Niektóre pakiety są dostępne na rynku, podczas gdy inne są pochodzenia akademickiego i są dystrybuowane bezpłatnie, takie jak: University of California San Francisco Chimera¹⁴, University of Colorado IMOD¹⁵ i University of Texas Austin VolumeRover¹⁶. Jednak szeroki zakres i złożoność funkcji i możliwości posiadanych przez te programy wydłuża krzywą uczenia się dla każdego z nich. Niektóre programy do wizualizacji udostępniają proste modele geometryczne, takie jak kule i patyki o różnych rozmiarach, które można umieścić na mapach gęstości w celu stworzenia uproszczonego modelu złożonej objętości 3D. Modele te umożliwiają następnie proste pomiary geometryczne i objętościowe, a tym samym wykraczają poza "ładny obrazek". Takie ręczne śledzenie obiektów sprawdza się dobrze w przypadku woluminów, w których trzeba prześledzić i wyodrębnić tylko niewielką liczbę obiektów. Jednak niedawny rozwój obrazowania ultrastrukturalnego 3D o dużej objętości przy użyciu skaningowej mikroskopii elektronowej ze skupioną wiązką jonów (FIB-SEM)^17-20 lub skaningowej mikroskopii elektronowej z blokiem szeregowym (SBF-SEM)²¹ stanowi dodatkową komplikację polegającą na tym, że rozmiar zestawów danych 3D może wahać się od gigabajtów do dziesiątek i setek gigabajtów, a nawet terabajtów. W związku z tym tak duże objętości 3D są praktycznie niedostępne dla ręcznej ekstrakcji cech, a zatem wydajna półautomatyczna ekstrakcja cech prowadzona przez użytkownika będzie jednym z wąskich gardeł dla efektywnej analizy objętości 3D w dającej się przewidzieć przyszłości.

Przedstawione tutaj są cztery różne podejścia do segmentacji, które są rutynowo stosowane w szerokim zakresie typów obrazów biologicznych. Metody te są następnie porównywane pod kątem ich skuteczności dla różnych typów zestawów danych, co pozwala na kompilację w przewodniku, który pomoże biologom zdecydować, jakie może być najlepsze podejście do segmentacji w celu efektywnej ekstrakcji cech własnych danych. Ponieważ dla większości opisanych programów dostępne są szczegółowe instrukcje obsługi, celem nie jest zapoznanie potencjalnych użytkowników z którymkolwiek z tych konkretnych pakietów. Zamiast tego celem jest pokazanie odpowiednich mocnych i słabych stron tych różnych strategii segmentacji poprzez zastosowanie ich do sześciu przykładowych zestawów danych o różnych cechach. Dzięki temu porównaniu opracowano zestaw kryteriów, które są albo oparte na obiektywnych cechach obrazu zestawów danych 3D, takich jak kontrast danych, ostrość, zatłoczenie i złożoność, albo wynikają z subiektywnych rozważań, takich jak pożądany cel segmentacji, morfologie cech, które mają być segmentowane, gęstość zaludnienia cech będących przedmiotem zainteresowania, Oznacza to ułamek objętości zajmowanej przez cechę będącą przedmiotem zainteresowania oraz sposób optymalnego postępowania przy ograniczonych zasobach, takich jak czas i dostępność personelu. Te różne przykładowe zestawy danych ilustrują, w jaki sposób te obiektywne i subiektywne kryteria mogą być stosowane sekwencyjnie w różnych kombinacjach, aby uzyskać parowanie niektórych podejść do ekstrakcji cech z określonymi typami zestawów danych. Mamy nadzieję, że podane zalecenia pomogą nowicjuszom stojącym przed dużą różnorodnością opcji segmentacji wybrać najbardziej efektywne podejście do segmentacji dla własnej objętości 3D.

Chociaż głównym tematem tego artykułu jest ekstrakcja cech, zwrócenie uwagi na gromadzenie danych i wstępne przetwarzanie danych jest kluczowe dla efektywnej segmentacji. Często barwienie próbek może być nierówne, a zatem w procedurze segmentacji należy wziąć pod uwagę potencjalne artefakty barwienia. Jednak barwienie zwykle daje wyższy stosunek sygnału do szumu, a zatem wymaga mniej filtrowania i innego matematycznego traktowania objętości komórkowych, co potencjalnie może również powodować artefakty. Odpowiednie zestawy danych obrazu RAW muszą zostać pozyskane z prawidłowymi ustawieniami kontrastu i pikseli kamery, wyrównane i zrekonstruowane w objętość 3D. W przypadku tomogramów wyrównane obrazy są rekonstruowane zwykle przy użyciu ważonej projekcji wstecznej, a następnie zestaw danych jest zwykle poddawany algorytmom odszumiania, takim jak nieliniowa dyfuzja anizotropowa²², filtrowanie dwustronne²³ lub rekurencyjne filtrowanie mediany²⁴. Dane obrazowania FIB-SEM i SBF-SEM są wyrównywane poprzez korelację krzyżową kolejnych warstw w XY przy użyciu programów takich jak ImageJ²⁵. Wzmocnienie kontrastu i filtrowanie można zastosować, aby zwiększyć interesujące Cię funkcje, a tym samym usunąć szumy ze stosu obrazów. Filtrowanie można przeprowadzić na całym woluminie przed zaznaczeniem podwoluminu lub na wybranych podwoluminach, ponieważ metody filtrowania mogą być kosztowne obliczeniowo. Próbkowanie w dół danych (binning), które jest czasami używane do redukcji szumów i/lub zmniejszania rozmiaru pliku, jest zalecane tylko wtedy, gdy dane zostały znacznie nadpróbkowane w porównaniu z przewidywaną rozdzielczością.

Po redukcji szumów, przetworzone obrazy mogą być następnie segmentowane różnymi metodami, a w tym badaniu skupiamy się na następujących czterech: (1) ręcznym generowaniu abstrakcyjnego modelu poprzez tworzenie modelu kulkowego i kijowego, (2) ręcznym śledzeniu interesujących cech, (3) automatycznej analizie opartej na progu, oraz (4) niestandardowej automatycznej segmentacji za pomocą skryptu do segmentacji specyficznej dla projektu. Segmentacja granic⁸ i immersyjna segmentacja działu wodnego¹⁰ są lepszymi alternatywami dla prostego progowania, ale należą do tej samej kategorii i nie zostały wyraźnie uwzględnione w tej dyskusji.

Ręczne śledzenie gęstości wymaga nakreślenia interesujących cech, plasterek po plasterku, co pozwala na zachowanie pierwotnej gęstości odpowiednich obszarów subkomórkowych. Takie podejście pozwala na maksymalną kontrolę procesu segmentacji, ale jest procesem żmudnym i pracochłonnym.

Zautomatyzowane metody segmentacji gęstości oparte na progach (i pokrewne) są półautomatyczne, gdzie algorytm wybiera piksele na podstawie zestawu parametrów zdefiniowanych przez użytkownika. Dostępnych jest kilka akademickich (bezpłatnych) pakietów wizualizacji, takich jak UCSF Chimera, IMOD, Fiji²⁶ i VolumeRover, a także pakiety komercyjne (wymagające płatnych licencji), a oba typy zazwyczaj zawierają jedno lub więcej z tych podejść do segmentacji. Pakiety oprogramowania użyte w tej pracy do zilustrowania tych różnych metod obejmują zarówno programy komercyjne, jak i akademickie programy open source do ręcznego generowania abstrakcyjnego modelu, a także ręcznej i automatycznej segmentacji gęstości. Jednak oprogramowanie typu open source może czasami oferować bardziej zaawansowane opcje dzięki możliwości dostosowania.

Porównanie tych technik przy użyciu różnych typów zestawów danych doprowadziło do następującej prezentacji zasad i wskazówek, jak podejść do segmentacji różnych objętości danych biologicznych 3D, które według naszej wiedzy nie zostały jeszcze opublikowane. Jest to zatem pierwsze systematyczne porównanie różnych podejść i ich przydatności w odniesieniu do zbiorów danych o różnej charakterystyce dla użytkowników o różnych celach.

Protocol

1. Ręczne generowanie abstrakcyjnych modeli

Uwaga: Szczegóły metodologii opisanej poniżej są specyficzne dla Chimery, ale zamiast tego mogą być używane inne pakiety oprogramowania. Stosuj to podejście, gdy jedynym celem jest stworzenie modelu geometrycznego (np. modelu kuli i kija) w celu wykonania pomiarów geometrycznych, a nie wyświetlania kształtu objętości obiektów.

1. Zaimportuj wolumin danych do odpowiedniego programu w celu ręcznego generowania abstrakcyjnego modelu.
   1. Wybierz pozycję Plik > Otwórz mapę, aby wyświetlić okno dialogowe Otwórz plik. Przejdź do lokalizacji pliku żądanej mapy.
   2. Pociągnij w górę przeglądarkę woluminów (Narzędzia > Dane woluminu > Przeglądarka woluminów) i wybierz opcję Funkcje > Styl wyświetlania, aby wyświetlić dane z różnymi stylami renderowania.
   3. Dostosuj próg wyświetlania, przeciągając pionowy pasek na histogramie w oknie Podgląd głośności.
2. Poruszaj się po objętości 3D (np. plasterek po wycinku), aby wybrać obszar zainteresowania do segmentacji i w razie potrzeby wyciąć mniejszą podobjętość.
   1. W oknie dialogowym Podgląd woluminu kliknij pozycję Oś, a następnie wybierz opcję X, Y lub Z.
   2. W oknie dialogowym Podgląd woluminu wybierz opcję Elementy > Płaszczyzny. Kliknij opcję Jedna, aby ustawić głębokość, aby wyświetlić płaszczyznę odpowiadającą liczbie w lewym polu, a następnie kliknij opcję Wszystkie, aby wyświetlić wszystkie płaszczyzny.
   3. W oknie dialogowym Podgląd woluminu wybierz opcje Funkcje > wybór podregionu.
      1. Kliknij i przeciągnij, aby utworzyć prostokątny blok wokół obszaru zainteresowania.
3. Umieść znaczniki wzdłuż interesującej Cię funkcji i połącz je z konsolidatorami tam, gdzie to konieczne (często jest to wykonywane automatycznie przez program), aż model zostanie ukończony.
   1. Z paska menu Podgląd woluminu wybierz Narzędzia > Okno dialogowe Śledzenie woluminu, aby otworzyć okno dialogowe Śledzenie woluminu. W oknie dialogowym Volume Tracer (Śledzenie woluminu) wybierz opcję File (Plik) > New Marker Set (Nowy zestaw znaczników).
   2. W oknie dialogowym Śledzenie głośności zaznacz opcję Mysz > Umieść znaczniki o wysokiej jakości, Umieść znaczniki na płaszczyznach danych, Przenieś i zmień rozmiar znaczników, Połącz nowy znacznik z wybranym znacznikiem i Połącz kolejno wybrane znaczniki.
   3. Kliknij próbkę Kolor znacznika i wybierz kolor. Powtórz ten krok dla koloru łącza.
   4. Wprowadź promienie dla elementów znacznika i łączenia modelu.
   5. W oknie śledzenia woluminu wybierz opcję Umieść znaczniki za pomocą [prawego] przycisku myszy i wstaw promienie dla znaczników i łączy.
   6. Kliknij prawym przyciskiem myszy dane głośności, aby rozpocząć układanie znaczników. Znaczniki zostaną połączone automatycznie.
   7. W oknie dialogowym Śledzenie woluminu wybierz Plik > Zapisz bieżący zestaw znaczników, a następnie Plik > Zamknij zestaw znaczników.
4. Otwórz nowy zestaw znaczników (krok 1.3.1), aby rozpocząć tworzenie modelu w drugą pożądaną cechę, która Cię interesuje. Wykorzystaj kontrastujące kolory między zestawami znaczników, aby podkreślić różnice w cechach.

2. Ręczne śledzenie interesujących cech

Uwaga: Szczegóły metodologii opisanej poniżej są specyficzne dla Amiry, ale zamiast nich mogą być używane inne pakiety oprogramowania. Stosuj to podejście, gdy gęstość zaludnienia jest stosunkowo niewielka i gdy dokładność wyodrębniania cech ma kluczowe znaczenie, ponieważ ręczne śledzenie jest czasochłonnym podejściem.

1. Importuj dane woluminu do programu z opcjami ręcznego śledzenia. Oprogramowanie z tą funkcją zazwyczaj oferuje co najmniej podstawowe narzędzie do malowania.
   1. W przypadku dużych objętości lub tomogramów (np. 16-bitowych tomogram .rec lub .mrc o wymiarach 2,048 x 2,048 lub większych wygenerowanych w IMOD): Wybierz Otwórz dane > kliknij prawym przyciskiem myszy filename.rec > Formatuj... >Wybierz Raw jako LargeDiskData > Ok> załaduj. Wybierz odpowiednie parametry danych pierwotnych z informacji nagłówka > Ok. Przełącz i zapisz jako nowy plik filename.am do użycia w poniższych krokach.
   2. W przypadku mniejszych plików stosu obrazów 3D (np. 3D .tif lub .mrc lub .rec): Otwórz > Dane Wybierz filename.tif lub nazwę pliku.mrc. Przełącz i kliknij prawym przyciskiem myszy> Zapisz jako filename.am. Jeśli zostanie wygenerowany błąd lub program nie odpowiada, plik może być zbyt duży i można go otworzyć, wykonując krok 2.1.1.
2. Poruszaj się po wycinkach, aby wybrać podwolumin 3D do segmentacji, a następnie przytnij do tego obszaru zainteresowania.
   1. W oknie Przeglądarka 3D wybierz Orthoslice, aby otworzyć plik obrazu. Użyj suwaka na dole, aby poruszać się po plasterkach.
   2. Aby przyciąć większe dane otwarte jako LargeDiskData, przełącz nazwę pliku w oknie Pula > kliknij prawym przyciskiem myszy > LatticeAccess. Wprowadź żądany rozmiar pola > Zastosuj. Zapisz nowy plik.
3. Utwórz plik segmentacji.
   1. Przełącz plik w oknie Pula > kliknij prawym przyciskiem myszy > Etykietowanie > LabelField. Nowy plik zostanie utworzony i automatycznie załadowany w zakładce Edytor segmentacji.
4. Prześledź obramowanie pierwszej interesującej Cię funkcji, a następnie wypełnij ślad ręcznie lub za pomocą polecenia specyficznego dla używanego oprogramowania. Postępuj zgodnie z interesującą Cię funkcją przez wszystkie wycinki i powtórz ręczną segmentację śledzenia. Podczas korzystania z Amiry użyj następujących poleceń:
   1. Aby użyć narzędzia Pędzel, zmień rozmiar pędzla zgodnie z potrzebami, a następnie użyj wskaźnika myszy, aby obrysować obramowanie interesującego obiektu.
   2. Wypełnij obrysowany obszar skrótem "f". Dodaj zaznaczenie, klikając przycisk z symbolem plusa lub skrótem "a". W razie potrzeby naciśnij "u", aby cofnąć i "s", aby odjąć lub usunąć.
5. Wygeneruj renderowanie powierzchni w celu wizualizacji i podstawowej analizy jakościowej lub ilościowej zgodnie z instrukcją obsługi oprogramowania.
   1. Na karcie Pula obiektów przełącz filename-labels.am w oknie Pula > kliknij prawym przyciskiem myszy > SurfaceGen.
   2. Wybierz żądane właściwości powierzchni > Zastosuj. W puli zostanie utworzony nowy plik filename.surf.
   3. Aby zwizualizować wolumin podzielony na segmenty, przełącz filename.surf w oknie Pula > kliknij prawym przyciskiem myszy > SurfaceView.
   4. Użyj narzędzi w oknie 3DViewer, aby przesuwać, obracać i powiększać wolumin 3D.
6. Wyodrębnij dokładne gęstości i określ pomiary, takie jak objętość lub powierzchnia. Eksport do innych programów w celu bardziej zaawansowanego wyświetlania, analizy i symulacji.
   1. W oknie 3DViewer kliknij narzędzie Zmierz > Wybierz odpowiednią opcję (Długość i Kąt 2D dla pomiarów na pojedynczej płaszczyźnie 2D, Długość 3D i Kąt 3D dla pomiarów na objętości 3D).
   2. Kliknij powierzchnię siatki, aby zmierzyć żądaną długość, odległość i kąty. Wartości zostaną wyświetlone w oknie Właściwości.

3. Automatyczna segmentacja oparta na gęstości

Uwaga: Szczegóły metodologii opisanej poniżej są specyficzne dla Amiry, ale zamiast nich mogą być używane inne pakiety oprogramowania.

1. Użyj tego podejścia w przypadku zestawów danych o dowolnej różnorodności kontrastu, wyrazistości lub zatłoczenia, aby wycofać interesujące nas gęstości.
2. Importuj dane woluminu do programu wyposażonego w progowanie, magiczną różdżkę lub inne narzędzia oparte na gęstości do automatycznej segmentacji. Postępuj zgodnie z instrukcjami opisanymi w 2.1-2.1.2 we wskazówkach dotyczących ręcznego śledzenia.
3. Poruszaj się po wycinkach i wybierz obszar do segmentacji. W razie potrzeby wytnij mniejszą podobjętość 3D w celu segmentacji. Postępuj zgodnie z instrukcjami opisanymi w punktach 2.2-2.2.2 we wskazówkach dotyczących ręcznego śledzenia.
4. Wybieranie gęstości interesującego obiektu umożliwia wybór zagęszczenia, zwykle poprzez kliknięcie lub umieszczenie na nim znaku lub punktu kontrolnego. Jeśli jest to dozwolone w oprogramowaniu, wprowadź zakres liczbowy obejmujący intensywność pikseli funkcji i dostosuj tę tolerancję zgodnie z potrzebami. Gęstości należące do obiektu zostaną wybrane zgodnie z intensywnością piksela zakotwiczenia lub wartością tolerancji. Podczas korzystania z Amiry użyj następujących poleceń.
   1. Narzędzia Różdżka służy do tworzenia obiektów z wyróżniającymi się marginesami.
      1. Kliknij obszar zainteresowania, a następnie dostosuj suwaki w obszarze Wyświetlanie i maskowanie, aby uchwycić prawidłowy zakres wartości, tak aby funkcja była w pełni podświetlona. Dodaj zaznaczenie za pomocą skrótu "a".
   2. Narzędzia Próg należy używać w przypadku elementów bez wyraźnie rozróżnialnych marginesów.
   3. Wybierz ikonę Próg. Dostosuj suwak, aby dostosować gęstość w żądanym zakresie, tak aby maskowane były tylko interesujące obiekty. Kliknij przycisk Wybierz, a następnie dodaj zaznaczenie za pomocą skrótu "a".
   4. Aby podzielić cały wolumin na segmenty, zaznacz opcję Wszystkie plasterki przed dodaniem zaznaczenia.
   5. Aby usunąć szum, wybierz Segmentacja > Usuń wyspy i/lub Segmentacja > etykiety Wygładzanie.
5. Wygeneruj powierzchnię do wizualizacji i analizy jakościowej zgodnie z opisem w sekcji 2.6-2.6.2 śledzenia ręcznego. W razie potrzeby można je wyeksportować do innych programów, aby uzyskać odpowiednie wyświetlanie 3D, analizę ilościową i symulacje.

4. Automatyczna segmentacja dostosowana do potrzeb klienta

Uwaga: Użyj tego podejścia do tworzenia niestandardowych skryptów do automatycznej segmentacji, co wymaga podstawowego doświadczenia w informatyce, ale pozwala na stworzenie precyzyjnego modelu gęstości z dużej objętości.

1. Narzędzia (konkretny przykład segmentacji nadzorowanej przez kształt w MATLAB²⁷)
   1. Wstępne przetwarzanie obrazu: Wykonaj usuwanie szumów, usuwanie tła i ulepszanie obrazu przy użyciu następującego potoku:
      1. Załaduj obraz za pomocą polecenia imread.
         1. W wierszu polecenia wpisz: >> im = imread($image_path), gdzie $image_path to lokalizacja obrazu, który ma być analizowany.
      2. W przyborniku Przetwarzanie obrazu wywołaj Filtr Wienera, używając szacowanego lub znanego stosunku szumu do mocy do sygnału (NSR).
      3. Na poprzednio przetworzonym obrazie wywołaj funkcję otwierania obrazu imopen, aby oszacować warstwę tła, a następnie przydziel wynik jako inną maskę.
         1. W wierszu poleceń wprowadź: >> background = imopen(im,strel($shape_string,$size)), w tej metodzie $shape_string jest równe 'disk' zmiennej, $size jest podawana przez analizator. tj. >> background = imopen(im,strel('disk',15)).
      4. Odejmij przefiltrowany obraz od tła.
         1. W wierszu poleceń wprowadź: >> im2 = im - tło
      5. W zależności od jakości wyników, wykonaj normalizację obrazu z adaptacyjną metodą²⁸ Otsu lub bez niej, którą można wywołać za pomocą funkcji imadjust z Image Processing Toolbox.
         1. W wierszu polecenia wpisz: >> im3 = imadjust(im2)
      6. Przygotuj interesujące Cię obiekty do segmentacji, ograniczając obszary zainteresowania przez przycięcie znormalizowanego obrazu.
         1. Korzystając z polecenia imtool, zbadaj obszar zainteresowania, który ma zostać przycięty, i podaj współrzędne polecenia: >> im3_crop = imcrop(im3, [x1 y1 x2 y2]), gdzie wektor [x1 y1 x2 y2] odpowiada kwadratowemu regionowi, który ma zostać przycięty.
   2. Rozpoznawanie kształtów/nadzorowana klasyfikacja kształtów: Trenuj algorytm, podając konkretne przykłady dla każdej kategorii obiektów (liniowe ślady na obrazie 2D w poprzek interesujących cech).
      1. Sprawdź, czy interfejs API VLFEAT²⁹ został pomyślnie zainstalowany i odwiedź witrynę internetową VLFEAT, aby uzyskać bardziej szczegółową dokumentację.
      2. W wierszu poleceń wpisz: >> [TREE,ASGN] = VL_HIKMEANS(im3_crop,$K,$NLEAVES), gdzie $K to liczba klastrów, które mają być użyte, lub liczba klas, do których obserwator chce uporządkować dane, a $NLEAVES to żądana liczba skupisk liści, tj. >> [TREE,ASGN] = VL_HIKMEANS(im3_crop, 4,100)
      3. Używanie ręcznie podzielonych na segmenty obiektów jako danych wejściowych dla VLFeat.
         UWAGA: Ta biblioteka oparta na języku C o otwartym kodzie źródłowym będzie wykonywać łatanie pikseli, grupowanie poprawek i pozycjonowanie środka klastra w zależności od typu metody wybranej do pracy najlepiej dla zestawów danych. Dostępne opcje obejmują zarówno grupowanie k-średnich, jak i podejścia oparte na tekście³⁰, a wynikiem jest tablica numeryczna, która opisuje pożądane cechy na podstawie podanych przykładów.
2. Segmentacja: Użyj tego w pełni zautomatyzowanego, choć kosztownego obliczeniowo, podejścia do segmentacji wielu klas obiektów jednocześnie, które zostaną zapisane jako osobne mapy do dalszej wizualizacji i analizy.
   1. Załaduj wcześniej wygenerowaną tablicę liczb (model).
   2. Wywołaj funkcję maszyny wektorów nośnych (SVM) w VLFeat, używając modelu i obrazu, który ma zostać podzielony na segmenty, jako danych wejściowych.
      1. W wierszu poleceń wprowadź: >> [w, b] = vl_svmtrain(x, y, 0.1), gdzie x to oryginalny przycięty obraz im2_crop a y to obraz obiektywny, czyli obraz, który został ręcznie podzielony na segmenty. Użyj >> ISEG = VL_IMSEG(I,LABELS), aby pokolorować wyniki zgodnie z etykietami wygenerowanymi przez grupowanie.
         UWAGA: Na podstawie charakterystyki modelu, VLFeat sklasyfikuje obraz pod względem liczby klas (interesujących cech) przypisanych od początku. W zależności od pożądanego stopnia dokładności możliwe jest połączenie tej metody z innymi podejściami lub oszacowanie parametrów klastra, takich jak kadłub i środki klastrów. Wynikiem algorytmu SVM jest model probabilistyczny i wiele masek binarnych żądanych klas w nowych zestawach danych.
   3. Zapisz wyniki, wpisując polecenie: >> imwrite(im, $format, $filename), gdzie $format to "tiff", a $filename to ścieżka do pliku wyjściowego.
   4. Aby zwizualizować obrazy, wprowadź polecenie: >> imshow(im).

Results

Rysunek 1 pokazuje typowy przebieg pracy dla obrazowania komórkowego w mikroskopii elektronowej 3D, w tym tomografii elektronowej, FIB-SEM i SBF-SEM. Przepływ pracy obejmuje gromadzenie surowych danych, wyrównywanie i rekonstrukcję danych do objętości 3D, redukcję szumów poprzez filtrowanie oraz, w razie potrzeby, przycinanie do obszaru zainteresowania w celu maksymalizacji efektywności wybranego oprogramowania do segmentacji. Tak wstępnie przetworzone dane są następnie gotowe do wyodrębnienia/segmentacji cech.

Rysunek 2 ilustruje przepływ pracy przedstawiony na rysunku 1 za pomocą czterech różnych zestawów danych (które zostaną przedstawione poniżej), z których dwa to próbki zanurzone w żywicy zarejestrowane przez tomografię elektronową (Rysunki 2A, 2B), a pozostałe dwa pochodzą odpowiednio z FIB-SEM i SBF-SEM (Rysunki 2C, 2D). Obrazy na rysunku 2 kolumna 1 to odpowiednio widoki rzutowe (rysunki 2A1, 2B1) i obrazy powierzchni blokowej (rysunki 2C1, 2D1), które po wyrównaniu i rekonstrukcji są łączone w objętość 3D. Kolumna 2 pokazuje wycinki przez takie woluminy 3D, które po przefiltrowaniu (kolumna 3) wykazują znaczną redukcję szumów, a tym samym często wydają się bardziej wyraźne. Po wybraniu i przykadrowaniu dużej objętości 3D do obszaru zainteresowania (kolumna 4), można uzyskać renderingi 3D segmentowanych obiektów zainteresowania (kolumna 5) i poddać je dalszej inspekcji, oznaczeniu kolorami i analizie ilościowej.

Łącznie sześć zestawów danych 3D, z których każdy zawiera stos obrazów uzyskanych za pomocą tomografii elektronowej (3 zestawy danych), FIB-SEM (2 zestawy danych) lub SBF-SEM (1 zestaw danych) są używane do porównania, jak działa każda z czterech metod segmentacji (Rysunek 3). Zbiory danych pochodzą z wielu różnych projektów badawczych prowadzonych w laboratorium, a zatem zapewniają dość zróżnicowany zestaw typowych zestawów danych eksperymentalnych. Wszystkie zestawy danych zostały zbadane przez czterech niezależnych badaczy, z których każdy jest najbardziej zaznajomiony z jednym konkretnym podejściem, i mieli za zadanie zapewnić najlepszy możliwy wynik dla każdego z sześciu zestawów danych.

Zestawy danych pochodzą z próbek w następujący sposób: 1. Rysunki 3A1-3A5: zamrożona, zamrożona i zatopiona w żywicy komórka rzęskowata ucha wewnętrznego stereocilia³¹, 2. Rysunki 3B1-3B5: ściana komórkowa roślin mrożona pod wysokim ciśnieniem, podstawiona przez zamrożenie i zatopiona w żywicy (niepublikowana), 3. Ryciny 3C1-3C5: kinocilium komórek rzęsatych ucha wewnętrznego zamrożonych pod wysokim ciśnieniem, podstawionych przez zamrożone i zatopionych w żywicy (niepublikowane), 4. Ryciny 3D1-3D5: zamrożone, podstawione przez zamrożenie i zatopione w żywicy bloki mitochondriów znajdujące się w ludzkich komórkach nabłonka gruczołu sutkowego HMT-3522 S1 acini, które zostały wyhodowane w bogatej w lamininę macierzy zewnątrzkomórkowej^32,33, 5. Rysunki 3E1-3E5: niebarwione, przetworzone na stole, zatopione w żywicy bloki biofilmów bakteryjnych redukujących siarczany (manuskrypt w przygotowaniu) i 6. Rysunki 3F1-3F5: granica błony sąsiednich komórek acini HMT-3522 S1.

Jak widać na rysunku 3, różne podejścia do segmentacji mogą prowadzić do podobnych wyników dla niektórych typów zestawów danych, ale zupełnie innych wyników dla innych typów danych. Na przykład zestaw danych stereocilia komórek rzęsiastych (ryc. 3A) daje rozsądne objętości segmentacji przy wszystkich czterech podejściach, przy czym ręczny abstrakcyjny model wygenerowany przez doświadczonego użytkownika jest najbardziej przejrzysty do interpretacji i pomiaru. W tym przypadku taki model pozwala na szybkie pomiary odległości filament-filament, zliczanie liczby ogniw znalezionych pomiędzy wydłużonymi filamentami, a także wyznaczenie brakujących części mapy gęstości odpowiadających miejscom, w których próbka została uszkodzona podczas przygotowania próbki³⁴. Takie informacje są znacznie trudniejsze do uzyskania przy użyciu pozostałych trzech podejść do segmentacji, chociaż dostosowana do potrzeb klienta automatyczna segmentacja zapewnia lepsze wyniki niż progowanie oparte wyłącznie na zagęszczeniu.

Dla ściany komórkowej roślin (Rysunek 3B), ręczne generowanie modelu okazało się najbardziej efektywne w przekazywaniu poczucia porządku w ścianie komórkowej, czego nie osiąga żadne inne podejście. Jednak abstrakcyjny model nie oddaje zatłoczenia obiektów w zestawie danych. Ręczne śledzenie interesujących nas cech wydaje się dawać lepsze wyniki niż podejścia oparte na gęstości lub nadzorowane kształty. Z drugiej strony, ręczne śledzenie jest bardzo pracochłonne, a identyfikacja granic cech jest nieco subiektywna. W związku z tym zautomatyzowane podejścia mogą być preferowane w przypadku segmentacji dużych ilości z potencjalnym kompromisem między precyzją a zasobami poświęconymi na ręczną segmentację.

Dla zestawu danych kinocilium (Rysunek 3C), ręczne generowanie abstrakcyjnego modelu daje najczystszy wynik i ujawnia nieoczekiwaną architekturę trzech mikrotubul w centrum kinocilium, szczegół, który jest łatwo widoczny w przyciętych danych, ale utracony we wszystkich innych podejściach, prawdopodobnie z powodu niejednorodności plam. Jednak inne potencjalnie kluczowe cechy mapy gęstości są pomijane podczas ręcznego generowania modelu abstrakcyjnego. Wynika to z faktu, że subiektywny charakter ręcznego tworzenia modelu prowadzi do idealizacji i abstrahowania od rzeczywistej obserwowanej gęstości, a tym samym do subiektywnej interpretacji podczas tworzenia modelu. W związku z tym ten przykład dobrze pokazuje, w jaki sposób ręczne generowanie abstrakcyjnego modelu pozwala skoncentrować się na określonym aspekcie objętości 3D. Jednak selektywna percepcja i uproszczenie nie daje pełnego wyjaśnienia wszystkich kompleksów białkowych obecnych w zbiorze danych. W związku z tym, jeśli celem jest pokazanie złożoności danych, lepiej jest zastosować jedno z pozostałych trzech podejść.

W przypadku 3D gruczołu sutkowego hodowanego w matrycy acini (Rysunek 3D), mitochondria o wysokim kontraście są z łatwością segmentowane za pomocą wszystkich czterech podejść, przy czym ręczne śledzenie cech nie jest zbyt zaskakujące, dając najlepsze wyniki przy najmniejszej ilości zanieczyszczeń (Rysunek 3D3). Jednak ręczne śledzenie jest bardzo pracochłonne i dlatego ma ograniczone zastosowanie w przypadku dużych ilości. Zarówno automatyczna segmentacja oparta na progu gęstości, jak i nadzorowana przez kształt, dość dobrze ekstrahuje mitochondria i skutkowałaby niemal idealną segmentacją, gdyby zastosowano dalsze sztuczki w celu oczyszczenia (np. eliminując wszystkie obiekty poniżej określonego progu gęstości wokseli), które są dostępne w różnych pakietach. W tym przypadku ręczne budowanie abstrakcyjnych modeli nie przyniosło obiecujących wyników, częściowo dlatego, że mitochondriów nie można łatwo przybliżyć za pomocą modeli kulowych i patyczkowych.

W odniesieniu do bakteryjnej społeczności glebowej/biofilmu (Rysunek 3E), trzy z czterech podejść dają rozsądne wyniki, przy czym ręczne generowanie modelu nie działa dobrze ze względu na wyzwanie związane z przedstawianiem obiektów biologicznych, takich jak bakterie, za pomocą kształtów geometrycznych. Zewnątrzkomórkowe przydatki pochodzące od bakterii można wykryć w metodach automatycznej segmentacji, ale nie tak dobrze w ręcznym śledzeniu cech. Nadzorowana, dostosowana do potrzeb klienta automatyczna segmentacja może dodatkowo oddzielić cechy zewnątrzkomórkowe od bakterii pomimo ich podobnej gęstości (dane nie pokazane), umożliwiając łatwą kwantyfikację nawet bardzo dużych zestawów danych. Ze względu na to, że jest to pierwotnie bardzo duży zbiór danych, dostosowana do potrzeb klienta automatyczna segmentacja wyraźnie przewyższała wszystkie inne podejścia, ale mogła skorzystać na niskiej złożoności i stosunkowo rzadkim rozmieszczeniu obiektów zainteresowania (niskie zatłoczenie).

Podczas badania interfejsu między dwiema komórkami eukariotycznymi w kontekście tkankowym (Rysunek 3F), tylko ręczne śledzenie interesujących cech dało dobre wyniki. Zautomatyzowane podejścia do segmentacji oparte na gęstości nie są w stanie całkowicie wykryć granicy błony między sąsiednimi komórkami, a nawet podejścia dostosowane do potrzeb klienta zawodzą, częściowo dlatego, że kształt komórki nie jest łatwo przybliżony lub utożsamiony z kształtami, pomimo wyraźnego sukcesu dla bakterii w biofilmie (Figura 3E5).

Obserwacja z rysunku 3, że podejścia do segmentacji działają dobrze na niektórych zestawach danych, ale nie na innych, doprowadziła do pytania, co charakteryzuje każdy z tych zestawów danych i czy możliwe jest skategoryzowanie typów cech danych lub osobistych celów, które wydawały się dobrze pasować do ich odpowiedniego podejścia. Systematyczne badania tego tematu nie były wcześniej prowadzone, dlatego jako pierwszy krok ustanowienie empirycznej listy cech obrazu i osobistych celów może poprowadzić nowicjusza w próbie znalezienia najlepszego podejścia do ekstrakcji cech odpowiedniego zestawu danych.

Osiem kryteriów, które zostały zidentyfikowane jako istotne, pokazano na rysunku 4 i można je podzielić na dwie główne kategorie: (1) cechy nieodłącznie związane z zestawem danych, oraz (2) osobiste cele badacza i inne względy, które są nieco bardziej subiektywne, choć równie ważne. Przedstawione przykłady pochodzą głównie z sześciu zestawów danych na rysunku 3, przy czym wprowadzono trzy dodatkowe zestawy danych: jeden (rysunek 4A1) to kriotomogram kriosekcji ściany komórkowej rośliny Arabidopsis thaliana, drugi (rysunki 4A2, 4B1, 4D1) jest zbiorem danych FIB/SEM prążkowia naczyniowego ucha wewnętrznego, które jest wysoce złożoną i pofałdowaną tkanką, która może pasować do kategorii przedstawionej na rysunkach 3F1-3F5, ale jest jeszcze bardziej złożona, a trzecia (ryc. 4B2, 4D2) jest tomogramem o przekroju żywicznym stereocilia komórek rzęsatych ucha wewnętrznego w widoku przekrojowym, podobnie jak zawartość próbki pokazana w widoku podłużnym na rysunkach 2A1-2A5 i 3A1-3A5.

Dla kategorii obiektywnych kryteriów, takich jak cechy obrazu, proponuje się, aby cztery cechy zawarte w zestawach danych były ważne:

1. Kontrast danych może być (1) niski (Rysunek 4A1), jak jest typowy dla tomogram krio-EM, (2) pośredni (Rysunek 4A2), taki jak w sceneriach komórkowych bez wyraźnych organelli lub innych widocznych cech, lub (3) wysoki (Rysunek 4A3), jak ma to miejsce w przypadku tomogramu kinorzęskowego lub stereorzęsek w przekroju poprzecznym, ze względu na wyrównanie wyraźnie oddzielonych elementów nitkowatych w kierunku z.
2. Dane mogą być rozmyte (Rysunek 4B1), bez widocznych wyraźnych granic między dwoma blisko położonymi obiektami, takimi jak komórki w tkance, lub wyraźne (Rysunek 4B2), z ostro zdefiniowanymi granicami. Jest to częściowo funkcja rozdzielczości zbioru danych, która jest z natury wyższa o współczynnik około 2-4 w przypadku tomogramów elektronowych w porównaniu z FIB-SEM. Oczywiście, ostrzejsze granice są pożądane zarówno w przypadku ręcznej, jak i zautomatyzowanej segmentacji, ale są niezbędne w przypadku tego drugiego podejścia.
3. Mapy zagęszczenia mogą być albo zatłoczone (Rysunek 4C1), co odzwierciedla ciasno rozmieszczone składniki ściany komórkowej roślin, albo słabo zaludnione (Rysunek 4C2), jak bakterie w kolonii, co ilustruje separację, która znacznie ułatwia automatyczną segmentację obrazu.
4. Mapy gęstości mogą być bardzo złożone z bardzo różnymi cechami, często o nieregularnych kształtach, takich jak tkanka unaczyniowa prążkowia wokół naczynia krwionośnego (ryc. 4D1) lub dobrze zdefiniowane obiekty podobne do organelli o podobnej organizacji, takie jak stereocilia w przekroju poprzecznym (ryc. 4D2).

Zwróć również uwagę na bardzo różne skale we wszystkich różnych przykładach, co nieco utrudnia porównanie.

Oprócz bardziej obiektywnych kryteriów, takich jak charakterystyka obrazu, zaproponowano również cztery wysoce subiektywne kryteria, które będą kierować wyborem odpowiedniej ścieżki:

1. Pożądany cel: Celem może być wizualizacja wiązki włosa stereocilium w jej złożoności oraz określenie i zbadanie kształtu obiektu (Rysunek 4E1), lub stworzenie uproszczonego i abstrakcyjnego modelu kuli i patyczka, który jest wbudowany w mapę gęstości i umożliwia szybkie liczenie i mierzenie obiektów geometrycznych (długość włókna, odległość i liczba połączeń) (Rysunek 4E2).
2. Morfologia cech może być bardzo nieregularna i złożona, podobnie jak komórki, takie jak strefy interakcji komórka-komórka (ryc. 4F1), nieco podobnie ukształtowane z pewną zmiennością, taką jak mitochondria (ryc. 4F2), lub w większości identycznie ukształtowane, takie jak włókna aktynowe i ogniwa krzyżowe w wiązce włosów w orientacji podłużnej (ryc. 4F3).
3. Proporcja cechy będącej przedmiotem zainteresowania (gęstość zaludnienia) jest ważna, ponieważ można chcieć segmentować wszystkie cechy w zestawie danych 3D, jak ma to miejsce w przypadku ścian komórkowych roślin (Figura 4G1), lub tylko niewielki ułamek objętości komórkowej, jak ma to miejsce w przypadku mitochondriów w heterogenicznej scenie komórkowej (Figura 4G2). W zależności od rozmiaru zbioru danych i procentu wolumenu, który wymaga segmentacji, najbardziej efektywne może być stosowanie podejść ręcznych. W innych przypadkach, np. gdy ktoś jest zainteresowany różnymi funkcjami, po prostu nie ma alternatywy dla stosowania półautomatycznych podejść do segmentacji.
4. Innym kluczowym kryterium subiektywnym jest ilość zasobów, które jesteśmy skłonni zainwestować w proces segmentacji oraz jaki poziom wierności jest wymagany, aby odpowiedzieć na pytanie biologiczne. Można chcieć i potrzebować określić ilościowo parametry wolumetryczne obiektu (takie jak rozmiar, objętość, pole powierzchni, długość, odległość od innych obiektów itp.), w którym to przypadku może być konieczne uzyskanie dokładnych informacji ilościowych (Rysunek 4H1) lub celem może być po prostu zrobienie zdjęcia jego kształtu 3D (Rysunek 4H2). W idealnym świecie, w którym zasoby są nieograniczone, z pewnością nie chciałoby się iść na żadne kompromisy, ale raczej wybrać najdokładniejszą ścieżkę ręcznego wyodrębniania funkcji wspomaganej przez użytkownika. Chociaż może to działać w przypadku wielu zestawów danych, w niedalekiej przyszłości wolumeny 3D będą rzędu 10 tys. na 10 tys. na 10 tys. lub więcej, a ręczna segmentacja nie będzie już w stanie odgrywać znaczącej roli w segmentacji tak ogromnej przestrzeni. W zależności od złożoności danych i innych cech danych, półautomatyczna segmentacja może stać się koniecznością.

Na rysunku 5 krótko wymieniono mocne strony i ograniczenia dla czterech podejść do segmentacji. Przedstawiono również osobiste cele i cechy wizerunkowe zidentyfikowane na rysunku 4, które mogą pasować do każdego podejścia. Na rysunku 6 przedstawiono osobiste cele i charakterystykę obrazu sześciu zestawów danych ilustrują, w jaki sposób należy klasyfikować dane i wybierać najlepsze podejście. Zarówno rysunki 5, jak i 6 zostały rozwinięte w dyskusji.

Rysunek 1. Przebieg pracy w zakresie rekonstrukcji i analizy obrazowania biologicznego. Ten wykres zawiera przegląd różnych kroków podejmowanych w celu zebrania i przetworzenia obrazów zebranych za pomocą tomografii, SEM skupionej wiązki jonów i SEM z twarzą bloku szeregowego. Zbieranie surowych danych wynika z serii pochylenia 2D lub sekcji szeregowych. Te zestawy obrazów 2D muszą zostać wyrównane i zrekonstruowane do 3D, a następnie przefiltrowane w celu zmniejszenia szumów i zwiększenia kontrastu interesujących obiektów. Na koniec dane można segmentować i analizować, co ostatecznie prowadzi do powstania modelu 3D. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2. Przykłady przepływu pracy dla różnych typów danych z tomografii i FIB-SEM. Każdy etap przepływu pracy po zebraniu danych jest przedstawiany za pomocą czterech zestawów danych (wiersze A-D): tomografia barwiona żywicą stereocilii o przekroju wzdłużnym, tomografia barwiona żywicą celulozy ściany komórkowej roślinnej, FIB-SEM mitochondriów komórek nabłonka piersi oraz SBF-SEM bakterii E. coli. Wycinek 2D przez nieprzetworzone dane jest pokazany w kolumnie 1, a obraz z danych po wyrównaniu i rekonstrukcji 3D obejmuje kolumnę 2. Techniki filtrowania zastosowane w kolumnie 3 są następujące: filtr medianowy (A3), nieanizotropowy filtr dyfuzyjny (B3), rozmycie gaussowskie (C3) i filtr nieregulacji MATLAB (D3). Przykład najlepszej segmentacji dla każdego zestawu danych z przyciętego obszaru zainteresowania (kolumna 4) jest wyświetlany jako rendering 3D w kolumnie 5. Podziałka: A1-A3 = 200 nm, A4 = 150 nm, A5 = 50 nm, B1-B3 = 200 nm, B4-B5 = 100 nm, C1-C3 = 1 mm, C4-C5 = 500 nm, D1-D3= 2 mm, D4-D5 = 200 nm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3. Zastosowanie czterech podejść segmentacyjnych do przykładowych zbiorów danych. Sześć przykładowych zestawów danych zostało podzielonych na segmenty za pomocą wszystkich czterech podejść: ręcznego generowania abstrakcyjnego modelu, ręcznego śledzenia, automatycznej segmentacji opartej na gęstości i niestandardowej automatycznej segmentacji. Ręczne generowanie abstrakcyjnego modelu było skuteczne w przypadku tomografii stereorzęsek (A) zatopionej w żywicy, ponieważ celem było stworzenie modelu do celów ilościowych, a nie do ekstrakcji gęstości. W przypadku tomografii barwionej żywicą ściany komórkowej roślin (B) zautomatyzowana segmentacja oparta na gęstości była najskuteczniejszą metodą szybkiego wydobycia celulozy przez wiele warstw, podczas gdy metody ręczne wymagały znacznie więcej wysiłku na zaledwie kilku wycinkach danych. Ręczne generowanie abstrakcyjnego modelu wygenerowało tryplet mikrotubul w barwionej tomografii kinocilium (C), podczas gdy inne metody segmentacji tego nie zrobiły, jednak te dwa zautomatyzowane podejścia pozwoliły na szybsze wyodrębnienie gęstości i dlatego były preferowane. Ze względu na kształt mitochondriów z FIB-SEM komórek nabłonka piersi (D), ręczne śledzenie zapewniło najczystszy wynik, a niska gęstość populacji w połączeniu z zastosowaniem metod interpolacji pozwoliła na szybką segmentację. Biorąc pod uwagę dużą objętość, która wymagała segmentacji, dostosowana do potrzeb klienta automatyczna segmentacja okazała się najbardziej efektywna w segmentacji danych dotyczących bakterii SBF-SEM (E), ale oba podejścia automatyczne były porównywalne. Chociaż było to czasochłonne, jedyną metodą ekstrakcji FIB-SEM błony komórkowej nabłonka piersi (F) było ręczne śledzenie. Paski skali: A1-A5 = 100 nm, B1-B5 = 100 nm, C1-C5 = 50 nm, D1-D5 = 500 nm, E1-E5 = 200 nm, F1-F5, pręty = 500 nm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4. Obiektywne cechy obrazu i subiektywne osobiste cele selekcji zbiorów danych. Na przykładach cech zbioru danych zaproponowano kryteria mające na celu podjęcie decyzji o tym, które podejście do segmentacji należy zastosować. Jeśli chodzi o cechy obiektywne, dane mogą z natury charakteryzować się niskim, średnim lub wysokim kontrastem (A1-A3), być rozmyte lub wyraźne (B1-B2), rozproszone lub zatłoczone (C1-C2) oraz mieć złożone lub po prostu zorganizowane cechy (D1-D2). Subiektywne cele osobiste obejmują pożądany cel ukierunkowany na uproszczony model lub wyodrębnienie dokładnych gęstości (E1-E2), zidentyfikowanie zawiłego arkusza, zawiłej objętości lub morfologii liniowej jako cechy zainteresowania (F1-F3), wybór wysokiej lub niskiej gęstości zaludnienia cechy zainteresowania (G1-G2) oraz podjęcie decyzji o kompromisie między wysoką wiernością a alokacją zasobów w celu zmniejszenia zwrotu z inwestycji, takich jak czas (H1-H2). Paski skali: A1 = 50 nm, A2 = 1500 nm, A3 = 100 nm, B1 = 1500 nm, B2 = 200 nm, C1 = 100 nm, C2 = 200 nm, D1 = 10 mm, D2 = 200 nm, E1 = 100 nm, E2 = 50 nm, F1-F2 = 500 nm, F3 = 50 nm, G1 = 100 nm, G2 = 1 mm, H1-H2 = 100 nm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5.Tabela porównawcza charakterystyki danych i subiektywnych celów odpowiednich dla różnych podejść do segmentacji. Poniższa tabela zawiera podsumowanie mocnych i słabych stron każdego podejścia do segmentacji. Kryteria przedstawione na rysunku 4 mogą pomóc w określeniu, które zestawy danych są odpowiednie dla danej metody segmentacji. Te obiektywne cechy obrazu i subiektywne cele osobiste zostały wybrane w celu optymalnego wykorzystania każdego podejścia, ale różne kombinacje mogą utrudniać lub wspomagać skuteczność segmentacji. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 6. Schemat blokowy decyzji do efektywnej selekcji podejść do segmentacji dla zbiorów danych o różnej charakterystyce. Opierając się na cechach przedstawionych na rysunku 4, diagram ten ilustruje, które cztery kryteria w największym stopniu przyczyniły się do podjęcia ostatecznej decyzji w sprawie najlepszego podejścia do segmentacji dla każdego zestawu danych z rysunku 3. Każdy zestaw danych jest oznaczony kolorami, aby szybko podążać za pogrubionymi liniami reprezentującymi główny proces podejmowania decyzji, a także liniami przerywanymi, które odzwierciedlają alternatywną ścieżkę, która może, ale nie musi, prowadzić do tego samego podejścia. Zestawy danych kinocilium, bakterii i ścian komórkowych roślin zostały najlepiej podzielone na segmenty za pomocą dwóch zautomatyzowanych podejść. W przeciwieństwie do tego, ścieżki błony komórkowej i mitochondriów zawsze prowadzą do ręcznego śledzenia ze względu na ich trudną charakterystykę. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Discussion

Pilnie potrzebne są skuteczne strategie ekstrakcji istotnych cech z woluminów 3D EM, aby nadążyć za tsunami danych, które ostatnio nawiedziło obrazowanie biologiczne. Podczas gdy dane mogą być generowane w ciągu godzin lub dni, dogłębna analiza woluminów 3D zajmuje wiele miesięcy. W związku z tym oczywiste jest, że analiza obrazu stała się wąskim gardłem dla odkryć naukowych; Bez odpowiednich rozwiązań tych problemów, naukowcy zajmujący się obrazowaniem stają się ofiarami własnego sukcesu. Wynika to częściowo z dużej złożoności danych, a także z zatłoczenia makromolekularnego zwykle występującego w komórkach biologicznych, w których białka i kompleksy białkowe graniczą ze sobą i zasadniczo pojawiają się jako ciągły gradient gęstości w skali szarości. Problem komplikują niedoskonałości związane z przygotowaniem próbek i obrazowaniem, a w niektórych przypadkach artefaktami rekonstrukcji obrazu, co prowadzi do mniej niż idealnych danych wolumetrycznych, co może stanowić wyzwanie dla w pełni zautomatyzowanych podejść. Najbardziej znaczący jest jednak fakt, że eksperci w dziedzinie przygotowania próbek, obrazowania i interpretacji biologicznej rzadko są dobrze zorientowani w naukach obliczeniowych, a zatem potrzebują wskazówek, jak skutecznie podejść do ekstrakcji i analizy cech. W związku z tym, korzystając z różnych przykładów, protokół wyjaśnia, jak przygotować dane do segmentacji, a także kroki ręcznego generowania abstrakcyjnego modelu, automatycznej segmentacji opartej na gęstości, ręcznego śledzenia interesujących cech oraz automatycznej segmentacji dostosowanej do potrzeb klienta. Podejścia ręczne i automatyczne przedstawione w procedurze można znaleźć w wielu różnych programach do segmentacji, z których niektóre są tutaj wymienione, ale inne pełnią podobne funkcje i są równie dobrze dopasowane.

Wyniki pokazują, że skuteczność każdego z podejść do segmentacji 3D różni się w zależności od typu zbioru danych. Mimo że różne podejścia dały jakościowo podobne renderingi 3D jako produkt końcowy, ilość czasu i wysiłku poświęconego na każde z nich podczas procesu segmentacji znacznie się różniła. Zalecenia dotyczące odpowiednich cech obrazu i celów osobistych dla każdego podejścia do segmentacji podsumowano na rysunku 5, który został szczegółowo wyjaśniony w kolejnych czterech podsekcjach. Kryteria te zastosowano do sześciu zestawów danych, jak pokazano na schemacie blokowym decyzji na rysunku 6. Chociaż rys. 5 i 6 mają na celu jedynie przedstawienie uzasadnienia dla każdego zestawu danych oraz sposobu ważenia każdego z kryteriów w procesie podejmowania decyzji, nie stanowią one niezawodnych wskazówek, lecz raczej punkt wyjścia. Istnieje po prostu zbyt wiele kryteriów, które wpływają na proces podejmowania decyzji: niektóre z nich są kryteriami obiektywnymi, takimi jak charakterystyka zbioru danych, podczas gdy inne są kryteriami bardziej subiektywnymi, takimi jak pożądany cel. Można śmiało powiedzieć, że zestawy danych, które wykazują wysoki poziom kontrastu z ostrymi, wyraźnymi granicami, mają cechy, które są dobrze oddzielone i stosunkowo jednorodne (niezbyt zróżnicowane) i są przetwarzane w celu wyświetlenia modelu gęstości dla dużej liczby obiektów, podejścia zautomatyzowane byłyby lepsze, gdyby nie fakt, że podejścia ręczne byłyby po prostu zbyt zasobowe (czasowo). Z drugiej strony, jeśli kontrast jest niski, dane są rozmyte, a tym samym wymagają wiedzy eksperta, obiekty są zatłoczone, a cechy wykazują dużą różnorodność, a tym samym są niejednorodne, można nie mieć innego wyboru niż ręczna ekstrakcja/segmentacja cech.

Ręczne generowanie abstrakcyjnego modelu

Ręczne śledzenie abstrakcyjnego modelu jest szczególnie skuteczne w segmentacji elementów liniowych, dostarczając punktów początkowych (kulek), które mogą być automatycznie łączone (pałeczki). Takie kulki i patyki-modele mogą być bardzo skuteczne w mierzeniu długości i orientacji takiego modelu oraz zapewniają odpowiednio abstrakcyjny model zarówno do kontroli jakościowej, jak i analizy ilościowej. Ręczne generowanie abstrakcyjnego modelu jest powszechnie stosowane, gdy minimalizacja zasobów wydanych na analizę jest ważniejsza niż bezwzględna wierność kształtom oryginalnych danych. Najlepiej sprawdza się w przypadku interesujących go cech liniowych i jednorodnych (np. filamenty, rurki). Kontrast danych, ostrość i zatłoczenie nie odgrywają większej roli w określaniu sukcesu tej metody, o ile ludzkie oko jest w stanie rozpoznać obiekt zainteresowania. Czasami takie modele mogą być również wykorzystywane jako szkielet do segmentacji mapy 3D w strefie wokół szkieletu. Chociaż model jest abstrakcyjny, a nie odzwierciedla dokładne gęstości, reprezentuje szkieletową wersję gęstości 3D, a tym samym pozwala na wizualizację bez bałaganu i analizę jakościową. Pomiary ilościowe, takie jak długość, można również określić na podstawie przybliżonego modelu. Przykład oprogramowania z ręcznym generowaniem abstrakcyjnych modeli można znaleźć w szczegółowym podręczniku użytkownika Chimera online pod adresem http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html.

Ręczne śledzenie interesujących cech

Ręczne śledzenie pędzlem sprawdza się w przypadku prawie wszystkich cech danych, ale jest to również najbardziej czasochłonna metoda. Czasami jest to jedyna technika wyodrębniania interesującej cechy ze złożonego zestawu obrazów zawierającego dużą różnorodność cech, takich jak cienka i pofałdowana błona komórkowa. Jedno z przydatnych narzędzi dostępnych w niektórych programach pozwala na interpolację między okresowo segmentowanymi wycinkami, gdy interesująca nas funkcja zmienia się płynnie. Ręczne śledzenie może być stosowane najefektywniej, jeśli dane są wyraźne i mają średni lub wysoki kontrast, ale można je również wykorzystać w przypadku bardziej wymagających zestawów danych, o ile użytkownik jest zaznajomiony z obiektem zainteresowania. Złożoność danych może wahać się od dyskretnych obiektów do złożonych i zatłoczonych zestawów danych, w których obiekty są ściśle upakowane. W tym drugim przypadku ręczna segmentacja może być jedynym wyborem, ponieważ podejścia automatyczne często mają trudności z segmentacją żądanej objętości i wyodrębnieniem zbyt dużej lub zbyt małej ilości. Za pomocą tej metody można również wyodrębnić trudne morfologie cech, takie jak zawiłe arkusze lub objętości. Użytkownik powinien jednak pamiętać, że zbiór danych o kilku trudnych cechach może być segmentowany tylko wtedy, gdy gęstość zaludnienia obiektów będących przedmiotem zainteresowania jest niska, ponieważ segmentacja dużych gęstości zaludnienia obiektów będących przedmiotem zainteresowania staje się zbyt czasochłonna. Przykład oprogramowania z ręcznym śledzeniem można znaleźć w szczegółowej instrukcji obsługi Amiry pod adresem http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf.

Zautomatyzowana segmentacja oparta na zagęszczeniu

W przeciwieństwie do technik ręcznych, podejścia zautomatyzowane są na ogół mniej czasochłonne, co jest ważnym czynnikiem, który należy wziąć pod uwagę podczas segmentacji dużego stosu obrazów. Jednak proste progowanie może nie być tak dokładne, a znacznie więcej czasu można poświęcić na udoskonalenie i selekcję automatycznie segmentowanego woluminu. Zautomatyzowana segmentacja oparta na zagęszczeniu działa najlepiej w przypadku zestawów danych, które wyświetlają dużą liczbę podobnych cech, które wymagają segmentacji. Jeśli dane są bardziej złożone, te zautomatyzowane techniki mogą nadal służyć jako pierwszy krok, ale prawdopodobnie będą wymagały pewnej ręcznej interwencji w celu określenia podwoluminu zawierającego interesującą Cię funkcję. Ta strategia zazwyczaj działa dobrze w przypadku morfologii liniowych lub zawiłych objętości, ale rzadko jest skuteczna w przypadku cienkich pofałdowanych arkuszy, takich jak błony komórkowe. Minimalna interwencja użytkownika przy zautomatyzowanych podejściach umożliwia segmentację przez duże lub małe ilości, przy jednoczesnym zużyciu niewielu zasobów użytkownika, takich jak czas, w zamian za wysoką wierność. Przykład oprogramowania z automatyczną segmentacją na podstawie gęstości można znaleźć w szczegółowym podręczniku użytkownika Amiry pod adresem http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf.

Automatyczna segmentacja dostosowana do potrzeb klienta

Automatyczna segmentacja dostosowana do potrzeb klienta umożliwia zaawansowane dostosowywanie algorytmów do określonego zestawu danych, ale często jest specyficzna dla zestawu danych lub typu danych, odpowiednia dla ograniczonej liczby cech funkcji i nie można jej łatwo uogólnić. Przedstawiona tutaj procedura różni się od ogólnych podejść do automatycznej segmentacji, takich jak zanurzenie w zlewni i inne metody ustawiania poziomów, które opierają się na zaprogramowanym określeniu krytycznych punktów zarodkowych, po których następuje szybko maszerująca ekspansja sześcianu z tych punktów początkowych. Wariacją na ten temat jest segmentacja granic, w której informacje o wektorze gradientu informują o granicach obiektów. Z kolei dostosowany skrypt używany w tym miejscu opiera się na etapie trenowania, w którym użytkownik ręcznie śledzi kilka przykładów. Dzięki uczeniu maszynowemu określone algorytmy będą wykrywać, a następnie uczyć się samodzielnie rozpoznawać właściwości i cechy danych, które konsekwentnie znajdują się w śladach. Doświadczony użytkownik może ponownie wytrenować algorytmy i poprawić dokładność segmentacji, dołączając więcej przykładowych śladów, aby zapewnić większy zestaw kryteriów funkcji. Ogólnie rzecz biorąc, progowanie i podejścia pokrewne, a nawet podejścia dostosowane do potrzeb klienta mogą nie być tak przydatne do wyodrębnienia pojedynczej interesującej cechy z obrazu o złożonej różnorodności organelli lub kształtów, ponieważ selekcja może być tak samo pracochłonna jak ręczne śledzenie.

Strategie klasyfikowania danych i wyboru podejścia do segmentacji

Biorąc pod uwagę subiektywne i obiektywne kryteria przedstawione na rysunku 4 oraz podsumowanie odpowiednich zestawów danych na rysunku 5, schemat podejmowania decyzji przedstawiony na rysunku 6 może pomóc w skutecznej ocenie strategii ekstrakcji cech dla wielu różnych zbiorów danych. Zbiory danych są klasyfikowane w czterech kolejnych decyzjach, z których każda może obejmować dowolny z czterech odpowiednich celów, a także cztery subiektywne kryteria przedstawione na rys. 4. Na przykład rysunek 6 przedstawia uzasadnienie klasyfikacji każdego z sześciu zestawów danych pokazanych na rysunku 3. Niewątpliwie dla każdego zbioru danych nie ma jednej unikalnej ścieżki, ale raczej różne ścieżki przez tę matrycę według różnych kryteriów podejmowania decyzji, które mogą prowadzić do takich samych lub różnych zaleceń dotyczących segmentacji danych. Chociaż każdy zestaw danych będzie miał swój własny zestaw właściwości, których nie można przewidzieć, podano sześć przykładów, z których każdy jest połączony z wyjaśnieniem przesłanek stojących za preferowanym podejściem do wyodrębniania/segmentacji cech. Większość z nich zawiera również propozycję alternatywnej ścieżki decyzyjnej, która skutkuje zastosowaniem tego samego lub innego podejścia do segmentacji (rys. 6).

Kinokilium to wyraźny zestaw danych z jasno określonymi granicami, co sprawia, że zautomatyzowane podejścia mają większe szanse na sukces. Wszystkie interesujące cechy są dobrze oddzielone, co ponownie faworyzuje podejście zautomatyzowane. Ponadto interesujące nas cechy są do siebie podobne, co sprawia, że jest to stosunkowo jednorodny zestaw danych, idealny do segmentacji dostosowanej do potrzeb klienta. Wreszcie, celem było wyodrębnienie całej funkcji, faworyzując podejście półautomatyczne. W związku z tym stwierdzono, że zarówno zautomatyzowane progowanie (ciągła zielona linia), jak i niestandardowe podejście (np. segmentacja nadzorowana przez kształt) (przerywana zielona linia) prawdopodobnie dobrze poradzią sobie z tym zbiorem danych.

Podobne kryteria, choć umieszczone w innej kolejności w sieci decyzyjnej, mają zastosowanie w przypadku bakterii. Podejście dostosowane do potrzeb klienta jest zalecane częściowo dlatego, że ten zbiór danych był bardzo duży; W związku z tym ograniczone zasoby uniemożliwiają pracochłonną ręczną interwencję/segmentację. Podczas gdy progowanie przyniosłoby akceptowalne wyniki, niestandardowe podejście było w stanie zrealizować kluczowy cel badania, jakim było oddzielenie okrągłych kształtów bakterii od zewnątrzkomórkowych złogów metali, znajdujących się między bakteriami lub tuż obok bakterii, dlatego preferowano podejście dostosowane do potrzeb klienta.

W przypadku zbiorów danych stereocilia pierwszą kwestią był pożądany cel: celem może być albo pokazanie całej gęstości, albo stworzenie modeli geometrycznych. Przedmiotem zainteresowania był zatłoczony obszar, a celem było podzielenie dużej liczby obiektów na odrębne obiekty, aby następnie przeprowadzić ilościową analizę objętościową, w tym długości, liczby, odległości, orientację itp. Pomocne było to, że obiekty zainteresowania były głównie liniowe, co sprawiło, że model geometryczny śledzący metodę był z wyboru. Jeśli jednak celem byłoby pokazanie całej gęstości, wówczas liniowa morfologia cech, jak również stosunkowo wysoki kontrast z ostro zdefiniowanymi granicami, umożliwiłyby zautomatyzowany protokół progowania.

Przypadki danych dotyczących błon komórkowych i mitochondriów stanowią wyzwanie dla zautomatyzowanych podejść ze względu na ich kategorie morfologii cech: odpowiednio zawiłe arkusze i objętości. Celem jest dokładne prześledzenie zarysu komórki lub mitochondriów, ale istnieją tylko ograniczone zasoby, aby to zrobić. Ponadto interesujące nas cechy są złożone i nie mogą być łatwo automatycznie wykryte lub zakodowane w kształcie, chociaż w przypadku zestawów danych mitochondriów niestandardowe podejście skryptowe przyjęte dla bakterii może być ewentualnie zastosowane z dalszym dostosowaniem. Na szczęście sama błona i mitochondria stanowią tylko niewielki ułamek całej objętości, dlatego ręczne śledzenie jest prostym, choć czasochłonnym podejściem. Ręczne śledzenie jest również metodą z wyboru dla takich zestawów danych, gdy kontrast jest raczej niski, a granice są raczej rozmyte. W rezultacie, nawet jeśli stanowią one znaczną część zbiorów danych, takie zawiłe arkusze muszą być śledzone ręcznie, po prostu z powodu braku lepszej alternatywy.

Zbiór danych o roślinach stanowił własne wyzwanie, ponieważ celem była segmentacja wszystkich obiektów, które są gęsto rozmieszczone i tworzą zatłoczoną scenerię. Wyświetlanie gęstości w niezmienionej postaci umożliwiłoby pomiary kształtu i organizacji obiektów, ale ponieważ ręczna segmentacja każdego obiektu nitkowatego jest zbyt kosztowna, zamiast tego zastosowano automatyczne progowanie.

Przedstawiono tutaj różne kroki i odpowiadające im wyniki tworzenia modelu 3D, ale co ważniejsze, wyjaśniono również charakterystykę danych i kryteria osobiste, które okazały się kluczowe w określeniu najlepszej ścieżki segmentacji. Ważnymi cechami samych danych obrazowych są to, co określa się tutaj jako kontrast, zatłoczenie, ostrość oraz liczbę różnych kształtów lub cech (takich jak organelle, włókna, błony). Subiektywne kryteria, które należy wziąć pod uwagę, obejmują pożądany cel segmentacji (pomiar/liczenie, szkieletowa reprezentacja danych/wyświetlanie objętości w renderingach 3D), cechy morfologiczne interesującej cechy (liniowa, wydłużona, usieciowiona, złożona, splotna), gęstość cech będących przedmiotem zainteresowania w stosunku do całej objętości (część obiektów, które są ważne i muszą zostać wyodrębnione), oraz zrównoważenie kompromisów między wydatkowaniem zasobów a wiernością pierwotnych danych segmentacji i malejącemu zwrotowi z inwestycji, co skutkuje stopniowymi ulepszeniami w celu znacznie większej alokacji zasobów.

Dziedzina segmentacji obrazu znacznie dojrzała w ostatnich latach, ale nie ma srebrnej kuli, algorytmu czy programu, który mógłby to wszystko zrobić. Rozmiary zbiorów danych wzrosły z setek megabajtów do rutynowych dziesiątek gigabajtów, a obecnie zaczynają przekraczać terabajty, co sprawia, że ręczna segmentacja jest prawie niemożliwa. W związku z tym należy zainwestować więcej zasobów w sprytne i efektywne czasowo podejścia do ekstrakcji cech, które naśladują proces podejmowania decyzji przez człowieka. Wysiłki te będą musiały być połączone z (1) hierarchicznymi bazami danych opartymi na semantycznym systemie informacji geograficznej (GIS) (podobnymi do Google Earth), (2) technikami abstrakcji danych (tj. przejściem od woksela do reprezentacji geometrycznej/wolumetrycznej) kompatybilnymi z oprogramowaniem do projektowania wspomaganego komputerowo (CAD) w celu znacznego zmniejszenia ilości danych, a tym samym umożliwienia wyświetlania większych objętości³⁵, (3) techniki symulacyjne, ponieważ są one często stosowane w dyscyplinach inżynieryjnych, a także (4) zaawansowane możliwości w zakresie animacji i tworzenia filmów, w tym animacje z lotu ptaka (podobne do tych, które są opracowywane dla branży gier).

Nie ulega wątpliwości, że efektywna ekstrakcja i segmentacja cech leży u podstaw nadchodzącej rewolucji w obrazowaniu komórkowym w wysokiej rozdzielczości i chociaż zawsze potrzebne będą lepsze podejścia, przedstawione tutaj zasady, a także przykłady tego, jakie podejście zostało przyjęte dla różnych typów danych, dostarczą cennych informacji do podjęcia decyzji o tym, które podejście należy przyjąć.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
	Nauk Wizualizacji	Amira	http://www.vsg3d.com/amira/overview
Chimera	UCSF		http://www.cgl.ucsf.edu/chimera/
Fidżi/ImageJ	Narodowy Instytut Zdrowia		http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/
IMOD	Boulder Laboratory for 3D Electron Microscopy of Cells		http://bio3d.colorado.edu/imod/
Photoshop	Adobe		http://www.adobe.com/products/ photoshopfamily.html
MATLAB	MathWorks		http://www.mathworks.com/
VLFeat	VLFeat		http://www.vlfeat.org/