Name: Od wokseli do wiedzy: praktyczny przewodnik po segmentacji złożonych danych 3D z mikroskopii elektronowej (Wideo) | JoVE Journal
Uploaded: 2014-08-13T16:00:00.000+00:00
Duration: 12 min 8 s
Description: Poznaj metody segmentacji złożonych danych 3D z mikroskopii elektronowej. Dowiedz się, jak wybrać optymalne podejście do ekstrakcji cech z komórek i tkanek.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Chcielibyśmy podziękować Tomowi Goddardowi z Uniwersytetu Kalifornijskiego w San Francisco za jego niekończącą się pomoc dla Chimery, Joelowi Mancuso i Chrisowi Boothowi z Gatan, Inc. za ich pomoc w zbieraniu danych SBF-SEM z zestawu danych o bakteriach, Dougowi Wei z Zeiss, Inc. za pomoc w zbieraniu danych FIB-SEM z zestawu danych komórek nabłonkowych, Kent McDonald z Laboratorium Mikroskopii Elektronowej Uniwersytetu Kalifornijskiego w Berkeley za porady dotyczące przygotowania próbek, obrazowania TEM i tomografii, Roseann Csencsits z Lawrence Berkeley National Laboratory za pomoc w wykonaniu obrazu krio-TEM, Elena Bosneaga za kriosekcję zestawu danych roślinnych, Jocelyn Krey z Oregon Health and Science University za sekcję tkanki łagiewki, David Skinner z National Energy Research Scientific Computing Center (NERSC) i Jitendra Malik z University of California Berkeley za porady dotyczące infrastruktury oprogramowania oraz Pablo Arbelaez z Uniwersytetu Kalifornijskiego w Berkeley za jego wkład w kody do niestandardowego skryptu przedstawionego w tym artykule. 
Badania były wspierane przez Departament Energii Stanów Zjednoczonych, Biuro Nauki na podstawie umowy nr. DE-AC02-05CH11231 [David Skinner], a także grant Narodowych Instytutów Zdrowia Stanów Zjednoczonych (NIH) nr P01 GM051487 [M.A.] do projektu komórek rzęsatych ucha wewnętrznego i zastosowania w mikroskopii.

1. Ręczne generowanie abstrakcyjnych modeli
Uwaga: Szczegóły metodologii opisanej poniżej są specyficzne dla Chimery, ale zamiast tego mogą być używane inne pakiety oprogramowania. Stosuj to podejście, gdy jedynym celem jest stworzenie modelu geometrycznego (np. modelu kuli i kija) w celu wykonania pomiarów geometrycznych, a nie wyświetlania kształtu objętości obiektów.
<ol>
	<li>Zaimportuj wolumin danych do odpowiedniego programu w celu ręcznego generowania abstrakcyjnego modelu.
	<ol>
		<li>Wybierz pozycję Plik > Otwórz mapę, aby wyświetlić okno dialogowe Otwórz plik. Przejdź do lokalizacji pliku żądanej mapy.</li>
		<li>Pociągnij w górę przeglądarkę woluminów (Narzędzia > Dane woluminu > Przeglądarka woluminów) i wybierz opcję Funkcje > Styl wyświetlania, aby wyświetlić dane z różnymi stylami renderowania.</li>
		<li>Dostosuj próg wyświetlania, przeciągając pionowy pasek na histogramie w oknie Podgląd głośności.</li>
	</ol>
	</li>
	<li>Poruszaj się po objętości 3D (np. plasterek po wycinku), aby wybrać obszar zainteresowania do segmentacji i w razie potrzeby wyciąć mniejszą podobjętość.
	<ol>
		<li>W oknie dialogowym Podgląd woluminu kliknij pozycję Oś, a następnie wybierz opcję X, Y lub Z.</li>
		<li>W oknie dialogowym Podgląd woluminu wybierz opcję Elementy > Płaszczyzny. Kliknij opcję Jedna, aby ustawić głębokość, aby wyświetlić płaszczyznę odpowiadającą liczbie w lewym polu, a następnie kliknij opcję Wszystkie, aby wyświetlić wszystkie płaszczyzny.</li>
		<li>W oknie dialogowym Podgląd woluminu wybierz opcje Funkcje > wybór podregionu.
		<ol>
			<li>Kliknij i przeciągnij, aby utworzyć prostokątny blok wokół obszaru zainteresowania.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Umieść znaczniki wzdłuż interesującej Cię funkcji i połącz je z konsolidatorami tam, gdzie to konieczne (często jest to wykonywane automatycznie przez program), aż model zostanie ukończony.
	<ol>
		<li>Z paska menu Podgląd woluminu wybierz Narzędzia > Okno dialogowe Śledzenie woluminu, aby otworzyć okno dialogowe Śledzenie woluminu. W oknie dialogowym Volume Tracer (Śledzenie woluminu) wybierz opcję File (Plik) > New Marker Set (Nowy zestaw znaczników).</li>
		<li>W oknie dialogowym Śledzenie głośności zaznacz opcję Mysz > Umieść znaczniki o wysokiej jakości, Umieść znaczniki na płaszczyznach danych, Przenieś i zmień rozmiar znaczników, Połącz nowy znacznik z wybranym znacznikiem i Połącz kolejno wybrane znaczniki.</li>
		<li>Kliknij próbkę Kolor znacznika i wybierz kolor. Powtórz ten krok dla koloru łącza.</li>
		<li>Wprowadź promienie dla elementów znacznika i łączenia modelu.</li>
		<li>W oknie śledzenia woluminu wybierz opcję Umieść znaczniki za pomocą [prawego] przycisku myszy i wstaw promienie dla znaczników i łączy.</li>
		<li>Kliknij prawym przyciskiem myszy dane głośności, aby rozpocząć układanie znaczników. Znaczniki zostaną połączone automatycznie.</li>
		<li>W oknie dialogowym Śledzenie woluminu wybierz Plik > Zapisz bieżący zestaw znaczników, a następnie Plik > Zamknij zestaw znaczników.</li>
	</ol>
	</li>
	<li>Otwórz nowy zestaw znaczników (krok 1.3.1), aby rozpocząć tworzenie modelu w drugą pożądaną cechę, która Cię interesuje. Wykorzystaj kontrastujące kolory między zestawami znaczników, aby podkreślić różnice w cechach.</li>
</ol>
2. Ręczne śledzenie interesujących cech
Uwaga: Szczegóły metodologii opisanej poniżej są specyficzne dla Amiry, ale zamiast nich mogą być używane inne pakiety oprogramowania. Stosuj to podejście, gdy gęstość zaludnienia jest stosunkowo niewielka i gdy dokładność wyodrębniania cech ma kluczowe znaczenie, ponieważ ręczne śledzenie jest czasochłonnym podejściem.
<ol>
	<li>Importuj dane woluminu do programu z opcjami ręcznego śledzenia. Oprogramowanie z tą funkcją zazwyczaj oferuje co najmniej podstawowe narzędzie do malowania.
	<ol>
		<li>W przypadku dużych objętości lub tomogramów (np. 16-bitowych tomogram .rec lub .mrc o wymiarach 2,048 x 2,048 lub większych wygenerowanych w IMOD): Wybierz Otwórz dane > kliknij prawym przyciskiem myszy filename.rec > Formatuj... >Wybierz Raw jako LargeDiskData > Ok> załaduj. Wybierz odpowiednie parametry danych pierwotnych z informacji nagłówka > Ok. Przełącz i zapisz jako nowy plik <a href="http://filename.am/">filename.am</a> do użycia w poniższych krokach.</li>
		<li>W przypadku mniejszych plików stosu obrazów 3D (np. 3D .tif lub .mrc lub .rec): Otwórz > Dane Wybierz filename.tif lub nazwę pliku.mrc. Przełącz i kliknij prawym przyciskiem myszy> Zapisz jako <a href="http://filename.am/">filename.am</a>. Jeśli zostanie wygenerowany błąd lub program nie odpowiada, plik może być zbyt duży i można go otworzyć, wykonując krok 2.1.1.</li>
	</ol>
	</li>
	<li>Poruszaj się po wycinkach, aby wybrać podwolumin 3D do segmentacji, a następnie przytnij do tego obszaru zainteresowania.
	<ol>
		<li>W oknie Przeglądarka 3D wybierz Orthoslice, aby otworzyć plik obrazu. Użyj suwaka na dole, aby poruszać się po plasterkach.</li>
		<li>Aby przyciąć większe dane otwarte jako LargeDiskData, przełącz nazwę pliku w oknie Pula > kliknij prawym przyciskiem myszy > LatticeAccess. Wprowadź żądany rozmiar pola > Zastosuj. Zapisz nowy plik.</li>
	</ol>
	</li>
	<li>Utwórz plik segmentacji.
	<ol>
		<li>Przełącz plik w oknie Pula > kliknij prawym przyciskiem myszy > Etykietowanie > LabelField. Nowy plik zostanie utworzony i automatycznie załadowany w zakładce Edytor segmentacji.</li>
	</ol>
	</li>
	<li>Prześledź obramowanie pierwszej interesującej Cię funkcji, a następnie wypełnij ślad ręcznie lub za pomocą polecenia specyficznego dla używanego oprogramowania. Postępuj zgodnie z interesującą Cię funkcją przez wszystkie wycinki i powtórz ręczną segmentację śledzenia. Podczas korzystania z Amiry użyj następujących poleceń:
	<ol>
		<li>Aby użyć narzędzia Pędzel, zmień rozmiar pędzla zgodnie z potrzebami, a następnie użyj wskaźnika myszy, aby obrysować obramowanie interesującego obiektu.</li>
		<li>Wypełnij obrysowany obszar skrótem "f". Dodaj zaznaczenie, klikając przycisk z symbolem plusa lub skrótem "a". W razie potrzeby naciśnij "u", aby cofnąć i "s", aby odjąć lub usunąć.</li>
	</ol>
	</li>
	<li>Wygeneruj renderowanie powierzchni w celu wizualizacji i podstawowej analizy jakościowej lub ilościowej zgodnie z instrukcją obsługi oprogramowania.
	<ol>
		<li>Na karcie Pula obiektów przełącz filename-labels.am w oknie Pula > kliknij prawym przyciskiem myszy > SurfaceGen.</li>
		<li>Wybierz żądane właściwości powierzchni > Zastosuj. W puli zostanie utworzony nowy plik filename.surf.</li>
		<li>Aby zwizualizować wolumin podzielony na segmenty, przełącz filename.surf w oknie Pula > kliknij prawym przyciskiem myszy > SurfaceView.</li>
		<li>Użyj narzędzi w oknie 3DViewer, aby przesuwać, obracać i powiększać wolumin 3D.</li>
	</ol>
	</li>
	<li>Wyodrębnij dokładne gęstości i określ pomiary, takie jak objętość lub powierzchnia. Eksport do innych programów w celu bardziej zaawansowanego wyświetlania, analizy i symulacji.
	<ol>
		<li>W oknie 3DViewer kliknij narzędzie Zmierz > Wybierz odpowiednią opcję (Długość i Kąt 2D dla pomiarów na pojedynczej płaszczyźnie 2D, Długość 3D i Kąt 3D dla pomiarów na objętości 3D).</li>
		<li>Kliknij powierzchnię siatki, aby zmierzyć żądaną długość, odległość i kąty. Wartości zostaną wyświetlone w oknie Właściwości.</li>
	</ol>
	</li>
</ol>
3. Automatyczna segmentacja oparta na gęstości
Uwaga: Szczegóły metodologii opisanej poniżej są specyficzne dla Amiry, ale zamiast nich mogą być używane inne pakiety oprogramowania.
<ol>
	<li>Użyj tego podejścia w przypadku zestawów danych o dowolnej różnorodności kontrastu, wyrazistości lub zatłoczenia, aby wycofać interesujące nas gęstości.</li>
	<li>Importuj dane woluminu do programu wyposażonego w progowanie, magiczną różdżkę lub inne narzędzia oparte na gęstości do automatycznej segmentacji. Postępuj zgodnie z instrukcjami opisanymi w 2.1-2.1.2 we wskazówkach dotyczących ręcznego śledzenia.</li>
	<li>Poruszaj się po wycinkach i wybierz obszar do segmentacji. W razie potrzeby wytnij mniejszą podobjętość 3D w celu segmentacji. Postępuj zgodnie z instrukcjami opisanymi w punktach 2.2-2.2.2 we wskazówkach dotyczących ręcznego śledzenia.</li>
	<li>Wybieranie gęstości interesującego obiektu umożliwia wybór zagęszczenia, zwykle poprzez kliknięcie lub umieszczenie na nim znaku lub punktu kontrolnego. Jeśli jest to dozwolone w oprogramowaniu, wprowadź zakres liczbowy obejmujący intensywność pikseli funkcji i dostosuj tę tolerancję zgodnie z potrzebami. Gęstości należące do obiektu zostaną wybrane zgodnie z intensywnością piksela zakotwiczenia lub wartością tolerancji. Podczas korzystania z Amiry użyj następujących poleceń.
	<ol>
		<li>Narzędzia Różdżka służy do tworzenia obiektów z wyróżniającymi się marginesami.
		<ol>
			<li>Kliknij obszar zainteresowania, a następnie dostosuj suwaki w obszarze Wyświetlanie i maskowanie, aby uchwycić prawidłowy zakres wartości, tak aby funkcja była w pełni podświetlona. Dodaj zaznaczenie za pomocą skrótu "a".</li>
		</ol>
		</li>
		<li>Narzędzia Próg należy używać w przypadku elementów bez wyraźnie rozróżnialnych marginesów.</li>
		<li>Wybierz ikonę Próg. Dostosuj suwak, aby dostosować gęstość w żądanym zakresie, tak aby maskowane były tylko interesujące obiekty. Kliknij przycisk Wybierz, a następnie dodaj zaznaczenie za pomocą skrótu "a".</li>
		<li>Aby podzielić cały wolumin na segmenty, zaznacz opcję Wszystkie plasterki przed dodaniem zaznaczenia.</li>
		<li>Aby usunąć szum, wybierz Segmentacja > Usuń wyspy i/lub Segmentacja > etykiety Wygładzanie.</li>
	</ol>
	</li>
	<li>Wygeneruj powierzchnię do wizualizacji i analizy jakościowej zgodnie z opisem w sekcji 2.6-2.6.2 śledzenia ręcznego. W razie potrzeby można je wyeksportować do innych programów, aby uzyskać odpowiednie wyświetlanie 3D, analizę ilościową i symulacje.</li>
</ol>
4. Automatyczna segmentacja dostosowana do potrzeb klienta
Uwaga: Użyj tego podejścia do tworzenia niestandardowych skryptów do automatycznej segmentacji, co wymaga podstawowego doświadczenia w informatyce, ale pozwala na stworzenie precyzyjnego modelu gęstości z dużej objętości.
<ol>
	<li>Narzędzia (konkretny przykład segmentacji nadzorowanej przez kształt w MATLAB27)
	<ol>
		<li>Wstępne przetwarzanie obrazu: Wykonaj usuwanie szumów, usuwanie tła i ulepszanie obrazu przy użyciu następującego potoku:
		<ol>
			<li>Załaduj obraz za pomocą polecenia imread.
			<ol>
				<li>W wierszu polecenia wpisz: >> im = imread($image_path), gdzie $image_path to lokalizacja obrazu, który ma być analizowany.</li>
			</ol>
			</li>
			<li>W przyborniku Przetwarzanie obrazu wywołaj Filtr Wienera, używając szacowanego lub znanego stosunku szumu do mocy do sygnału (NSR).</li>
			<li>Na poprzednio przetworzonym obrazie wywołaj funkcję otwierania obrazu imopen, aby oszacować warstwę tła, a następnie przydziel wynik jako inną maskę.
			<ol>
				<li>W wierszu poleceń wprowadź: >> background = imopen(im,strel($shape_string,$size)), w tej metodzie $shape_string jest równe 'disk' zmiennej, $size jest podawana przez analizator. tj. >> background = imopen(im,strel('disk',15)).</li>
			</ol>
			</li>
			<li>Odejmij przefiltrowany obraz od tła.
			<ol>
				<li>W wierszu poleceń wprowadź: >> im2 = im - tło</li>
			</ol>
			</li>
			<li>W zależności od jakości wyników, wykonaj normalizację obrazu z adaptacyjną metodą28 Otsu lub bez niej, którą można wywołać za pomocą funkcji imadjust z Image Processing Toolbox.
			<ol>
				<li>W wierszu polecenia wpisz: >> im3 = imadjust(im2)</li>
			</ol>
			</li>
			<li>Przygotuj interesujące Cię obiekty do segmentacji, ograniczając obszary zainteresowania przez przycięcie znormalizowanego obrazu.
			<ol>
				<li>Korzystając z polecenia imtool, zbadaj obszar zainteresowania, który ma zostać przycięty, i podaj współrzędne polecenia: >> im3_crop = imcrop(im3, [x1 y1 x2 y2]), gdzie wektor [x1 y1 x2 y2] odpowiada kwadratowemu regionowi, który ma zostać przycięty.</li>
			</ol>
			</li>
		</ol>
		</li>
		<li>Rozpoznawanie kształtów/nadzorowana klasyfikacja kształtów: Trenuj algorytm, podając konkretne przykłady dla każdej kategorii obiektów (liniowe ślady na obrazie 2D w poprzek interesujących cech).
		<ol>
			<li>Sprawdź, czy interfejs API VLFEAT29 został pomyślnie zainstalowany i odwiedź witrynę internetową VLFEAT, aby uzyskać bardziej szczegółową dokumentację.</li>
			<li>W wierszu poleceń wpisz: >> [TREE,ASGN] = VL_HIKMEANS(im3_crop,$K,$NLEAVES), gdzie $K to liczba klastrów, które mają być użyte, lub liczba klas, do których obserwator chce uporządkować dane, a $NLEAVES to żądana liczba skupisk liści, tj. >> [TREE,ASGN] = VL_HIKMEANS(im3_crop, 4,100)</li>
			<li>Używanie ręcznie podzielonych na segmenty obiektów jako danych wejściowych dla VLFeat. 
			UWAGA: Ta biblioteka oparta na języku C o otwartym kodzie źródłowym będzie wykonywać łatanie pikseli, grupowanie poprawek i pozycjonowanie środka klastra w zależności od typu metody wybranej do pracy najlepiej dla zestawów danych. Dostępne opcje obejmują zarówno grupowanie k-średnich, jak i podejścia oparte na tekście30, a wynikiem jest tablica numeryczna, która opisuje pożądane cechy na podstawie podanych przykładów.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Segmentacja: Użyj tego w pełni zautomatyzowanego, choć kosztownego obliczeniowo, podejścia do segmentacji wielu klas obiektów jednocześnie, które zostaną zapisane jako osobne mapy do dalszej wizualizacji i analizy.
	<ol>
		<li>Załaduj wcześniej wygenerowaną tablicę liczb (model).</li>
		<li>Wywołaj funkcję maszyny wektorów nośnych (SVM) w VLFeat, używając modelu i obrazu, który ma zostać podzielony na segmenty, jako danych wejściowych.
		<ol>
			<li>W wierszu poleceń wprowadź: >> [w, b] = vl_svmtrain(x, y, 0.1), gdzie x to oryginalny przycięty obraz im2_crop a y to obraz obiektywny, czyli obraz, który został ręcznie podzielony na segmenty. Użyj >> ISEG = VL_IMSEG(I,LABELS), aby pokolorować wyniki zgodnie z etykietami wygenerowanymi przez grupowanie. 
			UWAGA: Na podstawie charakterystyki modelu, VLFeat sklasyfikuje obraz pod względem liczby klas (interesujących cech) przypisanych od początku. W zależności od pożądanego stopnia dokładności możliwe jest połączenie tej metody z innymi podejściami lub oszacowanie parametrów klastra, takich jak kadłub i środki klastrów. Wynikiem algorytmu SVM jest model probabilistyczny i wiele masek binarnych żądanych klas w nowych zestawach danych.</li>
		</ol>
		</li>
		<li>Zapisz wyniki, wpisując polecenie: >> imwrite(im, $format, $filename), gdzie $format to "tiff", a $filename to ścieżka do pliku wyjściowego.</li>
		<li>Aby zwizualizować obrazy, wprowadź polecenie: >> imshow(im).</li>
	</ol>
	</li>
</ol>

<ol><li>Auer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+electron+cryo-microscopy+as+a+powerful+structural+tool+in+molecular+medicine%5BTitle%5D)+AND+%22J+Mol+Med+%28Berl%29%22%5BJournal%5D)">Three-dimensional electron cryo-microscopy as a powerful structural tool in molecular medicine.</a> J Mol Med (Berl). 78 (4), 191-202 (2000).</li>
<li>Johnson, M. C., Rudolph, F., Dreaden, T. M., Zhao, G., Barry, B. A., Schmidt-Krey, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assessing+two-dimensional+crystallization+trials+of+small+membrane+proteins+for+structural+biology+studies+by+electron+crystallography%5BTitle%5D)+AND+%22Journal+of+visualized+experiments+JoVE%22%5BJournal%5D)">Assessing two-dimensional crystallization trials of small membrane proteins for structural biology studies by electron crystallography.</a> Journal of visualized experiments JoVE. (44), e1846(2010).</li>
<li>Jun, S., Zhao, G., Ning, J., Gibson, G. A., Watkins, S. C., Zhang, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Correlative+microscopy+for+3D+structural+analysis+of+dynamic+interactions%5BTitle%5D)+AND+%22Journal+of+visualized+experiments+JoVE%22%5BJournal%5D)">Correlative microscopy for 3D structural analysis of dynamic interactions.</a> Journal of visualized experiments JoVE. (76), e50386(2013).</li>
<li>Meng, X., Zhao, G., Zhang, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structure+of+HIV-1+capsid+assemblies+by+cryo-electron+microscopy+and+iterative+helical+real-space+reconstruction%5BTitle%5D)+AND+%22Journal+of+visualized+experiments+JoVE%22%5BJournal%5D)">Structure of HIV-1 capsid assemblies by cryo-electron microscopy and iterative helical real-space reconstruction.</a> Journal of visualized experiments JoVE. (54), e3041(2011).</li>
<li>Chen, S., McDowall, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electron+Cryotomography+of+Bacterial+Cells%5BTitle%5D)+AND+%22Journal+of+visualized+experiments+JoVE%22%5BJournal%5D)">Electron Cryotomography of Bacterial Cells.</a> Journal of visualized experiments JoVE. (39), e1943(2010).</li>
<li>Meyerson, J. R., White, T. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Determination+of+molecular+structures+of+HIV+envelope+glycoproteins+using+cryo-electron+tomography+and+automated+sub-tomogram+averaging%5BTitle%5D)+AND+%22Journal+of+visualized+experiments+JoVE%22%5BJournal%5D)">Determination of molecular structures of HIV envelope glycoproteins using cryo-electron tomography and automated sub-tomogram averaging.</a> Journal of visualized experiments JoVE. (58), e2770(2011).</li>
<li>Lucic, V., Forster, F., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structural+studies+by+electron+tomography%3A+from+cells+to+molecules%5BTitle%5D)+AND+%22Annu+Rev+Biochem%22%5BJournal%5D)">Structural studies by electron tomography: from cells to molecules.</a> Annu Rev Biochem. 74, 833-865 (2005).</li>
<li>Bajaj, C., Yu, Z., Auer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Volumetric+feature+extraction+and+visualization+of+tomographic+molecular+imaging%5BTitle%5D)+AND+%22J+Struct+Biol%22%5BJournal%5D)">Volumetric feature extraction and visualization of tomographic molecular imaging.</a> J Struct Biol. 144 (1-2), 132-143 (2003).</li>
<li>Lin, G., Adiga, U., Olson, K., Guzowski, J. F., Barnes, C. A., Roysam, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+hybrid+3D+watershed+algorithm+incorporating+gradient+cues+and+object+models+for+automatic+segmentation+of+nuclei+in+confocal+image+stacks%5BTitle%5D)+AND+%22Cytometry+A%22%5BJournal%5D)">A hybrid 3D watershed algorithm incorporating gradient cues and object models for automatic segmentation of nuclei in confocal image stacks.</a> Cytometry A. 56 (1), 23-36 (2003).</li>
<li>Volkmann, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+three-dimensional+variant+of+the+watershed+transform+for+segmentation+of+electron+density+maps%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">A novel three-dimensional variant of the watershed transform for segmentation of electron density maps.</a> Journal of Structural Biology. 138 (1), 123-129 (2002).</li>
<li>Rigort, A., Günther, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automated+segmentation+of+electron+tomograms+for+a+quantitative+description+of+actin+filament+networks%5BTitle%5D)+AND+%22Journal+of+structural+biology%22%5BJournal%5D)">Automated segmentation of electron tomograms for a quantitative description of actin filament networks.</a> Journal of structural biology. 177 (1), 135-144 (2012).</li>
<li>Cremers, D., Rousson, M., Deriche, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Review+of+Statistical+Approaches+to+Level+Set+Segmentation%5BTitle%5D)+AND+%22Integrating+Color%2C+Texture%2C+Motion+and+Shape.+International+Journal+of+Computer+Vision%22%5BJournal%5D)">A Review of Statistical Approaches to Level Set Segmentation.</a> Integrating Color, Texture, Motion and Shape. International Journal of Computer Vision. 72 (2), 195-215 (2007).</li>
<li>Lin, Z., Davis, L. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Shape-based+human+detection+and+segmentation+via+hierarchical+part-template+matching%5BTitle%5D)+AND+%22IEEE+Trans+Pattern+Anal+Mach+Intell%22%5BJournal%5D)">Shape-based human detection and segmentation via hierarchical part-template matching.</a> IEEE Trans Pattern Anal Mach Intell. 32 (4), 604-618 (2010).</li>
<li>Pettersen, E. F., Goddard, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UCSF+Chimera--a+visualization+system+for+exploratory+research+and+analysis%5BTitle%5D)+AND+%22J+Comput+Chem%22%5BJournal%5D)">UCSF Chimera--a visualization system for exploratory research and analysis.</a> J Comput Chem. 25 (13), 1605-1612 (2004).</li>
<li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+visualization+of+three-dimensional+image+data+using+IMOD%5BTitle%5D)+AND+%22J+Struct+Biol%22%5BJournal%5D)">Computer visualization of three-dimensional image data using IMOD.</a> J Struct Biol. 116 (1), 71-76 (1996).</li>
<li>Zhang, Q., Bettadapura, R., Bajaj, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Macromolecular+structure+modeling+from+3D+EM+using+VolRover+2.0%5BTitle%5D)+AND+%22Biopolymers%22%5BJournal%5D)">Macromolecular structure modeling from 3D EM using VolRover 2.0.</a> Biopolymers. 97 (9), 709-731 (2012).</li>
<li>Giannuzzi, L. A., Stevie, F. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+focused+ion+beam+milling+techniques+for+TEM+specimen+preparation%5BTitle%5D)+AND+%22Micron%22%5BJournal%5D)">A review of focused ion beam milling techniques for TEM specimen preparation.</a> Micron. 30 (3), 197-204 (1999).</li>
<li>Heymann, J. A. W., Hayles, M., Gestmann, I., Giannuzzi, L. A., Lich, B., Subramaniam, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Site-specific+3D+imaging+of+cells+and+tissues+with+a+dual+beam+microscope%5BTitle%5D)+AND+%22Journal+of+structural+biology%22%5BJournal%5D)">Site-specific 3D imaging of cells and tissues with a dual beam microscope.</a> Journal of structural biology. 155 (1), 63-73 (2006).</li>
<li>Knott, G., Rosset, S., Cantoni, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focussed+ion+beam+milling+and+scanning+electron+microscopy+of+brain+tissue%5BTitle%5D)+AND+%22Journal+of+visualized+experiments+JoVE%22%5BJournal%5D)">Focussed ion beam milling and scanning electron microscopy of brain tissue.</a> Journal of visualized experiments JoVE. (53), e2588(2011).</li>
<li>Wirth, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Focused+Ion+Beam+%28FIB%29+combined+with+SEM+and+TEM%3A+Advanced+analytical+tools+for+studies+of+chemical+composition%2C+microstructure+and+crystal+structure+in+geomaterials+on+a+nanometre+scale%5BTitle%5D)+AND+%22Chemical+Geology%22%5BJournal%5D)">Focused Ion Beam (FIB) combined with SEM and TEM: Advanced analytical tools for studies of chemical composition, microstructure and crystal structure in geomaterials on a nanometre scale.</a> Chemical Geology. 261 (3-4), 217-229 (2009).</li>
<li>Denk, W., Horstmann, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Serial+block-face+scanning+electron+microscopy+to+reconstruct+three-dimensional+tissue+nanostructure%5BTitle%5D)+AND+%22PLoS+Biol%22%5BJournal%5D)">Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure.</a> PLoS Biol. 2 (11), e329(2004).</li>
<li>Frangakis, A. S., Hegerl, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Noise+reduction+in+electron+tomographic+reconstructions+using+nonlinear+anisotropic+diffusion%5BTitle%5D)+AND+%22Journal+of+structural+biology%22%5BJournal%5D)">Noise reduction in electron tomographic reconstructions using nonlinear anisotropic diffusion.</a> Journal of structural biology. 135 (3), 239-250 (2001).</li>
<li>Jiang, W., Baker, M. L., Wu, Q., Bajaj, C., Chiu, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applications+of+a+bilateral+denoising+filter+in+biological+electron+microscopy%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Applications of a bilateral denoising filter in biological electron microscopy.</a> Journal of Structural Biology. 144 (1), 114-122 (2003).</li>
<li>Van der Heide, P., Xu, X. P., Marsh, B. J., Hanein, D., Volkmann, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Efficient+automatic+noise+reduction+of+electron+tomographic+reconstructions+based+on+iterative+median+filtering%5BTitle%5D)+AND+%22Journal+of+structural+biology%22%5BJournal%5D)">Efficient automatic noise reduction of electron tomographic reconstructions based on iterative median filtering.</a> Journal of structural biology. 158 (2), 196-204 (2007).</li>
<li>Schneider, C. A., Rasband, W. S., Eliceiri, K. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((NIH+Image+to+ImageJ%3A+25+years+of+image+analysis%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">NIH Image to ImageJ: 25 years of image analysis.</a> Nat Methods. 9 (7), 671-675 (2012).</li>
<li>Schindelin, J., Arganda-Carreras, I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fiji%3A+an+open-source+platform+for+biological-image+analysis%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fiji: an open-source platform for biological-image analysis.</a> Nat Methods. 9 (7), 676-682 (2012).</li>
<li>MathWorks. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22MATLAB%22">MATLAB</a>. , (2012).</li>
<li>Otsu, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Threshold+Selection+Method+from+Gray-Level+Histograms%5BTitle%5D)+AND+%22Systems%2C+Man+and+Cybernetics%2C+IEEE+Transactions+on%22%5BJournal%5D)">A Threshold Selection Method from Gray-Level Histograms.</a> Systems, Man and Cybernetics, IEEE Transactions on. 9, 62-66 (1979).</li>
<li>Vedaldi, A., Fulkerson, B. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aVedaldi%2C+A+%22VLFeat%3A+An+Open+and+Portable+Library+of+Computer+Vision+Algorithms%22">VLFeat: An Open and Portable Library of Computer Vision Algorithms</a>. , (2008).</li>
<li>Zhu, S. C., Guo, C., Wang, Y., Xu, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+are+Textons%3F%5BTitle%5D)+AND+%22International+Journal+of+Computer+Vision%22%5BJournal%5D)">What are Textons?</a> International Journal of Computer Vision. 62 (1-2), 121-143 (2005).</li>
<li>Gagnon, L. H., Longo-Guess, C. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+chloride+intracellular+channel+protein+CLIC5+is+expressed+at+high+levels+in+hair+cell+stereocilia+and+is+essential+for+normal+inner+ear+function%5BTitle%5D)+AND+%22The+Journal+of+neuroscience+the+official+journal+of+the+Society+for+Neuroscience%22%5BJournal%5D)">The chloride intracellular channel protein CLIC5 is expressed at high levels in hair cell stereocilia and is essential for normal inner ear function.</a> The Journal of neuroscience the official journal of the Society for Neuroscience. 26 (40), 10188-10198 (2006).</li>
<li>Briand, P., Petersen, O. W., Van Deurs, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+diploid+nontumorigenic+human+breast+epithelial+cell+line+isolated+and+propagated+in+chemically+defined+medium%5BTitle%5D)+AND+%22In+vitro+cellular+%26+developmental+biology+journal+of+the+Tissue+Culture+Association%22%5BJournal%5D)">A new diploid nontumorigenic human breast epithelial cell line isolated and propagated in chemically defined medium.</a> In vitro cellular & developmental biology journal of the Tissue Culture Association. 23 (3), 181-188 (1987).</li>
<li>Petersen, O. W., Rønnov-Jessen, L., Howlett, A. R., Bissell, M. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interaction+with+basement+membrane+serves+to+rapidly+distinguish+growth+and+differentiation+pattern+of+normal+and+malignant+human+breast+epithelial+cells%5BTitle%5D)+AND+%22Proceedings+of+the+National+Academy+of+Sciences+of+the+United+States+of+America%22%5BJournal%5D)">Interaction with basement membrane serves to rapidly distinguish growth and differentiation pattern of normal and malignant human breast epithelial cells.</a> Proceedings of the National Academy of Sciences of the United States of America. 89 (19), 9064-9068 (1992).</li>
<li>Shin, J. B., Krey, J. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Molecular+architecture+of+the+chick+vestibular+hair+bundle%5BTitle%5D)+AND+%22Nature+neuroscience%22%5BJournal%5D)">Molecular architecture of the chick vestibular hair bundle.</a> Nature neuroscience. 16 (3), 365-374 (2013).</li>
<li>Yang, W., Zeng, Z., Max, N., Auer, M., Crivelli, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simplified+Surface+Models+of+Tubular+Bacteria+and+Cytoskeleta%5BTitle%5D)+AND+%22Journal+of+Information+%26+Computational+Science%22%5BJournal%5D)">Simplified Surface Models of Tubular Bacteria and Cytoskeleta.</a> Journal of Information & Computational Science. 9 (6), 1589-1598 (2012).</li>
</ol>

Autorzy deklarują, że nie mają konkurencyjnych interesów finansowych.

Pilnie potrzebne są skuteczne strategie ekstrakcji istotnych cech z woluminów 3D EM, aby nadążyć za tsunami danych, które ostatnio nawiedziło obrazowanie biologiczne. Podczas gdy dane mogą być generowane w ciągu godzin lub dni, dogłębna analiza woluminów 3D zajmuje wiele miesięcy. W związku z tym oczywiste jest, że analiza obrazu stała się wąskim gardłem dla odkryć naukowych; Bez odpowiednich rozwiązań tych problemów, naukowcy zajmujący się obrazowaniem stają się ofiarami własnego sukcesu. Wynika to częściowo z dużej złożoności danych, a także z zatłoczenia makromolekularnego zwykle występującego w komórkach biologicznych, w których białka i kompleksy białkowe graniczą ze sobą i zasadniczo pojawiają się jako ciągły gradient gęstości w skali szarości. Problem komplikują niedoskonałości związane z przygotowaniem próbek i obrazowaniem, a w niektórych przypadkach artefaktami rekonstrukcji obrazu, co prowadzi do mniej niż idealnych danych wolumetrycznych, co może stanowić wyzwanie dla w pełni zautomatyzowanych podejść. Najbardziej znaczący jest jednak fakt, że eksperci w dziedzinie przygotowania próbek, obrazowania i interpretacji biologicznej rzadko są dobrze zorientowani w naukach obliczeniowych, a zatem potrzebują wskazówek, jak skutecznie podejść do ekstrakcji i analizy cech. W związku z tym, korzystając z różnych przykładów, protokół wyjaśnia, jak przygotować dane do segmentacji, a także kroki ręcznego generowania abstrakcyjnego modelu, automatycznej segmentacji opartej na gęstości, ręcznego śledzenia interesujących cech oraz automatycznej segmentacji dostosowanej do potrzeb klienta. Podejścia ręczne i automatyczne przedstawione w procedurze można znaleźć w wielu różnych programach do segmentacji, z których niektóre są tutaj wymienione, ale inne pełnią podobne funkcje i są równie dobrze dopasowane.
Wyniki pokazują, że skuteczność każdego z podejść do segmentacji 3D różni się w zależności od typu zbioru danych. Mimo że różne podejścia dały jakościowo podobne renderingi 3D jako produkt końcowy, ilość czasu i wysiłku poświęconego na każde z nich podczas procesu segmentacji znacznie się różniła. Zalecenia dotyczące odpowiednich cech obrazu i celów osobistych dla każdego podejścia do segmentacji podsumowano na rysunku 5, który został szczegółowo wyjaśniony w kolejnych czterech podsekcjach. Kryteria te zastosowano do sześciu zestawów danych, jak pokazano na schemacie blokowym decyzji na rysunku 6. Chociaż rys. 5 i 6 mają na celu jedynie przedstawienie uzasadnienia dla każdego zestawu danych oraz sposobu ważenia każdego z kryteriów w procesie podejmowania decyzji, nie stanowią one niezawodnych wskazówek, lecz raczej punkt wyjścia. Istnieje po prostu zbyt wiele kryteriów, które wpływają na proces podejmowania decyzji: niektóre z nich są kryteriami obiektywnymi, takimi jak charakterystyka zbioru danych, podczas gdy inne są kryteriami bardziej subiektywnymi, takimi jak pożądany cel. Można śmiało powiedzieć, że zestawy danych, które wykazują wysoki poziom kontrastu z ostrymi, wyraźnymi granicami, mają cechy, które są dobrze oddzielone i stosunkowo jednorodne (niezbyt zróżnicowane) i są przetwarzane w celu wyświetlenia modelu gęstości dla dużej liczby obiektów, podejścia zautomatyzowane byłyby lepsze, gdyby nie fakt, że podejścia ręczne byłyby po prostu zbyt zasobowe (czasowo). Z drugiej strony, jeśli kontrast jest niski, dane są rozmyte, a tym samym wymagają wiedzy eksperta, obiekty są zatłoczone, a cechy wykazują dużą różnorodność, a tym samym są niejednorodne, można nie mieć innego wyboru niż ręczna ekstrakcja/segmentacja cech.

Ręczne generowanie abstrakcyjnego modelu
Ręczne śledzenie abstrakcyjnego modelu jest szczególnie skuteczne w segmentacji elementów liniowych, dostarczając punktów początkowych (kulek), które mogą być automatycznie łączone (pałeczki). Takie kulki i patyki-modele mogą być bardzo skuteczne w mierzeniu długości i orientacji takiego modelu oraz zapewniają odpowiednio abstrakcyjny model zarówno do kontroli jakościowej, jak i analizy ilościowej. Ręczne generowanie abstrakcyjnego modelu jest powszechnie stosowane, gdy minimalizacja zasobów wydanych na analizę jest ważniejsza niż bezwzględna wierność kształtom oryginalnych danych. Najlepiej sprawdza się w przypadku interesujących go cech liniowych i jednorodnych (np. filamenty, rurki). Kontrast danych, ostrość i zatłoczenie nie odgrywają większej roli w określaniu sukcesu tej metody, o ile ludzkie oko jest w stanie rozpoznać obiekt zainteresowania. Czasami takie modele mogą być również wykorzystywane jako szkielet do segmentacji mapy 3D w strefie wokół szkieletu. Chociaż model jest abstrakcyjny, a nie odzwierciedla dokładne gęstości, reprezentuje szkieletową wersję gęstości 3D, a tym samym pozwala na wizualizację bez bałaganu i analizę jakościową. Pomiary ilościowe, takie jak długość, można również określić na podstawie przybliżonego modelu. Przykład oprogramowania z ręcznym generowaniem abstrakcyjnych modeli można znaleźć w szczegółowym podręczniku użytkownika Chimera online pod adresem <a href="http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html">http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html</a>.

Ręczne śledzenie interesujących cech
Ręczne śledzenie pędzlem sprawdza się w przypadku prawie wszystkich cech danych, ale jest to również najbardziej czasochłonna metoda. Czasami jest to jedyna technika wyodrębniania interesującej cechy ze złożonego zestawu obrazów zawierającego dużą różnorodność cech, takich jak cienka i pofałdowana błona komórkowa. Jedno z przydatnych narzędzi dostępnych w niektórych programach pozwala na interpolację między okresowo segmentowanymi wycinkami, gdy interesująca nas funkcja zmienia się płynnie. Ręczne śledzenie może być stosowane najefektywniej, jeśli dane są wyraźne i mają średni lub wysoki kontrast, ale można je również wykorzystać w przypadku bardziej wymagających zestawów danych, o ile użytkownik jest zaznajomiony z obiektem zainteresowania. Złożoność danych może wahać się od dyskretnych obiektów do złożonych i zatłoczonych zestawów danych, w których obiekty są ściśle upakowane. W tym drugim przypadku ręczna segmentacja może być jedynym wyborem, ponieważ podejścia automatyczne często mają trudności z segmentacją żądanej objętości i wyodrębnieniem zbyt dużej lub zbyt małej ilości. Za pomocą tej metody można również wyodrębnić trudne morfologie cech, takie jak zawiłe arkusze lub objętości. Użytkownik powinien jednak pamiętać, że zbiór danych o kilku trudnych cechach może być segmentowany tylko wtedy, gdy gęstość zaludnienia obiektów będących przedmiotem zainteresowania jest niska, ponieważ segmentacja dużych gęstości zaludnienia obiektów będących przedmiotem zainteresowania staje się zbyt czasochłonna. Przykład oprogramowania z ręcznym śledzeniem można znaleźć w szczegółowej instrukcji obsługi Amiry pod adresem <a href="http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf">http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf</a>.

Zautomatyzowana segmentacja oparta na zagęszczeniu
W przeciwieństwie do technik ręcznych, podejścia zautomatyzowane są na ogół mniej czasochłonne, co jest ważnym czynnikiem, który należy wziąć pod uwagę podczas segmentacji dużego stosu obrazów. Jednak proste progowanie może nie być tak dokładne, a znacznie więcej czasu można poświęcić na udoskonalenie i selekcję automatycznie segmentowanego woluminu. Zautomatyzowana segmentacja oparta na zagęszczeniu działa najlepiej w przypadku zestawów danych, które wyświetlają dużą liczbę podobnych cech, które wymagają segmentacji. Jeśli dane są bardziej złożone, te zautomatyzowane techniki mogą nadal służyć jako pierwszy krok, ale prawdopodobnie będą wymagały pewnej ręcznej interwencji w celu określenia podwoluminu zawierającego interesującą Cię funkcję. Ta strategia zazwyczaj działa dobrze w przypadku morfologii liniowych lub zawiłych objętości, ale rzadko jest skuteczna w przypadku cienkich pofałdowanych arkuszy, takich jak błony komórkowe. Minimalna interwencja użytkownika przy zautomatyzowanych podejściach umożliwia segmentację przez duże lub małe ilości, przy jednoczesnym zużyciu niewielu zasobów użytkownika, takich jak czas, w zamian za wysoką wierność. Przykład oprogramowania z automatyczną segmentacją na podstawie gęstości można znaleźć w szczegółowym podręczniku użytkownika Amiry pod adresem <a href="http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf">http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf</a>.

Automatyczna segmentacja dostosowana do potrzeb klienta
Automatyczna segmentacja dostosowana do potrzeb klienta umożliwia zaawansowane dostosowywanie algorytmów do określonego zestawu danych, ale często jest specyficzna dla zestawu danych lub typu danych, odpowiednia dla ograniczonej liczby cech funkcji i nie można jej łatwo uogólnić. Przedstawiona tutaj procedura różni się od ogólnych podejść do automatycznej segmentacji, takich jak zanurzenie w zlewni i inne metody ustawiania poziomów, które opierają się na zaprogramowanym określeniu krytycznych punktów zarodkowych, po których następuje szybko maszerująca ekspansja sześcianu z tych punktów początkowych. Wariacją na ten temat jest segmentacja granic, w której informacje o wektorze gradientu informują o granicach obiektów. Z kolei dostosowany skrypt używany w tym miejscu opiera się na etapie trenowania, w którym użytkownik ręcznie śledzi kilka przykładów. Dzięki uczeniu maszynowemu określone algorytmy będą wykrywać, a następnie uczyć się samodzielnie rozpoznawać właściwości i cechy danych, które konsekwentnie znajdują się w śladach. Doświadczony użytkownik może ponownie wytrenować algorytmy i poprawić dokładność segmentacji, dołączając więcej przykładowych śladów, aby zapewnić większy zestaw kryteriów funkcji. Ogólnie rzecz biorąc, progowanie i podejścia pokrewne, a nawet podejścia dostosowane do potrzeb klienta mogą nie być tak przydatne do wyodrębnienia pojedynczej interesującej cechy z obrazu o złożonej różnorodności organelli lub kształtów, ponieważ selekcja może być tak samo pracochłonna jak ręczne śledzenie.

Strategie klasyfikowania danych i wyboru podejścia do segmentacji 

Biorąc pod uwagę subiektywne i obiektywne kryteria przedstawione na rysunku 4 oraz podsumowanie odpowiednich zestawów danych na rysunku 5, schemat podejmowania decyzji przedstawiony na rysunku 6 może pomóc w skutecznej ocenie strategii ekstrakcji cech dla wielu różnych zbiorów danych. Zbiory danych są klasyfikowane w czterech kolejnych decyzjach, z których każda może obejmować dowolny z czterech odpowiednich celów, a także cztery subiektywne kryteria przedstawione na rys. 4. Na przykład rysunek 6 przedstawia uzasadnienie klasyfikacji każdego z sześciu zestawów danych pokazanych na rysunku 3. Niewątpliwie dla każdego zbioru danych nie ma jednej unikalnej ścieżki, ale raczej różne ścieżki przez tę matrycę według różnych kryteriów podejmowania decyzji, które mogą prowadzić do takich samych lub różnych zaleceń dotyczących segmentacji danych. Chociaż każdy zestaw danych będzie miał swój własny zestaw właściwości, których nie można przewidzieć, podano sześć przykładów, z których każdy jest połączony z wyjaśnieniem przesłanek stojących za preferowanym podejściem do wyodrębniania/segmentacji cech. Większość z nich zawiera również propozycję alternatywnej ścieżki decyzyjnej, która skutkuje zastosowaniem tego samego lub innego podejścia do segmentacji (rys. 6).
Kinokilium to wyraźny zestaw danych z jasno określonymi granicami, co sprawia, że zautomatyzowane podejścia mają większe szanse na sukces. Wszystkie interesujące cechy są dobrze oddzielone, co ponownie faworyzuje podejście zautomatyzowane. Ponadto interesujące nas cechy są do siebie podobne, co sprawia, że jest to stosunkowo jednorodny zestaw danych, idealny do segmentacji dostosowanej do potrzeb klienta. Wreszcie, celem było wyodrębnienie całej funkcji, faworyzując podejście półautomatyczne. W związku z tym stwierdzono, że zarówno zautomatyzowane progowanie (ciągła zielona linia), jak i niestandardowe podejście (np. segmentacja nadzorowana przez kształt) (przerywana zielona linia) prawdopodobnie dobrze poradzią sobie z tym zbiorem danych.
Podobne kryteria, choć umieszczone w innej kolejności w sieci decyzyjnej, mają zastosowanie w przypadku bakterii. Podejście dostosowane do potrzeb klienta jest zalecane częściowo dlatego, że ten zbiór danych był bardzo duży; W związku z tym ograniczone zasoby uniemożliwiają pracochłonną ręczną interwencję/segmentację. Podczas gdy progowanie przyniosłoby akceptowalne wyniki, niestandardowe podejście było w stanie zrealizować kluczowy cel badania, jakim było oddzielenie okrągłych kształtów bakterii od zewnątrzkomórkowych złogów metali, znajdujących się między bakteriami lub tuż obok bakterii, dlatego preferowano podejście dostosowane do potrzeb klienta.
W przypadku zbiorów danych stereocilia pierwszą kwestią był pożądany cel: celem może być albo pokazanie całej gęstości, albo stworzenie modeli geometrycznych. Przedmiotem zainteresowania był zatłoczony obszar, a celem było podzielenie dużej liczby obiektów na odrębne obiekty, aby następnie przeprowadzić ilościową analizę objętościową, w tym długości, liczby, odległości, orientację itp. Pomocne było to, że obiekty zainteresowania były głównie liniowe, co sprawiło, że model geometryczny śledzący metodę był z wyboru. Jeśli jednak celem byłoby pokazanie całej gęstości, wówczas liniowa morfologia cech, jak również stosunkowo wysoki kontrast z ostro zdefiniowanymi granicami, umożliwiłyby zautomatyzowany protokół progowania.
Przypadki danych dotyczących błon komórkowych i mitochondriów stanowią wyzwanie dla zautomatyzowanych podejść ze względu na ich kategorie morfologii cech: odpowiednio zawiłe arkusze i objętości. Celem jest dokładne prześledzenie zarysu komórki lub mitochondriów, ale istnieją tylko ograniczone zasoby, aby to zrobić. Ponadto interesujące nas cechy są złożone i nie mogą być łatwo automatycznie wykryte lub zakodowane w kształcie, chociaż w przypadku zestawów danych mitochondriów niestandardowe podejście skryptowe przyjęte dla bakterii może być ewentualnie zastosowane z dalszym dostosowaniem. Na szczęście sama błona i mitochondria stanowią tylko niewielki ułamek całej objętości, dlatego ręczne śledzenie jest prostym, choć czasochłonnym podejściem. Ręczne śledzenie jest również metodą z wyboru dla takich zestawów danych, gdy kontrast jest raczej niski, a granice są raczej rozmyte. W rezultacie, nawet jeśli stanowią one znaczną część zbiorów danych, takie zawiłe arkusze muszą być śledzone ręcznie, po prostu z powodu braku lepszej alternatywy.
Zbiór danych o roślinach stanowił własne wyzwanie, ponieważ celem była segmentacja wszystkich obiektów, które są gęsto rozmieszczone i tworzą zatłoczoną scenerię. Wyświetlanie gęstości w niezmienionej postaci umożliwiłoby pomiary kształtu i organizacji obiektów, ale ponieważ ręczna segmentacja każdego obiektu nitkowatego jest zbyt kosztowna, zamiast tego zastosowano automatyczne progowanie.
Przedstawiono tutaj różne kroki i odpowiadające im wyniki tworzenia modelu 3D, ale co ważniejsze, wyjaśniono również charakterystykę danych i kryteria osobiste, które okazały się kluczowe w określeniu najlepszej ścieżki segmentacji. Ważnymi cechami samych danych obrazowych są to, co określa się tutaj jako kontrast, zatłoczenie, ostrość oraz liczbę różnych kształtów lub cech (takich jak organelle, włókna, błony). Subiektywne kryteria, które należy wziąć pod uwagę, obejmują pożądany cel segmentacji (pomiar/liczenie, szkieletowa reprezentacja danych/wyświetlanie objętości w renderingach 3D), cechy morfologiczne interesującej cechy (liniowa, wydłużona, usieciowiona, złożona, splotna), gęstość cech będących przedmiotem zainteresowania w stosunku do całej objętości (część obiektów, które są ważne i muszą zostać wyodrębnione), oraz zrównoważenie kompromisów między wydatkowaniem zasobów a wiernością pierwotnych danych segmentacji i malejącemu zwrotowi z inwestycji, co skutkuje stopniowymi ulepszeniami w celu znacznie większej alokacji zasobów.
Dziedzina segmentacji obrazu znacznie dojrzała w ostatnich latach, ale nie ma srebrnej kuli, algorytmu czy programu, który mógłby to wszystko zrobić. Rozmiary zbiorów danych wzrosły z setek megabajtów do rutynowych dziesiątek gigabajtów, a obecnie zaczynają przekraczać terabajty, co sprawia, że ręczna segmentacja jest prawie niemożliwa. W związku z tym należy zainwestować więcej zasobów w sprytne i efektywne czasowo podejścia do ekstrakcji cech, które naśladują proces podejmowania decyzji przez człowieka. Wysiłki te będą musiały być połączone z (1) hierarchicznymi bazami danych opartymi na semantycznym systemie informacji geograficznej (GIS) (podobnymi do Google Earth), (2) technikami abstrakcji danych (tj. przejściem od woksela do reprezentacji geometrycznej/wolumetrycznej) kompatybilnymi z oprogramowaniem do projektowania wspomaganego komputerowo (CAD) w celu znacznego zmniejszenia ilości danych, a tym samym umożliwienia wyświetlania większych objętości35, (3) techniki symulacyjne, ponieważ są one często stosowane w dyscyplinach inżynieryjnych, a także (4) zaawansowane możliwości w zakresie animacji i tworzenia filmów, w tym animacje z lotu ptaka (podobne do tych, które są opracowywane dla branży gier).
Nie ulega wątpliwości, że efektywna ekstrakcja i segmentacja cech leży u podstaw nadchodzącej rewolucji w obrazowaniu komórkowym w wysokiej rozdzielczości i chociaż zawsze potrzebne będą lepsze podejścia, przedstawione tutaj zasady, a także przykłady tego, jakie podejście zostało przyjęte dla różnych typów danych, dostarczą cennych informacji do podjęcia decyzji o tym, które podejście należy przyjąć.

Tradycyjnie, pole mikroskopii elektronowej (EM) zostało podzielone na 1) gałąź biologii strukturalnej przy użyciu wysokiej i super wysokiej rozdzielczości TEM, zwykle w połączeniu z niejawnym lub jawnym uśrednianiem danych w celu zbadania trójwymiarowej (3D) struktury kompleksów makromolekularnych o określonym składzie i zazwyczaj stosunkowo małym rozmiarze1-4, oraz 2) gałąź obrazowania komórkowego, w której wizualizowane są całe scenerie komórkowe1,5,6. Podczas gdy gałąź biologii strukturalnej przeszła spektakularny rozwój w ciągu ostatnich czterech dekad, gałąź biologii komórki była w większości ograniczona do dwóch wymiarów, często na mniej niż optymalnie zachowanych próbkach. Dopiero wraz z pojawieniem się tomografii elektronowej w ostatniej dekadzie biologiczne obrazowanie ultrastrukturalne komórek rozszerzyło się na trzeci wymiar5,7, gdzie zazwyczaj nie można przeprowadzić uśredniania, ponieważ scenerie komórkowe, a tym samym interesujące cechy, są zazwyczaj unikalne.
Chociaż wizualizacje scen komórkowych są często oszałamiające dla oka, skuteczne wydobycie interesujących cech i późniejsza analiza ilościowa tak bardzo złożonych objętości komórkowych pozostają w tyle, częściowo dlatego, że dokładny skład białka jest zwykle nieznany, co utrudnia interpretację tych komórkowych objętości 3D. Do dnia dzisiejszego rozległa wiedza biologiczna jest często potrzebna do interpretacji złożonych tomogramów, a nawet do identyfikacji ważnych regionów i istotnych komponentów w objętości 3D. Dodatkową komplikacją jest to, że wizualizacja objętości 3D jest niezwykle prosta. Objętości 3D można traktować i w ten sposób wizualizować jako stosy obrazów 2D. Szczegółowa inspekcja sekwencyjnych obrazów 2D krok po wycinku zmniejsza złożoność, ale także ogranicza wyodrębnianie cech, a tym samym analizę ilościową, do dwóch wymiarów. Jednak w przypadku większości obiektów 3D przedstawianie objętości 3D jako zaledwie stosu następujących po sobie płaszczyzn prowadzi do niekompletnej i zniekształconej perspektywy w stosunku do trójwymiarowej natury danego systemu. Alternatywne tryby kontroli wizualnej wymagają renderowania objętościowego lub powierzchniowego, co — biorąc pod uwagę często gęsty charakter woluminu komórkowego — może łatwo prowadzić do zasłoniętego widoku zagnieżdżonych obiektów lub całkowicie przytłoczyć użytkownika, utrudniając w ten sposób interaktywną segmentację ręczną.
Aby zaradzić tym barierom, opracowano wiele różnych metod automatycznego wyodrębniania cech (segmentacji), które zazwyczaj są oparte na gęstości lub nachyleniu8-10. Jednak metody te mają tendencję do segmentacji całej objętości niezależnie od tego, które obszary lub cechy są interesujące dla eksperta, chociaż niektóre najnowsze metody mogą być ukierunkowane na konkretną cechę zainteresowania, taką jak filamenty aktynowe11. Ponadto programy wykonujące automatyczną segmentację mogą czasami prowadzić do wytworzenia dużej liczby podobjętości (np. w przypadku stosowania segmentacji zanurzeniowej w zlewni), które często muszą być ręcznie scalane z powrotem w całość interesującej nas funkcji lub poddawane dalszej segmentacji. Dotyczy to w szczególności złożonych i zatłoczonych zestawów danych, dlatego większość algorytmów komputerowych renderujących nie jest w stanie wyodrębnić z wiernością tylko interesujących ich cech, a często potrzebne są znaczne wysiłki eksperta, aby uzyskać pożądaną objętość podzieloną na segmenty.
Ponadto, niestandardowe rozwiązania bardzo specyficznego problemu są często publikowane jako dokument z zebrania naukowego, z niewielkim lub żadnym naciskiem na udostępnienie ich szerokim i wszechstronnym narzędziom dla badaczy, którzy nie mają dogłębnej wiedzy z dziedzin matematyki, informatyki i/lub grafiki komputerowej. Konfigurowalne środowisko oprogramowania programistycznego, zawierające szereg bibliotek do analizy obrazów, może być potężnym zestawem narzędzi umożliwiającym użytkownikom efektywne pisanie własnych modułów w celu dokładnej segmentacji. Takie podejście wymaga jednak intensywnego szkolenia i wykształcenia informatycznego, aby móc wykorzystać jego wiele funkcji lub możliwości do analizy obrazu. Można pracować w takim wszechstronnym środowisku oprogramowania dla pewnych zestawów danych, w których cechy są rzadsze, np. wykorzystując potężne podejścia oparte na kształtach, które opierają się na unikalnej geometrii "szablonów" w celu oddzielenia interesujących obiektów od ich otoczenia12,13.
Istnieje spora różnorodność pakietów do wizualizacji grafiki komputerowej do interaktywnej ręcznej segmentacji i budowania modeli. Niektóre pakiety są dostępne na rynku, podczas gdy inne są pochodzenia akademickiego i są dystrybuowane bezpłatnie, takie jak: University of California San Francisco Chimera14, University of Colorado IMOD15 i University of Texas Austin VolumeRover16. Jednak szeroki zakres i złożoność funkcji i możliwości posiadanych przez te programy wydłuża krzywą uczenia się dla każdego z nich. Niektóre programy do wizualizacji udostępniają proste modele geometryczne, takie jak kule i patyki o różnych rozmiarach, które można umieścić na mapach gęstości w celu stworzenia uproszczonego modelu złożonej objętości 3D. Modele te umożliwiają następnie proste pomiary geometryczne i objętościowe, a tym samym wykraczają poza "ładny obrazek". Takie ręczne śledzenie obiektów sprawdza się dobrze w przypadku woluminów, w których trzeba prześledzić i wyodrębnić tylko niewielką liczbę obiektów. Jednak niedawny rozwój obrazowania ultrastrukturalnego 3D o dużej objętości przy użyciu skaningowej mikroskopii elektronowej ze skupioną wiązką jonów (FIB-SEM)17-20 lub skaningowej mikroskopii elektronowej z blokiem szeregowym (SBF-SEM)21 stanowi dodatkową komplikację polegającą na tym, że rozmiar zestawów danych 3D może wahać się od gigabajtów do dziesiątek i setek gigabajtów, a nawet terabajtów. W związku z tym tak duże objętości 3D są praktycznie niedostępne dla ręcznej ekstrakcji cech, a zatem wydajna półautomatyczna ekstrakcja cech prowadzona przez użytkownika będzie jednym z wąskich gardeł dla efektywnej analizy objętości 3D w dającej się przewidzieć przyszłości.
Przedstawione tutaj są cztery różne podejścia do segmentacji, które są rutynowo stosowane w szerokim zakresie typów obrazów biologicznych. Metody te są następnie porównywane pod kątem ich skuteczności dla różnych typów zestawów danych, co pozwala na kompilację w przewodniku, który pomoże biologom zdecydować, jakie może być najlepsze podejście do segmentacji w celu efektywnej ekstrakcji cech własnych danych. Ponieważ dla większości opisanych programów dostępne są szczegółowe instrukcje obsługi, celem nie jest zapoznanie potencjalnych użytkowników z którymkolwiek z tych konkretnych pakietów. Zamiast tego celem jest pokazanie odpowiednich mocnych i słabych stron tych różnych strategii segmentacji poprzez zastosowanie ich do sześciu przykładowych zestawów danych o różnych cechach. Dzięki temu porównaniu opracowano zestaw kryteriów, które są albo oparte na obiektywnych cechach obrazu zestawów danych 3D, takich jak kontrast danych, ostrość, zatłoczenie i złożoność, albo wynikają z subiektywnych rozważań, takich jak pożądany cel segmentacji, morfologie cech, które mają być segmentowane, gęstość zaludnienia cech będących przedmiotem zainteresowania, Oznacza to ułamek objętości zajmowanej przez cechę będącą przedmiotem zainteresowania oraz sposób optymalnego postępowania przy ograniczonych zasobach, takich jak czas i dostępność personelu. Te różne przykładowe zestawy danych ilustrują, w jaki sposób te obiektywne i subiektywne kryteria mogą być stosowane sekwencyjnie w różnych kombinacjach, aby uzyskać parowanie niektórych podejść do ekstrakcji cech z określonymi typami zestawów danych. Mamy nadzieję, że podane zalecenia pomogą nowicjuszom stojącym przed dużą różnorodnością opcji segmentacji wybrać najbardziej efektywne podejście do segmentacji dla własnej objętości 3D.
Chociaż głównym tematem tego artykułu jest ekstrakcja cech, zwrócenie uwagi na gromadzenie danych i wstępne przetwarzanie danych jest kluczowe dla efektywnej segmentacji. Często barwienie próbek może być nierówne, a zatem w procedurze segmentacji należy wziąć pod uwagę potencjalne artefakty barwienia. Jednak barwienie zwykle daje wyższy stosunek sygnału do szumu, a zatem wymaga mniej filtrowania i innego matematycznego traktowania objętości komórkowych, co potencjalnie może również powodować artefakty. Odpowiednie zestawy danych obrazu RAW muszą zostać pozyskane z prawidłowymi ustawieniami kontrastu i pikseli kamery, wyrównane i zrekonstruowane w objętość 3D. W przypadku tomogramów wyrównane obrazy są rekonstruowane zwykle przy użyciu ważonej projekcji wstecznej, a następnie zestaw danych jest zwykle poddawany algorytmom odszumiania, takim jak nieliniowa dyfuzja anizotropowa22, filtrowanie dwustronne23 lub rekurencyjne filtrowanie mediany24. Dane obrazowania FIB-SEM i SBF-SEM są wyrównywane poprzez korelację krzyżową kolejnych warstw w XY przy użyciu programów takich jak ImageJ25. Wzmocnienie kontrastu i filtrowanie można zastosować, aby zwiększyć interesujące Cię funkcje, a tym samym usunąć szumy ze stosu obrazów. Filtrowanie można przeprowadzić na całym woluminie przed zaznaczeniem podwoluminu lub na wybranych podwoluminach, ponieważ metody filtrowania mogą być kosztowne obliczeniowo. Próbkowanie w dół danych (binning), które jest czasami używane do redukcji szumów i/lub zmniejszania rozmiaru pliku, jest zalecane tylko wtedy, gdy dane zostały znacznie nadpróbkowane w porównaniu z przewidywaną rozdzielczością.
Po redukcji szumów, przetworzone obrazy mogą być następnie segmentowane różnymi metodami, a w tym badaniu skupiamy się na następujących czterech: (1) ręcznym generowaniu abstrakcyjnego modelu poprzez tworzenie modelu kulkowego i kijowego, (2) ręcznym śledzeniu interesujących cech, (3) automatycznej analizie opartej na progu, oraz (4) niestandardowej automatycznej segmentacji za pomocą skryptu do segmentacji specyficznej dla projektu. Segmentacja granic8 i immersyjna segmentacja działu wodnego10 są lepszymi alternatywami dla prostego progowania, ale należą do tej samej kategorii i nie zostały wyraźnie uwzględnione w tej dyskusji.
 Ręczne śledzenie gęstości wymaga nakreślenia interesujących cech, plasterek po plasterku, co pozwala na zachowanie pierwotnej gęstości odpowiednich obszarów subkomórkowych. Takie podejście pozwala na maksymalną kontrolę procesu segmentacji, ale jest procesem żmudnym i pracochłonnym.
Zautomatyzowane metody segmentacji gęstości oparte na progach (i pokrewne) są półautomatyczne, gdzie algorytm wybiera piksele na podstawie zestawu parametrów zdefiniowanych przez użytkownika. Dostępnych jest kilka akademickich (bezpłatnych) pakietów wizualizacji, takich jak UCSF Chimera, IMOD, Fiji26 i VolumeRover, a także pakiety komercyjne (wymagające płatnych licencji), a oba typy zazwyczaj zawierają jedno lub więcej z tych podejść do segmentacji. Pakiety oprogramowania użyte w tej pracy do zilustrowania tych różnych metod obejmują zarówno programy komercyjne, jak i akademickie programy open source do ręcznego generowania abstrakcyjnego modelu, a także ręcznej i automatycznej segmentacji gęstości. Jednak oprogramowanie typu open source może czasami oferować bardziej zaawansowane opcje dzięki możliwości dostosowania.
Porównanie tych technik przy użyciu różnych typów zestawów danych doprowadziło do następującej prezentacji zasad i wskazówek, jak podejść do segmentacji różnych objętości danych biologicznych 3D, które według naszej wiedzy nie zostały jeszcze opublikowane. Jest to zatem pierwsze systematyczne porównanie różnych podejść i ich przydatności w odniesieniu do zbiorów danych o różnej charakterystyce dla użytkowników o różnych celach.

<table><tbody><tr>Grupa <td></td><td>Nauk Wizualizacji</td> <td>Amira</td> FEI <td>http://www.vsg3d.com/amira/overview</td></tr><tr><td>Chimera</td><td>UCSF</td><td></td><td>http://www.cgl.ucsf.edu/chimera/</td></tr> <tr><td>Fidżi/ImageJ</td><td>Narodowy Instytut Zdrowia</td><td></td><td>http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/</td></tr> <tr><td>IMOD</td><td>Boulder Laboratory for 3D Electron Microscopy of Cells</td><td></td><td>http://bio3d.colorado.edu/imod/</td></tr> <tr><td>Photoshop</td><td>Adobe</td><td></td><td>http://www.adobe.com/products/ photoshopfamily.html</td></tr><tr><td>MATLAB</td><td>MathWorks</td><td></td><td>http://www.mathworks.com/</td></tr> <tr><td>VLFeat</td><td>VLFeat</td><td></td><td>http://www.vlfeat.org/</td></tr></tbody></table>

od wokseli do wiedzy: praktyczny przewodnik po segmentacji złożonych danych 3d z mikroskopii elektronowej

From Voxels to Knowledge: A Practical Guide to the Segmentation of Complex Electron Microscopy 3D-Data

Nowoczesne metody mikroskopii elektronowej 3D pozwoliły ostatnio na bezprecedensowy wgląd w ultrastrukturalną organizację komórek i tkanek w 3D, umożliwiając wizualizację dużych maszyn makromolekularnych, takich jak kompleksy adhezyjne, a także struktur wyższego rzędu, takich jak cytoszkielet i organelle komórkowe w ich odpowiednim kontekście komórkowym i tkankowym. Biorąc pod uwagę nieodłączną złożoność objętości komórkowych, konieczne jest najpierw wyodrębnienie interesujących cech, aby umożliwić wizualizację, kwantyfikację, a tym samym zrozumienie ich organizacji 3D. Każdy zbiór danych jest definiowany przez odrębne cechy, np. stosunek sygnału do szumu, ostrość (ostrość) danych, niejednorodność ich cech, zatłoczenie cech, obecność lub brak charakterystycznych kształtów, które pozwalają na łatwą identyfikację, oraz procent całej objętości, jaki zajmuje określony obszar zainteresowania. Wszystkie te cechy należy wziąć pod uwagę przy podejmowaniu decyzji o tym, jakie podejście przyjąć do segmentacji.
Sześć różnych zestawów danych ultrastrukturalnych 3D zostało uzyskanych za pomocą trzech różnych podejść do obrazowania: tomografii elektronowej z osadzoną żywicą, skoncentrowanej wiązki jonów i skaningowej mikroskopii elektronowej z blokiem szeregowym (FIB-SEM, SBF-SEM) odpowiednio dla próbek lekko i mocno zabarwionych. W przypadku tych zbiorów danych zastosowano cztery różne podejścia do segmentacji: (1) w pełni ręczne budowanie modelu, a następnie wyłącznie wizualizacja modelu, (2) ręczna segmentacja danych ze śledzeniem, a następnie renderowanie powierzchni, (3) podejścia półautomatyczne, po których następuje renderowanie powierzchni lub (4) zautomatyzowane, specjalnie zaprojektowane algorytmy segmentacji, po których następuje renderowanie powierzchni i analiza ilościowa. W zależności od kombinacji cech zbioru danych stwierdzono, że zazwyczaj jedno z tych czterech podejść kategorycznych jest lepsze od pozostałych, ale w zależności od dokładnej sekwencji kryteriów, więcej niż jedno podejście może być skuteczne. Na podstawie tych danych proponujemy schemat klasyfikacji, który kategoryzuje zarówno obiektywne cechy zestawu danych, jak i subiektywne kryteria osobiste do analizy różnych zestawów danych.

Wąskim gardłem dla komórkowej mikroskopii elektronowej 3D jest ekstrakcja cech (segmentacja) w bardzo złożonych mapach gęstości 3D. Opracowaliśmy zestaw kryteriów, które zawierają wskazówki dotyczące tego, które podejście do segmentacji (ręczne, półautomatyczne lub zautomatyzowane) najlepiej nadaje się do różnych typów danych, stanowiąc tym samym punkt wyjścia do skutecznej segmentacji.

Od wokseli do wiedzy: praktyczny przewodnik po segmentacji złożonych danych 3D z mikroskopii elektronowej

Modern 3D electron microscopy approaches have recently allowed unprecedented insight into the 3D ultrastructural organization of cells and tissues, ...

Ogólnym celem następującego eksperymentu jest segmentacja wybranych cech z kompleksowych trójwymiarowych zbiorów danych z mikroskopii elektronowej komórek i tkanek w celu analizy ich organizacji 3D. Cel ten osiąga się poprzez zebranie zbioru danych składającego się z pojedynczych obrazów z mikroskopii elektronowej. Surowe dane 2D są następnie rekonstruowane w wolumen 3D i filtrowane w celu redukcji szumów oraz uwydatnienia interesujących cech; w drugim kroku oceniane są obiektywne i subiektywne charakterystyki danych, aby dobrać optymalną metodę segmentacji.Następnie przeprowadza się manualną abstrakcję, generowanie modelu lub manualne śledzenie interesujących cech. W celu wyodrębnienia interesujących cech stosuje się automatyczną segmentację opartą na gęstości lub dedykowaną automatyczną segmentację. Wyniki prezentują końcowe trójwymiarowe modele segmentacyjne wybranych cech, opracowane na podstawie analizy charakterystyki obrazów oraz indywidualnych celów w celu wyboru optymalnego podejścia do segmentacji.Porównanie różnych podejść dla różnych zestawów danych pomoże w wyborze odpowiedniej strategii segmentacji. Prezentujemy różne metody ekstrakcji interesujących cech. Ze względu na złożoność wolumetrycznych obrazów elektronowych struktur subkomórkowych, każde podejście posiada swoje zalety i ograniczenia.Zazwyczaj osoby początkujące w zakresie segmentacji mogą napotykać trudności, ponieważ wybór najlepszego podejścia dla różnych zbiorów danych nie zawsze jest oczywisty. Wraz z uwagami studenta studiów podyplomowych. Tai zaprezentuje procedurę jako postdoc z BU.W moim laboratorium Amit Hassan, asystent badawczy w moim laboratorium, oraz Joaquin Korea, inżynier systemów komputerowych w moim laboratorium, stosują ręczne generowanie modelu abstrakcyjnego, gdy jedynym celem jest stworzenie modelu geometrycznego w celu wykonania pomiarów geometrycznych. Aby rozpocząć, należy zaimportować objętość danych do odpowiedniego programu. W tej demonstracji do ręcznego generowania modelu abstrakcyjnego wykorzystywane jest oprogramowanie Kymera.Najpierw wybierz opcję „file” (plik), a następnie „open” (otwórz), aby wywołać okno dialogowe otwierania plików, i przejdź do lokalizacji pliku z żądaną mapą. Następnie uruchom podgląd objętościowy („volume viewer”) i wybierz styl wyświetlania obiektów („features display style”), aby zaprezentować dane za pomocą różnych stylów renderowania. Dostosuj próg wyświetlania, przesuwając pionowy pasek na histogramie w oknie podglądu objętościowego.Przesuń się w obrębie wolumenu 3D, aby wybrać obszar zainteresowania do segmentacji, a w razie potrzeby wytnij mniejszy podwolumen. W oknie przeglądarki wolumenu wybierz funkcje, zaznaczenie podregionu, a następnie kliknij i przeciągnij, aby utworzyć prostokątną ramkę wokół obszaru zainteresowania. Następnie umieść markery wzdłuż analizowanej cechy i połącz je łącznikami tam, gdzie jest to odpowiednie, aż do momentu ukończenia modelu.Aby zrealizować tę czynność z paska menu przeglądarki wolumetrycznej, należy wybrać narzędzia (tools), okno śledzenia wolumetrycznego (volume tracer dialogue). Aby otworzyć w tym miejscu okno śledzenia wolumetrycznego, wybierz plik (file), nowy zestaw markerów (new marker.Set). W oknie śledzenia wolumetrycznego zaznacz mysz (mouse), rozmieszczaj markery na obszarach o wysokiej gęstości (place markers on high density), rozmieszczaj markery na danych (place markers on data), przesuwanie płaszczyzn i zmiana rozmiaru markerów (planes move and ize markers), powiąż nowy marker z wybranym markerem (link new marker to selected marker) oraz powiąż kolejno wybrane markery (link consecutively selected markers).Następnie w oknie śledzenia objętości (volume tracer) wybierz opcję umieszczania znaczników za pomocą prawego przycisku myszy i wprowadź promienie dla znaczników oraz połączeń. Następnie kliknij prawym przyciskiem myszy na dane objętościowe, aby zacząć nanosić znaczniki. Znaczniki zostaną połączone automatycznie w dialogu śledzenia objętości.Wybierz plik, zapisz bieżący marker. Następnie ustaw marker zamknięcia pliku. Ustaw. Otwórz nowy zestaw markerów, aby rozpocząć budowanie modelu dla drugiej interesującej cechy.Należy stosować kontrastujące kolory między zestawami markerów, aby podkreślić różnice w cechach. Ręczne wykreślanie interesujących cech to czasochłonne podejście stosowane, gdy gęstość populacji jest stosunkowo mała i gdy kluczowa jest dokładność ekstrakcji cech. Aby rozpocząć, należy zaimportować dane wolumetryczne do programu z opcjami ręcznego wykreślania. Oprogramowanie.Funkcja ta zazwyczaj oferuje podstawowe narzędzie pędzla. W tym pokazie oprogramowanie Amira jest wykorzystywane do dużych tomogramów. Wybierz opcję otwierania danych i kliknij prawym przyciskiem myszy na nazwę pliku rec.Następnie kliknij format, wybierz raw jako large disc data. Zatwierdź przyciskiem okay i załaduj. Wybierz odpowiednie parametry danych surowych z informacji w nagłówku i kliknij okay.Przełącz i zapisz jako nową nazwę pliku. Plik am. W przypadku sekwencji obrazów 3D wybierz otwórz dane i wybierz nazwę pliku tiff lub nazwę pliku dot mrmc.Następnie przełącz widok, kliknij prawym przyciskiem myszy i wybierz „Zapisz jako”, podając nazwę pliku „am”. W oknie przeglądarki 3D wybierz „ortho slice”, aby otworzyć plik obrazu. Następnie użyj suwaka na dole, aby przejrzeć przekroje i wyciąć większe zbiory danych otwarte jako duże dane dyskowe (large disc data).Przełącz nazwę pliku w oknie puli, kliknij prawym przyciskiem myszy i wybierz dostęp do sieci (lattice access). Wprowadź żądany rozmiar ramki, przesuń ramkę w wybrany obszar i kliknij zastosuj. Zapisz nowy plik.Następnie utwórz plik segmentacji, przełączając plik w oknie puli. Następnie kliknij prawym przyciskiem myszy i wybierz opcję etykietowania pola etykiet. Nowy plik zostanie utworzony i automatycznie wczytany w karcie edytora segmentacji oraz w puli obiektów.Użyj narzędzia pędzla, aby obrysować krawędź pierwszej interesującej cechy. Dostosuj rozmiar pędzla według uznania, a następnie za pomocą wskaźnika myszy obrysuj krawędź interesującej cechy. Wypełnij obrysowany obszar, używając skrótu F. Dodaj zaznaczenie, klikając przycisk z symbolem plusa.Śledź interesującą cechkę we wszystkich przekrojach i powtórz ręczne obrysowywanie segmentacji. Wygeneruj renderowanie powierzchni w celu wizualizacji oraz podstawowej analizy jakościowej lub ilościowej zgodnie z instrukcją obsługi oprogramowania w karcie puli obiektów, przełączając etykiety nazw plików w oknie puli. Następnie kliknij prawym przyciskiem myszy i wybierz opcję surface gen.Wybierz pożądane właściwości powierzchni i kliknij zastosuj. W puli zostanie utworzony nowy plik o nazwie surf. Aby zwizualizować segmentowaną objętość, przełącz plik o nazwie surf w oknie puli.Następnie kliknij prawym przyciskiem myszy i wybierz widok powierzchni (surface view). Wygeneruj powierzchnię do wizualizacji i analizy jakościowej zgodnie z opisem w protokole tekstowym. Zautomatyzowana segmentacja oparta na gęstości jest stosowana w zestawach danych o różnym kontraście, ostrości lub zagęszczeniu, aby wyodrębnić interesujące gęstości przed importem danych wolumetrycznych do programu wyposażonego w narzędzie „magiczna różdżka” do progowania lub inne narzędzia oparte na gęstości służące do automatycznej segmentacji.Podobnie jak w technice ręcznego śledzenia wybranych cech, w niniejszym pokazie do analizy cech bez wyraźnie rozróżnialnych krawędzi wykorzystano oprogramowanie Amira. Użyj narzędzia progowania, wybierając odpowiednią ikonę. Przesuń suwak, aby dostosować gęstość do pożądanego zakresu, tak aby zamaskowane zostały jedynie analizowane cechy.Kliknij przycisk wyboru, a następnie dodaj zaznaczenie, klikając przycisk z symbolem plusa lub korzystając ze skrótu. Wygeneruj powierzchnię do wizualizacji i analizy jakościowej, zgodnie z opisem w protokole tekstowym. Wszystkie cztery podejścia.Dostosowana automatyczna segmentacja może być wykorzystana do efektywnego segmentowania dużych zbiorów danych, lecz wymaga znajomości programów takich jak matlab. Prosimy o zapoznanie się z uzupełniającym filmem dotyczącym dostosowanej segmentacji w celu uzyskania instrukcji krok po kroku dla tej metody. Sześć przykładowych zbiorów danych zostało poddanych segmentacji za pomocą czterech podejść: ręcznego generowania modelu abstrakcyjnego, ręcznego obrysowywania interesujących cech, automatycznej segmentacji opartej na gęstości oraz dostosowanej automatycznej segmentacji. Ręczne generowanie modelu abstrakcyjnego okazało się skuteczne w przypadku żywicy.Celem wykonania tomografii barwionej w lanie stereocilii było stworzenie modelu do analizy ilościowej, a nie wyznaczanie dokładnych gęstości dla tomografii barwionej w żywicy ściany komórkowej rośliny. Zautomatyzowana segmentacja oparta na gęstości okazała się najskuteczniejsza w szybkim wyodrębnieniu celulozy z wielu przekrojów. Metody manualne wymagały znacznie większego nakładu pracy przy analizie zaledwie kilku przekrojów danych.Ręczne generowanie modelu abstrakcyjnego pozwoliło na uzyskanie tripletu mikrotubul w tomografii etapowej kinocylium, natomiast dwa podejścia zautomatyzowane szybciej wyekstrahowały gęstości i zostały zatem preferowane ze względu na kształt mitochondriów uzyskany za pomocą wiązki skupionej jonów oraz skaningowej mikroskopii elektronowej komórek nabłonkowych piersi. Ręczne kreślenie zapewniło najczystszy wynik, a niska gęstość populacji umożliwiła szybką segmentację. Biorąc pod uwagę dużą objętość wymagającą segmentacji, dostosowana automatyczna segmentacja okazała się najwydajniejsza do segmentacji danych bakteryjnych uzyskanych metodą skaningowej mikroskopii elektronowej powierzchni bloków seryjnych.Mimo że jest czasochłonna, jedyną metodą pozyskiwania obrazów z mikrokskopii elektronowej z wiązką jonową (FIB-SEM) błony komórkowej nabłonka piersi było ręczne obrysowywanie. Opracowanie metod segmentacji otwiera przed badaczami w tej rozwijającej się dziedzinie strukturalnej biologii komórki drogę do badania i określania trójwymiarowej architektury komórkowej na poziomie kompleksów makromolekularnych, organelli i komórek w szerokiej gamie hodowli komórkowych, hodowli organoidów lub organizmów modelowych. Po obejrzeniu tego filmu powinni Państwo posiadać gruntowną wiedzę na temat wyboru i zastosowania optymalnego podejścia do segmentacji dla Państwa zestawu danych.

from-voxels-to-knowledge-practical-guide-to-segmentation-complex

Research

JoVE Journal

Bioengineering

Bioinżynieria

Od Voxeli do Wiedzy: Praktyczny Przewodnik po Segmentacji Złożonych 3D-Danych z Mikroskopii Elektronowej

Tutaj wprowadzamy metodę, cocem3D, która pozwala na odkrycie ultrastruktury konkretnej komórki w jej natywnej tkance poprzez połączenie konfokalnej i seryjnej skaningowej mikroskopii elektronowej.

Korelacyjna, konfokalna i trójwymiarowa mikroskopia elektronowa określonej komórki czuciowej

Segmentacja trójwymiarowych danych z wielu technik obrazowania jest głównym wąskim gardłem w analizie złożonych systemów biologicznych. W tym miejscu opisujemy zastosowanie SuRVoS Workbench do półautomatycznej segmentacji danych wolumetrycznych w różnych skalach długości przy użyciu przykładowych zestawów danych z techniki krioelektronowej tomografii, kriogenicznej miękkiej tomografii rentgenowskiej i tomografii rentgenowskiej z kontrastem fazowym.

Segmentacja objętościowa i analiza materiałów biologicznych za pomocą środowiska pracy SuRVoS (Super-region Volume Segmentation)

Opisany potok jest przeznaczony do segmentacji zestawów danych mikroskopii elektronowej większych niż gigabajty, w celu wyodrębnienia morfologii całych komórek. Po zrekonstruowaniu komórek w 3D, dostosowane do indywidualnych potrzeb oprogramowanie może być wykorzystane do przeprowadzenia analizy jakościowej i ilościowej bezpośrednio w 3D, wykorzystując również rzeczywistość wirtualną do pokonania okluzji widoku.

Metoda rekonstrukcji 3D i analizy w wirtualnej rzeczywistości komórek glejowych i neuronalnych

Tutaj prezentujemy protokół efektywnego łączenia mikroskopii elektronowej ze skaningową wiązką bloków szeregowych i skupionej wiązki jonów, aby dotrzeć do interesującego obszaru. Pozwala to na sprawne wyszukiwanie, w trzech wymiarach i lokalizowanie rzadkich zdarzeń w dużym polu widzenia.

Ukierunkowane badania z wykorzystaniem mikroskopii elektronowej z blokiem szeregowym i mikroskopią elektronową ze zogniskowaną wiązką jonów

Tutaj opisujemy narzędzia i metody obliczeniowe, które umożliwiają wizualizację i analizę trzy- i czterowymiarowych danych obrazowych zarodków myszy w kontekście osiowego wydłużania i segmentacji, uzyskanych przez optyczną tomografię projekcyjną in toto oraz przez obrazowanie na żywo i barwienie immunofluorescencyjne w całości za pomocą mikroskopii wielofotonowej.

Trój- i czterowymiarowe podejścia do wizualizacji i analizy w celu badania wydłużenia osiowego i segmentacji kręgowców

To jest metoda trenowania wielowarstwowego U-Net do wieloklasowej segmentacji tomogramów krioelektronowych przy użyciu części jednego tomogramu jako danych wejściowych do treningu. Opisujemy, jak wywnioskować tę sieć z innymi tomogramami i jak wyodrębnić segmentacje do dalszych analiz, takich jak uśrednianie subtomogramu i śledzenie włókien.

Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu

Tomografia krioelektronowa (cryo-ET) umożliwia wizualizację 3D ultrastruktury komórkowej w rozdzielczości nanometrów, ale ręczna segmentacja pozostaje czasochłonna i skomplikowana. Przedstawiamy nowatorski przepływ pracy, który integruje zaawansowane oprogramowanie rzeczywistości wirtualnej do segmentacji tomogramów krio-ET, pokazując jego skuteczność poprzez segmentację mitochondriów w komórkach ssaków.

Wykorzystanie rzeczywistości wirtualnej do immersyjnej segmentacji i analizy danych z tomografii krioelektronowej

Prezentujemy wykonanie niskokosztowego stopnia kriogenicznego, zaprojektowanego tak, aby pasował do większości mikroskopów światła odbitego. Ten zbudowany w laboratorium stopień kriogeniczny umożliwia efektywne i niezawodne obrazowanie korelacyjne pomiędzy kriomikroskopią świetlną a kriomikroskopią elektronową.

Budowa niskokosztowego stolika do kriomikroskopii świetlnej na potrzeby skorelowanej mikroskopii świetlnej i elektronowej

Zaprojektowano cykliczny bioreaktor ciśnieniowy, który umożliwia poddawanie tkanki zastawek serca fizjologicznym oraz patologicznym warunkom ciśnieniowym. Program LabVIEW pozwala użytkownikom na kontrolowanie wartości, amplitudy oraz częstotliwości ciśnienia. Urządzenie to może być wykorzystywane do badania mechanobiologii tkanki zastawek serca lub izolowanych komórek.

Projekt cyklicznego bioreaktora ciśnieniowego do badań ex vivo zastawek tętniczych serca

Użycie fluoroforów do obrazowania in vivo może być znacznie ograniczone przez opsonizację, szybki klirens, niską czułość wykrywania i cytotoksyczne działanie na gospodarza. Enkapsulacja fluoroforów w liposomach poprzez hydratację i ekstruzję filmu prowadzi do wygaszania i ochrony fluorescencji, co umożliwia obrazowanie in vivo o wysokiej czułości wykrywania.

Wygaszanie fluorescencji fluoroforu bliskiej podczerwieni w obudowie liposomalnej jako narzędzie do obrazowania optycznego in vivo

Poznaj metody segmentacji złożonych danych 3D z mikroskopii elektronowej. Dowiedz się, jak wybrać optymalne podejście do ekstrakcji cech z komórek i tkanek.

Od wokseli do wiedzy: praktyczny przewodnik po segmentacji złożonych danych 3D z mikroskopii elektronowej

Przeglądaj więcej filmów