Cyfrowa mikroskopia holograficzna (DIHM) obiektów o słabym rozproszeniu

Summary

Trójwymiarowe lokalizacje słabo rozpraszających obiektów mogą być jednoznacznie zidentyfikowane za pomocą cyfrowej mikroskopii holograficznej (DIHM), która obejmuje niewielką modyfikację standardowego mikroskopu. Nasze oprogramowanie wykorzystuje prostą heurystykę obrazowania sprzężoną z propagacją wsteczną Rayleigha-Sommerfelda, aby uzyskać trójwymiarowe położenie i geometrię mikroskopijnego obiektu fazowego.

Abstract

Słabo rozpraszające obiekty, takie jak małe cząstki koloidalne i większość komórek biologicznych, są często spotykane w mikroskopii. Rzeczywiście, opracowano szereg technik, aby lepiej wizualizować te obiekty fazowe; Kontrast fazowy i DIC to jedne z najpopularniejszych metod zwiększania kontrastu. Jednak rejestrowanie pozycji i kształtu w kierunku poza płaszczyzną obrazowania pozostaje wyzwaniem. Niniejszy raport przedstawia prostą metodę eksperymentalną do dokładnego określania lokalizacji i geometrii obiektów w trzech wymiarach przy użyciu cyfrowej mikroskopii holograficznej (DIHM). Ogólnie rzecz biorąc, dostępna objętość próbki jest określana przez rozmiar czujnika kamery w kierunku bocznym i spójność oświetlenia w kierunku osiowym. Typowe objętości próbek wahają się od 200 μm x 200 μm x 200 μm przy użyciu oświetlenia LED, do 5 mm x 5 mmx 5 mm lub więcej przy użyciu oświetlenia laserowego. To światło iluminacyjne jest skonfigurowane tak, że fale płaskie padają na próbkę. Obiekty w objętości próbki rozpraszają następnie światło, które interferuje ze światłem nierozproszonym, tworząc wzory interferencyjne prostopadłe do kierunku oświetlenia. Obraz ten (hologram) zawiera informacje o głębi wymagane do rekonstrukcji trójwymiarowej i może być uchwycony za pomocą standardowego urządzenia do obrazowania, takiego jak kamera CMOS lub CCD. Metoda wstecznej propagacji Rayleigha-Sommerfelda jest stosowana do numerycznego ponownego ogniskowania obrazów mikroskopowych, a prosta heurystyka obrazowania oparta na anomalii fazy Gouya jest używana do identyfikacji obiektów rozpraszających w zrekonstruowanej objętości. Ta prosta, ale solidna metoda pozwala na jednoznaczny, pozbawiony modeli pomiar położenia i kształtu obiektów w próbkach mikroskopowych.

Introduction

Cyfrowa mikroskopia holograficzna (DIHM) umożliwia szybkie trójwymiarowe obrazowanie mikroskopijnych próbek, takich jak pływające mikroorganizmy^1,2 i systemy miękkiej materii^3,4, z minimalną modyfikacją standardowej konfiguracji mikroskopu. W tym artykule przedstawiono pedagogiczną demonstrację DIHM, skoncentrowaną na oprogramowaniu opracowanym w naszym laboratorium. Ten artykuł zawiera opis konfiguracji mikroskopu, optymalizacji pozyskiwania danych i przetwarzania zarejestrowanych obrazów w celu rekonstrukcji danych trójwymiarowych. Oprogramowanie (częściowo oparte na oprogramowaniu opracowanym przez D.G. Griera i innych⁵) oraz przykładowe obrazy są dostępne bezpłatnie na naszej stronie internetowej. Przedstawiono opis kroków niezbędnych do skonfigurowania mikroskopu, zrekonstruowania trójwymiarowych objętości z hologramów i renderowania uzyskanych objętości zainteresowania za pomocą bezpłatnego pakietu oprogramowania do śledzenia promieni. Artykuł kończy się omówieniem czynników wpływających na jakość rekonstrukcji oraz porównaniem DIHM z konkurencyjnymi metodami.

Chociaż DIHM został opisany już jakiś czas temu (ogólny przegląd jego zasad i rozwoju patrz Kim⁶), wymagana moc obliczeniowa i doświadczenie w przetwarzaniu obrazów do tej pory w dużej mierze ograniczały jego użycie do specjalistycznych grup badawczych skupiających się na rozwoju instrumentów. Sytuacja ta zmienia się w świetle najnowszych postępów w technologii komputerowej i kamerowej. Nowoczesne komputery stacjonarne z łatwością poradzą sobie z wymaganiami dotyczącymi przetwarzania i przechowywania danych; Kamery CCD lub CMOS są obecne w większości laboratoriów mikroskopowych; Niezbędne oprogramowanie jest udostępniane bezpłatnie w Internecie przez grupy, które zainwestowały czas w rozwój tej techniki.

Zaproponowano różne schematy obrazowania konfiguracji mikroskopijnych obiektów w trójwymiarowej objętości próbki. Wiele z nich to techniki skanowania^7,8, w których stos obrazów jest rejestrowany poprzez mechaniczne przełożenie płaszczyzny obrazu przez próbkę. Skaningowa konfokalna mikroskopia fluorescencyjna jest prawdopodobnie najbardziej znanym przykładem. Zazwyczaj barwnik fluorescencyjny jest dodawany do obiektu fazowego w celu uzyskania akceptowalnego poziomu kontrastu próbki, a układ konfokalny służy do przestrzennej lokalizacji emisji fluorescencji. Metoda ta doprowadziła do znacznych postępów, na przykład w nauce o koloidach, gdzie umożliwiła dostęp do trójwymiarowej dynamiki zatłoczonych układów^9-11. Zastosowanie znakowania jest istotną różnicą między fluorescencyjną mikroskopią konfokalną a DIHM, ale warto porównać inne cechy tych dwóch technik. DIHM ma znaczną przewagę prędkości, ponieważ aparat nie ma ruchomych części. Mechaniczne zwierciadła skanujące w systemach konfokalnych nakładają górny limit na szybkość pozyskiwania danych - zwykle około 30 klatek na sekundę dla obrazu o wymiarach 512 x 512 pikseli. Stos takich obrazów z różnych płaszczyzn ogniskowych można uzyskać poprzez fizyczną translację stolika próbki lub soczewki obiektywu między klatkami, co prowadzi do końcowej szybkości przechwytywania około jednej objętości na sekundę dla stosu 30 klatek. Dla porównania, system holograficzny oparty na nowoczesnej kamerze CMOS może rejestrować 2,000 klatek na sekundę przy tym samym rozmiarze obrazu i rozdzielczości; Każda klatka jest przetwarzana "w trybie offline", aby uzyskać niezależną migawkę objętości próbki. Przypomnijmy: próbki fluorescencyjne nie są wymagane dla DIHM, chociaż opracowano system, który przeprowadza holograficzną rekonstrukcję fluorescencyjnego obiektu¹². Oprócz trójwymiarowych informacji o objętości, DIHM może być również używany do dostarczania ilościowych obrazów kontrastu fazowego¹³, ale wykracza to poza zakres niniejszej dyskusji.

Surowe obrazy danych DIHM są dwuwymiarowe i pod pewnymi względami wyglądają jak standardowe obrazy mikroskopowe, aczkolwiek są nieostre. Główna różnica między mikroskopią DIHM a standardową mikroskopią jasnego pola polega na pierścieniach dyfrakcyjnych, które otaczają obiekty w polu widzenia; Wynika to z charakteru oświetlenia. DIHM wymaga bardziej spójnego źródła niż jasne pole - zazwyczaj diody LED lub lasera. Pierścienie dyfrakcyjne w hologramie zawierają informacje niezbędne do zrekonstruowania trójwymiarowego obrazu. Istnieją dwa główne podejścia do interpretacji danych DIHM; Bezpośrednie dopasowanie i numeryczne ustawianie ostrości. Pierwsze podejście ma zastosowanie w przypadkach, gdy postać matematyczna wzoru dyfrakcyjnego jest znana z góry^3,4; Ten warunek spełnia niewielka garstka prostych obiektów, takich jak kule, cylindry i przeszkody półpłaskie. Dopasowanie bezpośrednie ma również zastosowanie w przypadkach, gdy znane jest położenie osiowe obiektu, a obraz można dopasować za pomocą tabeli przeglądowej szablonów obrazów¹⁴.

Drugie podejście (numeryczne ponowne ogniskowanie) jest raczej bardziej ogólne i polega na wykorzystaniu pierścieni dyfrakcyjnych na dwuwymiarowym obrazie hologramu do numerycznej rekonstrukcji pola optycznego w kilku (dowolnie rozmieszczonych) płaszczyznach ogniskowych w całej objętości próbki. Istnieje kilka powiązanych metod, aby to zrobić⁶; w tej pracy wykorzystano technikę wstecznej propagacji Rayleigha-Sommerfelda, opisaną przez Lee i Griera⁵. Wynikiem tej procedury jest stos obrazów, które odtwarzają efekt ręcznej zmiany płaszczyzny ogniskowej mikroskopu (stąd nazwa "numeryczne ponowne ustawianie ostrości"). Po wygenerowaniu stosu obrazów należy uzyskać pozycję obiektu w objętości ogniskowej. Zaprezentowano szereg heurystyk analizy obrazu, takich jak lokalna wariancja intensywności lub zawartość częstotliwości przestrzennej, w celu ilościowego określenia ostrości ostrości w różnych punktach próbki¹⁵. W każdym przypadku, gdy określona metryka obrazu jest maksymalizowana (lub minimalizowana), obiekt jest uważany za ostry.

W przeciwieństwie do innych schematów, które starają się zidentyfikować konkretną płaszczyznę ogniskową, na której obiekt jest 'ostry', metoda w tej pracy wybiera punkty, które leżą wewnątrz obiektu zainteresowania, które mogą rozciągać się na szeroki zakres płaszczyzn ogniskowych. Podejście to ma zastosowanie w szerokim zakresie tematów i jest szczególnie odpowiednie dla rozszerzonych, słabo rozpraszających próbek (obiektów fazowych), takich jak koloidy w kształcie pręcików, łańcuchy bakterii lub wici eukariotyczne. W takich próbkach kontrast obrazu zmienia się, gdy obiekt przechodzi przez płaszczyznę ogniskową; Rozmyty obraz ma jasny środek, jeśli obiekt znajduje się po jednej stronie płaszczyzny ogniskowej, i ciemny środek, jeśli znajduje się po drugiej. Obiekty z czystą fazą mają niewielki lub żaden kontrast, gdy leżą dokładnie w płaszczyźnie ogniskowej. To zjawisko odwrócenia kontrastu zostało omówione przez innych autorów^16,17 i ostatecznie wynika z anomalii fazy Gouya¹⁸. Zostało to postawione na bardziej rygorystycznej podstawie w kontekście holografii w innych miejscach, gdzie oceniane są granice techniki; Typowa niepewność położenia jest rzędu 150 nm (około jednego piksela) w każdym kierunku¹⁹. Metoda anomalii fazowej Gouya jest jednym z niewielu dobrze zdefiniowanych schematów DIHM do określania struktury rozciągłych obiektów w trzech wymiarach, niemniej jednak niektóre obiekty są problematyczne do zrekonstruowania. Obiekty, które leżą bezpośrednio wzdłuż osi optycznej (skierowane na kamerę) są trudne do dokładnej rekonstrukcji; Niepewności co do długości i położenia obiektu stają się duże. To ograniczenie wynika częściowo z ograniczonej głębi bitowej pikseli rejestrujących hologram (liczba różnych poziomów szarości, które kamera może zarejestrować). Inna problematyczna konfiguracja występuje, gdy obiekt zainteresowania znajduje się bardzo blisko płaszczyzny ogniskowej. W tym przypadku rzeczywiste i wirtualne obrazy obiektu są rekonstruowane w bliskiej odległości, co powoduje powstawanie skomplikowanych pól optycznych, które są trudne do zinterpretowania. Drugim, nieco mniej istotnym problemem jest to, że powstałe prążki dyfrakcyjne zajmują mniej miejsca w przetworniku obrazu, a te gruboziarniste informacje prowadzą do gorszej jakości rekonstrukcji.

W praktyce, prosty filtr gradientowy jest stosowany do trójwymiarowych zrekonstruowanych objętości w celu wykrycia silnych inwersji intensywności wzdłuż kierunku oświetlenia. Obszary, w których intensywność zmienia się szybko z jasnego na ciemny lub odwrotnie, są następnie powiązane z obszarami rozpraszającymi. Słabo rozpraszające się obiekty są dobrze opisane jako nieoddziałujący na siebie zbiór takich pierwiastków²⁰; Te indywidualne wkłady sumują się, aby uzyskać całkowite pole rozproszone, które można łatwo odwrócić za pomocą metody wstecznej propagacji Rayleigha-Sommerfelda. W niniejszej pracy zastosowano technikę gradientu intensywności osiowej do łańcucha komórek Streptococcus. Ciała komórkowe są obiektami fazowymi (gatunek E. coli ma współczynnik załamania światła mierzony²¹ jako 1,384 przy długości fali λ=589 nm; szczep Streptococcus jest prawdopodobnie podobny) i pojawiają się jako łańcuch połączonych plam o wysokiej intensywności w objętości próbki po zastosowaniu filtra gradientowego. Standardowe metody ekstrakcji progów i cech zastosowane do tego filtrowanego woluminu umożliwiają ekstrakcję pikseli wolumetrycznych (wokseli) odpowiadających obszarowi wewnątrz komórek. Szczególną zaletą tej metody jest to, że pozwala ona na jednoznaczną rekonstrukcję położenia obiektu w kierunku osiowym. Podobne metody (przynajmniej te, które rejestrują hologramy blisko obiektu, obrazowane przez obiektyw mikroskopu) cierpią z powodu niemożności określenia znaku tego przemieszczenia. Chociaż metoda rekonstrukcji Rayleigha-Sommerfelda jest również w tym sensie niezależna od znaku, operacja gradientu pozwala nam rozróżnić obiekty o słabej fazie powyżej i poniżej płaszczyzny ogniskowej.

Protocol

1. Konfiguracja i akwizycja danych

1. Wyhoduj kulturę komórek Streptococcus szczep V4051-197 (płynnie pływające) na pożywce KTY z zamrożonego bulionu²². Inkubować w wytrząsarce obrotowej przez noc w temperaturze 35 °C i prędkości 150 obr./min, aż do nasycenia.
2. Zaszczepić 10 ml świeżej pożywki KTY 500 μl nasyconej kultury. Inkubować przez kolejne 3,5 godziny w temperaturze 35°C i prędkości 150 obr./min, aż komórki osiągną gęstość optyczną około 1,0 przy λ=600 nm (około 5 x 10⁸ komórek/ml).
3. Rozcieńczyć w stosunku 1:400 w świeżych pożywkach, aby uzyskać końcowe stężenie ruchliwych komórek.
4. Na szkiełku mikroskopowym wykonać pierścień smaru (np. ze strzykawki wypełnionej wazeliną) o wysokości około 1 mm i umieścić kroplę roztworu próbki na środku. Umieść szklankę nakrywkową na górze i lekko dociśnij krawędzie, aby uszczelnić, upewniając się, że płyn styka się zarówno ze szkiełkiem, jak i szkłem nakrywkowym. Powstała komora na próbki powinna mieć głębokość około 100-200 μm.
5. Umieść komorę na próbkę w mikroskopie ze szkłem nakrywkowym skierowanym w dół i ostrożnie, aby zapobiec tworzeniu się pęcherzyków powietrza w oleju między szkłem a soczewką.
6. Ustaw ostrość mikroskopu na dolnej powierzchni komory próbki i ustaw ostrość kondensatora.
7. Wyłącz standardowe oświetlenie i umieść głowicę LED za otworem kondensora mikroskopu. Ustaw zasilacz LED na maksymalną moc.
8. Zamknij przysłonę kondensora do maksimum i jeśli to konieczne, popchnij diodę LED w jej mocowaniu, aż oświetlenie zostanie wyśrodkowane na aperturze obiektywu.
9. Włącz komputer i kamerę, a następnie przekieruj całe światło do portu kamery mikroskopu. Dostosuj liczbę klatek na sekundę i rozmiar obrazu w oprogramowaniu do pozyskiwania obrazów.
10. Czas naświetlania kadru powinien być jak najkrótszy, przy jednoczesnym zachowaniu dobrego kontrastu. Sprawdź histogram intensywności obrazu, aby upewnić się, że obraz nie jest nasycony lub niedoświetlony.
11. W razie potrzeby ponownie ustaw ostrość mikroskopu tak, aby obiekt zainteresowania był lekko rozogniskowany (zwykle o 10-30 μm). Obiekt i płaszczyzna ogniskowa powinny znajdować się w tym samym ośrodku (tj. płaszczyzna ogniskowa powinna leżeć wewnątrz komory na próbkę).

2. Rekonstrukcja

Pierwszym krokiem przetwarzania danych jest numeryczne ponowne ustawienie ostrości klatki wideo na serii różnych głębokości, tworząc stos obrazów. Przyjazne dla użytkownika oprogramowanie do tego celu można znaleźć tutaj: http://www.rowland.harvard.edu/rjf/wilson/Downloads.html wraz z przykładowymi obrazami (uzyskanymi za pomocą odwróconego mikroskopu i 60-krotnego obiektywu z olejkiem immersyjnym) oraz plikiem sceny do renderowania z ray tracingiem.

1. Wprowadź interesującą Cię ramkę i jej odpowiednie tło jako osobne pliki graficzne w odpowiednich polach interfejsu. Obraz tła to klatka, która wiernie reprezentuje tło wideo w przypadku braku hologramu i będzie używana do tłumienia wszelkich szumów o ustalonym wzorze, które mogłyby zakłócać lokalizację i analizę hologramu.
2. Wprowadź wartości w polach ustawień globalnych po lewej stronie ekranu przed uruchomieniem programu. Pierwsze trzy to parametry stosu wyjściowego: Pozycja osiowa pierwszej klatki ("Rozpocznij ostrość"); liczba wycinków w zrekonstruowanym stosie ("liczba stopni"); odległość osiowa między każdym plasterkiem w stosie ("Rozmiar kroku").
3. Aby zrekonstruować obiekty z zachowaniem prawidłowych proporcji, rozmiar kroku powinien być taki sam jak boczne odstępy między pikselami. W polu "Piksel/mikron" wprowadź boczną częstotliwość próbkowania kamery (odstęp 1/piksel), długość fali oświetlenia i średni współczynnik załamania światła w dwóch ostatnich polach. Wartości domyślne programu są odpowiednie do rekonstrukcji przykładowych danych.
4. Naciśnij przycisk "Odwróć gradient Z", jeśli środek obiektu jest ciemny na hologramie (zobacz przykładową klatkę 2005 i sekcję dyskusji, aby uzyskać więcej informacji).
5. Sprawdź stan włączenia/wyłączenia filtra pasmowoprzepustowego (domyślnie włączony). Ten opcjonalny filtr pasmowoprzepustowy, umieszczony w polu poniżej przełącznika odwracania gradientu, jest odpowiedzialny za tłumienie udziału zakłóceń pikseli. Filtr pasmowoprzepustowy jest stosowany do każdego wycinka obrazu natychmiast po wygenerowaniu.
6. Sprawdź stany włączenia/wyłączenia wyjścia pośredniego (domyślnie jest włączone). Pośrednie kroki analizy są zapisywane w dwóch wyjściowych filmach wideo, jako nieskompresowane pliki .avi: pierwszy to ponownie skoncentrowany stos (nazwa pliku kończąca się na '_stack.avi'), drugi to stos po operacji gradientu osiowego (nazwa pliku kończy się na '_gradient.avi'). Idealnie byłoby, gdyby ten drugi stos zawierał interesujący obiekt podświetlony jako jasny obiekt na ciemnym tle.
7. Po ustawieniu wszystkich parametrów naciśnij "Uruchom" w oknie głównym. Wybrana ramka pojawi się w głównym polu oprogramowania.
8. Użyj narzędzia lupy znajdującego się na pasku narzędzi po lewej stronie obrazu, aby powiększyć (lewy przycisk myszy) i pomniejszyć (shift+lewy przycisk myszy). Użyj narzędzia prostokąta na pasku narzędzi, aby wybrać obszar zainteresowania (ROI). Uchwyć jak najwięcej obrzeży hologramu wewnątrz prostokąta, ponieważ zoptymalizuje to rekonstrukcję.
9. Naciśnij przycisk "Proces", aby wygenerować dwa stosy obrazów. Sprawdź powstałe stosy za pomocą ImageJ (który można uzyskać za darmo pod adresem http://rsb.info.nih.gov/ij/). Jeśli interesujący obiekt jest wyraźnie widoczny w stosie obrazów gradientu, przejdź do następnego kroku, aby wyodrębnić współrzędne obiektu.

3. Renderowanie

1. Oprócz zmiany ostrości klatki, program ten może zlokalizować współrzędne x, y, z dla każdego woksela w obiekcie zainteresowania. Naciśnij przycisk "Wyodrębnianie funkcji", aby włączyć tę funkcję.
2. Wprowadź ścieżkę, w tym rozszerzenie (na przykład: c:\home\output.inc), dla pliku współrzędnych wyjściowych. Wybierz "Styl POV-Ray" w polu "Wyjściowy styl współrzędnych". Powoduje to, że program zapisuje plik obiektowy, który można wizualizować za pomocą bezpłatnego pakietu oprogramowania do śledzenia promieni POV-Ray (który można uzyskać ze strony http://www.povray.org/).
3. Ponownie przetworzyć obrazy, jak w sekcji 2 powyżej. Program poda serię współrzędnych (x, y, z) w wybranym ROI, zapisanych w nazwie pliku w polu "Współrzędna wyjściowa". Wyodrębnianie współrzędnych obiektu trwa znacznie dłużej niż generowanie stosu.
4. Upewnij się, że przykładowy plik POV-Ray (dostarczony z kodem rekonstrukcji) znajduje się w tym samym folderze, co właśnie wygenerowany plik współrzędnych. Edytuj przykładowy plik .pov i zastąp nazwę pliku cudzysłowami w wierszu
   #include "MÓJPLIK.inc"
   z nazwą pliku danych wygenerowanego przez kod rekonstrukcji.
5. Kliknij przycisk "Uruchom" w POV-Ray, aby wyrenderować obraz bitmapowy. Pozycja kamery, opcje oświetlenia i tekstur to tylko niektóre z możliwych dostosowań w POV-Ray; Szczegółowe informacje można znaleźć w dokumentacji online.

Results

Aby zademonstrować możliwości DIHM, przeprowadzono eksperymenty na łańcuchu bakterii Streptococcus. Sam łańcuch mierzył 10,5 mm długości i składał się z 6-7 sfero-cylindrycznych komórek (dwie komórki w łańcuchu są bliskie podziału) o średnicach w zakresie 0,6-1 μm. Rysunki 1a i 1b pokazują główny interfejs oprogramowania do rekonstrukcji i renderowania. Przykłady procedury numerycznego ponownego ustawiania ostrości przedstawiono na rysunku 2, gdzie zastosowano p...

Discussion

Najważniejszym krokiem w tym eksperymentalnym protokole jest dokładne przechwytywanie obrazów ze stabilnej konfiguracji eksperymentalnej. Przy słabych danych tła rekonstrukcja o wysokiej wierności jest prawie niemożliwa. Ważne jest również, aby unikać soczewek obiektywowych z wewnętrznym elementem kontrastu fazowego (widocznym jako ciemny pierścień, gdy patrzy się przez tylną część obiektywu), ponieważ może to pogorszyć zrekonstruowany obraz. Obiekt zainteresowania powinien znajdować się na tyle daleko od płaszczyzny ogn...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Mikroskop odwrócony Nikon Eclipse Ti-E	firmy Nikon Corp.
Długość fali emisji LED	Thorlabs	M660L3	λ=660 nm, szerokość linii około 20 nm
Zasilacz LED	Thorlabs	LEDD1B
Adapter gwintu	Thorlabs	SM2T2
Adapter gwintu	Thorlabs	SM1A2
Tablica Frame Grabber	EPIX	PIXCI E4
Szybka kamera CMOS	Mikrotron	MC-1362