Podejście oparte na widzeniu maszynowym do procesów pracy związanych z transmisyjną mikroskopią elektronową, analizą wyników i zarządzaniem danymi

Technologia ta została opracowana, aby umożliwić użytkownikom na wszystkich poziomach umiejętności dostęp do wysokowydajnych badań TEM. Co więcej, postęp naukowy wymaga wspólnych wysiłków wielu badaczy, więc wydajna platforma do udostępniania i analizowania dużych, złożonych zbiorów danych jest niezbędna do udanych badań. Badania operando i in situ przekształcają TEM w nanolaboratorium działające w czasie rzeczywistym, umożliwiając naukowcom badanie dynamicznych procesów nanoumiejętności, które kontrolują właściwości materiałów.

Jednym z największych wyzwań dla badań TEM in situ jest odizolowanie efektów napromieniowania wiązką od wewnętrznego zachowania próbki. Dokładny pomiar i śledzenie dawki elektronów jest niezbędne, ale bez oprogramowania do zarządzania dawką można mierzyć tylko szybkość dawki elektronów, a nie dawkę całkowitą lub krytyczną. Złożone przepływy pracy TEM generują duże zestawy danych, które muszą być ręcznie wyrównane i zindeksowane do odpowiednich obrazów.

W tym czasochłonnym procesie kluczowe informacje, takie jak dostosowanie warunków obrazowania lub środowiska próbek, mogą zostać utracone, co komplikuje analizę i odtwarzalność. Opracowaliśmy przepływ pracy przetwarzania wizyjnego w celu gromadzenia i indeksowania obrazów i metadanych utworzonych podczas eksperymentu na wzbogaconej danymi osi czasu z możliwością wyszukiwania. Algorytmy obliczeniowe i analizy obrazu mogą obliczać zmienne między obrazami, stosować poprawki i identyfikować ukryte trendy.

Obliczając, synchronizując i indeksując nowe metadane do każdego obrazu, analiza multimodalna nagle staje się nową możliwością. Na przykład, dokładne informacje o skumulowanej dawce i właściwej dawce na obrazach zeolitu umożliwiają ilościową ocenę uszkodzeń próbki na tysiącach obrazów. Będziemy nadal zwiększać możliwości TEM in situ, udostępniając i interpretując wyniki oraz poprawiając odtwarzalność eksperymentalną.

To oprogramowanie jest platformą do opracowywania modułów opartych na przepływie pracy, które są ukierunkowane na konkretne, historycznie trudne zastosowania, aby eksperymenty TEM in situ były łatwiejsze i bogatsze w informacje. Kalibrację dawki należy rozpocząć, klikając ikonę połączenia w oprogramowaniu MVS zainstalowanym w systemie TEM. Wybierz mikroskop i aktywuj połączenie między TEM a oprogramowaniem MVS, aby zobrazować obrazy z kamery lub detektora w przeglądarce obrazów.

Przejdź do zakładki Dawka i kliknij przycisk Start Dose Area Calibration (Rozpocznij kalibrację obszaru dawki). Kliknij przycisk OK, aby potwierdzić sprzęt do kalibracji i postępuj zgodnie z instrukcjami oprogramowania, aby wprowadzić żądane wartości konfigurowane przez użytkownika. Następnie kliknij przycisk Start Dose Current Calibration (Rozpocznij kalibrację prądu dawki).

Postępuj zgodnie z instrukcjami oprogramowania i wprowadź żądane wartości konfigurowane przez użytkownika, aby zakończyć kalibrację. Zacznij od otwarcia aplikacji MVS na instrumencie TEM i wybrania opcji Inne. Podłącz mikroskop do oprogramowania MVS.

Przejdź do zakładki Metadane obrazu i wybierz Powiększenie, Maksymalna dawka i Szybkość dawki, aby nałożyć na strumień obrazu widoczny na wyświetlaczu na żywo. Inne metadane mogą zostać dołączone, jeśli użytkownik sobie tego życzy. Otwórz kartę Dawka, wybierz Zarządzanie dawką i Włącz monitorowanie dawki.

Następnie wybierz opcję Pokaż warstwę dawki i Pokaż niepewność pozycji, aby aktywować automatyczne śledzenie dawki elektronów i wyświetlić kolorową nakładkę dawki. Ustaw wartości dla niskiego i wysokiego poziomu dawki przed naciśnięciem przycisku Zapisz. Następnie przejdź do zakładki Ustawienia, wybierz Dawka i ustaw wartości Krycie mapy nawigacji po dawce i Krycie nakładki obrazu dawki.

Aktywuj korekcję dryfu w oknie przeglądarki obrazów na żywo, klikając Korekta dryfu. Następnie przejdź do karty Widok danych i wykreśl wartości metadanych Defocus i Focus Quotient na osi Y. Aktywuj wspomaganie ustawiania ostrości, a następnie wybierz opcję Kalibruj ostrość, aby uruchomić kalibrację automatycznego wspomagania ustawiania ostrości.

Po zakończeniu procedury kalibracji ostrości zamknij kartę Widok danych. W oprogramowaniu MVS otwórz zakładkę Image Analysis (Analiza obrazu) i aktywuj opcje Live FFT oraz Quadrant One i Two. Korzystając z elementów sterujących oprogramowania mikroskopu, dostosuj warunki wiązki tak, aby strumień elektronów wynosił około 600 angstremów kwadratowych na sekundę.

Przejdź do nowego regionu w przykładzie i wyśrodkuj przykładowy zwrot z inwestycji w podglądzie na żywo oprogramowania MVS. Utrzymuj stałą szybkość dawki, jednocześnie stale obrazując ten sam zwrot z inwestycji, aż do zniknięcia plamek odpowiadających strukturze atomowej w FFT. Uruchom oprogramowanie do analizy w trybie offline, aby wyświetlić w pełni zsynchronizowane zestawy danych i otworzyć plik sesji eksperymentu, wybierając go z biblioteki.

Wyświetl obrazy z korekcją dryfu, aktywując kartę DC poniżej rzutni obrazu przed wybraniem żądanych nakładek danych, zaznaczając odpowiednie pola danych nakładki na karcie Metadane obrazu. Inne metadane mogą być wykreślane zgodnie z życzeniem użytkownika. Podświetl lub przewiń te wykresy graficzne, aby zaktualizować obraz wyświetlany w rzutni.

Uzyskaj dostęp do różnych narzędzi za pośrednictwem kart Analiza obrazu, Przybornik i Widok danych. Uzyskaj dostęp do FFT dla każdego obrazu za pomocą analizy obrazu, aby wykreślić Live FFT w celu zaktualizowania go podczas przewijania obrazów. Wykorzystaj zanikanie pików FFT, aby określić punkt czasowy, w którym struktura nanocząstek zeolitu traci krystaliczność.

Zanotuj warunki dawki w oprogramowaniu za pomocą funkcji tag. Podświetl ikonę tagu i wprowadź żądany tekst, aby oznaczyć określoną serię obrazów na osi czasu. Obrazy będą oznaczone tym tekstem, dopóki ikona tagu nie zostanie odznaczona.

Aby łatwo filtrować duże zestawy danych do mniejszych, które można udostępniać, bez utraty powiązanych z nimi metadanych, otwórz panel filtrów i dostosuj suwaki, aby wybrać tylko szybkość dawki równą lub większą niż 500 angstremów kwadratowych na sekundę. Zapisz nową kolekcję, używając nazwy dawka 500 i większa. Wybierz obrazy, podświetlając je na osi czasu lub korzystając z opcji filtrowania.

Następnie wyeksportuj metadane jako plik CSV, a serię obrazów jako plik filmowy, korzystając z tej samej opcji publikowania. Obraz nanocząstki zeolitu ZSM 5 w celu określenia dawki progowej wykazał, że szybkość dawki odczytana przez oprogramowanie MVS w warunkach wysokiej dawki wynosiła 519 elektronów na angstrem kwadratowy na sekundę. Nanocząstki w polu widzenia były obrazowane w sposób ciągły, aż do zniknięcia pików FFT, co wskazuje na degradację struktury krystalicznej.

Piki FFT zaczęły zanikać po 42 sekundach ciągłego obrazowania. Piki FFT całkowicie zniknęły w ciągu jednej minuty i 20 sekund, a skumulowana dawka wynosiła około 60 000 elektronów na angstrem kwadratowy. Ten sam proces powtórzono z innym mikroskopem.

Plamy FFT całkowicie zniknęły po jednej minucie i 50 sekundach ciągłego obrazowania i skumulowanej dawce 58 230 elektronów na angstrem kwadratowy. Aby rozpocząć, wybierz odpowiednią opcję przepływu pracy w oprogramowaniu MVS. Postępuj zgodnie z instrukcjami przepływu pracy, aby potwierdzić połączenie elektryczne między uchwytem a e-chipem grzewczym, ładując plik kalibracyjny i przeprowadzając kontrolę urządzenia.

Po podłączeniu mikroskopu do oprogramowania MVS wyśrodkuj zwrot z inwestycji próbki w polu view. Dostęp do ustawień kontroli temperatury poprzez kliknięcie przycisku Eksperyment i trybu sterowania ręcznego. Następnie ustaw szybkość narastania na 25 stopni Celsjusza na sekundę, a cel na 200 stopni Celsjusza.

Kliknij Zastosuj, aby rozpocząć eksperyment. Po osiągnięciu 200 stopni Celsjusza ustaw szybkość narastania na 10 stopni Celsjusza na sekundę. Dostosuj wartość docelową do 600 stopni Celsjusza i kliknij przycisk Zastosuj.

Po osiągnięciu ustawionej temperatury 600 stopni Celsjusza zmień szybkość narastania na dwa stopnie Celsjusza, a cel na 800 stopni Celsjusza. Kliknij Zastosuj, aby rozpocząć eksperyment. Po zakończeniu otwórz oprogramowanie analityczne, aby przejrzeć sesję.

Na osi czasu wykreśl temperaturę, matrycowy współczynnik morfingu, szybkość dawki i dawkę skumulowaną. Eksportuj obrazy i filmy za pomocą opcji Publikuj z nakładkami mapy dawek lub bez nich. Eksperyment grzewczy przeprowadzony przy użyciu reprezentatywnej próbki nanokatalizatora, złota na tlenku żelaza, wykazał, że w podwyższonych temperaturach nanocząstki złota w złocie na tlenku żelaza migrowały wzdłuż powierzchni podpory tlenku żelaza i koncentrowały się, tworząc większe cząstki.

W eksperymencie z ogrzewaniem in situ zarejestrowano serię migawek TEM porowatego obszaru w nanokatalizatorze ze złota na tlenku żelaza w różnych punktach czasowych. Skoordynowany dryf próbki wzrastał wraz ze wzrostem temperatury z szybkością od 9 do 62 nanometrów na minutę i zaczął spadać w kierunku wyrównania przy stałej temperaturze. Oprogramowanie MVS ustabilizowało cząstkę w polu widzenia w całym profilu rampy temperatury, umożliwiając obrazowanie w wysokiej rozdzielczości.