一种用于透射电子显微镜工作流程、结果分析与数据管理的机器视觉方法

该技术的开发旨在使各级技能水平的用户都能开展高性能的透射电子显微镜（TEM）研究。此外，科学进步需要多位研究人员的协同努力，因此，一个能够高效共享和分析大型复杂数据集的平台对于成功开展科研工作至关重要。操作中（operando）和原位（in situ）研究将透射电子显微镜转变为实时的纳米实验室，使研究人员能够探索控制材料性能的动态纳米尺度过程。

原位透射电子显微镜（TEM）研究面临的最大挑战之一，是将电子束辐照效应与样品的本征行为区分开来。精确测量和追踪电子剂量至关重要，但若缺乏剂量管理软件，人们只能测量电子剂量率，而无法获得总剂量或临界剂量。复杂的TEM工作流程会产生大量数据，这些数据必须手动与其对应的图像进行对齐和索引。

在这一耗时的过程中，成像条件的调整或样品环境等关键信息可能会丢失，从而增加分析和结果重现的难度。我们开发了一种机器视觉工作流程，可将实验过程中产生的图像和元数据收集并索引为一个数据丰富、可搜索的时间线。计算和图像分析算法能够计算图像间的变量、应用校正，并识别潜在的趋势。

通过计算、同步并将新的元数据索引到每幅图像中，多模态分析 suddenly 成为一种新的可能。例如，沸石图像中精确的累积剂量和实时剂量信息，使得能够对成千上万幅图像中的样品损伤进行定量评估。我们将继续拓展原位透射电镜（in-situ TEM）的功能，使实验结果更易于获取和解读，并提高实验的可重复性。

该软件是一个用于开发工作流驱动模块的平台，旨在解决以往难以实现的特定应用问题，使原位透射电子显微镜（TEM）实验更加简便且信息更丰富。通过点击安装在TEM上的MVS软件中的连接图标，开始剂量校准。选择显微镜并激活TEM与MVS软件之间的连接，以便在图像查看器中显示相机或探测器的图像。

转至“剂量”选项卡，点击“开始剂量区域校准”。点击“确定”以确认校准硬件，并根据软件提示输入所需用户可配置的数值。然后点击“开始剂量电流校准”。

按照软件提示输入所需用户可配置的数值以完成校准。首先在透射电子显微镜（TEM）设备上打开 MVS 软件程序并选择“Other”。将显微镜连接至 MVS 软件。

转到图像元数据选项卡，选择放大倍数、最大剂量和剂量率，以叠加到实时显示中看到的图像流上。如果用户需要，还可以包含其他元数据。打开剂量选项卡，选择剂量管理并启用剂量监测。

然后选择“显示剂量图层”和“显示位置不确定性”，以激活自动电子剂量跟踪并显示剂量颜色叠加。在按下“保存”之前，设置低剂量水平和高剂量水平的数值。然后进入“设置”选项卡，选择“剂量”，并设置“剂量导航图透明度”和“剂量图像叠加透明度”的数值。

在实时图像查看窗口中，单击“Drift Correct”以启用漂移校正。接着，转到“Data View”选项卡，将元数据值“Defocus”和“Focus Quotient”绘制在Y轴上。启用对焦辅助功能，然后选择“Calibrate Focus”以运行自动对焦辅助的校准。

校准聚焦程序完成后，关闭数据视图选项卡。在 MVS 软件中，打开图像分析选项卡，并启用实时 FFT 以及第一和第二象限选项。使用显微镜软件控制功能，调节电子束条件，使电子通量约为 600 埃平方每秒。

移动到样品的另一个区域，并在 MVS 软件的实时视图中将样品 ROI 置于中心。保持剂量率恒定，持续对同一 ROI 成像，直到 FFT 中对应原子结构的斑点消失为止。启动离线分析软件以查看完全同步的数据集，并从库中选择实验会话文件以打开该文件。

在图像视口下方激活 DC 选项卡以显示经过漂移校正的图像，然后在“图像元数据”选项卡中勾选相应的叠加数据框，选择所需的数据叠加。用户可根据需要绘制其他元数据。通过高亮显示或滚动这些图形图表，可更新视口中的显示图像。

通过图像分析、工具箱和数据视图选项卡访问各种工具。通过图像分析访问每幅图像的FFT，以绘制实时FFT图，并在浏览图像时实时更新。利用FFT峰的衰减来确定沸石纳米颗粒结构失去结晶性的时点。

使用标签功能在软件中注明剂量条件。选中标签图标并输入所需文本，以标记时间轴内的特定图像序列。图像将持续带有此文本标签，直至取消选中标签图标。

为了在不丢失相关元数据的情况下，轻松将大型数据集筛选为更小且可共享的数据集，请打开筛选面板并调整滑块，仅选择剂量率大于或等于 500 平方埃每秒的数据。使用“500 剂量率及以上”作为名称保存新集合。通过在时间轴中高亮显示图像或使用筛选选项来选择图像。

然后使用相同的发布选项将元数据导出为 CSV 文件，将图像序列导出为视频文件。ZSM-5 沸石纳米颗粒的成像用于确定阈值剂量，结果表明，在高剂量率条件下，MVS 软件读取的剂量率为每平方埃每秒 519 个电子。对视场中的纳米颗粒进行连续成像，直至 FFT 峰值消失，表明晶体结构发生降解。

在连续成像42秒后，FFT峰开始消失。在成像达到1分20秒、累积剂量约为60,000个电子/平方埃时，FFT峰完全消失。该过程在另一台显微镜上重复进行。

在持续成像 1 分 50 秒并累积剂量达到每平方埃 58,230 个电子后，FFT 斑点完全消失。首先，从 MVS 软件中选择合适的工作流程选项。按照工作流程提示，通过加载校准文件并执行设备检查，确认样品杆与加热 E-chip 之间的电连接。

将显微镜连接至 MVS 软件后，将样品的 ROI 置于视野中央。点击 Experiment 按钮并进入 Manual control 模式，以访问温度控制设置。随后将升温速率设为 25 摄氏度每秒，目标温度设为 200 摄氏度。

单击“应用”以开始实验。温度升至200摄氏度后，将升温速率设置为每秒10摄氏度。将目标温度调整为600摄氏度，然后单击“应用”。

当达到设定温度600摄氏度后，将升温速率更改为2摄氏度，目标温度设为800摄氏度。点击“应用”以开始实验。完成后，打开分析软件以查看实验结果。

在时间轴上绘制温度、模板形变因子、剂量率和累积剂量。使用“发布”选项导出图像和视频，可选择是否叠加剂量图。利用一种典型的纳米催化剂样品——氧化铁负载金——进行的加热实验表明，在高温条件下，氧化铁表面的金纳米颗粒沿氧化铁载体表面迁移并聚集形成更大的颗粒。

原位加热实验记录了金负载氧化铁纳米催化剂中多孔区域在不同时间点的一系列透射电子显微镜（TEM）图像。随着温度升高，样品的协同漂移速率从每分钟9纳米增加至62纳米，并在温度恒定时开始减缓，趋于稳定。MVS软件在整个升降温过程中稳定了视野中的颗粒，实现了高分辨率成像。