Name: 透射电子显微镜工作流程、结果分析和数据管理的机器视觉方法 (视频) | JoVE Journal
Uploaded: 2023-06-23T14:25:00.000+00:00
Duration: 10 min 23 s
Description: 了解机器视觉方法在透射电子显微镜中的应用，实现图像稳定、电子剂量实时追踪与元数据索引管理。该软件平台可自动化校准流程，提升原位TEM实验效率与数据可重复性，助力材料科学与纳米技术领域的协作研究。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作部分在北卡罗来纳州立大学的分析仪器设施（AIF）完成，该设施由北卡罗来纳州和美国国家科学基金会（资助号 ECCS-2025064）支持。AIF 是北卡罗来纳研究三角园纳米技术网络（RTNN）的成员，而 RTNN 是国家纳米技术协调基础设施（NNCI）的一个站点。作者谨此感谢巴黎城市大学法国国家科学研究中心（CNRS）研究主任 Damien Alloyeau 提供的 200 kV 冷场发射电子显微镜（CFEG）沸石辐照剂量阈值研究结果。

方法1：透射电子显微镜在透射电子显微成像（TEM）和扫描透射电子显微成像（STEM）模式下的剂量校准
<ol>
	<li>打开皮安计，并在开始剂量校准前至少预热30分钟。将剂量校准样品台装入透射电子显微镜（TEM），并使用快速连接电缆将校准样品台连接到皮安计。</li>
	<li>将显微镜设置为TEM模式，打开镜筒阀门，定位剂量校准样品台上的35 µm基准孔（图2）。启动MVS软件程序，在实验选项中选择剂量（校准自动化）&#160;。 
	注意：初始校准完成后，软件会保存基准孔的位置，以便在后续校准中自动定位该位置。</li>
	<li>点击连接&#160;图标（图1A），选择显微镜以建立TEM与MVS软件之间的连接。连接成功后，相机/探测器的图像将在软件的图像查看器中显示。 
	注意：无需优化同心高度，由于尖端较厚，基准孔边缘可能显得模糊，但这不会影响电流测量结果。</li>
	<li>进入剂量选项卡，然后选择剂量校准。选择剂量面积校准流程，按照软件提示操作，并输入所需的用户可配置参数（如光阑和单色器设置）。完成剂量面积校准后，选择剂量电流校准流程，并按照软件提示继续操作。</li>
	<li>对实验中可能使用到的每种束斑尺寸、光阑或单色器设置，重复校准过程（步骤1.4）。</li>
	<li>当TEM模式的校准过程完成后，通过重复步骤1.4对STEM模式进行电子剂量校准。 
	注意：STEM模式无需执行剂量面积校准。</li>
	<li>完成所有所需校准后，点击关闭会话，取出剂量校准样品台，并返回MVS软件的起始界面。</li>
</ol>
2. 方法2：使用MVS和剂量软件确定剂量阈值
<ol>
	<li>将标准透射电子显微镜（TEM）载网上的样品（本示例中使用市售的ZSM-5沸石纳米颗粒）装入标准TEM样品 holder 中，并将 holder 插入 TEM，定位到感兴趣的区域（结晶态沸石纳米颗粒）。</li>
	<li>打开 MVS 软件应用程序并选择 其他。 
	注意：可在实验参数字段中添加有关样品的附加信息（例如样品编号和描述、操作者姓名以及实验备注）。</li>
	<li>重复步骤 1.3 以连接至 MVS 软件，并在 MVS 软件界面中导航至图像元数据标签页，选择以下元数据以叠加在实时显示的图像流上：放大倍数、最大剂量 和 剂量率。用户可根据需要包含其他元数据。显示剂量管理控制界面的 MVS 软件截图见 补充文件 1。</li>
	<li>打开 剂量 标签页，选择 剂量管理 和 启用剂量监测，以激活自动电子剂量追踪功能。选择 显示剂量图层 以显示剂量颜色叠加图。</li>
	<li>设置高剂量水平和高剂量率的数值，然后点击 保存（本示例中分别使用了 60,000 e-/Å2 和&#160;500 e-/Å2·s 的数值）。</li>
	<li>导航至 设置 标签页，选择 剂量，并设置 剂量导航图透明度 和 剂量图像叠加透明度 的数值（本示例中分别使用了 0.50 和 0.30）。</li>
	<li>在 实时图像查看器 窗口中，通过点击 漂移校正 启用漂移校正功能。</li>
	<li>进入 数据视图 标签页，将元数据值 离焦量 和 聚焦商 绘制在 Y 轴上。 
	注意：在实验过程中，可从数据视图表中实时绘制任意可用的元数据值。</li>
	<li>启用 聚焦辅助 功能，然后选择 校准聚焦 以运行自动聚焦辅助校准程序。待 校准聚焦 程序完成后，关闭 数据视图 标签页。</li>
	<li>在 MVS 软件中打开 图像分析 标签页，启用 实时 FFT 和 象限 1 &amp;#38; 2 选项。</li>
	<li>使用显微镜的软件控制功能，调节电子束条件，使电子通量约为 500 e-/Å2·s，并移动至样品的新区域，在 MVS 软件的实时视图中将样品感兴趣区域（ROI）居中。 
	注意：进行大范围样品台移动时，漂移控制和聚焦辅助功能将自动关闭，需在选定新的 ROI 后重新启用。</li>
	<li>使用 标签 功能在软件中记录剂量条件。高亮 标签 图标并输入所需文本，以在时间轴中标记特定图像序列。该文本将持续标记图像，直至取消选中 标签 图标。</li>
	<li>在保持恒定剂量率的同时，持续对同一 ROI 成像，直至 FFT 图谱中对应原子结构的衍射峰消失。</li>
	<li>降低放大倍数，打开 剂量管理 标签页，启用 显示剂量图层 以叠加彩色编码的剂量分布图。 
	注意：此功能可直观显示样品中被电子束照射区域及其相对剂量暴露情况。在单张图像中用光标高亮这些区域，可显示其各自的剂量值。</li>
	<li>通过取消选中 连接 断开连接并结束会话，然后选择 关闭会话。将会话数据保存至外部存储设备，以防止后续实验中 MVS 软件内保存的数据被覆盖（见 补充文件 2）。</li>
</ol>
3. 方法三：使用分析软件进行元数据与趋势分析及数据导出
<ol>
	<li>启动分析软件（用于查看完全同步数据集的离线软件），从文件库中选择并打开实验会话文件。 
	注意：用户也可以通过以下方式访问分析软件 复习环节 实验过程中 MVS 软件中的图标。</li>
	<li>通过激活来显示漂移校正后的图像 直流电 标签位于下方 图像观察窗 并选中相应复选框以选择所需的数据叠加项 叠加数据 盒子中的 图像元数据 （在此示例中）标签 显微镜, 日期/时间, 剂量率, 最大剂量，以及 放大倍数&#160;可根据用户需求绘制其他元数据。</li>
	<li>检查 时间线 用于 最大剂量 和 剂量率 将这些数值的图形图表添加到时间轴中。通过高亮显示或滚动浏览这些图形图表，以更新视口中的显示图像。通过以下方式访问多种工具 注意事项, 图像分析, 工具箱，以及 数据视图 标签
	<ol>
		<li>通过以下方式访问每幅图像的 FFT 图像分析 标签并点击 实时FFT 在滚动浏览图像时更新FFT。</li>
		<li>利用FFT峰的衰减来确定沸石结构失去结晶性的时点。记录该图像对应的最高剂量值。</li>
	</ol>
	</li>
	<li>使用 过滤 轻松筛选大型数据集，将其过滤为更小且可共享的数据子集，同时保留其相关元数据。打开过滤面板，调整滑块，仅保留剂量率大于或等于约500 e的數據-/Å2·s 被选中，使用指定名称保存新集合 剂量阈值研究. 
	注意：可针对任何关联的元数据类型应用筛选条件。</li>
	<li>将图像和元数据从会话中导出为其他文件格式，并添加比例尺和元数据叠加信息。
	<ol>
		<li>在库窗格中高亮显示该合集，然后选择 发表 通过右键单击所选区域. 从 发表 在窗口中，选择所需文件类型的导出选项。</li>
		<li>选择经漂移校正的数据标签页，应用所需元数据的叠加图像以及FFT（根据需要调整FFT叠加图像的位置；文中展示了导出时包含FFT的图像示例） 图3).</li>
	</ol>
	</li>
	<li>使用相同的设置将图像序列导出为视频文件 发布 选项。通过时间轴中高亮显示、使用筛选选项或导出完整数据库文件来选择图像。选择所需的视频格式、帧率和文件保存位置。使用200 kV透射电子显微镜（TEM）获得的沸石降解实验视频已提供于 补充文件 3.</li>
	<li>将采集的图像与其元数据分别导出为 CSV 文件，方法是选择 元数据（CSV） 发布时的选项 
	&#8203;注意：原始图像和漂移校正后的图像将分别导出为独立的 CSV 文件（补充文件 4 和 补充文件 5).</li>
</ol>
4. 方法4： 原位 金在氧化铁纳米颗粒上的加热研究
<ol>
	<li>滴铸纳米催化剂（Au/FeO）x) 悬浮于乙醇中的 原位 加热E芯片，一种微机电（MEM）样品支撑片，并使其自然晾干。将样品安装在 原位 加热样品台，将带有样品的样品台插入透射电子显微镜（TEM），并使用配套电缆将样品台连接至电源。利用TEM的控制装置定位样品的兴趣区域（ROI）。 
	注意：本实验使用了与MVS软件完全集成的加热支架，可将温度元数据嵌入图像中。</li>
	<li>从 MVS 软件中选择适当的工作流程选项（在本示例中，选择 融合工作流程 使用了某一制造商的加热支架，但也可通过选择其他制造商的加热支架来替代 其他).</li>
	<li>按照工作流程提示，加载校准文件并执行设备检查，以确认夹持器与加热E芯片之间的电路连接. </li>
	<li>将显微镜连接至MVS软件，如之前步骤2.3-2.10所示（本示例中选择了剂量率、最大剂量、匹配相关性、漂移率和通道A温度的元数据值），并将样本ROI置于视野中央。</li>
	<li>打开 Fusion AX 标签并设置及施加温度。</li>
	<li>点击 通道A设置 按钮以进入温度控制设置。选择 温度&#160;功能和 手动 控制模式</li>
	<li>点击 实验 按钮以访问实验控制。设置 斜率速率 至10 °C/s并 靶标 至 600 °C。单击 应用 开始实验。 
	注意：可随时使用 MVS 软件右下角的快速访问按钮暂停或停止实验，无需打开 Fusion AX 表。</li>
	<li>当达到设定温度600 °C后，打开 Fusion AX 标签并选择 实验. 改变 斜率速率 至 2 °C 并且 靶标 至 800 °C。点击 应用 开始实验。 
	注意：应用加热程序的方法取决于具体的设备和实验条件 原位 所使用的加热系统。上述用于实施温度梯度的步骤适用于本示例中所用的系统。</li>
	<li>使用标记功能突出显示实验过程中的任何事件或关注点，如步骤 2.10 所示。继续对样品成像，并根据需要调整温度曲线。完成后，点击 结束会话 并使用分析软件保存数据文件（代表结果部分讨论的数据库文件的部分内容已提供作为示例） 补充文件 6).</li>
	<li>打开分析软件以查看会话。在时间轴上绘制温度、模板形变因子、剂量率和累积剂量。根据步骤 3.6 和 3.7 中所述方法导出所需的图像和视频。图像和视频可选择是否叠加剂量分布图进行导出图4).</li>
</ol>

TEM Workflows, Results Analysis, and Data Management Using a Machine-Vision Approach

<ol><li>Thomas, J. M., Leary, R. K., Eggeman, A. S., Midgley, P. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+rapidly+changing+face+of+electron+microscopy%5BTitle%5D)+AND+%22Chemical+Physics+Letters%22%5BJournal%5D)">The rapidly changing face of electron microscopy.</a> Chemical Physics Letters. 631, 103-113 (2015).</li>
<li>Spurgeon, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Towards+data-driven+next-generation+transmission+electron+microscopy%5BTitle%5D)+AND+%22Nature+Materials%22%5BJournal%5D)">Towards data-driven next-generation transmission electron microscopy.</a> Nature Materials. 20 (3), 274-279 (2021).</li>
<li>Gai, P. L., Boyes, E. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((In+situ+visualisation+and+analysis+of+dynamic+single+atom+processes+in+heterogeneous+catalysts%5BTitle%5D)+AND+%22Journal+of+Materials+Chemistry+A%22%5BJournal%5D)">In situ visualisation and analysis of dynamic single atom processes in heterogeneous catalysts.</a> Journal of Materials Chemistry A. 10 (11), 5850-5862 (2022).</li>
<li>Zheng, H., Lu, X., He, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((In+situ+transmission+electron+microscopy+and+artificial+intelligence+enabled+data+analytics+for+energy+materials%5BTitle%5D)+AND+%22Journal+of+Energy+Chemistry%22%5BJournal%5D)">In situ transmission electron microscopy and artificial intelligence enabled data analytics for energy materials.</a> Journal of Energy Chemistry. 68, 454-493 (2022).</li>
<li>Topsøe, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Developments+in+operando+studies+and+in+situ+characterization+of+heterogeneous+catalysts%5BTitle%5D)+AND+%22Journal+of+Catalysis%22%5BJournal%5D)">Developments in operando studies and in situ characterization of heterogeneous catalysts.</a> Journal of Catalysis. 216 (1), 155-164 (2003).</li>
<li>Wilkinson, M. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+FAIR+Guiding+Principles+for+scientific+data+management+and+stewardship%5BTitle%5D)+AND+%22Scientific+Data%22%5BJournal%5D)">The FAIR Guiding Principles for scientific data management and stewardship.</a> Scientific Data. 3 (1), 160018(2016).</li>
<li>FAIR Principles. Go Fair. , Available from: 
 <a target="_blank" href="https://www.go-fair.org/fair-principles/">https://www.go-fair.org/fair-principles/</a> (2023).</li>
<li>Draxl, C., Scheffler, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((NOMAD%3A+The+FAIR+concept+for+big+data-driven+materials+science%5BTitle%5D)+AND+%22MRS+Bulletin%22%5BJournal%5D)">NOMAD: The FAIR concept for big data-driven materials science.</a> MRS Bulletin. 43 (9), 676-682 (2018).</li>
<li>Kelly, D. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Liquid-EM+goes+viral-visualizing+structure+and+dynamics%5BTitle%5D)+AND+%22Current+Opinion+in+Structural+Biology%22%5BJournal%5D)">Liquid-EM goes viral-visualizing structure and dynamics.</a> Current Opinion in Structural Biology. 75, 102426(2022).</li>
<li>AXON Studio Software Download. Protochips, Inc. , Available from: 
 <a target="_blank" href="https://success.protochips.com/s/?language=en_US">https://success.protochips.com/s/?language=en_US</a> (2023).</li>
<li>Egerton, R. F., Li, P., Malac, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Radiation+damage+in+the+TEM+and+SEM%5BTitle%5D)+AND+%22Micron%22%5BJournal%5D)">Radiation damage in the TEM and SEM.</a> Micron. 35 (6), 399-409 (2004).</li>
<li>Grubb, D. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Radiation+damage+and+electron+microscopy+of+organic+polymers%5BTitle%5D)+AND+%22Journal+of+Materials+Science%22%5BJournal%5D)">Radiation damage and electron microscopy of organic polymers.</a> Journal of Materials Science. 9 (10), 1715-1736 (1974).</li>
<li>Buban, J. P., Ramasse, Q., Gipson, B., Browning, N. D., Stahlberg, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+low-dose+scanning+transmission+electron+microscopy%5BTitle%5D)+AND+%22Journal+of+Electron+Microscopy%22%5BJournal%5D)">High-resolution low-dose scanning transmission electron microscopy.</a> Journal of Electron Microscopy. 59 (2), 103-112 (2010).</li>
<li>Chen, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imaging+beam-sensitive+materials+by+electron+microscopy%5BTitle%5D)+AND+%22Advanced+Materials%22%5BJournal%5D)">Imaging beam-sensitive materials by electron microscopy.</a> Advanced Materials. 32 (16), 1907619(2020).</li>
<li>Krause, F. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Precise+measurement+of+the+electron+beam+current+in+a+TEM%5BTitle%5D)+AND+%22Ultramicroscopy%22%5BJournal%5D)">Precise measurement of the electron beam current in a TEM.</a> Ultramicroscopy. 223, 113221(2021).</li>
<li>Żak, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Guide+to+controlling+the+electron+dose+to+improve+low-dose+imaging+of+sensitive+samples%5BTitle%5D)+AND+%22Micron%22%5BJournal%5D)">Guide to controlling the electron dose to improve low-dose imaging of sensitive samples.</a> Micron. 145, 103058(2021).</li>
<li>Damiano, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((AXON+dose%3A+A+solution+for+measuring+and+managing+electron+dose+in+the+TEM%5BTitle%5D)+AND+%22Microscopy+Today%22%5BJournal%5D)">AXON dose: A solution for measuring and managing electron dose in the TEM.</a> Microscopy Today. 30 (4), 22-25 (2022).</li>
<li>Allard, L. F., Flytzani-Stephanopoulos, M., Overbury, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Behavior+of+Au+species+in+Au%2FFe2O3+catalysts+characterized+by+novel+in+situ+heating+techniques+and+aberration-corrected+STEM+imaging%5BTitle%5D)+AND+%22Microscopy+and+Microanalysis%22%5BJournal%5D)">Behavior of Au species in Au/Fe2O3 catalysts characterized by novel in situ heating techniques and aberration-corrected STEM imaging.</a> Microscopy and Microanalysis. 16 (4), 375-385 (2010).</li>
<li>Sze, C., Gulari, E., Demczyk, B. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structure+of+coprecipitated+gold-iron+oxide+catalyst+materials%5BTitle%5D)+AND+%22Materials+Letters%22%5BJournal%5D)">Structure of coprecipitated gold-iron oxide catalyst materials.</a> Materials Letters. 36 (1-4), 11-16 (1998).</li>
<li>DiCecco, L. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advancing+high-resolution+imaging+of+virus+assemblies+in+liquid+and+ice%5BTitle%5D)+AND+%22Journal+of+Visualized+Experiments%22%5BJournal%5D)">Advancing high-resolution imaging of virus assemblies in liquid and ice.</a> Journal of Visualized Experiments. (185), e63856(2022).</li>
<li>Dukes, M. J., Gilmore, B. L., Tanner, J. R., McDonald, S. M., Kelly, D. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((In+situ+TEM+of+biological+assemblies+in+liquid%5BTitle%5D)+AND+%22Journal+of+Visualized+Experiments%22%5BJournal%5D)">In situ TEM of biological assemblies in liquid.</a> Journal of Visualized Experiments. (82), e50936(2013).</li>
<li>Scheutz, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Probing+thermoresponsive+polymerization-induced+self-assembly+with+variable-temperature+liquid-cell+transmission+electron+microscopy%5BTitle%5D)+AND+%22Matter%22%5BJournal%5D)">Probing thermoresponsive polymerization-induced self-assembly with variable-temperature liquid-cell transmission electron microscopy.</a> Matter. 4 (2), 722-736 (2020).</li>
<li>Howe, J. Y., Allard, L. F., Bigelow, W. C., Demers, H., Overbury, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+catalyst+behavior+during+in+situ+heating+through+simultaneous+secondary+and+transmitted+electron+imaging%5BTitle%5D)+AND+%22Nanoscale+Research+Letters%22%5BJournal%5D)">Understanding catalyst behavior during in situ heating through simultaneous secondary and transmitted electron imaging.</a> Nanoscale Research Letters. 9 (1), 614(2014).</li>
<li>Egerton, R. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mechanisms+of+radiation+damage+in+beam-sensitive+specimens%2C+for+TEM+accelerating+voltages+between+10+and+300+kV%5BTitle%5D)+AND+%22Microscopy+Research+and+Technique%22%5BJournal%5D)">Mechanisms of radiation damage in beam-sensitive specimens, for TEM accelerating voltages between 10 and 300 kV.</a> Microscopy Research and Technique. 75 (11), 1550-1556 (2012).</li>
<li>Yoshida, K., Sasaki, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimal+accelerating+voltage+for+HRTEM+imaging+of+zeolite%5BTitle%5D)+AND+%22Microscopy%22%5BJournal%5D)">Optimal accelerating voltage for HRTEM imaging of zeolite.</a> Microscopy. 62 (3), 369-375 (2013).</li>
<li>Yoshida, K., Sasaki, Y., Kurata, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+imaging+of+zeolite+with+aberration-corrected+transmission+electron+microscopy%5BTitle%5D)+AND+%22AIP+Advances%22%5BJournal%5D)">High-resolution imaging of zeolite with aberration-corrected transmission electron microscopy.</a> AIP Advances. 3 (4), 042113(2013).</li>
<li>Lee, J., Nicholls, D., Browning, N. D., Mehdi, B. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Controlling+radiolysis+chemistry+on+the+nanoscale+in+liquid+cell+scanning+transmission+electron+microscopy%5BTitle%5D)+AND+%22Physical+Chemistry+Chemical+Physics%22%5BJournal%5D)">Controlling radiolysis chemistry on the nanoscale in liquid cell scanning transmission electron microscopy.</a> Physical Chemistry Chemical Physics. 23 (33), 17766-17773 (2021).</li>
<li>Schneider, N. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electron-water+interactions+and+implications+for+liquid+cell+electron+microscopy%5BTitle%5D)+AND+%22The+Journal+of+Physical+Chemistry+C%22%5BJournal%5D)">Electron-water interactions and implications for liquid cell electron microscopy.</a> The Journal of Physical Chemistry C. 118 (38), 22373-22382 (2014).</li>
<li>Fritsch, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Radiolysis-driven+evolution+of+gold+nanostructures+-+model+verification+by+scale+bridging+in+situ+liquid-phase+transmission+electron+microscopy+and+x-ray+diffraction%5BTitle%5D)+AND+%22Advanced+Science%22%5BJournal%5D)">Radiolysis-driven evolution of gold nanostructures - model verification by scale bridging in situ liquid-phase transmission electron microscopy and x-ray diffraction.</a> Advanced Science. 9 (25), e2202803(2022).</li>
<li>Alloyeau, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Unravelling+kinetic+and+thermodynamic+effects+on+the+growth+of+gold+nanoplates+by+liquid+transmission+electron+microscopy%5BTitle%5D)+AND+%22Nano+Letters%22%5BJournal%5D)">Unravelling kinetic and thermodynamic effects on the growth of gold nanoplates by liquid transmission electron microscopy.</a> Nano Letters. 15 (4), 2574-2581 (2015).</li>
<li>Ahmad, N., Le Bouar, Y., Ricolleau, C., Alloyeau, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Growth+of+dendritic+nanostructures+by+liquid-cell+transmission+electron+microscopy%3A+a+reflection+of+the+electron-irradiation+history%5BTitle%5D)+AND+%22Advanced+Structural+and+Chemical+Imaging%22%5BJournal%5D)">Growth of dendritic nanostructures by liquid-cell transmission electron microscopy: a reflection of the electron-irradiation history.</a> Advanced Structural and Chemical Imaging. 2 (1), 9(2016).</li>
<li>Zhang, Y., Keller, D., Rossell, M. D., Erni, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Formation+of+Au+nanoparticles+in+liquid+cell+transmission+electron+microscopy%3A+From+a+systematic+study+to+engineered+nanostructures%5BTitle%5D)+AND+%22Chemistry+of+Materials%22%5BJournal%5D)">Formation of Au nanoparticles in liquid cell transmission electron microscopy: From a systematic study to engineered nanostructures.</a> Chemistry of Materials. 29 (24), 10518-10525 (2017).</li>
</ol>

所有作者均为 Protochips, Inc. 的员工。

透射电子显微镜（TEM）实验结果的解读通常依赖于多个相互关联的实验参数，例如显微镜设置、成像条件，以及在原位或工况条件下 原位 实验、环境变化或刺激1,23准确分析大型透射电子显微镜（TEM）数据集需要操作人员高度关注，因为这些参数可能持续变化，必须在实验记录本或其他外部文档中准确记录每幅图像的每个条件和设置。随着TEM数据集在规模和复杂性上的增长，人工记录变得难以管理，关键信息可能被遗漏或记录错误。本文所述的MVS软件可整合实验过程中来自显微镜、探测器/相机及其他系统（如 原位 样品架）并将其与相应的图像对齐。
除了元数据整合之外，该软件还应用机器视觉算法，通过结合空间、束流和数字校正，利用其Drift Correct（漂移校正）和Focus Assist（聚焦辅助）功能来追踪并稳定视野。当启用Drift Correct功能时，系统会使用首次导入MVS软件的图像生成一个互相关“模板”图像。随后将该模板与不断传入的图像进行比较，以计算样品漂移或移动的方向和幅度。基于这些信息，MVS软件会自动施加必要的校正，通过调节以下至少一个参数，使图像特征保持在同一位置：样品台位置、束流或图像偏移、以及数字图像校正。 
Focus Assist功能则利用多种算法为每幅图像分配一个称为“聚焦评分”的聚焦值，并通过比较这些评分来确定离焦校正的方向和幅度，从而保持样品处于聚焦状态。在STEM成像模式下，MVS软件通过一种专有的归一化方差方法来最大化对比度，进而分配聚焦评分。在TEM模式下，则在FFT中计算强度的径向总和，并以此计算聚焦评分。 
当MVS软件无法准确计算图像的正确聚焦评分时，其优化聚焦的能力将受到限制。这种情况通常发生在显微镜未正确对中，或校准过程中样品严重失焦，导致软件无法准确计算初始聚焦评分值。对于具有清晰晶格条纹的样品，MVS软件在计算聚焦评分时也可能遇到困难，因为FFT中的晶格条纹可能“压倒”聚焦评分算法；因此，当样品失焦时，聚焦评分可能无法准确反映聚焦状态的变化。相反，在低倍率下工作，或样品的FFT信号较弱时，同样难以获得良好的聚焦评分。 
为缓解这些问题，MVS软件内置了多种可由用户选择的附加算法，用于在默认设置不适用于特定样品时计算聚焦评分。这些算法必须针对具体实验进行逐案测试和应用，以确定最适合的算法组合。
通过使用模板形变因子来考虑样品结构随时间发生的空间形态变化。该滤波器可由操作者调节，从而使配准算法能够考虑样品随时间推移而发生的形态学改变。此外，软件会持续监测实时图像、显微镜设置以及相机或探测器设置，并在检测到样品结构发生变化，或操作者对显微镜、相机或探测器参数进行调整后，自动触发模板更新。如图所示 图4, 图5, 补充文件 7，以及 补充文件 8，MVS 软件可提供高效且即时的稳定化，实现对动态移动或变化样品的高分辨率成像。尽管该软件能够控制极高的漂移或样品移动速率，例如在施加加热斜坡时出现的情况 原位 实验中，如果样品移动或漂移过快，软件可控制的最大台面校正或电子束偏移存在局限性。该限制取决于图像更新速率、视场尺寸和漂移速率。对于特定的视场大小和图像更新速率，存在一个可校正的最大漂移速率；若物理运动无法跟上该速率，则校正过程可能终止或变得不稳定。根据生成配准模板时所提取的特征，如 漂移校正 应用后，可生成额外的计算元数据。例如， 匹配相关性 是一系列模板之间变化程度的数值记录，用于识别实验时间线中样本发生变化的节点。较高的匹配相关值对应于形态发生改变的样本，而较低的匹配相关值则对应于结构相对稳定的样本。匹配相关性在 原位 研究中，因为它可以图形化绘制，使用户能够快速定位系列图像中对应于样品显著变化的图像。然而，需要注意的是，如果在采集过程中移动载物台或改变放大倍数，高匹配相关值也可能对应于成像条件的变化。 漂移校正 功能保持活性。
本文介绍的校准流程采用一种独特的校准样品台和半自动化的校准程序，可在多种透镜条件下以最少的操作人员干预实现对电子束的精确校准。剂量校准程序通过安装在透射电子显微镜（TEM）上的MVS软件进行访问。MVS软件会自动读取相关的显微镜设置，并将所有测量结果保存为参考，用于后续实验。在某些TEM设备上，无法自动读取光阑或单色器的设置，此时操作人员必须在校准及使用过程中手动将这些参数输入MVS软件。软件内置提醒功能，可根据程序提示帮助操作人员及时更新这些手动输入的设置。设计中采用内置电流收集器的样品台，而非依赖显微镜镜筒其他位置集成的电流收集器，是经过深思熟虑的选择。这种设计可使电流收集器与样品处于同一平面，从而消除因电子束偏转或不同束流位置处光阑对电子吸收差异所导致的电流测量误差。MVS软件按照自动化流程，针对任意透镜条件组合测量电子束的电流和束斑面积。随后，软件可将这些实测的校准数据与相机或荧光屏的电流相关联，并在外推实验过程中放大倍数等参数变化时，相应地修正电子束面积。生成的校准文件可立即投入使用，且当软件在未来会话中检测到相同设置时，会自动保存并调用之前的校准文件。尽管校准文件的有效期因不同显微镜而异，但作者发现，在数月内使用同一校准文件未观察到电流值出现显著变化。软件还内置了监测电子枪发射特性的程序，有助于维持校准的有效性，尤其适用于冷场发射电子枪（cold FEG emission guns）。
在不同显微镜系统之间进行剂量测量的归一化处理，以及对样品束流曝光的自动追踪，是MVS软件的关键功能，这些功能使得在不同显微镜系统上开展的实验之间能够进行剂量条件的定量比较。在使用不同显微镜进行的相同实验中，ZSM-5沸石样品因电子束辐照而发生剂量依赖性降解，当累积电子剂量或阈值剂量达到约60,000 e-/Å2（剂量率约为500 e-/Å2·s）时，两种实验设置下的快速傅里叶变换（FFT）斑点均完全消失。这些对比结果表明，该剂量测量软件能够实现可重复且定量的剂量测定。各实验中FFT斑点完全消失时累积剂量的微小差异，可能是由于两台显微镜所采用的加速电压不同所致：较低的加速电压通常导致更多的辐射损伤路径，而较高的加速电压则通常引起更多的碰撞位移损伤24。文献中关于ZSM-5纳米颗粒临界剂量的报道值范围为9,000–14,000 e-/Å2，其依据是首个FFT斑点的消失，而非所有FFT斑点的完全消失25,26。在我们的实验结果中，首个FFT斑点消失对应的累积剂量约为25,000 e-/Å2。以往研究依赖于使用荧光屏测量的电流值，而已有充分文献证明，与法拉第杯相比，该方法会低估束流电流的测量值15。所测定的临界剂量值可能因所选用的FFT衍射峰不同而相差两倍甚至更多。这表明更高空间频率的结构首先发生降解，且测得的临界剂量值会因测量过程中所选取的晶带轴不同而有所差异（我们的研究关注的是整个沸石晶体的FFT斑点，而非特定的局部结构特征）25,26。这些实验技术与电流校准方法的差异，解释了我们实验结果与以往文献报道值之间的差别。
尽管电子剂量效应在许多透射电子显微镜（TEM）实验中是一个重要因素，但原位（in situ）实验尤其是液相电子显微镜（liquid-EM）研究对其影响尤为敏感。电子束对液体的辐照会引发一系列化学活性物质的生成，这些物质可能与样品发生反应，从而增加分析的复杂性。在液相电子显微实验中，所使用的剂量率或注量以及累积剂量均会影响因液体辐解而产生的自由基物种浓度27,28。因此，在整个实验过程中采集并记录累积剂量和剂量率的元数据，能够实现图像与样品受照历史之间的直接关联，是更准确阐明和控制电子束在这些实验中影响的方法。尽管本实验方案未涵盖此部分内容，但在图6中展示了剂量管理功能在液相电子显微中的应用示例。
<img alt="图6" class="xfigimg" src="/files/ftp_upload/65446/65446fig06.jpg" /> 
图6：电子束诱导金纳米颗粒在生长过程中的变化 原位 液相电子显微镜实验 (A低倍率STEM图像，显示所获颗粒生长的总体情况，并叠加了该区域累积剂量图的彩色覆盖。覆盖图中的红色区域表示高累积剂量暴露区，黄色区域表示较低暴露区。使用内置绘图工具将光标悬停于单个像素或在某一区域绘制方框，可显示该像素或区域的累积剂量。比例尺为 2 &#181;m. (B,C橙色方框（b，c）所示区域的更高倍数STEM图像 A. 区域b暴露于较高的累积剂量（10.811 e-/&#197;2) 所含颗粒大于区域 c 中的颗粒，而区域 c 暴露于较低的累积剂量（0.032 e-/&#197;2). <a href="https://www.jove.com/files/ftp_upload/65446/65446fig06large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
增强的剂量率和累积剂量元数据简化了对剂量依赖性纳米材料生长与降解途径的分析。图6展示了在液相电镜实验中，水溶液中氯金酸（HAuCl3）离子在电子束作用下的还原过程。从图6A中的累积剂量颜色叠加图可以直观看出，累积电子剂量影响所形成的纳米颗粒的尺寸和形貌29,30,31,32。低倍STEM概览图显示了暴露于高剂量（红色）和低剂量（黄色）区域的分布情况。高剂量区域内的颗粒尺寸大于低累积剂量区域内的颗粒。由于剂量元数据直接以像素级精度嵌入每幅图像中，液相电镜实验中电子剂量的复杂效应现在可实现系统性分析，这是此前无法实现的。
在本方案中，我们展示了 MVS 软件能够为逐像素校准、监测和追踪电子剂量以及样品所接收的总剂量提供一套完整的解决方案。这一能力为成像对电子束敏感的样品以及理解电子束相互作用开辟了新的范式。对于液相透射电镜（liquid-EM）实验而言，该技术尤其具有重要意义，因为它将有助于更有效地探究电子剂量所起的作用，并提高实验的可重复性。我们希望这一新框架能够实现对剂量率和累积剂量信息的精确采集，促进研究社区共享这些数据，从而更准确地解读透射电镜（TEM）结果，并通过支持 FAIR 原则的数据报告与分析，推动科学协作与数据共享。

透射电子显微镜（TEM）及其功能因相机、探测器、样品台和计算技术的进步而获得了巨大提升。然而，这些进步受到数据流相互脱节、人工操作的局限性以及繁琐的数据分析的制约1,2。此外，原位（in situ）和工况（operando）实验使透射电镜转变为实时的纳米级实验室，能够在施加多种外部刺激的同时，在气体或液体环境中对样品进行研究3,4,5。此类复杂工作流程的广泛应用进一步放大了上述局限性，由此导致的数据流在规模和复杂性上的增长已成为日益关注的问题。因此，人们越来越重视利用机器可操作性来发现、访问、互操作和重用数据，这一实践被称为FAIR原则6。按照FAIR原则理念发布科研数据已获得全球各国政府机构的积极关注7,8，而利用机器视觉软件实现FAIR原则是推动其应用的关键步骤。
为应对执行和分析复杂、元数据密集型透射电子显微镜（TEM）实验（特别是原位（in situ）和工况（operando）实验）中存在的特定痛点，已开发出一种机器视觉同步（MVS）软件平台9。该MVS软件安装于TEM后，可连接、集成并与显微镜镜筒、探测器以及集成的原位（in situ）系统进行通信。这使其能够持续采集图像，并将这些图像与其对应的实验元数据对齐，从而构建一个全面且可搜索的数据库，完整记录实验从开始到结束的时间序列（图1）。这种连接能力使MVS软件能够应用算法智能追踪并稳定感兴趣区域（ROI），即使样品正在经历形貌变化。该软件通过其漂移控制和聚焦辅助功能，根据需要对样品台、电子束以及数字校正进行调节，以维持ROI的稳定。除了利用不同实验系统生成的原始元数据对图像进行增强外，该软件还可利用图像分析算法计算图像间的变量，生成新的计算型元数据，从而自动校正样品漂移或聚焦变化。
通过 MVS 软件采集的透射电子显微镜（TEM）图像及其相关元数据，被组织成一个实验时间线，可供任何人打开和查看 通过 分析软件的免费离线版本 Studio（下文简称分析软件）10实验过程中，MVS 软件同步并记录显微镜相机或探测器的三类图像，这些图像显示在图像查看器下方时间轴的顶部：单次采集（直接从透射电子显微镜软件获取的单个原始采集图像）、原始图像&#160;（来自探测器/相机实时流的图像，未经任何数字漂移校正处理；这些图像可能经过物理校正） 通过 阶段移动或电子束偏移）并进行漂移校正（来自探测器/相机实时流的图像已通过数字方式校正漂移）。实验或会话期间采集的数据可进一步细分为更小的数据段，称为采集集（collections），且不会丢失嵌入的元数据。通过分析软件，可将图像、图像堆栈及元数据直接导出为多种开放格式的图像和电子表格类型，以便使用其他工具和程序进行分析。
MVS 软件所实现的显微镜控制、稳定化及元数据整合框架，还可用于集成其他机器视觉程序或模块，以缓解当前透射电子显微镜（TEM）工作流程中的局限性。首个利用该同步平台开发的模块之一，是电子剂量校准及对样品中电子束照射区域的空間追踪。所有透射电子显微镜图像均源于样品与电子束之间的相互作用；然而，这些相互作用也可能对样品造成不可避免的负面影响，例如辐射分解和碰撞位移损伤11，12，因此必须在施加足够电子剂量以生成图像与尽量减少电子束损伤之间进行谨慎权衡13，14。
尽管许多用户依赖屏幕电流测量来估算电子剂量，但该方法已被证明会显著低估实际束流电流15可获得定性剂量值 通过 在同一台显微镜和相同设置下测量屏幕电流，但若使用不同显微镜或不同设置来重现这些剂量条件，则具有高度主观性。此外，实验过程中用户对任何成像参数的调整，例如光斑尺寸、光阑、放大倍数或强度，均需单独测量屏幕电流，以计算实际剂量。使用者必须严格限制特定实验中所采用的成像条件，或仔细测量并记录所用的每一种透镜条件，这显著增加了实验的复杂性，并使其超出显微镜常规操作的可行性范围16,17.
剂量软件（本方案中简称“剂量软件”）是一种剂量校准软件模块，利用专用的校准支架实现自动化的束流电流测量。校准支架的尖端集成了法拉第杯，后者是束流电流精确校准的金标准15。MVS 软件针对每种透镜条件执行一系列束流电流和束流面积校准，并将这些校准值以像素级精度嵌入图像中。
在本视频文章中，采用典型的纳米材料样品展示了旨在优化透射电子显微镜（TEM）工作流程各个环节的MVS软件操作方案。一种对电子束敏感的沸石纳米颗粒样品14 用于演示校准和剂量管理的工作流程。我们执行一个典型的 原位 使用 Au/FeO 的加热实验x 纳米催化剂18,19 在加热时发生显著形态变化的样品。 原位 实验突显了该软件的稳定化算法及其整合多路元数据流的能力，这对于元数据处理而言是一个固有挑战 原位 以及原位研究。尽管本方案中未作描述，但由于其独特的电子剂量敏感性，我们将讨论该软件在液相透射电镜研究中的代表性应用实例（相关实验方案此前已在文献中报道）20,21,22），以及如何应用这些技术来加深对剂量效应在液体-EM实验中影响的理解。最后，我们展示了如何使用离线分析软件简化数据处理流程，以可视化、筛选和导出多种图像、视频及数据文件为其他可访问的格式。
<img alt="图 1" class="xfigimg" src="/files/ftp_upload/65446/65446fig01.jpg" /> 
图 1：MVS 与分析软件的用户界面示例。（A）同步软件的图像查看窗口与控制面板。通过点击 Connect 按钮建立透射电子显微镜（TEM）与同步软件之间的连接，从而将显微镜的图像与元数据实时传输至同步软件中。在图像查看器中，操作人员可执行多种机器视觉辅助操作，例如 Drift Correct（漂移校正）和 Focus Assist（聚焦辅助）。该界面还支持在不中断数据采集的情况下进行 Tag Images（标记图像）和 Review Session（会话回顾）操作。（B）图像分析软件的截图，突出显示了 Image View Port（图像视窗）、Timeline（时间线）以及 Metadata（元数据）和 Analysis（分析）面板的位置。在实验进行期间的任意时刻，均可通过点击 Review Session 按钮访问分析软件，以查看截至该时间点所采集的图像。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig01large.jpg" target="_blank">请点击此处查看此图的高清版本。</a>

<table><tbody><tr><td>ARM200F CFEG</td><td>JEOL</td><td></td><td>透射电子显微镜 (200 kV)</td></tr><tr><td>AXON DOSE 校准支架</td><td>Protochips, Inc.</td><td>AXA-FC-TFS</td><td>用于赛默飞世尔科技透射电子显微镜的剂量校准与管理硬件套件</td></tr><tr><td>AXON DOSE 软件：&amp;nbsp; 版本 10.6.5.3</td><td>Protochips, Inc.</td><td>AX-MOD-DOSE-01-1YR</td><td>剂量校准与管理软件</td></tr><tr><td>AXON Studio 软件：版本 10.6.5.3</td><td>Protochips, Inc.</td><td>无部件编号。&lt;br/&gt; 可在&amp;nbsp; success.protochips.com 下载</td><td>用于 AXON 数据集的离线分析软件。&amp;nbsp; AXON Studio 软件的免费副本可在以下网址下载：&amp;nbsp; success.protochips.com</td></tr><tr><td>AXON Synchronicity 核心模块</td><td>Protochips, Inc.</td><td>AXON-CORE</td><td>同步软件的硬件组件</td></tr><tr><td>AXON Synchronicity 软件：&amp;nbsp; 版本 10.6.5.3</td><td>Protochips, Inc.</td><td>AX-MOD-SYNCPRO-01-1YR</td><td>同步软件</td></tr><tr><td>Fusion 原位加热 E-chip</td><td>Protochips, Inc.</td><td>E-FHDC-VO-10</td><td>带碳膜的样品支撑 E-chip。&amp;nbsp; 与原位加热系统配合使用</td></tr><tr><td>Fusion Select 原位加热系统</td><td>Protochips, Inc.</td><td>FFAD-6200-EXP</td><td>用于赛默飞世尔科技透射电子显微镜的原位 MEMS 加热系统。</td></tr><tr><td>三氯化金（以金计 50%）水合物 50790</td><td>Sigma Aldrich</td><td>27988-77-8</td><td>用于制备 Au/FeOx 纳米催化剂。&amp;nbsp; 合成方法参照 C. Sze 等人发表于《Materials Letters》&lt;strong&gt;36 &lt;/strong&gt;(1&amp;ndash;4), 11&amp;ndash;16 (1998) 的共沉淀法</td></tr><tr><td>三氧化二铁 310050 (Fe&lt;sub&gt;2&lt;/sub&gt;O&lt;sub&gt;3&lt;/sub&gt;)</td><td>Sigma Aldrich</td><td>1309-37-1</td><td>用于制备 Au/FeOx 纳米催化剂。&amp;nbsp; 合成方法参照 C. Sze 等人发表于《Materials Letters》&lt;strong&gt;36&lt;/strong&gt; (1&amp;ndash;4), 11&amp;ndash;16 (1998) 的共沉淀法</td></tr><tr><td>Titan ChemiSTEM</td><td>ThermoFisher Scientific</td><td></td><td>透射电子显微镜 (300 kV)</td></tr><tr><td>分子筛 ZSM-5</td><td>Zeolyst</td><td>CBV 8014</td><td>&amp;nbsp;纳米催化剂样品：&amp;nbsp; 80 SiO&lt;sub&gt;2&lt;/sub&gt;/Al&lt;sub&gt;2&lt;/sub&gt;O&lt;sub&gt;3 &lt;/sub&gt; 摩尔比</td></tr></tbody></table>

一种用于透射电子显微镜工作流程、结果分析与数据管理的机器视觉方法

A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management

透射电子显微镜（TEM）使研究人员能够在最基本的原子尺度上研究材料。复杂的实验通常会产生数千张图像，并涉及大量参数，需要耗时且复杂的分析过程。AXON 同步系统是一种机器视觉同步（MVS）软件解决方案，旨在解决 TEM 研究中固有的痛点问题。该软件安装于显微镜后，可在实验过程中持续同步显微镜、探测器以及原位（in situ）系统所产生的图像与元数据。这种连接性使得机器视觉算法得以应用，通过结合空间、电子束和数字校正方法，对视场内感兴趣区域进行居中与追踪，并实现即时的图像稳定。除了此类稳定技术所带来的分辨率显著提升外，元数据的同步还支持计算和图像分析算法的应用，以计算图像之间的变量&#8239;。这些计算所得的元数据可用于分析数据集中的趋势或识别关键感兴趣区域，从而获得新的科学见解，并为未来更先进的机器视觉能力的发展奠定基础。基于此类计算元数据开发的模块之一是剂量校准与管理系统。剂量模块提供了先进的校准、追踪和管理功能，可针对样品特定区域逐像素地控制电子通量（e-/Å2·s-1）和累积剂量（e-/Å2）。这使得研究人员能够全面了解电子束与样品之间的相互作用。实验分析通过专用分析软件得以简化，用户可轻松可视化、排序、筛选和导出包含图像及相应元数据的数据集。这些工具共同促进了高效的协作与实验分析，推动了数据挖掘，并提升了显微镜使用体验。

本研究强调了使用 MVS 软件进行透射电子显微镜成像数据采集的实用性 原位 实验。透射电子显微镜（TEM）的校准和条件设置通过TEM制造商的默认控制程序进行操作和选择。初始设置完成后，本视频文章中介绍的实验方案通过MVS软件执行。除用于获取对比沸石数据的200 kV冷场发射电子枪（FEG）外，视频方案和代表性数据中所有实验均采用300 kV TEM完成。图3D-F 和 表1所有元数据均由 MVS 软件自动采集并与其对应的图像对齐。
启动软件并从菜单中选择适当的工作流程后，通过点击图像查看器最左侧工具栏中的连接按钮，建立与显微镜的连接，如图1A所示。当连接按钮处于高亮状态时，显微镜的图像及相关的元数据将自动传输至MVS软件，并显示在图像查看窗格中。这些图像及其相关元数据将按时间顺序保存在一个时间轴中，用户可随时打开、查看和分析该时间轴，而不会中断新数据向时间轴的持续记录（图1B）。用户可随时通过取消激活连接图标来中断数据流传输。
连接激活后，即可访问依赖于 MVS 软件框架的其他工作流程。在本视频方案所示示例中，使用 MVS 软件的其他功能前必须先进行剂量校准。剂量校准是由 MVS 软件控制的自动化过程；该过程使用专用的法拉第杯剂量校准支架，测量特定参数组合下的电子束电流和束斑面积。如图2所示，法拉第杯校准支架连接至外部皮安计，用于精确测量电子束电流。将支架插入显微镜后，需将基准对准孔居中，并在软件中输入待校准的束条件（束斑尺寸、光阑和放大倍数）。软件将针对每种选定条件的组合执行一系列校准步骤。在校准过程中，支架在集成的法拉第电流收集杯与通孔之间自动移动。皮安计在法拉第杯上测量每种透镜条件组合对应的电流。随后，软件移动样品台，使电子束在通孔中居中，并通过机器视觉算法确定束斑面积。这一系列测量建立了亮度/强度与束斑面积之间关系的特征曲线。这使得软件能够在实验过程中，无论视场如何变化，均可根据亮度/强度设置推算出束斑面积。软件利用这些束流和束斑面积的测量值，计算累积剂量和剂量率，并生成剂量校准文件。该过程实质上为透射电子显微镜（TEM）及其特定的透镜条件定义了一个剂量“指纹”。一旦完成 TEM 的剂量校准，用户即可正常操作，自由调节放大倍数和亮度，而不会丢失剂量信息，也无需手动记录17。校准完成后，取出剂量校准支架，即可像常规操作一样插入样品。TEM 和 STEM 模式下的校准过程通常耗时少于 10 分钟。
在标定剂量条件后，采用高剂量率条件对市售的沸石纳米颗粒（ZSM-5）样品进行成像，以确定样品因损伤过重而无法提供结构信息的阈值（累积）剂量。将ZSM-5纳米颗粒分散于乙醇中，并滴加到常规铜制透射电镜（TEM）载网上。在300 kV的TEM模式下，使用3号束斑尺寸和100 µm聚光镜光阑对样品进行连续成像。在高剂量率条件下，MVS软件记录的剂量率为519 e-/Å2·s。对视场中的纳米颗粒持续成像，直至快速傅里叶变换（FFT）图谱中的衍射峰消失，表明晶体结构已发生降解，如图3A-C和补充文件3所示。在TEM图像上叠加了标注信息（可在实时实验过程中或后续分析软件中添加），以显示日期和时间、剂量率、最大（累积）剂量以及放大倍数。实验过程中剂量率保持恒定，累积剂量（最大剂量）随时间增加。连续成像42秒后，FFT衍射峰开始消失（图3B）。在成像1分20秒、累积剂量约为60,000 e-/Å2时，FFT衍射峰完全消失（图3C）。
为证明该校准方法可生成定量的剂量测量结果，并可应用于在不同设置下运行的其他显微镜，使用200 kV冷场发射电子枪（FEG）透射电子显微镜（TEM）和束斑尺寸1重复了相同的校准过程与沸石降解实验。该显微镜采用方法1中所述相同程序进行校准，并在新的束斑尺寸和光阑设置下执行方法2中所述相同实验。通过调整电子束设置，使两次实验间施加的剂量率差异可忽略不计（499 e⁻·Å⁻²·s⁻¹）。-/&#197;2&#183;s 对比 519 e-/&#197;2&#183;s）。如图所示 图3D-F 并总结于 表1，连续成像1分50秒并累积剂量达到58,230 e后，FFT斑点完全消失-/&#197;2，这与第一次实验获得的数值一致。
MVS软件可带来益处的一个示例 原位 通过加热实验展示了该实验的结果。一个典型的纳米催化剂样品，Au/FeOx （按照已发表的方案合成）19），被选为示例系统，因为它在高温下会发生动态的形态和结构变化。这种由温度引起的移动性使得在温度变化过程中，由于样品自身的运动以及样品支撑体的热膨胀，难以将感兴趣区域（ROI）保持在视野中心18. 随着 漂移校正 和 对焦辅助 在启用相关功能后，对样品进行了约30秒的成像 800 &#176;C在较高温度下，Au/FeO中的金纳米颗粒x 沿氧化铁载体表面迁移并烧结形成更大的颗粒，如图所示 图4 以及作为视频片段 补充文件 7. 图5 显示一系列透射电子显微镜快照（图 5A-F金/氧化铁多孔区域的)x 纳米催化剂，在不同时间点记录（图 5G) 在一个期间 原位 加热实验。软件自动计算了感兴趣区域（ROI）的坐标漂移值。图中以图形方式展示了该序列过程中各图像的坐标漂移值与温度值。 图 5G正如预期，随着温度梯度的升高，样品的协同漂移从约 9 nm/min 增加至约 62 nm/min，当温度保持恒定时，漂移速率开始减缓并趋于平稳。尽管漂移速率较高且样品形貌发生变化，在升温过程中仍可轻松获得高分辨率图像，揭示出多孔区域内部的动态变化，如图所示 补充文件 8。参见 补充文件 9 有关下载说明和计算机配置要求。
<img alt="图 2" class="xfigimg" src="/files/ftp_upload/65446/65446fig02.jpg" /> 
图 2：电子束剂量校准与追踪。（A）通过专用样品台进行剂量校准，该样品台包含一个位于样品平面的电流收集器，用于测量束流强度。（B）探针设计特征示意图：左侧为法拉第杯；中间为基准孔；右侧为通孔（C）。在软件中可通过颜色编码图直观显示施加的电子剂量，以表示图像中不同区域的剂量分布。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig02large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
<img alt="图3" class="xfigimg" src="/files/ftp_upload/65446/65446fig03.jpg" /> 
图3：电子束剂量诱导的沸石（ZSM-5）纳米颗粒降解。 （A-C）在1分钟20秒内拍摄的快照，显示使用300 kV场发射电子枪（FEG）且实测剂量率为519 e-/Å2·s时获得的降解数据；沸石在1分钟20秒内发生降解。（D-E）在1分钟50秒内拍摄的快照，显示使用200 kV冷场发射电子枪透射电镜（TEM）且电子剂量率为499 e-/Å2·s时获得的降解数据；插图显示快速傅里叶变换（FFT）衍射斑点随时间逐渐消失。比例尺为60 nm。 <a href="https://www.jove.com/files/ftp_upload/65446/65446fig03large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="图 4" class="xfigimg" src="/files/ftp_upload/65446/65446fig04.jpg" /> 
图 4：AXON 同步性技术应用机器视觉算法，追踪并稳定动态演化的样品。 实验过程中生成的元数据可沿时间轴绘制，使用户在浏览实验生成的图像序列时，能够快速将图像与其对应的元数据匹配。（A-H） 在 800 °C 下记录的纳米催化剂样品（Au/FeOx）图像，记录时长为 28 秒，其中 （A-D） 为叠加剂量图，（E-H） 为未叠加剂量图。叠加图中的红色区域表示累积剂量较高的区域，黄色区域表示剂量较低的区域。选中单个像素点可显示该像素点的累积剂量。图 E-H 中的白色箭头表示在实验过程中合并的两个颗粒，橙色箭头表示一个移动的金颗粒的轨迹。（I） 由分析软件为图 A-H 所示图像序列生成的实验时间轴。时间轴顶部的橙色圆点表示原始（未经数字校正）图像，蓝色圆点表示漂移校正后的图像。橙色竖条表示与图 A-H 所示图像对应的时间轴位置。比例尺为 40 nm。<a href="https://www.jove.com/files/ftp_upload/65446/65446fig04large.jpg" target="_blank">请点击此处查看本图的高清版本。</a>
<img alt="图5" class="xfigimg" src="/files/ftp_upload/65446/65446fig05.jpg" /> 
图5Au/FeOx 纳米催化剂中多孔区域在不同时间点的透射电子显微镜快照。 MVS 软件通过机器视觉算法指示的台面、电子束偏移及数字校正方法，即使在温度梯度过程中出现的高漂移速率下，也能实现对样品的稳定与居中。A-FAu/FeOx 纳米催化剂中多孔区域的透射电子显微镜图像，记录于不同 (G) 时间点在实验过程中 原位 加热实验。在实验过程中，MVS 软件会自动计算并记录 ROI 的漂移速率。如图（G），随着温度曲线的变化（蓝线），漂移速率（橙线）随温度升高而增加，随温度保持恒定而降低。 <a href="https://www.jove.com/files/ftp_upload/65446/65446fig05large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>显微镜类型</td>
			<td>300 kV 场发射透射电子显微镜</td>
			<td>200 kV 冷场发射透射电子显微镜</td>
		</tr>
		<tr>
			<td>束斑尺寸/聚光镜2光阑</td>
			<td>3/100 µm</td>
			<td>1/100 µm</td>
		</tr>
		<tr>
			<td>剂量率</td>
			<td>519 e-/A2•s1</td>
			<td>499 e-/A2•s1</td>
		</tr>
		<tr>
			<td>通过快速傅里叶变换测量的结构损失 
			（累积剂量）</td>
			<td>60,270 e-/A2 </td>
			<td>58,230 e-/A2 </td>
		</tr>
	</tbody>
</table>
表1：不同显微镜获得的沸石降解结果的汇总比较。
补充文件 1：MVS 软件界面截图，显示已打开剂量管理选项卡。 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 1 - User Interface.pdf" target="_blank">请点击此处下载该文件。</a>
补充文件 2：电子束诱导沸石降解实验的 MVS 软件数据库文件。 该查看/分析软件可免费下载。下载说明及计算机配置要求详见补充文件 9。<a href="https://www.jove.com/files/ftp_upload/65446/Supplemental_File_2-Data_High_Dose_Zeolite_Degradation_TFS_compressed.zip" target="_blank">请点击此处下载此文件。</a>
补充文件 3：电子束诱导沸石降解的视频。 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 3 - Zeolite Degradation TFS.mp4" target="_blank">请点击此处下载该文件。</a>
补充文件 4：CSV 文件 1（沸石降解：原始数据 [仅机械校正]） <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 4 - Zeolite CSV Raw.csv" target="_blank">请点击此处下载该文件。</a>
补充文件 5：CSV 文件（沸石降解：漂移校正后 [机械 + 数字校正]） <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 5 - Zeolite CSV Drift Corrected.csv" target="_blank">请点击此处下载该文件。</a>
补充文件 6：MVS 软件数据库文件 纳米催化剂 原位 加热实验 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 6 - AuFeOx 800C Madeline Dressel Dukes.zip" target="_blank">请点击此处下载该文件。</a>
补充文件 7：800 °C 下纳米催化剂的动态图，含剂量叠加。 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 7 - AuFeOx Dose Map 800.mp4" target="_blank">请点击此处下载该文件。</a>
补充文件 8：纳米催化剂在温度升高过程中伴随协调漂移值的视频。 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 8 - AuFeOx Temperature Ramp.mp4" target="_blank">请点击此处下载该文件。</a>
补充文件 9：免费分析软件下载说明。 <a href="https://www.jove.com/files/ftp_upload/65446/Supplemental File 9 - Download Instructions.pdf" target="_blank">请点击此处下载该文件。</a>

本文介绍了一种利用机器视觉软件在透射电子显微镜（TEM）成像过程中稳定动态现象的实验方案，同时将多路元数据流同步索引至各图像，形成可导航的时间线。我们展示了该平台如何实现电子剂量在实验全过程中的自动校准与映射。

透射电子显微镜（TEM）使研究人员能够在材料的基本原子尺度上对其进行研究。复杂的实验通常会产生……

该技术的开发旨在使各级技能水平的用户都能开展高性能的透射电子显微镜（TEM）研究。此外，科学进步需要多位研究人员的协同努力，因此，一个能够高效共享和分析大型复杂数据集的平台对于成功开展科研工作至关重要。操作中（operando）和原位（in situ）研究将透射电子显微镜转变为实时的纳米实验室，使研究人员能够探索控制材料性能的动态纳米尺度过程。原位透射电子显微镜（TEM）研究面临的最大挑战之一，是将电子束辐照效应与样品的本征行为区分开来。精确测量和追踪电子剂量至关重要，但若缺乏剂量管理软件，人们只能测量电子剂量率，而无法获得总剂量或临界剂量。复杂的TEM工作流程会产生大量数据，这些数据必须手动与其对应的图像进行对齐和索引。在这一耗时的过程中，成像条件的调整或样品环境等关键信息可能会丢失，从而增加分析和结果重现的难度。我们开发了一种机器视觉工作流程，可将实验过程中产生的图像和元数据收集并索引为一个数据丰富、可搜索的时间线。计算和图像分析算法能够计算图像间的变量、应用校正，并识别潜在的趋势。通过计算、同步并将新的元数据索引到每幅图像中，多模态分析 suddenly 成为一种新的可能。例如，沸石图像中精确的累积剂量和实时剂量信息，使得能够对成千上万幅图像中的样品损伤进行定量评估。我们将继续拓展原位透射电镜（in-situ TEM）的功能，使实验结果更易于获取和解读，并提高实验的可重复性。该软件是一个用于开发工作流驱动模块的平台，旨在解决以往难以实现的特定应用问题，使原位透射电子显微镜（TEM）实验更加简便且信息更丰富。通过点击安装在TEM上的MVS软件中的连接图标，开始剂量校准。选择显微镜并激活TEM与MVS软件之间的连接，以便在图像查看器中显示相机或探测器的图像。转至“剂量”选项卡，点击“开始剂量区域校准”。点击“确定”以确认校准硬件，并根据软件提示输入所需用户可配置的数值。然后点击“开始剂量电流校准”。按照软件提示输入所需用户可配置的数值以完成校准。首先在透射电子显微镜（TEM）设备上打开 MVS 软件程序并选择“Other”。将显微镜连接至 MVS 软件。转到图像元数据选项卡，选择放大倍数、最大剂量和剂量率，以叠加到实时显示中看到的图像流上。如果用户需要，还可以包含其他元数据。打开剂量选项卡，选择剂量管理并启用剂量监测。然后选择“显示剂量图层”和“显示位置不确定性”，以激活自动电子剂量跟踪并显示剂量颜色叠加。在按下“保存”之前，设置低剂量水平和高剂量水平的数值。然后进入“设置”选项卡，选择“剂量”，并设置“剂量导航图透明度”和“剂量图像叠加透明度”的数值。在实时图像查看窗口中，单击“Drift Correct”以启用漂移校正。接着，转到“Data View”选项卡，将元数据值“Defocus”和“Focus Quotient”绘制在Y轴上。启用对焦辅助功能，然后选择“Calibrate Focus”以运行自动对焦辅助的校准。校准聚焦程序完成后，关闭数据视图选项卡。在 MVS 软件中，打开图像分析选项卡，并启用实时 FFT 以及第一和第二象限选项。使用显微镜软件控制功能，调节电子束条件，使电子通量约为 600 埃平方每秒。移动到样品的另一个区域，并在 MVS 软件的实时视图中将样品 ROI 置于中心。保持剂量率恒定，持续对同一 ROI 成像，直到 FFT 中对应原子结构的斑点消失为止。启动离线分析软件以查看完全同步的数据集，并从库中选择实验会话文件以打开该文件。在图像视口下方激活 DC 选项卡以显示经过漂移校正的图像，然后在“图像元数据”选项卡中勾选相应的叠加数据框，选择所需的数据叠加。用户可根据需要绘制其他元数据。通过高亮显示或滚动这些图形图表，可更新视口中的显示图像。通过图像分析、工具箱和数据视图选项卡访问各种工具。通过图像分析访问每幅图像的FFT，以绘制实时FFT图，并在浏览图像时实时更新。利用FFT峰的衰减来确定沸石纳米颗粒结构失去结晶性的时点。使用标签功能在软件中注明剂量条件。选中标签图标并输入所需文本，以标记时间轴内的特定图像序列。图像将持续带有此文本标签，直至取消选中标签图标。为了在不丢失相关元数据的情况下，轻松将大型数据集筛选为更小且可共享的数据集，请打开筛选面板并调整滑块，仅选择剂量率大于或等于 500 平方埃每秒的数据。使用“500 剂量率及以上”作为名称保存新集合。通过在时间轴中高亮显示图像或使用筛选选项来选择图像。然后使用相同的发布选项将元数据导出为 CSV 文件，将图像序列导出为视频文件。ZSM-5 沸石纳米颗粒的成像用于确定阈值剂量，结果表明，在高剂量率条件下，MVS 软件读取的剂量率为每平方埃每秒 519 个电子。对视场中的纳米颗粒进行连续成像，直至 FFT 峰值消失，表明晶体结构发生降解。在连续成像42秒后，FFT峰开始消失。在成像达到1分20秒、累积剂量约为60,000个电子/平方埃时，FFT峰完全消失。该过程在另一台显微镜上重复进行。在持续成像 1 分 50 秒并累积剂量达到每平方埃 58,230 个电子后，FFT 斑点完全消失。首先，从 MVS 软件中选择合适的工作流程选项。按照工作流程提示，通过加载校准文件并执行设备检查，确认样品杆与加热 E-chip 之间的电连接。将显微镜连接至 MVS 软件后，将样品的 ROI 置于视野中央。点击 Experiment 按钮并进入 Manual control 模式，以访问温度控制设置。随后将升温速率设为 25 摄氏度每秒，目标温度设为 200 摄氏度。单击“应用”以开始实验。温度升至200摄氏度后，将升温速率设置为每秒10摄氏度。将目标温度调整为600摄氏度，然后单击“应用”。当达到设定温度600摄氏度后，将升温速率更改为2摄氏度，目标温度设为800摄氏度。点击“应用”以开始实验。完成后，打开分析软件以查看实验结果。在时间轴上绘制温度、模板形变因子、剂量率和累积剂量。使用“发布”选项导出图像和视频，可选择是否叠加剂量图。利用一种典型的纳米催化剂样品——氧化铁负载金——进行的加热实验表明，在高温条件下，氧化铁表面的金纳米颗粒沿氧化铁载体表面迁移并聚集形成更大的颗粒。原位加热实验记录了金负载氧化铁纳米催化剂中多孔区域在不同时间点的一系列透射电子显微镜（TEM）图像。随着温度升高，样品的协同漂移速率从每分钟9纳米增加至62纳米，并在温度恒定时开始减缓，趋于稳定。MVS软件在整个升降温过程中稳定了视野中的颗粒，实现了高分辨率成像。

a-machine-vision-approach-to-transmission-electron-microscopy

Research

科研

JoVE Journal

Biology

生物学

透射电子显微镜工作流程、结果分析和数据管理的机器视觉方法

细胞三维电子显微镜技术的瓶颈在于高度复杂的三维密度图中的特征提取（分割）。我们已制定了一套标准，可指导针对不同类型的数据选择最合适的分割方法（手动、半自动或全自动），从而为高效分割提供起点。...

从体素到知识：复杂电子显微镜三维数据分割的实用指南

本文展示了一种灵活的信息学工作流程，可实现对荧光标记细胞的多重基于图像的分析。该工作流程可定量分析细胞核和细胞质标志物，并计算这些标志物在不同区室间的转位情况。文中提供了利用siRNA对细胞进行扰动的实验步骤，以及在96孔板体系中通过间接免疫荧光法可靠检测标志物的方法。...

基于开源软件的通用显微镜数据中荧光标记物高内涵单细胞定量分析工作流程

许多蛋白质在结合到膜表面时发挥其功能。通过透射电子显微镜可间接观察外周蛋白与纳米盘膜的结合。我们发现，负染剂磷钨酸钠诱导纳米盘形成特征性堆叠（缗钱状结构）的现象，会因外周蛋白的结合而受到抑制。...

通过透射电子显微镜可视化与分析膜相互作用蛋白的方法

本报告描述了一种用于对厚生物样品进行扫描透射电子断层成像的样品制备方案及特定成像条件。...

通过扫描透射电子断层成像技术制备与观察厚生物样品

我们介绍了连续切片带的制备方法，以及将其收集在大型转移支撑材料上以用作阵列断层成像样本的流程，同时包括在扫描电子显微镜中进行自动成像的操作步骤。该方案可实现对局部稀有事件的筛选、定位与靶向成像，并支持大规模数据的采集。...

使用扫描电子显微镜进行靶向获取体积信息的阵列断层成像工作流程

利用聚焦离子束铣削技术，从浸冻的生物样品中制备用于冷冻电子断层扫描的玻璃态原位薄片。...

使用双束扫描电子显微镜制备玻璃态生物样品薄片用于冷冻电子断层扫描

使用200 kV透射电子显微镜（TEM）也可获得大分子的高分辨率冷冻电镜图谱。本方案介绍了实现精确光学对中、数据采集策略以及成像区域选择的最佳实践，这些步骤对于利用200 kV...

使用200 kV透射电子显微镜常规采集高分辨率冷冻电镜数据集

冷冻扫描透射电子显微镜断层成像技术提供了一种无需包埋、切片或其他侵入性制备步骤即可观察完整细胞中细胞器的方法。目前该技术获得的三维分辨率可达数纳米，视场范围为数微米，可观察样品厚度约为 1...

细胞器的可视化 原位 通过冷冻扫描透射电子显微镜断层成像技术

本视频方案演示了如何对病毒学样本进行扫描透射电子显微镜断层成像。为获得最佳结果，样本需通过高压冷冻及后续的冷冻置换方法进行制备。...

病毒学中的扫描透射电子显微镜断层成像：高压冷冻-冷冻置换样品的三维成像

本文介绍了早期鸡胚的表面标记及ex...

追踪早期鸡胚中的形态发生组织形变

了解机器视觉方法在透射电子显微镜中的应用，实现图像稳定、电子剂量实时追踪与元数据索引管理。该软件平台可自动化校准流程，提升原位TEM实验效率与数据可重复性，助力材料科学与纳米技术领域的协作研究。

一种用于透射电子显微镜工作流程、结果分析与数据管理的机器视觉方法

探索更多视频