本方案介绍了vmTracking方法，该方法能够在多只无标记动物自由移动的视频中实现高精度的姿态追踪，即使在动物密集聚集的拥挤条件下也能有效工作。该方法可提供可靠的数据，用于分析动物在可自由活动的半自然环境中发生的社会互动行为。
本文内容
摘要
摘要
在利用啮齿类动物进行的社会行为研究中，人们越来越需要在自由活动的条件下评估更为自然的互动行为。准确的多动物姿态追踪对于实现这一目标至关重要。然而，当前无标记的多动物姿态追踪工具面临一个重大挑战：在遮挡和拥挤的情况下，追踪精度往往会下降。当动物彼此之间在视觉上难以区分时，这一问题尤为突出。为解决此问题，我们开发了虚拟标记追踪（vmTracking）方法，该方法通过使用虚拟标记在各帧之间维持个体身份，从而在上述困难条件下提高多动物姿态追踪的准确性。vmTracking 还可通过引入额外的处理步骤，将个体身份标签整合到标准追踪流程中，从而应用于现有的无标记多动物视频数据。本文介绍了分配虚拟标记的方法以及对标注后的视频中动物进行追踪的操作流程。vmTracking 实现的高精度多动物追踪为在半自然条件下开展社会互动的后续定量分析提供了可靠基础。
引言
啮齿类动物社会行为的研究日益强调在更接近自然的社会情境中考察个体间的互动1。传统方法（如三室实验）已被广泛用于评估社会性与社会偏好2，但这些范式仅能捕捉社会互动的简化特征3。为满足这一需求，多动物 DeepLabCut（maDLC）4 和 Social LEAP Estimates Animal Poses（SLEAP）5 已成为在自由活动条件下实现无标记多动物姿态追踪不可或缺的工具，提供了基于深度学习的先进无标记多动物姿态追踪技术。然而，在动物密集且彼此靠近的环境中，这些工具容易出现追踪错误，例如预测失败和个体身份（ID）混淆。在此类条件下获得可靠数据通常需要大量人工校正。
对多只自由活动动物进行精确的姿态追踪，为研究更复杂的社会动态打开了大门。例如，详细的追踪数据可用于评估个体间的领导-跟随关系、运动过程中的趋近-回避行为，以及其他无法通过传统行为检测方法可靠评估的细微互动模式。此类技术进步将多动物追踪的应用范围从相对简单的行为描述性指标，拓展到对更复杂社会互动的深入分析。
提高追踪准确性的方法之一是明确区分个体动物。例如，Bordes6 使用单只动物 DeepLabCut（saDLC）7 成功实现了对一只白色 CD1 小鼠和一只黑色 C57BL/6N 小鼠的同步追踪。该结果表明，当动物在视觉上可区分时，准确的个体追踪是可行的。然而，使用物理标记进行识别可能会改变动物的自然行为。即使是微创方法，例如植入射频识别标签8，也引发了人们对其可能影响行为的担忧。
本文介绍一种利用虚拟标记（vmTracking）9 实现非侵入式个体识别的多动物姿态追踪方法。要准确评估社会行为并考虑其社会背景，需要高精度的多动物姿态追踪数据。vmTracking 正是为满足这一需求而开发的，它提供了一种可靠的实验流程——而非新的软件或算法——以便利用 DeepLabCut（DLC）等现有工具获取高质量的追踪数据。因此，基于这些数据的社会行为分析不在本实验方案的范围之内。vmTracking 包含两个主要步骤：在无标记视频中添加虚拟标记，以及对生成的带虚拟标记视频进行追踪。该方法无需物理标记即可实现高精度的姿态追踪，即使在涉及三个或更多外观无法区分的同品系动物的情况下亦能有效运行。通过在半自然条件下实现可靠的追踪，vmTracking 为推进复杂社会互动的研究提供了有力工具，在行为科学、心理学和神经科学领域具有广泛的应用前景。
方案
所有实验程序均经同志社大学动物护理与使用委员会批准（批准号：A23068）。C57BL/6J小鼠（见材料表）以每笼2-3只的方式饲养，环境温度控制在24-26 °C，光照周期为12小时明/12小时暗，可自由获取食物和水。所有行为记录均在光照阶段进行。vmTracking流程的整体工作流程及一个示例的截图如图1所示。
注意：vmTracking 并非一种新的软件或算法，而是一种利用现有 DLC 功能以最大化多动物追踪准确性的实验方案。因此，以下大部分步骤描述了在 DLC 中进行的具体图形用户界面（GUI）操作，以确保可重复性。
1. 无标记多动物视频数据的准备
注意：可根据具体研究调整实验参数。
- 将三只 C57BL/6J 小鼠放入一个具有白色地板和透明壁的圆形开放场地中（直径 31 cm × 高 17 cm；参见材料表），使其自由活动。
- 使用俯视摄像视角，以 460 × 460 像素分辨率和 30 fps 帧率记录动物行为约 60 分钟（参见材料表）。
2. 虚拟标记视频的创建
- 使用 DeepLabCut 2.2.3 版本中的 maDLC 进行标准的无标记姿态追踪图2；参见 材料清单).
注意：以下步骤中，DLC GUI 选项卡菜单名称和参数设置以**粗体**显示到 澄清DLC中的操作。除非另有说明，所有步骤均使用默认设置进行。有关使用DLC的详细说明，请参阅官方文档10.- 创建一个多动物项目 管理项目 (补充图1用于无标记视频追踪。根据分析需求修改 config.yaml 文件中的个体和身体部位字段。在本方案中，使用 individual1 至 individual3 以及 bodypart1 至 bodypart6。所有其他设置均为可选。
注意：参数 numframes2pick （提取的帧数）以及 点大小 （标记大小）可根据视频条件和实验者的操作负荷进行调整。其他设置未在所有可能条件下进行系统性测试；然而，已证实默认配置可实现成功的追踪。 - 从视频中提取帧 提取帧 (补充图1用于后续标记和训练。其他所有参数均设为默认值。
- 标记每个提取的帧 标注数据 (补充图1），为每一帧中可见的每个个体分配相应的身体部位，但不保持帧间个体ID的一致性。
- 从提取的帧中创建训练数据集 创建训练数据集 (补充图1）。在此方案中，将网络设置为 dlcrnet_ms5将所有其他参数设置为默认值。
- 开始训练网络 训练 (补充图1）。在此方案中， 最大迭代次数 参数设置为 200,000 用于训练。其他所有参数均设为默认值。
- 评估训练好的网络 评估 (补充图1）。将所有其他参数设置为默认值。
- 对选定的视频运行姿态估计 分析视频 (补充图1），在项目文件夹内的视频文件夹中生成.h5坐标数据及其他输出文件。其余参数均保持默认设置。
注意：如果训练数据集不足，分析可能无法生成 .h5 坐标文件。此时，请从步骤 2.1.2 重新开始。 - 实验人员手动验证。
- 创建带标注的追踪视频 制作视频 (补充图1）。选择 创建带有动物编号颜色标记的视频？ DLC 图形用户界面中的选项，并生成带有标注的追踪视频（图2A，maDLC）。将所有其他参数设置为其默认值。
- 检查标记的视频（图2A，maDLC）以检查是否存在身份切换和预测缺失。若发现明显错误，则执行重新训练（参见步骤 2.1.8.3）。若不进行重新训练，则继续进行步骤 2.2。
注意：重新训练并非强制要求，但可提高准确性并减轻后续步骤的工作量。 - 用于重新训练，提取并标注异常帧 提取/精修异常值 (补充图1）。标注完成后，单击“合并数据集”按钮以自动进入下一步 创建训练数据集，然后从步骤 2.1.4 开始重复。
- 创建一个多动物项目 管理项目 (补充图1用于无标记视频追踪。根据分析需求修改 config.yaml 文件中的个体和身体部位字段。在本方案中，使用 individual1 至 individual3 以及 bodypart1 至 bodypart6。所有其他设置均为可选。
- 校正 maDLC 结果以生成虚拟标记视频（图3).
- 使用自定义图形用户界面11 (图3B），仅保留选定的关键点作为虚拟标记点，并将 .h5 文件中其余关键点替换为 NaN。关键点数量的减少可降低后续校正步骤的工作量（图3C，E在此方案中，使用第2和第4部分身体结构。
注意：建议选择两个能有效定义体轴向量的关键点。若仅使用拟作为虚拟标记的关键点进行初始的maDLC追踪，可能导致在步骤2.1.4中无法生成.h5文件。因此，建议使用更多数量的关键点进行初始追踪。 - 使用 优化轨迹片段 (补充图1），修正上一步骤中的.h5文件，该文件仅包含选定的关键点。修正关键点，使每个个体在整段视频中保持一致的ID（图3E，F)。保存文件；视频文件夹中的 .h5 文件将自动更新。
- 使用校正后的数据创建带有 ID 颜色标签的标注视频 制作视频 (补充图1, 图3A，虚拟标记）。在 DLC 2.2 版本中，若 videos 文件夹中已存在已标注的视频，则无法生成新的视频；请在继续操作前删除、重命名或移动该文件。在此数据集中，应在配置文件中将标记大小设置为 2，选用能够识别标记且不遮挡动物的最小尺寸。
- 将创建的视频重命名为简短的文件名，以防止在下一步使用 saDLC 进行重新追踪时，DLC 处理过程中出现错误。
- 使用自定义图形用户界面11 (图3B），仅保留选定的关键点作为虚拟标记点，并将 .h5 文件中其余关键点替换为 NaN。关键点数量的减少可降低后续校正步骤的工作量（图3C，E在此方案中，使用第2和第4部分身体结构。
3. 使用 saDLC 对虚拟标记视频进行姿态追踪（图 4）
注意：除非另有说明，所有操作均使用默认的 DLC GUI 设置进行。
- 在管理项目（补充图2）中为虚拟标记视频跟踪创建一个新的saDLC项目。在本方案中，在config.yaml文件的bodyparts字段中列出所有个体与身体部位的组合（例如，individual1-bodypart1、individual2-bodypart1、…、individual3-bodypart6）。所有其他设置均为可选。
注意：与步骤2.1.1相同，可根据视频条件和实验人员的工作量调整numframes2pick和dotsize参数。已证实使用默认配置可实现成功的跟踪。 - 在提取帧 （补充图2）中从虚拟标记视频中提取帧。将所有其他参数设置为默认值。
- 在标注数据 （补充图2）中对每帧提取的图像进行标注，使用虚拟标记分配个体ID，确保跨帧的ID和身体部位保持一致（图3B-D）。当个体ID已知但某身体部位部分被遮挡时，应估计其位置并相应放置标签。如果无法唯一确定个体ID（例如，某一帧中缺失两个或以上个体的虚拟标记），则不要对该身体部位进行标注。
- 在创建训练数据集 （补充图2）中基于提取的帧创建训练数据集。在本方案中，将network设置为efficientnet-b0。将所有其他参数设置为默认值。
- 在训练 （补充图2）中启动网络训练。在本方案中，将最大迭代次数参数设置为200,000以进行训练。将所有其他参数设置为默认值。
- 在评估（补充图2）中评估已训练的网络。将所有其他参数设置为默认值。
- 在分析视频 （补充图2）中对选定的视频运行姿态估计，生成.h5坐标数据及其他输出文件至videos文件夹。将所有其他参数设置为默认值。
- 实验人员进行手动验证。
- 在创建视频 （补充图2）中生成带标注的跟踪视频。将所有其他参数设置为默认值。
- 检查带标注的视频（图4A，vmTracking），查找跟踪不一致之处。重复训练直至实验人员对结果满意。若无需重新训练，则流程完成。
注意：在确认跟踪结果满意后，可创建不含虚拟标记的高质量展示视频（图5），在创建视频 （补充图2）中将跟踪结果输出到原始无标记视频而非虚拟标记视频上。将videos文件夹中的虚拟标记视频替换为无标记视频，并将其重命名为此前分析中使用的虚拟标记视频的文件名。对于DLC 2.2版本，在创建新视频前请确保文件夹中不存在已标注的视频（图5B、C）。 - 如需重新训练，在提取/优化异常帧 （补充图2）中提取并标注异常帧。完成标注后，点击“合并数据集”按钮，系统将自动进入“创建训练数据集”步骤，随后从步骤3.1.4开始重复后续流程。
结果
通过与人工生成的真实基准（GT）进行比较，评估了追踪的准确性。提取了20段5秒或10秒的片段，并将其分类为拥挤（CR）场景或非拥挤（nCR）场景：拥挤场景包含重叠情况，例如小鼠路径交叉（12个场景，共1,950帧）；非拥挤场景则无重叠（8个场景，共1,350帧）。若追踪预测位置与GT位置的距离在10像素以内，则计为匹配（Match）；距离大于等于10像素的预测计为假阳性（FP）；未检测到的预测则计为假阴性（FN）。此外，若预测的身份与前一帧中的身份不同，则计为一次ID切换。
与maDLC相比（图6），vmTracking在CR和nCR场景中的匹配率均表现出显著提升（图6A，CR：p < 0.001；图6E，nCR：p < 0.01）。在两种场景下均未出现漏检（FN），且vmTracking显著减少了漏检数量（图6B，CR：p < 0.001；图6F，nCR：p < 0.05）。误检（FP）（图6C 和 6G）以及身份切换（ID switch）次数（图6D，H）在两种场景下均无明显变化。本文还并列展示了采用vmTracking与传统maDLC获得的追踪结果，突显了vmTracking在拥挤条件下更高的准确性和稳定性（补充视频1）。
我们还分析了maDLC和vmTracking中注释帧数量与CR场景的匹配率（Match）及漏检率（FN）之间的关系（图6I）。在maDLC中，当注释帧数量达到约400帧时，匹配率趋于稳定，约为85%，此后随着帧数增加提升不明显。增加训练所用的注释帧数量并未减少漏检情况。相比之下，vmTracking的匹配率随着注释帧数量的增加而持续上升，在约1,000帧时达到约95%。
根据虚拟标记的分配模式，将其分为六类，每类所占比例被用作评估虚拟标记准确性的指标，以检验其与追踪匹配度（Match）之间的关系（图6J）。虚拟标记正确分配比例较高的场景通常表现出更高的匹配度。然而，某些场景中尽管正确标记的比例较低（由于大量错误分配或大量缺失标记所致），仍表现出较高的匹配度（例如，CR场景3和11）。
图1：vmTracking 工作流程概览。（A）vmTracking 工作流程示意图。首先，对无标记视频（I）执行 maDLC 分析。基于所得的 maDLC 追踪数据，校正输出结果，使每个个体在整个视频中保持一致的身份编号，并生成仅显示选定关键点子集的标注视频（II）。以该视频中的标注作为虚拟标记，使用 saDLC 对虚拟标记视频进行追踪（III）。（B）展示了 vmTracking 的两个示例，分别为各处理阶段的截图。最左侧图像为全景视图，右侧图像为黄色框选区域的放大视图。图像右下角的橙色标尺表示比例尺：“无标记（全景）”图像为 5 cm，其余图像均为 1 cm。请点击此处查看该图的高清版本。
图2：使用maDLC进行无标记多动物追踪的工作流程。 本图与实验方案第2.1步相关。(A) 面板改编自图1B，展示了图1A中所示的流程I（无标记多动物追踪）。为便于说明，每只动物均以虚线轮廓标出。每幅图像右下角的橙色条表示1 cm的比例尺。(B-D) 在执行maDLC过程中用于标注的帧图像快照。每幅图像右下角的橙色条表示5 cm的比例尺。(B) 标注前的示例帧。(C) 与B相同的帧，在完成标注后。(D) 另一标注帧的示例。C和D帧之间个体的身份未知，但在标注过程中无需考虑个体身份。如快照所示，只需正确标注每只动物的姿态即可。请点击此处查看该图的放大版本。
图 3：基于 maDLC 结果生成虚拟标记视频的工作流程。 本图与实验方案第 2.2 步相关。(A) 图中各面板改编自 图 1B，并展示了 图 1A 中所示的流程 II（虚拟标记创建）。为便于说明，每只动物均以虚线轮廓标出。白色箭头指示用作虚拟标记的关键点（每个 ID 的第 2 和第 4 个关键点）。在本示例中，虚拟标记以灰度输出：maDLC 标记中的紫色、绿色和红色分别显示为黑色、灰色和白色。示例 1 中，maDLC 结果直接输出为虚拟标记，未进行校正。示例 2 中，由于连续帧中出现 ID 切换，紫色和红色 ID 被交换并校正后输出。maDLC 结果中一个本应被校正的绿色点被遗漏，未经修改即被输出。每幅图像右下角的橙色条表示 1 cm 比例尺。(B) 基于 Python 的图形用户界面（GUI），用于编辑 h5 坐标数据文件，仅保留特定关键点，并将其他所有点替换为 NaN11。(Ba) 程序启动时的初始菜单窗口。通过 选择 h5 文件 按钮选择待编辑的文件。(Bb) 选择 h5 文件后的窗口。勾选需替换为 NaN 的关键点（以“名称-身体部位名称”形式单独列出），并指定用于 NaN 替换的起止时间（需输入帧率）或帧编号。点击 处理数据 后，编辑后的文件将保存在同一文件夹中，并自动备份原始文件。(C) 出现 ID 切换场景中的连续帧示例。(D) 对 B 中所有追踪点进行校正的示例。(E) 快照显示仅保留第 2 和第 4 个关键点后的 B 结果。(F) 对 E 结果进行校正的示例。与校正所有关键点（C → D）相比，仅对两个点进行校正（C → E → F）可减少所需编辑次数。图像 C-F 右下角的橙色条表示 5 cm 比例尺。 请点击此处查看该图的放大版本。
图 4：虚拟标记视频追踪的工作流程。 本图与方案步骤 3 相关。（A）图示改编自图 1B，并展示了图 1A中所示的流程 III（虚拟标记视频的追踪）。为清晰显示追踪目标，每个个体均以虚线轮廓圈出。在此示例中，带有黑色、灰色和白色虚拟标记的个体分别被追踪为紫色、绿色和红色标签。在示例 1 中，灰色虚拟标记缺失，但 vmTracking 仍能保持正确的身份追踪。在示例 2 中，灰色标记出现在两个个体上，但追踪结果仍然正确。每幅图像右下角的橙色条表示 1 cm 的比例尺。（B-D）vmTracking 过程中用于标注的帧截图。在此步骤中使用 saDLC，每个关键点的定义均包含个体和身体部位信息。标注用于指明代表的是哪个个体的哪个身体部位。每幅图像右下角的橙色条表示 5 cm 的比例尺。（B）标注前某一帧的截图。（C）B 中帧在标注后的截图。（D）与 C 不同的另一帧在标注后的截图。即使在不同帧（例如 C 和 D）中，标注也能利用虚拟标记作为线索维持个体身份的一致性，如标签颜色的一致性所示。请点击此处查看此图的放大版本。
图 5：将追踪结果与无标记视频合并，生成不含虚拟标记的追踪视频的工作流程。 此为与步骤 3.8.2 中的“注意”相关的可选步骤。(A) 当将追踪结果应用于虚拟标记视频时，所生成的追踪视频会保留虚拟标记（vmTrackingvm+）。黄色箭头指示输出中可见的虚拟标记。若将追踪结果应用于原始的无标记视频，则生成不含虚拟标记的追踪视频（vmTrackingvm-），适用于展示或其他用途。每幅图像右下角的橙色条表示 1 cm 的比例尺。(B,C) 在将 vmTracking 结果应用于无标记视频时，项目目录中“videos”文件夹的文件管理情况。橙色框图示意性地展示了文件夹内容。(B) 通过将追踪结果输出至虚拟标记视频（图示为“4. 虚拟标记视频上的标签”）生成 vmTracking 追踪视频后，“videos”文件夹的状态。(C) 准备“videos”文件夹以将 vmTracking 结果输出至无标记视频。将面板 B 中的“1. 虚拟标记视频”和“4. 虚拟标记视频上的标签”文件移动或重命名，使其不再保留在该文件夹中。问题不在于文件本身，而在于其原始文件名会干扰处理过程。然后，将“5. 无标记视频”放入该文件夹，并将其重命名为与原始虚拟标记视频相同的文件名（例如 VMvideo.MP4）。在此状态下，重新运行 Create videos 将生成将追踪结果应用于无标记视频的追踪视频（“6. 无标记视频上的标签”）。本图改编自 Azechi & Takahashi, 2025, PLOS Biology（CC BY 4.0）7。 请点击此处查看此图的放大版本。
图6：使用 vmTracking 对跟踪准确性进行评估。（A-H）在12个拥挤（CR）场景中，maDLC 与 vmTracking 在匹配数（A）、假阴性（B）、假阳性（C）和 ID 切换（D）比例上的比较，以及在8个非拥挤（nCR）场景中匹配数（E）、假阴性（F）、假阳性（G）和 ID 切换（H）的比较。图中每个点表示各场景的测量值，柱状图表示由这些测量值计算出的平均值。统计比较采用 Wilcoxon 符号秩检验。（I）CR 场景中标注帧数量与匹配数及假阴性比例之间的关系。右侧绿色框内为左图中绿色虚线框区域的放大视图。图中点表示平均值。（J）虚拟标记准确性与 CR 和 nCR 场景中跟踪匹配数之间的关系。虚拟标记准确性按每对标记分为六类：两个点均正确分配给正确个体、一个正确一个缺失、一个正确一个错误、两个均错误、一个错误一个缺失，以及两个均缺失。对于每个场景，这些类别的比例以堆叠柱状图表示，每个柱上方标注了该场景对应的跟踪匹配数。CR 和 nCR 场景分别按跟踪匹配数从左到右升序排列。CR 场景：n = 12；nCR 场景：n = 8。***p < 0.001，**p < 0.01，*p < 0.05。本图经 Azechi 和 Takahashi（2025）9 修改。 请点击此处查看此图的放大版本。
补充图1：多动物 DeepLabCut 主窗口界面截图，显示各操作选项卡的位置。 图中用箭头标示了 vmTracking 流程中每一步所使用的选项卡。图像来自 DeepLabCut 图形用户界面（版本 2.2.3）。请点击此处下载该图。
补充图2：单只动物 DeepLabCut 主界面截图，显示各操作选项卡的位置。 图中用箭头标示了 vmTracking 流程中每一步所使用的选项卡。图像截取自 DeepLabCut 图形用户界面（版本 2.2.3）。请点击此处下载该图。
补充视频 1：多动物 DeepLabCut 与 vmTracking 在追踪三只小鼠中的比较。该对比视频展示了多动物 DeepLabCut（maDLC；左侧）和 vmTracking（右侧）在追踪三只小鼠过程中的表现。vmTracking 视频是通过将虚拟标记视频替换为原始无标记视频生成的，具体操作步骤见步骤 3.8.2 注释中的说明，以便呈现不含虚拟标记的追踪结果。对于每种追踪方法，个体身份均使用相同色系的颜色标签进行标注，以方便比较。在整个视频中，与 maDLC 相比，vmTracking 出现不同个体身体部位被错误识别的情况更少。值得注意的是，在约 15–17 秒处，maDLC 错误识别了绿色标签和红色标签的个体，导致二者分配的身份发生互换。请点击此处下载该文件。
讨论
尽管目前对研究啮齿类动物自然状态下的社交行为的需求日益增长¹，但在多个自由活动的动物之间（特别是在近距离互动或相互遮挡时）获取可靠的身份和姿态信息仍是一项技术挑战。vmTracking 克服了这一限制，能够在上述条件下实现精确追踪。vmTracking 在多种实验条件下均能稳定地实现高追踪精度，包括在拥挤环境9中，而传统的多动物追踪方法4,5在这些场景下通常会失败。这种鲁棒性源于基于多动物追踪生成的虚拟标记与 saDLC 追踪技术的结合，从而实现了精确的身份识别与姿态估计。重要的是，即使虚拟标记的准确性未达到理想水平，该方法仍能保持高性能。这种对虚拟标记一定程度不完美的容忍性，确保了 vmTracking 在可靠追踪多个自由活动个体方面的实用性，从而推动了在半自然条件下对啮齿类动物社交行为的研究。
在 vmTracking 中的一个关键步骤是在创建虚拟标记时校正多动物追踪结果。在此过程中，若忽略个体身份切换或错误标签，可能导致 saDLC 在后续追踪中持续保留这些错误识别。如果后续发现此类错误，可通过修改受影响的片段、重新生成虚拟标记视频并重新运行 saDLC 追踪来纠正。在某些情况下，尽管虚拟标记放置正确，但在动物密集互动期间，当不同个体的标记彼此靠近时，saDLC 仍可能出现个体误识别。此类错误可通过在创建步骤中重新调整受影响的虚拟标记位置，以最大化标记间的距离，从而降低后续追踪阶段发生混淆的可能性，进而加以缓解。
尽管我们的方案在两个步骤中均使用 DLC4,7，但也可采用 SLEAP5,12。根据我们的经验，SLEAP 在单动物模式下的稳定性通常低于 saDLC，其性能更依赖于视频内容9。然而，在虚拟标记生成步骤中，SLEAP 或 idtracker.ai13 同样有效，最佳选择可能因视频而异。因此，如果初始的 maDLC 跟踪在视觉检查中显示出频繁的个体 ID 切换或严重的关节点丢失，可采用混合方法——例如，使用 SLEAP 或 idtracker.ai 生成虚拟标记，再利用 saDLC 对生成的视频进行跟踪。
由于vmTracking包含两个追踪步骤，一些人可能认为该方法较为繁琐，并质疑为何不从一开始就直接附着物理标记，从而避免虚拟标记的创建。然而，虚拟标记具有明显优势：它们可以事后应用于已有的无标记视频，避免了在动物身上附着装置可能带来的行为影响或伦理问题。虚拟标记可被放置在任意位置，不会脱落，且不受姿态或近距离互动的影响，因此可以根据具体视频情况进行定位和调整。这种灵活性使得个体识别更加可靠，从而实现比物理标记更高的追踪精度。因此，采用虚拟标记的vmTracking方法能够在自由移动的社会性互动研究中实现高精度追踪，同时也适用于无法使用物理标记的存档视频数据的重新分析。由此获得的高精度追踪数据在依赖行为实验的多个领域中具有广泛的应用价值，包括行为科学、心理学和神经科学。
vmTracking 存在若干局限性。首先，由于个体识别依赖于标记颜色的差异，可追踪个体的数量受限于可区分颜色的有限范围。迄今为止，我们已成功追踪了十尾鱼组成的群体9；然而，若要进一步增加数量，则需要扩展虚拟标记的种类——例如通过改变标记形状，或探索将骨骼结构用作额外的识别特征——尽管这些方法仍需进一步验证。其次，vmTracking 必然涉及一个额外步骤，即向每段无标记视频中添加虚拟标记，对于长时间录制或包含大量个体的数据集而言，这一过程可能非常耗时。此外，尽管该方法原则上可应用于多种物种和录制条件，但当实验参数无法优化时，实现高精度追踪的实用性可能会下降。例如，在类似野外条件下对野生或自由活动的动物进行录制时，由于光照、相机分辨率或拍摄角度难以控制，虚拟标记分配过程中所需的人工校正通常会增加，这可能限制高质量追踪数据的获取效率。未来，进一步简化和自动化虚拟标记的分配流程，将有助于提升该方法的适用性和易用性。
披露
作者无任何利益冲突需要披露。
致谢
本工作由日本促进科学振兴会（JSPS）（项目编号JP24K15711和JP21H04247资助HA，项目编号JP23H00502和JP21H05296资助ST）以及日本科学技术振兴机构（JST）的先进核心技术开发项目（CREST）（项目编号JPMJCR23P2资助ST）提供支持。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 丙烯酸管（透明，厚度 5 mm，内径 31 cm） | Sugawarakougei Co., Ltd. | https://www.sugawarakougei.jp/ | 购自 Hazaiya（一家在线丙烯酸材料零售商） |
| 丙烯酸板（白色，厚度 3 mm，直径 31 cm） | Sugawarakougei Co., Ltd. | https://www.sugawarakougei.jp/ | 购自 Hazaiya（一家在线丙烯酸材料零售商） |
| C57BL/6J 小鼠 | Shimizu Laboratory Supplies, Co.LTD. | N/A | |
| 相机 | Basler | acA3088-57uc | |
| DeepLabCut 2.2.3 | 洛桑联邦理工学院 Mathis 实验室 | https://www.mackenziemathislab.org/deeplabcut | |
| Pylon 相机软件套件（Pylon Viewer） | Basler | N/A |
参考文献
- Smith, K. Lab mice go wild: making experiments more natural in order to decode the brain. Nature. 618 (7965), 448-450 (2023).
- Rein, B., Ma, K., Yan, Z. A standardized social preference protocol for measuring social deficits in mouse models of autism. Nat Protoc. 15 (10), 3464-3477 (2020).
- Jabarin, R., Netser, S., Wagner, S. Beyond the three-chamber test: toward a multimodal and objective assessment of social behavior in rodents. Mol Autism. 13 (1), 41(2022).
- Lauer, J., et al. Multi-animal pose estimation, identification and tracking with DeepLabCut. Nat Methods. 19 (4), 496-504 (2022).
- Pereira, T. D., et al. SLEAP: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).
- Bordes, J., et al. Automatically annotated motion tracking identifies a distinct social behavioral profile following chronic social defeat stress. Nat Commun. 14 (1), 4319(2023).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Bolaños, F., LeDue, J. M., Murphy, T. H. Cost effective raspberry pi-based radio frequency identification tagging of mice suitable for automated in vivo imaging. J Neurosci Methods. 276, 79-83 (2017).
- Azechi, H., Takahashi, S. vmTracking enables highly accurate multi-animal pose tracking in crowded environments. PLOS Biol. 23 (2), e3003002(2025).
- DeepLabCut: documentation. , DeepLabCut Team. https://deeplabcut.github.io/DeepLabCut/README.html (2025).
- Azechi, H. vmTracking figure and code. Zenodo. , (2025).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Romero-Ferrero, F., Bergomi, M. G., Hinz, R. C., Heras, F. J. H., de Polavieja, G. G. idtracker.ai: tracking all individuals in small or large collectives of unmarked animals. Nat Methods. 16 (2), 179-182 (2019).
重印与许可
