利用 vmTracking 提高啮齿动物社会行为研究中多动物姿势估计的准确性

Summary

该协议引入了 vmTracking，这是一种在动物密集聚集的拥挤条件下，也能在多个自由移动、无标记的动物的视频中实现高精度姿势跟踪的方法。这种方法为分析动物可以自由移动的半自然环境中发生的社会互动提供了可靠的数据。

Abstract

在使用啮齿动物的社会行为研究中，对评估自由移动条件下更自然的互动行为的需求不断增长。为此，对多只动物进行准确的姿势跟踪至关重要。然而，当前的无标记多动物姿态跟踪工具面临着重大挑战：在遮挡和拥挤的条件下，跟踪精度往往会下降。当动物在视觉上彼此无法区分时，这个问题变得尤为明显。为了克服这个问题，我们开发了虚拟标记跟踪（vmTracking），这是一种通过使用虚拟标记跨帧保持个体身份来提高在这种具有挑战性的条件下多动物姿势跟踪的准确性的方法。vmTracking 还可以通过合并额外的处理步骤来应用于现有的无标记多动物视频数据，将单个身份标签添加到标准跟踪工作流程中。在这里，我们描述了分配虚拟标记的方法和在生成的标记视频中跟踪动物的协议。vmTracking实现的高精度多动物追踪，为后续对半自然条件下的社会互动进行定量分析提供了可靠的基础。

Introduction

对啮齿动物社会行为的研究越来越强调对更自然的社会背景下的互动的研究¹.传统方法，如三腔测试，已被广泛用于评估社交能力和社会偏好²，但这些范式只捕捉了社交互动的简化方面³。为了满足这一需求，多动物DeepLabCut（maDLC）⁴ 和社会LEAP估计动物姿势（SLEAP）⁵ 已成为在自由移动条件下对多只动物进行无标记姿态跟踪不可或缺的工具，为无标记多动物姿态跟踪提供了先进的基于深度学习的技术。然而，在动物距离较近的拥挤环境中，这些工具容易出现预测失败和身份 （ID） 切换等跟踪错误。在这种情况下获得可靠的数据通常需要大量的手动校正。

对多种自由移动的动物进行准确的姿势跟踪为研究更复杂的社会动态打开了大门。例如，详细的跟踪数据可以评估领导者与追随者的关系、运动过程中的接近回避行为以及其他传统行为测定无法可靠评估的细微差别的互动模式。这些进步将多动物追踪的效用扩展到相对简单的行为描述性测量之外，从而能够分析更复杂的社会互动。

提高跟踪准确性的一种方法是清楚地区分个体动物。例如，Bordes⁶ 展示了使用单只动物 DeepLabCut （saDLC）⁷ 同时跟踪白色 CD1 小鼠和黑色 C57BL/6N 小鼠。这一发现表明，当动物在视觉上可以区分时，准确的个体跟踪是可行的。然而，使用物理标记进行识别可能会改变自然行为。即使是微创方法，例如植入射频识别标签⁸，也会引起人们对其对行为的潜在影响的担忧。

在这里，我们提出了一种多动物姿势跟踪方法，该方法使用虚拟标记（vmTracking）⁹ 进行非侵入性个体识别。考虑到社会背景，准确评估社会行为需要高精度的多动物姿势跟踪数据。vmTracking 的开发是为了满足这一需求，它提供了一种可靠的协议，而不是新的软件或算法，用于使用 DLC 等现有工具获取此类高质量的跟踪数据。因此，基于这些数据的社会行为分析超出了本协议的范围。vmTracking 涉及两个主要步骤：向无标记视频添加虚拟标记和跟踪生成的虚拟标记视频。这种方法无需物理标记即可实现高精度的姿势跟踪，即使在涉及三只或更多视觉上无法区分的同一品系动物的情况下也是如此。通过允许在半自然条件下进行可靠的跟踪，vmTracking 为推进复杂社会互动的研究提供了一种有效的工具，具有在行为科学、心理学和神经科学方面的潜在应用。

Protocol

所有实验程序均获得同志社大学动物护理和使用委员会的批准（批准号 A23068）。C57BL / 6J小鼠（见 材料表）在24-26°C的受控条件下，每个笼子2-3只，12小时的光/暗循环，随意获得食物和水。所有行为记录均在光照阶段收集。vmTracking 过程的总体工作流以及示例中的快照如 图 1 所示。

注意：vmTracking 不是一种新的软件或算法，而是一种使用现有 DLC 函数来最大限度地提高多动物跟踪精度的协议。因此，以下步骤的很大一部分描述了 DLC 中的特定图形用户界面 （GUI）作，以确保可重复性。

1. 无标记多动物视频数据的制备

注意：实验参数可根据具体研究进行调整。

1. 将三只C57BL / 6J小鼠放在具有白色地板和透明墙壁（直径31厘米×高17厘米;参见 材料表）的圆形空旷场地中，并让它们自由移动。
2. 使用自上而下的相机视图，以 460 × 460 像素的分辨率和 30 fps 的帧速率记录动物约 60 分钟（参见 材料表）。

2. 创建虚拟标记视频

1. 在DLC 2.2.3版中使用maDLC执行标准无标记姿势跟踪（图2;参见 材料表）。
   注意：在以下步骤中，DLC GUI 选项卡菜单名称和参数设置以粗体显示，以 阐明 DLC 中的作。除非另有说明，否则所有过程都使用默认设置执行。有关使用 DLC 的详细说明，请参阅官方文档¹⁰。
   1. 在 “管理项目 ”中创建一个多动物项目（补充图 1），用于无标记视频跟踪。根据分析需求修改config.yaml文件中的个体和身体部位字段。在此协议中，使用individual1到individual3和bodypart1到bodypart6。所有其他设置都是可选的。
      注意：参数 numframes2pick （提取的帧数）和 dotsize （标记大小）可以根据视频条件和实验者的工作量进行调整。其他设置并未在所有可能的条件下进行系统测试;但是，已通过默认配置确认成功跟踪。
   2. 从提取 帧 （补充图 1）中的视频中提取帧，以进行后续标记和训练。将所有其他参数设置为默认值。
   3. 在 标签数据 中标记每个提取的帧（补充图1），为每个可见个体分配适当的身体部位，而不在帧之间保持一致的ID。
   4. 从 创建训练数据集中提取的帧创建训练数据集（补充图 1）。在此协议中，将网络设置为 dlcrnet_ms5。将所有其他参数设置为默认值。
   5. 在 训练中开始训练网络（补充图 1）。在此协议中，“ 最大迭代次数” 参数设置为 200,000 次进行训练。将所有其他参数设置为默认值。
   6. 在 “评估”中评估训练好的网络（补充图 1）。将所有其他参数设置为默认值。
   7. 在 分析视频（补充图1）中对所选视频进行姿态估计，在项目文件夹内的videos文件夹中生成.h5坐标数据和其他输出文件。将所有其他参数设置为默认值。
      注意：如果训练数据集不足，分析可能无法生成 .h5 坐标文件。在这种情况下，请从步骤 2.1.2 重新启动。
   8. 实验者手动验证。
      1. 在 创建视频中创建标记的跟踪视频（补充图 1）。在DLC GUI中选择创建 带有动物ID彩色的视频？ 选项，并生成标记的跟踪视频（图2A，maDLC）。将所有其他参数设置为默认值。
      2. 检查标记的视频（图 2A，maDLC）以检查 ID 开关和缺失的预测。如果观察到明显的错误，请执行重新训练（参见步骤 2.1.8.3）。如果未执行重新训练，请继续执行步骤 2.2。
         注意：重新训练不是强制性的，但它可以提高准确性并减少后续步骤的工作量。
      3. 对于重新训练，在 提取/细化异常值中提取和 注释异常值帧（补充图 1）。标注完成后，单击 合并数据集 按钮，自动进入 创建训练数据集 ，然后从步骤 2.1.4 开始重复。
2. 更正 maDLC 结果以创建虚拟标记视频（图 3）。
   1. 使用自定义 GUI¹¹（图 3B），仅保留虚拟标记的选定关键点，并将 .h5 文件中的所有其他关键点替换为 NaN。关键点的减少减少了后续校正步骤的工作量（图3C，E）。在本协议中，使用主体部件 2 和 4。
      注意：建议选择两个有效定义体轴向量的关键点。仅使用用作虚拟标记的关键点执行初始 maDLC 跟踪可能无法在步骤 2.1.4 中生成 .h5 文件。因此，建议使用更大的关键点集执行初始跟踪。
   2. 使用优化轨道（补充图 1），更正上一步中的 .h5 文件，仅包含选定的关键点。更正关键点，使每个人在整个视频中保持一致的 ID（图 3E，F）。保存文件;视频文件夹中的 .h5 文件将自动更新。
   3. 根据 创建视频 中的校正数据创建带有 ID 颜色标签的标记视频（补充图 1， 图 3A，虚拟标记）。在 DLC 2.2 中，videos 文件夹中现有的标记视频将阻止创建新视频;在继续之前删除、重命名或移动文件。在这里，将配置文件中的标记大小设置为 2，使用允许识别而不遮挡此数据集中的动物的最小大小。
   4. 将创建的视频重命名为短文件名，以防止在下一步中使用 saDLC 重新跟踪时在 DLC 处理过程中出错。

3. 使用 saDLC 对虚拟标记视频进行姿态跟踪（图 4）

注意：除非另有说明，否则所有过程均使用默认 DLC GUI 设置执行。

1. 在 管理项目 （补充图 2）中创建一个新的 saDLC 项目，用于虚拟标记视频跟踪。在此协议中，在 config.yaml 文件的 bodyparts 字段中列出个人和身体部位的所有组合（例如，individual1-bodypart1、individual2-bodypart1、...、individual3-bodypart6）。所有其他设置都是可选的。
   注意：与步骤 2.1.1 一样，参数 numframes2pick 和 dotsize 可以根据视频条件和实验者的工作量进行调整。已使用默认配置确认跟踪成功。
2. 从 提取帧中的虚拟标记视频中提取帧（补充图 2）。将所有其他参数设置为默认值。
3. 在标签数据中标记每个提取的帧（补充图 2），使用虚拟标记分配单个 ID，以便 ID 和身体部位在帧之间匹配（图 3B-D）。当一个人的 ID 已知并且身体部位部分隐藏时，估计其位置并相应地放置标签。如果无法唯一确定单个 ID（例如，框架中缺少 ≥2 个个体的虚拟标记），请不要标记这些身体部位。
4. 从 创建训练数据集中提取的帧创建训练数据集（补充图 2）。在此协议中，将 网络 设置为 efficientnet-b0。将所有其他参数设置为默认值。
5. 在 训练中开始训练网络（补充图 2）。在此协议中，将 Maximum iterations 参数设置为 200,000 以进行训练。将所有其他参数设置为默认值。
6. 在 “评估” 中评估训练好的网络（补充图 2）。将所有其他参数设置为默认值。
7. 在 分析视频（补充图 2）中对所选视频运行姿势估计，在视频文件夹中生成 .h5 坐标数据和其他输出文件。将所有其他参数设置为默认值。
8. 实验者手动验证。
   1. 在 创建视频中创建标记的跟踪视频（补充图 2）。将所有其他参数设置为默认值。
   2. 检查标记的视频（图 4A，vmTracking）以检查跟踪不一致。重新训练，直到实验者对结果感到满意。如果不需要再培训，则程序完成。
      注意：在确认令人满意的跟踪结果后，您可以创建没有虚拟标记的演示质量视频（图 5），将跟踪结果输出到原始无标记视频上，而不是创建视频中的虚拟标记视频（补充图 2）。将视频文件夹中的虚拟标记视频替换为无标记视频，并将其重命名以匹配分析中前面使用的虚拟标记视频文件名。对于 DLC 2.2，在创建新视频之前，请确保文件夹中不存在标记的视频（图 5B，C）。
   3. 对于重新训练，在 提取/优化异常值中提取和注释异常值帧（补充图 2）。标注完成后，点击 合并数据集 按钮，自动进入创建训练数据集，然后从步骤 3.1.4 开始重复。

Results

通过与手动生成的地面实况 （GT） 进行比较来评估跟踪精度。提取了20个5秒或10秒的场景，并将其分类为拥挤（CR）场景，其中包括重叠，例如小鼠交叉路径（12个场景，总共1,950帧），或不拥挤（nCR）场景，没有重叠（8个场景，总共1,350帧）。GT 位置 10 像素范围内的跟踪预测被计为匹配 （Match）;≥10 像素外的预测被计为误报 （FP）;缺失的预测被计为假阴性 （FN）。此外，如果预测的身份与前一帧中的预测身份不同，则将其计为 ID 开关。

与maDLC（图6）相比，vmTracking在CR和nCR场景中的匹配度均有显著提升（图6A，CR：p <0.001;图6E，nCR：p<0.01）。在两种场景类型中，均未出现FN，并且使用vmTracking时FN数量显著减少（图6B，CR：p < 0.001;图6F，nCR：p<0.05）。FP（图6C和6G）和ID开关（图6D，H）计数显示，这两种场景类型都没有变化。并排比较了使用vmTracking和传统maDLC获得的跟踪结果，强调了vmTracking在拥挤条件下的增强精度和稳定性（补充视频1）。

我们还检查了 maDLC 和 vmTracking 中 CR 场景的注释帧数与 Match 和 FN 之间的关系（图 6I）。在 maDLC 中，匹配在大约 85% 的注释帧中稳定在大约 400%，随着数量的增加，几乎没有进一步的改进。增加训练的注释帧并没有减少 FN。相比之下，vmTracking 显示出 Match 随着注释帧的增加而稳步增长，在大约 1,000 帧时达到约 95%。

虚拟标记根据其分配模式分为六类，并以每个类别的比例作为虚拟标记准确率的指标，以检查其与跟踪匹配的关系（图6J）。正确分配的虚拟标记比例较高的场景往往显示较高的匹配。然而，一些正确标记比例较低的场景，无论是由于许多错误分配还是许多缺失标记，仍然表现出较高的匹配度（例如，CR 场景 3 和 11）。

图 1：vmTracking 工作流概述。 （A） vmTracking 工作流示意图。首先，对无标记视频（I）进行maDLC。根据生成的 maDLC 跟踪数据，校正输出，使每个人在整个视频中保持一致的 ID，并创建一个标记视频，仅显示选定的关键点子集 （II）。使用本视频中的标签作为虚拟标记，使用 saDLC （III） 跟踪虚拟标记视频。（B） vmTracking 的两个示例显示为流程每个阶段的快照。最左边的图像显示了全视图，右边的图像是黄色框包围的区域的放大视图。图像右下角的橙色条表示比例：“无标记（概览）”图像为 5 厘米，所有其他图像为 1 厘米。 请点击此处查看此图的大图。

图 2：使用 maDLC 的无标记多动物跟踪工作流程。该图与协议步骤2.1有关。（A）面板改编自图1B，并说明了图1A所示的过程I（无标记多动物跟踪）。为清楚起见，每只动物都用虚线勾勒出轮廓。每张图像右下角的橙色条表示 1 厘米的比例尺。（B-D）在 maDLC 执行期间用于标记的帧的快照。每张图像右下角的橙色条表示 5 厘米的比例尺。（B） 应用标签前的示例框架。（C） 与 B 中的框架相同，贴标后。（D） 另一个标记框架的示例。帧 C 和 D 之间的个体身份是未知的，但在标记时不需要考虑个体身份。如快照所示，正确标记每只动物的姿势就足够了。请点击此处查看此图的大图。

图 3：根据 maDLC 结果创建虚拟标记视频的工作流程。该图与协议步骤2.2有关。（A） 面板改编自图 1B，并说明了图 1A 所示的过程 II（虚拟标记创建）。为清楚起见，每只动物都用虚线勾勒出轮廓。白色箭头表示用作虚拟标记的关键点（每个 ID 的第 2 个和第 4 个关键点）。在本例中，虚拟标记以灰度输出：紫色、绿色和红色 maDLC 标签分别显示为黑色、灰色和白色。在示例 1 中，maDLC 结果直接输出为虚拟标记，无需校正。在示例 2 中，由于连续帧中的 ID 切换，紫色和红色 ID 在输出前进行了交换和校正。maDLC 结果中本应更正的绿点被忽略并未经修改输出。每张图像右下角的橙色条表示 1 厘米的比例尺。（B） 基于 Python 的 GUI，用于编辑 h5 坐标数据文件以仅保留特定关键点，并用 NaN¹¹ 替换所有其他关键点。（巴）程序启动时的初始菜单窗口。通过选择 h5 文件按钮选择要编辑的文件。（BB）选择 h5 文件后的窗口。检查要替换为 NaN（显示为单个名称-正文部件名称）的关键点，并指定 NaN 替换的开始-结束时间（带帧速率）或帧号。单击“处理数据”将编辑后的文件保存在同一文件夹中，并创建原始文件的备份。（C） 发生 ID 切换的场景的连续帧。（D） 从B校正所有跟踪点的示例。（E） 显示 B 结果的快照，仅保留第 2 和第 4 个关键点。（F） 校正 E 中结果的示例。与校正所有关键点（C → D）相比，将校正限制在两个点（C → E → F）可以减少所需的编辑次数。每个图像 C-F 右下角的橙色条表示 5 厘米的比例尺。请点击此处查看此图的大图。

图 4：跟踪虚拟标记视频的工作流程。此图与协议步骤 3 相关。（A）面板改编自图1B，并说明了图1A所示的过程III（虚拟标记视频的跟踪）。每个个体都被用虚线框括起来，以便清楚地看到跟踪目标。在此示例中，具有黑色、灰色和白色虚拟标记的个人分别作为紫色、绿色和红色标签进行跟踪。在示例 1 中，灰色虚拟标记不存在，但 vmTracking 保持正确的身份跟踪。在示例 2 中，灰色标记出现在两个人身上，但跟踪仍然正确。每张图像右下角的橙色条表示 1 厘米的比例尺。（B-D）在 vmTracking 期间用于标记的帧的快照。在此步骤中，使用 saDLC，每个关键点定义为包括单个和身体部位信息。标签指定代表哪个个体的身体部位。每张图像右下角的橙色条表示 5 厘米的比例尺。（B） 标记前帧的快照。（C） 标注后 B 中帧的快照。（D） 标记后与 C 不同的帧的快照。即使在不同的帧（例如 C 和 D）中，标签也会使用虚拟标记作为提示来保持个人身份，如一致的标签颜色所示。请点击此处查看此图的大图。

图 5：将跟踪结果与无标记视频合并以生成没有虚拟标记的跟踪视频的工作流程。 这是与步骤 3.8.2 中的 NOTE 相关的可选步骤。（A） 当跟踪结果应用于虚拟标记视频时，生成的跟踪视频将保留虚拟标记（vmTracking^vm+）。黄色箭头表示输出中可见的虚拟标记。将跟踪结果应用于原始无标记视频会生成一个没有虚拟标记的跟踪视频 （vmTracking^vm-），适合演示或其他目的。每张图像右下角的橙色条表示 1 厘米的比例尺。（乙、丙）将 vmTracking 结果应用于无标记视频时，项目目录的“videos”文件夹中的文件管理。橙色框示意性地说明了文件夹内容。（B）通过将跟踪结果输出到虚拟标记视频上生成vmTracking跟踪视频后的“videos”文件夹（示意图为'4.虚拟标记视频上的标签'）。（C） 准备“videos”文件夹，用于将 vmTracking 结果输出到无标记视频上。移动或重命名“1.虚拟标记视频“和”4.面板 B 中虚拟标记视频文件上的标签，以便将它们从文件夹中排除。问题不在于文件本身，而在于它们的原始文件名干扰了处理。然后，放置 '5.无标记视频'，重命名以匹配原始虚拟标记视频文件名（例如VMvideo.MP4）。在此状态下，重新运行“ 创建视频 ”会生成跟踪视频，并将结果应用于无标记视频（'6.无标记视频上的标签'）。该图已修改自 Azechi & Takahashi，2025 年， PLOS Biology （CC BY 4.0）⁷。 请点击此处查看此图的大图。

图 6：使用 vmTracking 评估跟踪精度。（A-H） 比较 maDLC 和 vmTracking 的匹配比例。12 个拥挤 （CR） 场景中的 （A）、假阴性 （B）、误报 （C） 和 ID 开关 （D），以及 8 个非拥挤 （nCR） 场景中的匹配 （E）、假阴性 （F）、误报 （G） 和 ID 开关 （H）。图表示每个场景的测量值，条形表示从它们计算出的平均值。使用 Wilcoxon 符号秩检验进行统计比较。（I）CR中标注帧数与匹配和假阴性比例的关系。右侧的绿色框显示左侧面板中由绿色虚线包围的区域的放大视图。图表示平均值。（J）CR和nCR场景中虚拟标记精度与跟踪匹配的关系。每对标记的虚拟标记精度分为六种类型：两个点都正确分配给正确的个体，一个正确和一个缺失，一个正确和一个不正确，两个都不正确，一个不正确和一个缺失，以及两个都缺失。对于每个场景，这些类别的比例显示为堆叠条形图，每个条形图上方会指示该场景的相应跟踪匹配项。场景按跟踪匹配的升序排列，从左到右，分别用于 CR 和 nCR 场景。CR 场景：n = 12;nCR 场景：n = 8。p < 0.001，**p < 0.01，*p < 0.05。该图已根据 Azechi 和 Takahashi （2025）⁹ 修改而来。 请点击此处查看此图的大图。

补充图1：多动物DeepLabCut中主窗口的快照，显示了每个作选项卡的位置。 快照通过箭头说明了 vmTracking 过程的每个步骤中使用的选项卡。图像是从 DeepLabCut GUI（2.2.3 版）捕获的。 请点击此处下载此图。

补充图 2：单动物 DeepLabCut 中主窗口的快照，显示每个作选项卡的位置。 快照通过箭头说明了 vmTracking 过程的每个步骤中使用的选项卡。图像是从 DeepLabCut GUI（2.2.3 版）捕获的。 请点击此处下载此图。

补充视频1：多动物DeepLabCut和vmTracking在跟踪三只小鼠方面的比较。该对比视频显示了多动物DeepLabCut（maDLC;左）和vmTracking（右）在跟踪三只小鼠期间的性能。vmTracking视频是通过将虚拟标记视频替换为原始无标记视频来生成的，按照步骤3.8.2的注释中描述的过程，以呈现没有虚拟标记的跟踪结果。对于每种跟踪方法，使用相同颜色系列的颜色标签来指示个人身份，以便于比较。与 maDLC 相比，在整个视频中，vmTracking 显示的检测到属于不同个体的身体部位的实例更少。值得注意的是，大约 15-17 秒，maDLC 会错误识别绿标和红标个体，导致其分配的身份切换。 请点击此处下载此文件。

Discussion

尽管研究啮齿动物的自然社会互动形式的需求不断增长¹，但获得多种自由移动动物的可靠身份和姿势信息——特别是在密切互动或闭塞期间——仍然是一项技术挑战。vmTracking 克服了这一限制，能够在这种情况下进行准确跟踪。vmTracking在各种实验条件下可靠地实现高跟踪精度，包括传统的多动物追踪器^4,5经常失败的拥挤环境⁹。这种稳健性源于基于多动物跟踪的虚拟标记创建与 saDLC 跟踪的结合，从而实现精确的身份和姿势估计。重要的是，即使虚拟标记精度不是最佳，该方法也能保持高性能。这种对虚拟标记中一定程度缺陷的容忍度确保了 vmTracking 对于可靠地跟踪多个自由移动的个体仍然实用，从而推进了对半自然条件下啮齿动物社会互动的研究。

vmTracking 的一个关键步骤是在创建虚拟标记期间更正多动物跟踪结果。在此过程中，忽视身份开关或不正确的标签可能会导致 saDLC 在后续跟踪过程中保持这些错误识别。如果稍后发现此类错误，可以通过修改受影响的片段、重新生成虚拟标记视频和重新运行 saDLC 跟踪来纠正它们。在某些情况下，虚拟标记可能被正确放置，但当不同动物上的标记在拥挤的互动中靠近时，saDLC 仍可能错误识别个体。可以通过在创建步骤中重新定位受影响的虚拟标记来最大化标记间距离，从而减少后续跟踪阶段混淆的可能性，从而减轻此类错误。

尽管我们的协议在这两个步骤中使用 DLC ^4,7，但它也可以使用 SLEAP ^5,12 实现。根据我们的经验，单动物模式下的 SLEAP 通常不如 saDLC 稳定，性能更依赖于视频⁹。然而，对于虚拟标记创建步骤，SLEAP 或^{idtracker.ai 13} 可能同样有效，并且最佳选择可能因视频而异。因此，如果初始 maDLC 跟踪在目视检查中显示频繁的 ID 切换或严重的关键点丢失，则可以采用混合方法——例如，使用 SLEAP 或 idtracker.ai 创建虚拟标记，然后使用 saDLC 跟踪生成的视频。

由于 vmTracking 涉及两个跟踪步骤，因此有些人可能会认为它很麻烦，并质疑为什么物理标记不是从一开始就简单地附加，从而消除了创建虚拟标记的需要。然而，虚拟标记具有明显的优势：它们可以事后应用于现有的无标记视频，避免与将设备连接到动物身上相关的任何行为影响或道德问题。它们可以放置在任何地方，永远不会脱落，并且不受姿势或亲密互动的影响，因此可以定位和调整它们以适应特定的视频。与物理标记相比，这种灵活性可以实现更可靠的个体识别，从而提高跟踪精度。因此，使用虚拟标记的 vmTracking 可以在自由移动的社交互动研究以及无法应用物理标记的档案视频数据的重新分析中实现高精度跟踪。由此获得的高精度跟踪数据在依赖行为实验的领域中具有广泛的用途，包括行为科学、心理学和神经科学。

vmTracking 有几个限制。首先，由于个体识别依赖于标记颜色的差异，因此可追踪个体的数量受到可区分颜色的有限范围的限制。迄今为止，我们已经成功追踪到了一组十条鱼⁹;然而，增加这个数字将需要扩大虚拟标记的种类——例如，通过改变标记形状或探索使用骨架结构作为附加标识符——尽管这些方法需要进一步验证。其次，vmTracking 必然涉及向每个无标记视频添加虚拟标记的额外步骤，这对于长时间录制或包含许多人的数据集来说可能是劳动密集型的。此外，虽然该方法原则上可以应用于各种物种和记录条件，但当实验参数无法优化时，实现高精度跟踪的实用性可能会降低。例如，在类似田野条件下记录野生或自由移动的动物时，照明、相机分辨率或记录角度难以控制，虚拟标记分配期间所需的手动校正往往会增加，这可能会限制获取高质量跟踪数据的难易程度。未来，简化和自动化虚拟标记分配过程将进一步增强该方法的适用性和可用性。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
丙烯管（透明，厚度5毫米，内径31厘米）	菅原幸艺株式会社	https://www.sugawarakougei.jp/	从Hazaiya（一家在线丙烯材料零售商）购买
丙烯酸板（白色，3毫米厚，直径31厘米）	菅原幸艺株式会社	https://www.sugawarakougei.jp/	从Hazaiya（一家在线丙烯材料零售商）购买
C57BL/6J 鼠标	清水实验用品，Co.LTD。	无
相机	巴斯勒	acA3088-57UC
DeepLabCut 2.2.3	瑞士洛桑联邦理工学院Mathis实验室	https://www.mackenziemathislab.org/deeplabcut
Pylon相机软件套件（Pylon浏览器）	巴斯勒	无