Name: 利用 vmTracking 提高啮齿动物社会行为研究中多动物姿势估计的准确性 (视频) | JoVE Journal
Uploaded: 2025-11-07T14:40:00.000+00:00
Duration: 7 min 34 s
Description: 了解vmTracking方法，用于在密集群体中实现啮齿动物的高精度无标记姿态追踪。该技术可在半自然环境下可靠采集社会行为数据，助力神经科学研究。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作由日本促进科学振兴会（JSPS）（项目编号JP24K15711和JP21H04247资助HA，项目编号JP23H00502和JP21H05296资助ST）以及日本科学技术振兴机构（JST）的先进核心技术开发项目（CREST）（项目编号JPMJCR23P2资助ST）提供支持。

所有实验程序均经同志社大学动物护理与使用委员会批准（批准号：A23068）。C57BL/6J小鼠（见材料表）以每笼2-3只的方式饲养，环境温度控制在24-26 °C，光照周期为12小时明/12小时暗，可自由获取食物和水。所有行为记录均在光照阶段进行。vmTracking流程的整体工作流程及一个示例的截图如图1所示。
注意：vmTracking 并非一种新的软件或算法，而是一种利用现有 DLC 功能以最大化多动物追踪准确性的实验方案。因此，以下大部分步骤描述了在 DLC 中进行的具体图形用户界面（GUI）操作，以确保可重复性。
1. 无标记多动物视频数据的准备
注意：可根据具体研究调整实验参数。
<ol>
	<li>将三只 C57BL/6J 小鼠放入一个具有白色地板和透明壁的圆形开放场地中（直径 31 cm × 高 17 cm；参见材料表），使其自由活动。</li>
	<li>使用俯视摄像视角，以 460 × 460 像素分辨率和 30 fps 帧率记录动物行为约 60 分钟（参见材料表）。</li>
</ol>
2. 虚拟标记视频的创建
<ol>
	<li>使用 DeepLabCut 2.2.3 版本中的 maDLC 进行标准的无标记姿态追踪图2；参见 材料清单). 
	注意：以下步骤中，DLC GUI 选项卡菜单名称和参数设置以**粗体**显示到 澄清DLC中的操作。除非另有说明，所有步骤均使用默认设置进行。有关使用DLC的详细说明，请参阅官方文档10.
	<ol>
		<li>创建一个多动物项目 管理项目 (补充图1用于无标记视频追踪。根据分析需求修改 config.yaml 文件中的个体和身体部位字段。在本方案中，使用 individual1 至 individual3 以及 bodypart1 至 bodypart6。所有其他设置均为可选。 
		注意：参数 numframes2pick （提取的帧数）以及 点大小 （标记大小）可根据视频条件和实验者的操作负荷进行调整。其他设置未在所有可能条件下进行系统性测试；然而，已证实默认配置可实现成功的追踪。</li>
		<li>从视频中提取帧 提取帧 (补充图1用于后续标记和训练。其他所有参数均设为默认值。</li>
		<li>标记每个提取的帧 标注数据 (补充图1），为每一帧中可见的每个个体分配相应的身体部位，但不保持帧间个体ID的一致性。</li>
		<li>从提取的帧中创建训练数据集 创建训练数据集&#160;(补充图1）。在此方案中，将网络设置为 dlcrnet_ms5将所有其他参数设置为默认值。</li>
		<li>开始训练网络 训练&#160;(补充图1）。在此方案中， 最大迭代次数 参数设置为 200,000 用于训练。其他所有参数均设为默认值。</li>
		<li>评估训练好的网络 评估&#160;(补充图1）。将所有其他参数设置为默认值。</li>
		<li>对选定的视频运行姿态估计 分析视频&#160;(补充图1），在项目文件夹内的视频文件夹中生成.h5坐标数据及其他输出文件。其余参数均保持默认设置。 
		注意：如果训练数据集不足，分析可能无法生成 .h5 坐标文件。此时，请从步骤 2.1.2 重新开始。</li>
		<li>实验人员手动验证。
		<ol>
			<li>创建带标注的追踪视频 制作视频&#160;(补充图1）。选择 创建带有动物编号颜色标记的视频？ DLC 图形用户界面中的选项，并生成带有标注的追踪视频（图2A，maDLC）。将所有其他参数设置为其默认值。</li>
			<li>检查标记的视频（图2A，maDLC）以检查是否存在身份切换和预测缺失。若发现明显错误，则执行重新训练（参见步骤 2.1.8.3）。若不进行重新训练，则继续进行步骤 2.2。 
			&#8203;注意：重新训练并非强制要求，但可提高准确性并减轻后续步骤的工作量。</li>
			<li>用于重新训练，提取并标注异常帧 提取/精修异常值 (补充图1）。标注完成后，单击“合并数据集”按钮以自动进入下一步 创建训练数据集，然后从步骤 2.1.4 开始重复。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>校正 maDLC 结果以生成虚拟标记视频（图3).
	<ol>
		<li>使用自定义图形用户界面11 (图3B），仅保留选定的关键点作为虚拟标记点，并将 .h5 文件中其余关键点替换为 NaN。关键点数量的减少可降低后续校正步骤的工作量（图3C，E在此方案中，使用第2和第4部分身体结构。 
		&#8203;注意：建议选择两个能有效定义体轴向量的关键点。若仅使用拟作为虚拟标记的关键点进行初始的maDLC追踪，可能导致在步骤2.1.4中无法生成.h5文件。因此，建议使用更多数量的关键点进行初始追踪。</li>
		<li>使用 优化轨迹片段&#160;(补充图1），修正上一步骤中的.h5文件，该文件仅包含选定的关键点。修正关键点，使每个个体在整段视频中保持一致的ID（图3E，F)。保存文件；视频文件夹中的 .h5 文件将自动更新。</li>
		<li>使用校正后的数据创建带有 ID 颜色标签的标注视频 制作视频 (补充图1, 图3A，虚拟标记）。在 DLC 2.2 版本中，若 videos 文件夹中已存在已标注的视频，则无法生成新的视频；请在继续操作前删除、重命名或移动该文件。在此数据集中，应在配置文件中将标记大小设置为 2，选用能够识别标记且不遮挡动物的最小尺寸。</li>
		<li>将创建的视频重命名为简短的文件名，以防止在下一步使用 saDLC 进行重新追踪时，DLC 处理过程中出现错误。</li>
	</ol>
	</li>
</ol>
3. 使用 saDLC 对虚拟标记视频进行姿态追踪（图 4）
注意：除非另有说明，所有操作均使用默认的 DLC GUI 设置进行。
<ol>
	<li>在管理项目（补充图2）中为虚拟标记视频跟踪创建一个新的saDLC项目。在本方案中，在config.yaml文件的bodyparts字段中列出所有个体与身体部位的组合（例如，individual1-bodypart1、individual2-bodypart1、…、individual3-bodypart6）。所有其他设置均为可选。 
	注意：与步骤2.1.1相同，可根据视频条件和实验人员的工作量调整numframes2pick和dotsize参数。已证实使用默认配置可实现成功的跟踪。</li>
	<li>在提取帧&#160;（补充图2）中从虚拟标记视频中提取帧。将所有其他参数设置为默认值。</li>
	<li>在标注数据&#160;（补充图2）中对每帧提取的图像进行标注，使用虚拟标记分配个体ID，确保跨帧的ID和身体部位保持一致（图3B-D）。当个体ID已知但某身体部位部分被遮挡时，应估计其位置并相应放置标签。如果无法唯一确定个体ID（例如，某一帧中缺失两个或以上个体的虚拟标记），则不要对该身体部位进行标注。</li>
	<li>在创建训练数据集&#160;（补充图2）中基于提取的帧创建训练数据集。在本方案中，将network设置为efficientnet-b0。将所有其他参数设置为默认值。</li>
	<li>在训练&#160;（补充图2）中启动网络训练。在本方案中，将最大迭代次数参数设置为200,000以进行训练。将所有其他参数设置为默认值。</li>
	<li>在评估（补充图2）中评估已训练的网络。将所有其他参数设置为默认值。</li>
	<li>在分析视频&#160;（补充图2）中对选定的视频运行姿态估计，生成.h5坐标数据及其他输出文件至videos文件夹。将所有其他参数设置为默认值。</li>
	<li>实验人员进行手动验证。
	<ol>
		<li>在创建视频&#160;（补充图2）中生成带标注的跟踪视频。将所有其他参数设置为默认值。</li>
		<li>检查带标注的视频（图4A，vmTracking），查找跟踪不一致之处。重复训练直至实验人员对结果满意。若无需重新训练，则流程完成。 
		注意：在确认跟踪结果满意后，可创建不含虚拟标记的高质量展示视频（图5），在创建视频&#160;（补充图2）中将跟踪结果输出到原始无标记视频而非虚拟标记视频上。将videos文件夹中的虚拟标记视频替换为无标记视频，并将其重命名为此前分析中使用的虚拟标记视频的文件名。对于DLC 2.2版本，在创建新视频前请确保文件夹中不存在已标注的视频（图5B、C）。</li>
		<li>如需重新训练，在提取/优化异常帧&#160;（补充图2）中提取并标注异常帧。完成标注后，点击“合并数据集”按钮，系统将自动进入“创建训练数据集”步骤，随后从步骤3.1.4开始重复后续流程。</li>
	</ol>
	</li>
</ol>

<ol><li>Smith, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Lab+mice+go+wild%3A+making+experiments+more+natural+in+order+to+decode+the+brain%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Lab mice go wild: making experiments more natural in order to decode the brain.</a> Nature. 618 (7965), 448-450 (2023).</li>
<li>Rein, B., Ma, K., Yan, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+standardized+social+preference+protocol+for+measuring+social+deficits+in+mouse+models+of+autism%5BTitle%5D)+AND+%22Nat+Protoc%22%5BJournal%5D)">A standardized social preference protocol for measuring social deficits in mouse models of autism.</a> Nat Protoc. 15 (10), 3464-3477 (2020).</li>
<li>Jabarin, R., Netser, S., Wagner, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Beyond+the+three-chamber+test%3A+toward+a+multimodal+and+objective+assessment+of+social+behavior+in+rodents%5BTitle%5D)+AND+%22Mol+Autism%22%5BJournal%5D)">Beyond the three-chamber test: toward a multimodal and objective assessment of social behavior in rodents.</a> Mol Autism. 13 (1), 41(2022).</li>
<li>Lauer, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multi-animal+pose+estimation%2C+identification+and+tracking+with+DeepLabCut%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Multi-animal pose estimation, identification and tracking with DeepLabCut.</a> Nat Methods. 19 (4), 496-504 (2022).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((SLEAP%3A+A+deep+learning+system+for+multi-animal+pose+tracking%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">SLEAP: A deep learning system for multi-animal pose tracking.</a> Nat Methods. 19 (4), 486-495 (2022).</li>
<li>Bordes, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatically+annotated+motion+tracking+identifies+a+distinct+social+behavioral+profile+following+chronic+social+defeat+stress%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Automatically annotated motion tracking identifies a distinct social behavioral profile following chronic social defeat stress.</a> Nat Commun. 14 (1), 4319(2023).</li>
<li>Mathis, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Bolaños, F., LeDue, J. M., Murphy, T. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cost+effective+raspberry+pi-based+radio+frequency+identification+tagging+of+mice+suitable+for+automated+in+vivo+imaging%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">Cost effective raspberry pi-based radio frequency identification tagging of mice suitable for automated in vivo imaging.</a> J Neurosci Methods. 276, 79-83 (2017).</li>
<li>Azechi, H., Takahashi, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((vmTracking+enables+highly+accurate+multi-animal+pose+tracking+in+crowded+environments%5BTitle%5D)+AND+%22PLOS+Biol%22%5BJournal%5D)">vmTracking enables highly accurate multi-animal pose tracking in crowded environments.</a> PLOS Biol. 23 (2), e3003002(2025).</li>
<li>DeepLabCut: documentation. , DeepLabCut Team. 
 <a target="_blank" href="https://deeplabcut.github.io/DeepLabCut/README.html">https://deeplabcut.github.io/DeepLabCut/README.html</a> (2025).</li>
<li>Azechi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((vmTracking+figure+and+code%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">vmTracking figure and code.</a> Zenodo. , (2025).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li>
<li>Romero-Ferrero, F., Bergomi, M. G., Hinz, R. C., Heras, F. J. H., de Polavieja, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((idtracker.ai%3A+tracking+all+individuals+in+small+or+large+collectives+of+unmarked+animals%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">idtracker.ai: tracking all individuals in small or large collectives of unmarked animals.</a> Nat Methods. 16 (2), 179-182 (2019).</li>
</ol>

作者无任何利益冲突需要披露。

尽管目前对研究啮齿类动物自然状态下的社交行为的需求日益增长¹，但在多个自由活动的动物之间（特别是在近距离互动或相互遮挡时）获取可靠的身份和姿态信息仍是一项技术挑战。vmTracking 克服了这一限制，能够在上述条件下实现精确追踪。vmTracking 在多种实验条件下均能稳定地实现高追踪精度，包括在拥挤环境9中，而传统的多动物追踪方法4,5在这些场景下通常会失败。这种鲁棒性源于基于多动物追踪生成的虚拟标记与 saDLC 追踪技术的结合，从而实现了精确的身份识别与姿态估计。重要的是，即使虚拟标记的准确性未达到理想水平，该方法仍能保持高性能。这种对虚拟标记一定程度不完美的容忍性，确保了 vmTracking 在可靠追踪多个自由活动个体方面的实用性，从而推动了在半自然条件下对啮齿类动物社交行为的研究。
在 vmTracking 中的一个关键步骤是在创建虚拟标记时校正多动物追踪结果。在此过程中，若忽略个体身份切换或错误标签，可能导致 saDLC 在后续追踪中持续保留这些错误识别。如果后续发现此类错误，可通过修改受影响的片段、重新生成虚拟标记视频并重新运行 saDLC 追踪来纠正。在某些情况下，尽管虚拟标记放置正确，但在动物密集互动期间，当不同个体的标记彼此靠近时，saDLC 仍可能出现个体误识别。此类错误可通过在创建步骤中重新调整受影响的虚拟标记位置，以最大化标记间的距离，从而降低后续追踪阶段发生混淆的可能性，进而加以缓解。
尽管我们的方案在两个步骤中均使用 DLC4,7，但也可采用 SLEAP5,12。根据我们的经验，SLEAP 在单动物模式下的稳定性通常低于 saDLC，其性能更依赖于视频内容9。然而，在虚拟标记生成步骤中，SLEAP 或 idtracker.ai13 同样有效，最佳选择可能因视频而异。因此，如果初始的 maDLC 跟踪在视觉检查中显示出频繁的个体 ID 切换或严重的关节点丢失，可采用混合方法——例如，使用 SLEAP 或 idtracker.ai 生成虚拟标记，再利用 saDLC 对生成的视频进行跟踪。
由于vmTracking包含两个追踪步骤，一些人可能认为该方法较为繁琐，并质疑为何不从一开始就直接附着物理标记，从而避免虚拟标记的创建。然而，虚拟标记具有明显优势：它们可以事后应用于已有的无标记视频，避免了在动物身上附着装置可能带来的行为影响或伦理问题。虚拟标记可被放置在任意位置，不会脱落，且不受姿态或近距离互动的影响，因此可以根据具体视频情况进行定位和调整。这种灵活性使得个体识别更加可靠，从而实现比物理标记更高的追踪精度。因此，采用虚拟标记的vmTracking方法能够在自由移动的社会性互动研究中实现高精度追踪，同时也适用于无法使用物理标记的存档视频数据的重新分析。由此获得的高精度追踪数据在依赖行为实验的多个领域中具有广泛的应用价值，包括行为科学、心理学和神经科学。
vmTracking 存在若干局限性。首先，由于个体识别依赖于标记颜色的差异，可追踪个体的数量受限于可区分颜色的有限范围。迄今为止，我们已成功追踪了十尾鱼组成的群体9；然而，若要进一步增加数量，则需要扩展虚拟标记的种类——例如通过改变标记形状，或探索将骨骼结构用作额外的识别特征——尽管这些方法仍需进一步验证。其次，vmTracking 必然涉及一个额外步骤，即向每段无标记视频中添加虚拟标记，对于长时间录制或包含大量个体的数据集而言，这一过程可能非常耗时。此外，尽管该方法原则上可应用于多种物种和录制条件，但当实验参数无法优化时，实现高精度追踪的实用性可能会下降。例如，在类似野外条件下对野生或自由活动的动物进行录制时，由于光照、相机分辨率或拍摄角度难以控制，虚拟标记分配过程中所需的人工校正通常会增加，这可能限制高质量追踪数据的获取效率。未来，进一步简化和自动化虚拟标记的分配流程，将有助于提升该方法的适用性和易用性。

啮齿类动物社会行为的研究日益强调在更接近自然的社会情境中考察个体间的互动1。传统方法（如三室实验）已被广泛用于评估社会性与社会偏好2，但这些范式仅能捕捉社会互动的简化特征3。为满足这一需求，多动物 DeepLabCut（maDLC）4 和 Social LEAP Estimates Animal Poses（SLEAP）5 已成为在自由活动条件下实现无标记多动物姿态追踪不可或缺的工具，提供了基于深度学习的先进无标记多动物姿态追踪技术。然而，在动物密集且彼此靠近的环境中，这些工具容易出现追踪错误，例如预测失败和个体身份（ID）混淆。在此类条件下获得可靠数据通常需要大量人工校正。
对多只自由活动动物进行精确的姿态追踪，为研究更复杂的社会动态打开了大门。例如，详细的追踪数据可用于评估个体间的领导-跟随关系、运动过程中的趋近-回避行为，以及其他无法通过传统行为检测方法可靠评估的细微互动模式。此类技术进步将多动物追踪的应用范围从相对简单的行为描述性指标，拓展到对更复杂社会互动的深入分析。
提高追踪准确性的方法之一是明确区分个体动物。例如，Bordes6 使用单只动物 DeepLabCut（saDLC）7 成功实现了对一只白色 CD1 小鼠和一只黑色 C57BL/6N 小鼠的同步追踪。该结果表明，当动物在视觉上可区分时，准确的个体追踪是可行的。然而，使用物理标记进行识别可能会改变动物的自然行为。即使是微创方法，例如植入射频识别标签8，也引发了人们对其可能影响行为的担忧。
本文介绍一种利用虚拟标记（vmTracking）9 实现非侵入式个体识别的多动物姿态追踪方法。要准确评估社会行为并考虑其社会背景，需要高精度的多动物姿态追踪数据。vmTracking 正是为满足这一需求而开发的，它提供了一种可靠的实验流程——而非新的软件或算法——以便利用 DeepLabCut（DLC）等现有工具获取高质量的追踪数据。因此，基于这些数据的社会行为分析不在本实验方案的范围之内。vmTracking 包含两个主要步骤：在无标记视频中添加虚拟标记，以及对生成的带虚拟标记视频进行追踪。该方法无需物理标记即可实现高精度的姿态追踪，即使在涉及三个或更多外观无法区分的同品系动物的情况下亦能有效运行。通过在半自然条件下实现可靠的追踪，vmTracking 为推进复杂社会互动的研究提供了有力工具，在行为科学、心理学和神经科学领域具有广泛的应用前景。

<table><tbody><tr><td>丙烯酸管（透明，厚度 5 mm，内径 31 cm）</td><td>Sugawarakougei Co., Ltd.</td><td>https://www.sugawarakougei.jp/</td><td>购自 Hazaiya（一家在线丙烯酸材料零售商）</td></tr><tr><td>丙烯酸板（白色，厚度 3 mm，直径 31 cm）</td><td>Sugawarakougei Co., Ltd.</td><td>https://www.sugawarakougei.jp/</td><td>购自 Hazaiya（一家在线丙烯酸材料零售商）</td></tr><tr><td>C57BL/6J 小鼠</td><td>Shimizu Laboratory Supplies, Co.LTD.</td><td>N/A</td><td></td></tr><tr><td>相机</td><td>Basler</td><td>acA3088-57uc</td><td></td></tr><tr><td>DeepLabCut 2.2.3</td><td>洛桑联邦理工学院 Mathis 实验室</td><td>https://www.mackenziemathislab.org/deeplabcut</td><td></td></tr><tr><td>Pylon 相机软件套件（Pylon Viewer）</td><td>Basler</td><td>N/A</td><td></td></tr></tbody></table>

利用vmtracking提高啮齿类动物社会行为研究中多动物姿态估计的准确性

Utilizing vmTracking to Improve the Accuracy of Multi-Animal Pose Estimation in Rodent Social Behavior Studies

在利用啮齿类动物进行的社会行为研究中，人们越来越需要在自由活动的条件下评估更为自然的互动行为。准确的多动物姿态追踪对于实现这一目标至关重要。然而，当前无标记的多动物姿态追踪工具面临一个重大挑战：在遮挡和拥挤的情况下，追踪精度往往会下降。当动物彼此之间在视觉上难以区分时，这一问题尤为突出。为解决此问题，我们开发了虚拟标记追踪（vmTracking）方法，该方法通过使用虚拟标记在各帧之间维持个体身份，从而在上述困难条件下提高多动物姿态追踪的准确性。vmTracking 还可通过引入额外的处理步骤，将个体身份标签整合到标准追踪流程中，从而应用于现有的无标记多动物视频数据。本文介绍了分配虚拟标记的方法以及对标注后的视频中动物进行追踪的操作流程。vmTracking 实现的高精度多动物追踪为在半自然条件下开展社会互动的后续定量分析提供了可靠基础。

通过与人工生成的真实基准（GT）进行比较，评估了追踪的准确性。提取了20段5秒或10秒的片段，并将其分类为拥挤（CR）场景或非拥挤（nCR）场景：拥挤场景包含重叠情况，例如小鼠路径交叉（12个场景，共1,950帧）；非拥挤场景则无重叠（8个场景，共1,350帧）。若追踪预测位置与GT位置的距离在10像素以内，则计为匹配（Match）；距离大于等于10像素的预测计为假阳性（FP）；未检测到的预测则计为假阴性（FN）。此外，若预测的身份与前一帧中的身份不同，则计为一次ID切换。
与maDLC相比（图6），vmTracking在CR和nCR场景中的匹配率均表现出显著提升（图6A，CR：p &lt; 0.001；图6E，nCR：p &lt; 0.01）。在两种场景下均未出现漏检（FN），且vmTracking显著减少了漏检数量（图6B，CR：p &lt; 0.001；图6F，nCR：p &lt; 0.05）。误检（FP）（图6C 和 6G）以及身份切换（ID switch）次数（图6D，H）在两种场景下均无明显变化。本文还并列展示了采用vmTracking与传统maDLC获得的追踪结果，突显了vmTracking在拥挤条件下更高的准确性和稳定性（补充视频1）。
我们还分析了maDLC和vmTracking中注释帧数量与CR场景的匹配率（Match）及漏检率（FN）之间的关系（图6I）。在maDLC中，当注释帧数量达到约400帧时，匹配率趋于稳定，约为85%，此后随着帧数增加提升不明显。增加训练所用的注释帧数量并未减少漏检情况。相比之下，vmTracking的匹配率随着注释帧数量的增加而持续上升，在约1,000帧时达到约95%。
根据虚拟标记的分配模式，将其分为六类，每类所占比例被用作评估虚拟标记准确性的指标，以检验其与追踪匹配度（Match）之间的关系（图6J）。虚拟标记正确分配比例较高的场景通常表现出更高的匹配度。然而，某些场景中尽管正确标记的比例较低（由于大量错误分配或大量缺失标记所致），仍表现出较高的匹配度（例如，CR场景3和11）。
<img alt="无标记追踪，maDLC，vmTracking 运动分析流程图；实验结果。" class="xfigimg" src="/files/ftp_upload/69506/69506fig1.jpg" data-altupdatedat="1784001604000" data-alt="图1"> 
图1：vmTracking 工作流程概览。（A）vmTracking 工作流程示意图。首先，对无标记视频（I）执行 maDLC 分析。基于所得的 maDLC 追踪数据，校正输出结果，使每个个体在整个视频中保持一致的身份编号，并生成仅显示选定关键点子集的标注视频（II）。以该视频中的标注作为虚拟标记，使用 saDLC 对虚拟标记视频进行追踪（III）。（B）展示了 vmTracking 的两个示例，分别为各处理阶段的截图。最左侧图像为全景视图，右侧图像为黄色框选区域的放大视图。图像右下角的橙色标尺表示比例尺：“无标记（全景）”图像为 5 cm，其余图像均为 1 cm。<a href="https://www.jove.com/files/ftp_upload/69506/69506fig1large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
<img alt="无标记追踪示意图；目标检测，maDLC方法；动态分析结果。" class="xfigimg" src="/files/ftp_upload/69506/69506fig2.jpg" data-altupdatedat="1784001604000" data-alt="图2"> 
图2：使用maDLC进行无标记多动物追踪的工作流程。 本图与实验方案第2.1步相关。(A) 面板改编自图1B，展示了图1A中所示的流程I（无标记多动物追踪）。为便于说明，每只动物均以虚线轮廓标出。每幅图像右下角的橙色条表示1 cm的比例尺。(B-D) 在执行maDLC过程中用于标注的帧图像快照。每幅图像右下角的橙色条表示5 cm的比例尺。(B) 标注前的示例帧。(C) 与B相同的帧，在完成标注后。(D) 另一标注帧的示例。C和D帧之间个体的身份未知，但在标注过程中无需考虑个体身份。如快照所示，只需正确标注每只动物的姿态即可。<a href="https://www.jove.com/files/ftp_upload/69506/69506fig2large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="maDLC 虚拟标记方法示意图；运动追踪实验中的数据校正与分析。" class="xfigimg" src="/files/ftp_upload/69506/69506fig3.jpg" data-altupdatedat="1784001604000" data-alt="图 3"> 
图 3：基于 maDLC 结果生成虚拟标记视频的工作流程。 本图与实验方案第 2.2 步相关。(A) 图中各面板改编自 图 1B，并展示了 图 1A 中所示的流程 II（虚拟标记创建）。为便于说明，每只动物均以虚线轮廓标出。白色箭头指示用作虚拟标记的关键点（每个 ID 的第 2 和第 4 个关键点）。在本示例中，虚拟标记以灰度输出：maDLC 标记中的紫色、绿色和红色分别显示为黑色、灰色和白色。示例 1 中，maDLC 结果直接输出为虚拟标记，未进行校正。示例 2 中，由于连续帧中出现 ID 切换，紫色和红色 ID 被交换并校正后输出。maDLC 结果中一个本应被校正的绿色点被遗漏，未经修改即被输出。每幅图像右下角的橙色条表示 1 cm 比例尺。(B) 基于 Python 的图形用户界面（GUI），用于编辑 h5 坐标数据文件，仅保留特定关键点，并将其他所有点替换为 NaN11。(Ba) 程序启动时的初始菜单窗口。通过 选择 h5 文件 按钮选择待编辑的文件。(Bb) 选择 h5 文件后的窗口。勾选需替换为 NaN 的关键点（以“名称-身体部位名称”形式单独列出），并指定用于 NaN 替换的起止时间（需输入帧率）或帧编号。点击 处理数据 后，编辑后的文件将保存在同一文件夹中，并自动备份原始文件。(C) 出现 ID 切换场景中的连续帧示例。(D) 对 B 中所有追踪点进行校正的示例。(E) 快照显示仅保留第 2 和第 4 个关键点后的 B 结果。(F) 对 E 结果进行校正的示例。与校正所有关键点（C → D）相比，仅对两个点进行校正（C → E → F）可减少所需编辑次数。图像 C-F 右下角的橙色条表示 5 cm 比例尺。 <a href="https://www.jove.com/files/ftp_upload/69506/69506fig3large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="用于生物学研究设置中运动分析的虚拟标记追踪示意图；展示流程。" class="xfigimg" src="/files/ftp_upload/69506/69506fig4.jpg" data-altupdatedat="1784001604000" data-alt="图 4"> 
图 4：虚拟标记视频追踪的工作流程。 本图与方案步骤 3 相关。（A）图示改编自图 1B，并展示了图 1A中所示的流程 III（虚拟标记视频的追踪）。为清晰显示追踪目标，每个个体均以虚线轮廓圈出。在此示例中，带有黑色、灰色和白色虚拟标记的个体分别被追踪为紫色、绿色和红色标签。在示例 1 中，灰色虚拟标记缺失，但 vmTracking 仍能保持正确的身份追踪。在示例 2 中，灰色标记出现在两个个体上，但追踪结果仍然正确。每幅图像右下角的橙色条表示 1 cm 的比例尺。（B-D）vmTracking 过程中用于标注的帧截图。在此步骤中使用 saDLC，每个关键点的定义均包含个体和身体部位信息。标注用于指明代表的是哪个个体的哪个身体部位。每幅图像右下角的橙色条表示 5 cm 的比例尺。（B）标注前某一帧的截图。（C）B 中帧在标注后的截图。（D）与 C 不同的另一帧在标注后的截图。即使在不同帧（例如 C 和 D）中，标注也能利用虚拟标记作为线索维持个体身份的一致性，如标签颜色的一致性所示。<a href="https://www.jove.com/files/ftp_upload/69506/69506fig4large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="视频运动追踪流程；vmTracking 方法，基于标记与无标记分析的示意图。" class="xfigimg" src="/files/ftp_upload/69506/69506fig5.jpg" data-altupdatedat="1784001604000" data-alt="图 5"> 
图 5：将追踪结果与无标记视频合并，生成不含虚拟标记的追踪视频的工作流程。 此为与步骤 3.8.2 中的“注意”相关的可选步骤。(A) 当将追踪结果应用于虚拟标记视频时，所生成的追踪视频会保留虚拟标记（vmTrackingvm+）。黄色箭头指示输出中可见的虚拟标记。若将追踪结果应用于原始的无标记视频，则生成不含虚拟标记的追踪视频（vmTrackingvm-），适用于展示或其他用途。每幅图像右下角的橙色条表示 1 cm 的比例尺。(B,C) 在将 vmTracking 结果应用于无标记视频时，项目目录中“videos”文件夹的文件管理情况。橙色框图示意性地展示了文件夹内容。(B) 通过将追踪结果输出至虚拟标记视频（图示为“4. 虚拟标记视频上的标签”）生成 vmTracking 追踪视频后，“videos”文件夹的状态。(C) 准备“videos”文件夹以将 vmTracking 结果输出至无标记视频。将面板 B 中的“1. 虚拟标记视频”和“4. 虚拟标记视频上的标签”文件移动或重命名，使其不再保留在该文件夹中。问题不在于文件本身，而在于其原始文件名会干扰处理过程。然后，将“5. 无标记视频”放入该文件夹，并将其重命名为与原始虚拟标记视频相同的文件名（例如 VMvideo.MP4）。在此状态下，重新运行 Create videos 将生成将追踪结果应用于无标记视频的追踪视频（“6. 无标记视频上的标签”）。本图改编自 Azechi &amp; Takahashi, 2025, PLOS Biology（CC BY 4.0）7。 <a href="https://www.jove.com/files/ftp_upload/69506/69506fig5large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="跟踪性能分析；maDLC 与 vmTracking 的柱状图比较；数据准确性指标。" class="xfigimg" src="/files/ftp_upload/69506/69506fig6.jpg" data-altupdatedat="1784001604000" data-alt="图6"> 
图6：使用 vmTracking 对跟踪准确性进行评估。（A-H）在12个拥挤（CR）场景中，maDLC 与 vmTracking 在匹配数（A）、假阴性（B）、假阳性（C）和 ID 切换（D）比例上的比较，以及在8个非拥挤（nCR）场景中匹配数（E）、假阴性（F）、假阳性（G）和 ID 切换（H）的比较。图中每个点表示各场景的测量值，柱状图表示由这些测量值计算出的平均值。统计比较采用 Wilcoxon 符号秩检验。（I）CR 场景中标注帧数量与匹配数及假阴性比例之间的关系。右侧绿色框内为左图中绿色虚线框区域的放大视图。图中点表示平均值。（J）虚拟标记准确性与 CR 和 nCR 场景中跟踪匹配数之间的关系。虚拟标记准确性按每对标记分为六类：两个点均正确分配给正确个体、一个正确一个缺失、一个正确一个错误、两个均错误、一个错误一个缺失，以及两个均缺失。对于每个场景，这些类别的比例以堆叠柱状图表示，每个柱上方标注了该场景对应的跟踪匹配数。CR 和 nCR 场景分别按跟踪匹配数从左到右升序排列。CR 场景：n = 12；nCR 场景：n = 8。***p &lt; 0.001，**p &lt; 0.01，*p &lt; 0.05。本图经 Azechi 和 Takahashi（2025）9 修改。 <a href="https://www.jove.com/files/ftp_upload/69506/69506fig6large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
补充图1：多动物 DeepLabCut 主窗口界面截图，显示各操作选项卡的位置。 图中用箭头标示了 vmTracking 流程中每一步所使用的选项卡。图像来自 DeepLabCut 图形用户界面（版本 2.2.3）。<a href="https://www.jove.com/files/ftp_upload/69506/Supplementary%20Figure%201.tiff" target="_blank">请点击此处下载该图。</a>
补充图2：单只动物 DeepLabCut 主界面截图，显示各操作选项卡的位置。 图中用箭头标示了 vmTracking 流程中每一步所使用的选项卡。图像截取自 DeepLabCut 图形用户界面（版本 2.2.3）。<a href="https://www.jove.com/files/ftp_upload/69506/Supplementary%20Figure%202.tiff" target="_blank">请点击此处下载该图。</a>
补充视频 1：多动物 DeepLabCut 与 vmTracking 在追踪三只小鼠中的比较。该对比视频展示了多动物 DeepLabCut（maDLC；左侧）和 vmTracking（右侧）在追踪三只小鼠过程中的表现。vmTracking 视频是通过将虚拟标记视频替换为原始无标记视频生成的，具体操作步骤见步骤 3.8.2 注释中的说明，以便呈现不含虚拟标记的追踪结果。对于每种追踪方法，个体身份均使用相同色系的颜色标签进行标注，以方便比较。在整个视频中，与 maDLC 相比，vmTracking 出现不同个体身体部位被错误识别的情况更少。值得注意的是，在约 15–17 秒处，maDLC 错误识别了绿色标签和红色标签的个体，导致二者分配的身份发生互换。<a href="https://www.jove.com/files/ftp_upload/69506/Supplementary%20Video%201.mp4" target="_blank">请点击此处下载该文件。</a>

本方案介绍了vmTracking方法，该方法能够在多只无标记动物自由移动的视频中实现高精度的姿态追踪，即使在动物密集聚集的拥挤条件下也能有效工作。该方法可提供可靠的数据，用于分析动物在可自由活动的半自然环境中发生的社会互动行为。

利用vmTracking提高啮齿类动物社会行为研究中多动物姿态估计的准确性

在利用啮齿类动物进行的社会行为研究中，人们日益希望在自由活动的条件下评估更为自然的互动行为。

我们旨在通过开发准确的多动物追踪方法，理解自由活动小鼠的社会互动。在多动物条件下实现准确姿态追踪和可靠个体识别仍然困难。首先，选择“管理项目”创建新的多动物项目，实现无标记视频跟踪。修改配置中的个体和身体部位字段。根据分析要求，YAML文件。选择“提取帧”以提取视频中的帧进行标记和训练。接下来，通过选择标签数据为每个提取的帧进行标记。为每个可见个体分配合适的身体部位，而不一定保持帧间一致的身份识别。要从提取的帧创建训练数据集，请选择创建训练数据集。在配置中将网络设置为DLCRNet_ms5。选择“训练”以开始训练网络。将本次训练的最大迭代参数设置为200,000次。其他所有训练参数都可以保持默认值。通过选择“评估”来评估训练好的网络。要对所选视频进行姿态估计，请在项目文件夹内的视频文件夹中选择“分析生成HDF5坐标数据及其他输出文件的视频”。要手动验证追踪结果，请选择创建带标签的跟踪视频。在DLC图形界面中启用“创建带有动物ID颜色的视频”选项，以便在视频中包含单个ID。然后检查生成的标签视频，检查身份切换或预测缺失。如果存在重大错误，请准备重新培训。用于重新训练、提取和注释离群值帧。选择提取或精炼异常值。注释完成后，点击合并数据集，自动进入训练数据集创建。然后重复培训流程。要纠正多动物DLC结果，打开自定义图形界面，只保留虚拟标记所需的关键点。选择“精炼轨迹小子”以更正仅包含所选关键点的HDF5文件。调整关键点，确保每个人在视频中保持一致的身份认同。保存文件后，视频文件夹里的HDF5文件会自动更新。接着，通过选择“创建视频”，根据修正数据创建一个带标签的新视频。在 DeepLabCut 2.2 中，如果视频文件夹中已有标记视频，则不会创建新的视频。在继续之前，先移除、重命名或移动现有文件。将标记的虚拟标记视频重命名为短文件名，以避免在DeepLabCut处理过程中出错。通过选择“管理项目”来跟踪虚拟标记视频，创建一个新的saDLC项目。在配置里。yaml 文件，在身体部位字段中列出所有个人和身体部位的组合。要从重命名后的虚拟标记视频中提取帧，请选择“提取帧”。现在用虚拟标记为每个提取的帧标记标签，分配一致的单个ID，确保ID和身体部位在各帧间匹配。当身体部位部分隐藏，但已知个人身份时，估算其位置并相应贴标签。通过选择“创建训练数据集”，从提取的帧创建训练数据集。将网络设置为本次训练的高效净B0。选择“培训”开始培训网络。将本次会话的最大迭代参数设置为200,000，其他设置保持默认值。评估训练好的网络后，按照之前演示的手动验证。在拥挤场景中，虚拟机追踪的匹配率明显高于maDLC。VM追踪的假阴性数量显著低于maDLC。然而，VM跟踪和maDLC在误报和ID切换次数上没有差异。在非拥挤场景中，虚拟机跟踪的匹配率显著高于maDLC。VM追踪的假阴性数量显著低于maDLC。虚拟机追踪和 maDLC 之间，假阳性和身份识别切换次数没有差异。在拥挤场景中，maDLC的匹配率在约400帧注释帧后稳定在约85%，且无进一步改善。而虚拟机跟踪则稳步上升，达到约95%，在大约1000帧时。在maDLC中，增加注释帧数并未减少误判。正确分配虚拟标记比例较高的场景通常显示更高的匹配率。然而，尽管有许多错误分配或缺少标记，像第3和第11集这样的场景仍然显示出较高的匹配率。我们的方案解决了多动物姿态追踪中身份维护不可靠的问题。它通过将虚拟标记与现有工具结合，提升姿势追踪的准确性。我们未来的研究将利用这些数据探讨群体动态如何影响小鼠的社会行为。

utilizing-vmtracking-to-improve-accuracy-multi-animal-pose-estimation

Research

科研

JoVE Journal

Behavior

行为

利用 vmTracking 提高啮齿动物社会行为研究中多动物姿势估计的准确性

本文介绍了一种长期对动物个体进行追踪的实验方案。该方法采用计算机视觉技术，通过龙虾作为案例研究对象，识别一组人工构建的标记，同时提供了龙虾的饲养、操作和标记方法的相关信息。...

长期共养水生动物的视频追踪：以挪威龙虾（Nephrops norvegicus）每日运动活动为例

本文介绍了对一系列墨西哥洞穴鱼行为进行高通量研究以及对机械感觉系统进行活体染色的方法。这些方法采用免费软件和自制脚本，为行为学研究提供了实用且经济高效的技术方案。...

墨西哥洞穴鱼的行为追踪与神经丘成像

本文介绍了一种用于临床前研究的啮齿类动物四足运动三维运动学数据采集与分析方案。...

用于啮齿类动物临床前研究的三维运动学步态分析

本文介绍了一种新型的自动化实验系统，该系统为三室实验提供了一种替代方案，并解决了多个现有局限性。该系统可提供多种行为学参数，从而在社交偏好和社会新颖性偏好测试期间，实现对小型啮齿类动物行为动态的严格分析。...

一种用于追踪小型啮齿类动物社会偏好行为动态的系统

新近发现的疾病相关基因在神经精神障碍发病机制中的作用仍不明确。一种改良的双侧子宫内电穿孔技术可实现将基因转入大量神经元群体中，并可用于研究基因表达变化对社交行为的因果影响。...

利用双侧子宫内电穿孔技术研究基因对啮齿类动物行为影响的实验流程

本方案介绍了如何构建一个小型且多功能的摄像机，以及如何利用该摄像机获取的视频来训练神经网络，以追踪操作性条件反射箱内动物的位置。这是对操作性条件反射测试中获得的数据日志进行标准分析的有力补充。...

使用多功能自制摄像机和DeepLabCut追踪操作条件反射箱中的大鼠

本方案基于先进的计算神经行为学方法，提供了一个综合框架，用于理解自然情境下的大脑编码机制。...

从神经行为学嵌入中解码自然行为

本方案建立了一种利用无标记跑台实验结合深度学习驱动的多关节轨迹自动标注技术的大鼠后肢运动学评估流程，可实现可重复的运动量化分析。...

基于深度学习的多关节同步追踪用于大鼠后肢运动学的客观量化

本文描述了一种可在食物限制大鼠中显著增强觅药行为的实验方法。在完成海洛因自给药训练后，大鼠进入一段在无药物环境中的戒断期，期间对其进行轻度食物限制。随后，在与药物相关的环境中检测其觅药行为。...

一种研究长期食物限制对戒断大鼠海洛因觅药行为影响的实验方法

本文描述了一种研究与酒精相关的环境背景触发大鼠酒精寻求行为复现能力的实验方法。...

一种观察大鼠情境诱导的巴甫洛夫条件性酒精寻求行为复现的实验方法

了解vmTracking方法，用于在密集群体中实现啮齿动物的高精度无标记姿态追踪。该技术可在半自然环境下可靠采集社会行为数据，助力神经科学研究。

利用vmTracking提高啮齿类动物社会行为研究中多动物姿态估计的准确性

探索更多视频