利用vmTracking提高啮齿类动物社会行为研究中多动物姿态估计的准确性

我们旨在通过开发准确的多动物追踪方法，理解自由活动小鼠的社会互动。在多动物条件下实现准确姿态追踪和可靠个体识别仍然困难。首先，选择“管理项目”创建新的多动物项目，实现无标记视频跟踪。

修改配置中的个体和身体部位字段。根据分析要求，YAML文件。选择“提取帧”以提取视频中的帧进行标记和训练。

接下来，通过选择标签数据为每个提取的帧进行标记。为每个可见个体分配合适的身体部位，而不一定保持帧间一致的身份识别。要从提取的帧创建训练数据集，请选择创建训练数据集。

在配置中将网络设置为DLCRNet_ms5。选择“训练”以开始训练网络。将本次训练的最大迭代参数设置为200,000次。

其他所有训练参数都可以保持默认值。通过选择“评估”来评估训练好的网络。要对所选视频进行姿态估计，请在项目文件夹内的视频文件夹中选择“分析生成HDF5坐标数据及其他输出文件的视频”。

要手动验证追踪结果，请选择创建带标签的跟踪视频。在DLC图形界面中启用“创建带有动物ID颜色的视频”选项，以便在视频中包含单个ID。然后检查生成的标签视频，检查身份切换或预测缺失。

如果存在重大错误，请准备重新培训。用于重新训练、提取和注释离群值帧。选择提取或精炼异常值。

注释完成后，点击合并数据集，自动进入训练数据集创建。然后重复培训流程。要纠正多动物DLC结果，打开自定义图形界面，只保留虚拟标记所需的关键点。

选择“精炼轨迹小子”以更正仅包含所选关键点的HDF5文件。调整关键点，确保每个人在视频中保持一致的身份认同。保存文件后，视频文件夹里的HDF5文件会自动更新。

接着，通过选择“创建视频”，根据修正数据创建一个带标签的新视频。在 DeepLabCut 2.2 中，如果视频文件夹中已有标记视频，则不会创建新的视频。在继续之前，先移除、重命名或移动现有文件。

将标记的虚拟标记视频重命名为短文件名，以避免在DeepLabCut处理过程中出错。通过选择“管理项目”来跟踪虚拟标记视频，创建一个新的saDLC项目。在配置里。

yaml 文件，在身体部位字段中列出所有个人和身体部位的组合。要从重命名后的虚拟标记视频中提取帧，请选择“提取帧”。现在用虚拟标记为每个提取的帧标记标签，分配一致的单个ID，确保ID和身体部位在各帧间匹配。

当身体部位部分隐藏，但已知个人身份时，估算其位置并相应贴标签。通过选择“创建训练数据集”，从提取的帧创建训练数据集。将网络设置为本次训练的高效净B0。

选择“培训”开始培训网络。将本次会话的最大迭代参数设置为200,000，其他设置保持默认值。评估训练好的网络后，按照之前演示的手动验证。

在拥挤场景中，虚拟机追踪的匹配率明显高于maDLC。VM追踪的假阴性数量显著低于maDLC。然而，VM跟踪和maDLC在误报和ID切换次数上没有差异。

在非拥挤场景中，虚拟机跟踪的匹配率显著高于maDLC。VM追踪的假阴性数量显著低于maDLC。虚拟机追踪和 maDLC 之间，假阳性和身份识别切换次数没有差异。

在拥挤场景中，maDLC的匹配率在约400帧注释帧后稳定在约85%，且无进一步改善。而虚拟机跟踪则稳步上升，达到约95%，在大约1000帧时。在maDLC中，增加注释帧数并未减少误判。

正确分配虚拟标记比例较高的场景通常显示更高的匹配率。然而，尽管有许多错误分配或缺少标记，像第3和第11集这样的场景仍然显示出较高的匹配率。我们的方案解决了多动物姿态追踪中身份维护不可靠的问题。

它通过将虚拟标记与现有工具结合，提升姿势追踪的准确性。我们未来的研究将利用这些数据探讨群体动态如何影响小鼠的社会行为。