Method Article

从神经行为学嵌入解码自然行为

DOI:

10.3791/68668

⸱

October 3rd, 2025

 , 
1Department of Pharmacology, Joint Laboratory of Guangdong-Hong Kong Universities for Vascular Homeostasis and Diseases, SUSTech Homeostatic Medicine Institute, School of Medicine, Southern University of Science and Technology, 2Shenzhen Key Laboratory of Neuropsychiatric Modulation and Collaborative Innovation Center for Brain Science, Shenzhen-Hong Kong Institute of Brain Science, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, 3CAS Key Laboratory of Brain Connectome and Manipulation, the Brain Cognition and Brain Disease Institute, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, 4Guangdong Provincial Key Laboratory of Brain Connectome and Behavior, the Brain Cognition and Brain Disease Institute, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, 5Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, the Brain Cognition and Brain Disease Institute, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, 6School of Biological Science and Medical Engineering, State Key Laboratory of Digital Medicine, Southeast University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

该协议提供了一个基于先进计算神经行为学方法的集成框架，以理解自然主义背景下的大脑编码。

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

动物通过丰富而动态的大脑活动与自然环境互动。了解神经群体动态如何编码自然行为仍然是系统神经科学的一个基本挑战。基于深度学习的行为分析和微型荧光成像的最新进展为研究大脑如何编码自然行为开辟了新途径。在这里，本研究提出了一个综合的实验和计算框架，该框架结合了社会行为图谱（SBeA）、微型双光子显微镜（mTPM）和使用辅助变量（CEBRA）的高维记录的一致嵌入，以从大脑动力学中解码复杂的行为。本研究使用自由移动的小鼠之间的自然社会互动作为模型系统，实现高分辨率行为注释和同步神经成像。该框架包括精确的行为姿势估计、同步双鼠标跟踪、神经嵌入对齐以及直接从神经主成分解码行为特征。本研究表明，这种方法实现了 3 的解码精度。± 1.5 像素的姿势和 89 ± 6% 的动物基序解码准确率，凸显了其稳健性和通用性。该方法为探索大脑活动如何反映结构化行为状态提供了强大的工具，并为未来自然神经编码原理的研究奠定了基础。

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

该框架旨在捕获和解码自然实验环境中自由移动动物的行为和神经影像学数据。它包括三个关键组件：基于深度学习的姿势估计和行为分类方法SBeA1、微型荧光成像技术mTPM2和基于对比学习的神经行为学嵌入算法CEBRA3。最近的研究强调了自由移动动物中神经行为学过程的复杂性，这超过了在头部固定实验范式中观察到的 4,5。然而，技术限制和可变性阻碍了这些方法在更广泛的自然行为研究中的广泛应用。该协议提供了一个稳定且集成的框架，确保在自然主义环境中收集的行为和神经数据可供广泛的研究实验室访问。

鉴于动物在自然环境中自由移动，该框架结合了基于深度学习的姿势估计，以实现对姿势的精确跟踪6,7。与基于深度学习的方法相比，传统的基于图像处理的跟踪方法不足以捕捉精细的运动，例如肢体和爪子动力学8。自由移动的动物表现出的多样化和复杂的行为对监督行为分类方法9提出了挑战，因为预定义的行为类别通常无法涵盖自然行为表型的全部范围10。因此，基于无监督学习的分类方法更适合分析自然环境中的行为1。它们可以根据连续行为的内在结构相似性，将连续行为综合分解为离散的亚秒基序，然后通过数据驱动的聚类给出一致的定义。

自由移动动物的大脑成像需要捕捉单神经元活动的广泛变异性4,5。自由移动动物的电生理记录在检测主要为亚阈值活动的神经元的能力方面受到限制11。此外，单光子显微镜的分辨率和对比度低，因此很难在成像过程中保持一致的神经元身份12。与单光子显微镜相比，mTPM具有卓越的分辨率和对比度，使其成为研究自然行为神经编码的更有效工具2,13,14,15。

在行为和神经数据之间建立稳健的映射需要能够揭示其共享信息结构的方法16。传统的降维技术，如主成分分析（PCA）17、t分布随机邻域嵌入（t-SNE）18和均匀流形近似和投影（UMAP）19，无法有效地将行为和神经数据嵌入到一个共同的特征空间中。相比之下，基于深度学习的嵌入方法，如CEBRA，可以在监督和自监督框架中集成多种数据模态，生成高质量的潜在表示3。虽然近年来出现了各种替代方法 20,21,22，但该拟议的框架通过结合商业化或由综合教程支持的成熟方法来优先考虑实际应用。

与最近的研究 4,5 相比，该框架提供了三个关键进步。首先，它消除了行为分类中的人类偏见。以前的研究依赖于手动行为标记，这是劳动密集型的并且容易出现不一致，特别是当注释者感到疲劳时 23,24,25。相比之下，该框架采用无监督行为分类，通过在分配定义之前客观地分解和聚类行为主题来保留行为模式的自然结构26,27。其次，使用mTPM可以在单个神经元水平上捕获更复杂的神经元动力学。这种方法学优势扩展了该框架的适用性，以解码来自不同神经群体的复杂自然行为，包括那些涉及亚阈值编码的神经群体28。第三，该框架将行为和神经数据集成到一个统一的表征空间中，而不是采用 UMAP 单独嵌入每种模态或使用支持向量机在神经活动和行为之间施加严格的映射，同时忽略它们的内在动力学 4,5。这种联合嵌入方法确保了行为与大脑活动之间关系的更全面且具有生物学意义的表示。

该框架非常适合涉及记录和解码在自然实验条件下自由移动的动物的行为和神经数据的研究项目。虽然当前的实现针对小鼠研究进行了优化，但使其适应其他动物模型可能需要额外的开发。由于该框架中使用的硬件组件是商业化的，一方面，总体成本可能相对较高。另一方面，这种商业可用性显着减少了解决物流问题所花费的时间，并确保以有效的方式获得稳定可靠的结果。

该协议旨在可重复，可供配备小动物成像和行为跟踪的神经科学实验室使用。整个系统集成了市售的 mTPM 设备和多角度行为采集设置。典型的神经记录以 4.84 Hz 和 512 × 512 像素分辨率采集，行为数据以每秒 30 帧的速度捕获。数据同步是通过预处理过程中的TTL脉冲对齐来实现的。训练和解码可以在带有 GPU（例如 NVIDIA RTX 3090 或同等产品）的标准工作站上执行，并且每个实验需要大约 100 GB 的存储空间。虽然当前的实施针对自由移动的小鼠进行了优化，但工作流程的模块化设计允许通过根据动物的大小和活动性调整跟踪校准和成像参数来适应其他物种。这些实际细节支持该协议在一系列实验环境中的适应性和可重复性。

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

中国科学院深圳先进技术研究所动物护理与使用委员会批准了所有饲养和实验程序。

1、平台建立

注意：该平台由两个主要组件组成：mTPM 设备和 3D 行为设备（图 1A）。mTPM设备有助于mTPM成像与行为数据的实时同步，从而能够高效、稳定、连续地采集自由移动的动物的高质量数据。3D行为设备配备了四个摄像头，用于捕捉动物行为的全场景，以及一个用于重建3D动物姿势的自动校准模块。这两台设备都需要在各自的版本中集成同步模块。

  1. 设备连接
    1. 移除 3D 行为设备的外壳。将 3D 行为设备的其余部分（包括四个摄像头和一个自动校准模块）放置在 mTPM 设备的行为记录室内。
    2. 将 3D 行为设备同步模块的通用串行总线 （USB） 电缆连接到 3D 行为设备的工作站。
    3. 通过一根超小型 A 版 （SMA） 电缆将 mTPM 设备的同步模块连接到 mTPM 设备的控制器。
    4. 通过一根 SMA-Bayonet Neill-Concelman （BNC） 转换电缆将 3D 行为设备同步模块的晶体管-晶体管逻辑 （TTL） 输出端口连接到 mTPM 设备同步模块的 TTL 输入端口。
  2. mTPM 帧的时间戳记录
    1. 打开 mTPM 设备的每个电源。
    2. 启动 mTPM 录制软件和 mTPM 同步软件。
    3. 设置 mTPM 帧的保存路径和同步时间戳。
      注意：请勿使用任何非英文字母和特殊字符来命名路径。
    4. 设置mTPM录制软件的录制帧数。建议的帧数为 6000，足以完成同步调试步骤。
    5. 选择 mTPM 同步软件的每个通道。
    6. 通过 mTPM 录制软件开始录制 mTPM。在开始录制之前，请关闭房间内的任何灯，以保护 mTPM 免受光线过度燃烧。当用户开始录制时，mTPM 同步软件将自动运行。
    7. 检查 mTPM 同步软件是否捕获了 mTPM 帧时间戳。
      注意：mTPM 同步软件中显示的 mTPM 帧时间戳是尖锐的 TTL 脉冲。每帧成像都会触发一个尖锐的 TTL 脉冲，默认为 4.84 Hz。如果软件面板上没有显示脉冲，则存在 2 个正常问题。第一个是 mTPM 设备的控制器驱动程序不支持时间戳捕获。改进其驱动程序版本以支持时间戳捕获可以解决第一个问题。第二个是SMA电缆连接不良。确保 SMA 连接器已牢固拧紧。在检查时间戳之前，请返回 1.1.2，然后逐步尝试。
    8. 等待录制停止。检查是否保存了 mTPM 帧的.tif文件、一个 .tdms 文件和一个时间戳的.tdms_index文件。
  3. 3D行为设备的四个摄像头的时间戳记录
    1. 在自定义相机同步脚本中设置视频的保存路径和行为时间戳。
      注意： 自定义相机同步代码 https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py。
    2. 启动 mTPM 同步软件。设置 mTPM 同步时间戳的保存路径。
    3. 开始录制 mTPM 同步软件。运行自定义的摄像机同步脚本。
    4. 检查 mTPM 同步软件是否捕获了行为时间戳。
      注意：mTPM 同步软件中显示的行为时间戳是尖锐的 TTL 脉冲。每 30 帧行为视频帧录制，就会向 mTPM 同步软件发送一个行为时间戳。行为时间戳也将保存在 3D 行为设备的工作站中。
    5. 检查是否保存了4个行为视频.avi文件、3D行为设备中行为时间戳的1个.txt文件、mTPM工作站中行为时间戳的1个.tdms文件和1个.tdms_index文件。
  4. 3D行为设备的相机校准
    1. 调整四台相机的拍摄角度。四台相机应全面覆盖整个开阔场地的底部，同时将其视野延伸到开阔场地最远边界上方至少 20 厘米处，以确保完全捕捉到老鼠抬起的实例。
    2. 将校准模块放在拍摄区域的中心。运行相机校准软件。在运行相机校准软件之前，请关闭所有灯。
      注意： 四个摄像头将捕获校准屏幕显示的移动检查板的帧。相机标定基于张氏标定方法29。
    3. 运行相机标定软件后，将保存一个 .mat 文件，其中包含用于动物 3D 姿态重建的相机投影矩阵。由于系统同步步骤的行为数据索引依赖于校准 .mat 文件，因此请确保在整个系统的同步步骤之前完成相机校准步骤。
  5. 整个系统同步
    注意：在此步骤之前，请确保 mTPM 同步软件可以单独接收来自 mTPM 帧和 3D 行为设备的时间戳。
    1. 打开 mTPM 设备和 3D 行为设备的每个电源。
    2. 启动 mTPM 录制软件、mTPM 同步软件和自定义相机同步脚本。
    3. 参考步骤 1.3.1 设置它们的路径和参数。通过 mTPM 录制软件开始录制 mTPM。
    4. 运行自定义的摄像机同步脚本。确保 mTPM 帧的录制开始时间在运行行为录制脚本之前，以便 mTPM 同步软件可以从 3D 行为设备接收时间戳。将 mTPM 帧的记录结束时间设置为长于行为记录的时间，以便 mTPM 同步软件可以捕获行为时间戳而不会丢失。
      注意：建议 mTPM 帧的记录时间长于行为记录的 5 分钟。例如，如果用户想要记录 15 分钟的行为，则 mTPM 帧数应设置为 4.84 x （15+5） x 60 = 5808 帧。
    5. 等待录制停止。录制后，有一个 mTPM 帧.tif文件、两个 mTPM 同步 .tdms 文件、两个 .tdms_index 文件、四个行为视频.avi文件和一个行为时间戳.txt文件。
    6. 运行自定义的同步代码以对齐 mTPM 帧和行为视频。自定义同步代码在 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m。
      1. 在运行此脚本之前，请按如下方式手动组织文件：
        ----\Root path # 保存所有数据的路径
        --------\behavior_all # 保存行为数据的路径
        ------------\A-B-C-D-E-caliParas.mat # 相机校准文件
        ------------\A-B-C-D-E-camera-1.avi # 来自相机 1 的行为视频
        ------------\A-B-C-D-E-camera-2.avi # 来自相机 2 的行为视频
        ------------\A-B-C-D-E-camera-3.avi # 来自相机 3 的行为视频
        ------------\A-B-C-D-E-camera-4.avi # 来自相机 4 的行为视频
        ------------\A-B-C-D-E-event.txt # 来自 3D 行为设备的行为时间戳
        ----\tpm_suite2p # 保存 mTPM 数据的路径
        --------\sep # 保存 mTPM 帧和时间戳的路径
        ------------\A-B-C-D-E-event # 进行时间戳对齐的路径
        ----------------\beh.tdms # 行为通道 .tdms 文件
        ----------------\beh.tdms_index #The行为通道.tdms_index文件
        ----------------\tpm.tdms # mTPM 通道 .tdms 文件
        ----------------\tpm.tdms_index # mTPM 通道.tdms_index文件
        ------------\A-B-C-D-E-tpm # 保存 mTPM 帧的路径
        ----------------\F.tif # 每个录制的 mTPM 帧
        --------\process # 提取神经轨迹的路径
        ------------\C # 每只鼠标的路径
        ----------------\F.tif # 每只鼠标的 mTPM 帧
        A 到 G 是名称字段的定义，其中
        A表示实验组，例如，自由、
        B 表示视频的序列，例如 seg1，
        C表示动物的身份，例如1tpmss，
        D表示交互伙伴，例如，1wt，
        E 表示实验日期，例如20220226和
        F 表示 mTPM 记录帧块（每个块 5000 帧），例如社交 1。
        注意：3D 行为跟踪系统的帧速率为 30 Hz，而 mTPM 的帧速率为 4.84 Hz。由于可实现的最大同步精度受到最低帧速率 （4.84 Hz） 的限制，因此同步的时间分辨率约为 206 ms。行为时间戳作为参考，每个 mTPM 帧都与最近的行为时间点对齐。连续 mTPM 帧之间相对于行为时间线的间隔使用逐步方法进行插值。

2. 神经行为学数据记录

注意：神经行为学数据记录过程包括四个关键步骤（图1B）。

  1. 安装 mTPM
    注意：由于 mTPM 安装的详细信息包含在 mTPM 的教程中，因此这里仅介绍关键步骤。
    1. 准备颅窗。
      注意：颅窗的准备主要包括病毒的注射、盖玻片的植入和金属板的固定。由于各种研究中的成像部位不同，颅窗的准备细节也不同。在这种情况下，颅窗的准备由外包服务进行。示例数据中的成像大脑区域是初级体感皮层（S1）。
    2. 将鼠标约束器固定到 mTPM 显微纵器上。通过金属板将鼠标头固定在约束器上。
    3. 通过mTPM找到荧光。在打开 mTPM 成像之前关闭所有灯。在执行以下步骤之前，将 mTPM 固定到支架上。
      1. 在颅窗顶部加入一滴卡波姆眼胶。当颅窗对齐在 mTPM 物镜下方时，将鼠标移动到运动平台中。
      2. 垂直移动显微纵器以找到成像平面。将显微纵器移动到平面内以使成像平面居中。
    4. 将上底座固定到 mTPM 上。将下基部粘在上基部和颅窗上。
      1. 为确保结构稳定性，请填充两个底座与附在鼠标头部的金属板支架之间的间隙，并用高性能丙烯酸结构胶粘接。将粘合剂固化30分钟，然后用镊子轻轻探测基底来评估粘合的稳定性。如有必要，使用额外的粘合剂，直到实现牢固固定。
        注意：必须防止底座和 mTPM 本身之间发生任何直接粘连。上下底座是小型铝制框架。上部底座是定制的，以紧贴 mTPM 外壳的下部轮廓。具有多种高度选项的下基座用于弥合上基座和颅窗之间的间隙。所有下底座都具有与上底座相同的平面尺寸，以确保机械兼容性，仅高度不同，以匹配不同的头骨到上底座的距离。
    5. 在基室内加入一滴卡波姆眼部凝胶。通过mTPM检查神经元荧光。如果神经元荧光不清晰可见，请使用颅钻去除粘合剂，允许分离基底，然后重复上述过程，直到达到荧光清晰度。
    6. 用胶带将铝箔固定在 mTPM 的纤维和颅窗之间。
      注意： 此步骤是在整个录制过程中保持适当的遮光效果。尽量减少铝箔和胶带的使用，以减轻整体重量。
    7. 打开室内灯并测试 mTPM 框架的清晰度。
  2. 将鼠标放入空旷的场地
    注意：此步骤涉及将鼠标放置在空旷的场地，同时确保光纤和 mTPM 的适当重量平衡。
    1. 给至少 10 个氦气球充气，并分别用棉绳将它们系好。从鼠标约束器上拆下金属板。
    2. 用一只手握住鼠标的尾巴。用另一只手支撑 mTPM 光纤。
    3. 轻轻地将鼠标放入空旷的区域。使用棉线将氦气球悬挂在纤维上。调整气球的数量，直到鼠标可以自由移动并不受限制地探索开阔的场地。
      注意：当小鼠保持接地，其前肢不因向上浮力而抬起，同时仍充分平衡mTPM的重量以使动物保持自然的头部姿势并自发地直立时，确定最佳气球数量。棉线应系在空地上方的高度，以确保足够的纤维长度，以便鼠标不受限制地移动。棉线系在光纤的高度，光纤与露天腔室的顶部边缘大致对齐。在给定的示例中，一旦完成此步骤，将一只未经处理的小鼠引入开放场地，以实现自由的社交互动。
    4. 关闭 mTPM 外壳的门以尽量减少外部干扰。
  3. 打开 mTPM 录制。
    1. 启动 mTPM 录制软件和 mTPM 同步软件。参考平台建立步骤设置其路径和参数。
    2. 通过 mTPM 录制软件开始录制 mTPM。验证同步软件中是否存在与每个双光子帧相对应的时间标记。
    3. 评估双光子图像的对比度是否不受影响，并确认小鼠的运动不会损害记录帧的稳定性。如果检测到任何问题，请重复同步过程和 mTPM 安装过程，直到双光子成像产生具有精确对齐时间标记的清晰帧。
  4. 打开行为记录
    1. 启动自定义相机同步脚本。
      注意： 自定义相机同步代码 https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py。
    2. 设置参考平台建立步骤的路径和参数。
    3. 通过自定义的摄像机同步脚本开始记录行为。验证 mTPM 同步软件中是否存在与每 30 个行为帧相对应的时间标记。
    4. 检查来自摄像机的四个视频流是否正确同步，并检查 3D 行为跟踪系统的视频捕获参数。
      注意：在上述设置中，相机使用 640 × 480 像素的帧分辨率、每秒 30 帧的帧速率、RGB 帧和自动曝光。自动曝光允许相机根据环境照明条件动态调整亮度。由于曝光时间直接影响可实现的帧速率，特别是在需要更长时间曝光的弱光条件下，帧速率可能会降低。为了确保在 30 Hz 下稳定采集帧，控制背景照明以最大限度地减少曝光时间非常重要。在整个录制过程中，摄像机增益和合并设置保持默认值。
    5. 一旦达到预定义的持续时间，行为记录将自动停止。完成行为录制后，手动关闭 mTPM 录制和同步。通过遵循这些步骤，完成了同时神经和行为数据采集的单次试验。

3. 神经行为学数据预处理

注意：如果成功完成上述所有步骤，则应获得三类数据文件：双光子成像帧（.tif），四个行为视频记录（.avi）以及一个相机校准文件（.mat）和两个同步时间戳文件（.tdms）用于后续数据预处理（图1C）。这些数据应手动重命名并放入参考步骤 1.5.7 的文件夹中。

  1. 预处理 mTPM 数据
    1. 通过 suite2p30 从 mTPM 帧中提取神经信号轨迹。将 suite2p 的参数保持在默认值，以确保可重复性。仅调整帧速率以匹配 mTPM 采集设置。
      注意：由于后续步骤包括信号处理和质量控制，因此在此阶段无需对 suite2p 参数进行大量微调。保持数据集之间的一致性更为重要。
    2. 运行自定义代码以对齐 mTPM 帧和行为视频之间的时间戳。
      注意：此脚本将行为事件时间戳与相应的 mTPM 采集时间对齐。它为每个记录生成并保存索引映射，从而实现行为和神经数据的同步分析。此自定义代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m。
    3. 运行自定义代码以转换 suite2p 输出中的数据格式。
      注意：该脚本通过识别和映射相关帧索引来提取和重组单个动物的 mTPM 数据。它选择相应的神经活动轨迹，并将其重组为标准化的数据格式，从而简化分段记录的下游分析。此自定义代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m。
    4. 运行自定义代码以重新采样神经信号以与行为帧保持一致。
      注意：此脚本对 mTPM 数据执行时间重采样，以将神经活动轨迹与行为时间戳对齐。它加载先前分段的神经数据和同步指数，相应地提取重采样的迹线，并将输出保存为标准化格式以供进一步信号处理。时间重采样的方法是逐步插值。此自定义代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m。
    5. 运行自定义代码以优化神经轨迹。
      1. 由于逐步插值可能会引入振铃伪影和高频噪声，因此设计具有2 Hz通带频率和2.2 Hz阻带频率的等纹波低通滤波器来减轻这些伪影。过滤器的阶数为 61。
      2. 之后，使用Weijian Zong的去噪方法对重新采样的mTPM钙痕量进行细化13。它使用百分位数和局部方差标准估计局部基线并计算 ΔF/F 信号。ΔF/F 是一种无量纲测量，表示荧光强度相对于基线的相对变化，通常用于量化钙成像中的神经活动。由于分子 （ΔF） 和分母 （F） 都是任意荧光单位，因此生成的 ΔF/F 值没有物理单位，以比率或百分比表示。根据信号范围阈值，排除信号极平坦或饱和的单元。生成的高质量神经活动轨迹被保存以供下游分析（ 图2A， 图3A和 图4A）。
        注意：自定义代码可在 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m 获得。
  2. 预处理行为数据
    1. 使用防漂移姿势跟踪器（ADPT）7从视频记录中提取行为姿势。
      注意：ADPT 解决了在基于卷积神经网络的方法（如 DeepLabCut6 和 SLEAP22）中观察到的频繁点漂移问题。ADPT 特别适用于涉及神经记录设备的场景，例如自由移动动物的 mTPM 成像，因为它可以有效减少光纤运动引起的点漂移。ADPT 的存储库位于 https://github.com/tangguoling/ADPT。
      1. 鉴于实验设置涉及两只小鼠，其中 mTPM 作为其中一只小鼠的标识符，训练两个独立的单小鼠 ADPT 模型以分别估计每只小鼠的姿势。
      2. 对于每个模型，手动注释 16 个关键点 1,10,15,31 - 包括鼻子、左耳、右耳、颈部、左右前肢、左右后肢、左右前爪、左右后爪、背部、尾根、中尾和尾尖 - 大约 600 帧，每个摄像机视图手动标记 150 帧，用于 15 分钟的视频。
      3. 使用默认参数训练 ADPT 模型。训练和预测参数的详细信息 https://github.com/tangguoling/ADPT/blob/main/code/config.yaml 和 https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml。
    2. 重建 3D 动物姿势。训练完成后，独立应用这两个模型，从不同相机拍摄的每个视频中预测每只鼠标的姿势。将生成的数据合并到单个表文件中以进行进一步处理。
    3. 结合相机校准文件32，使用三角测量对行为轨迹进行3D重建。重建后，获得受试者小鼠（携带mTPM的那只， 图2B， 图3B， 图4B）和目标小鼠（相互作用的同种， 图2C， 图3C， 图4C）的运动轨迹，以进行后续分析。
    4. 在社会互动研究中，个体间距离是社会动态的关键指标33.使用相应身体点之间的成对欧几里得距离计算两只小鼠之间的相对身体距离，为进一步的社会行为分析提供定量测量（ 图2D， 图3D， 图4D）。
    5. 分解和分类行为基序。
      注意：尽管前面的步骤产生了细粒度的姿势轨迹，但它们还没有告诉我们动物在做什么。行为是指动物在特定时期内的移动方式，分配行为涉及给每个这样的时期一个有意义的、人类可解释的标签。正常的方法是使用人工注释。
      1. 由于行为记录通常太长而无法手动标记完整，因此请使用机器学习方法。
        注意：监督学习遵循预定义的标记规则：人工注释者为选定的行为片段分配标签，然后用于训练机器学习或人工智能模型以预测整个数据集中的标签。虽然这种方法提高了行为分类的效率，但它仍然受到有限的人类可解释标签集的限制，这在处理复杂的自然行为时是一个特别重要的限制。为了捕捉自然行为的丰富可变性，已经开发了无监督行为分类方法。这些方法识别了不同时间行为主题之间的内在相似性，并将它们聚集在低维特征空间中，从而实现更有效、更公正的人类解释。从本质上讲，监督分类依靠预定义的人类标签来指导行为识别，而无监督分类则无需事先标记即可发现潜在的行为结构，从而在捕捉复杂的自然动态方面提供了更大的灵活性。
      2. 在自然行为的框架内，使用行为图谱（BeA）10 和社会行为图谱（SBeA）1 （ 图2E， 图3E， 图4E）识别两只小鼠的行为基序，这两种方法都是为行为分割而设计的无监督聚类方法。这些方法根据动物行为的内在动态和层次结构34将动物行为分解和聚类为亚秒主题，随后将它们与定义的行为类别相关联。
    6. 使用BeA提取单个小鼠的行为基序。
      1. 要减少噪声，请应用具有 500 毫秒时间窗口的中值滤波器。利用背部和尾部基部关键点进行身体对齐，以促进非运动运动的分解，而利用右前肢、左前肢、右后肢和左后肢关键点进行体型归一化。
      2. 对于行为分解，使用39个对齐的身体坐标，包括：鼻子（x，y，z），左耳（x，y，z），右耳（x，y，z），颈部（x，y，z），左前肢（x，y，z），右前肢（x，y，z），左后肢（x，y，z），右后肢（x，y，z），左前爪（x，y， z）、右前爪 （x， y， z）、左后爪 （x， y， z）、右后爪 （x， y， z）、后爪 （z） 和尾根 （x， z）。
      3. 将时间缩减指数设置为 5，聚类分辨率为 3。使用频谱聚类进行初始化，采用带宽 sigma 为 30 的高斯核。将最小和最大分割长度分别设置为 500 毫秒和 2000 毫秒。
      4. 对于行为基序嵌入，应用具有 30 个最近邻且最小距离为 0.05 的 UMAP。利用Ward连锁和欧几里得成对距离，通过分层聚类对基序进行聚类，以提高分类的稳定性。BeA 的存储库位于
      5. 使用 SBeA 识别社会行为主题。将SBeA的初始化参数设置为与BeA中使用的参数一致，并进行了以下修改：将中值过滤器窗口大小设置为1000 ms，最小分割长度增加到2000 ms，最大分割长度扩展到5000 ms用于社会行为分解。
      6. 对于基序嵌入，应用带宽 sigma 为 2 的高斯核。社会行为集群的最终数量范围为 16（下边界）到 280（上限）。在所提供的示例中，仅将 16 个最大的集群用于演示目的。SBeA 的存储库位于 https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md。

4. 神经行为学数据图谱

  1. 准备映射数据集。在上述准备之后，有七个数据集可用于神经行为学图谱，包括神经元活动、主体姿势、物体姿势、身体距离、主体行为基序、客体行为基序和社会行为基序。按如下方式手动组织这些文件：
    数据路径 # 保存所有数据的路径
    ----\A-B-C-D-E-neu.mat # 神经元活动
    ----\A-B-C-D-E-pose-tpm.mat # 主体姿势
    ----\A-B-C-D-E-pose-free.mat # 物体姿势
    ----\A-B-C-D-E-rel_dist.mat # 身体距离
    ----\A-B-C-D-E-mov-tpm.mat # 主体行为基序
    ----\A-B-C-D-E-mov-free.mat # 对象行为主题
    ----\A-B-C-D-E-sbea.mat # 社会行为主题
    字段 A、B、C、D 和 E 的定义与 1.5.7 相同。用于复制的演示数据 https://doi.org/10.6084/m9.figshare.29606795.v1。
  2. 使用 CEBRA 创建映射的嵌入。
    注意：鉴于CEBRA集成了假设驱动和发现驱动的方法来构建嵌入，它非常适合揭示与各种辅助变量相关的神经表示（图5A）。
    1. 为确保对不同模态的嵌入进行系统比较，请标准化 CEBRA 模型的参数。模型架构采用 10 个偏移量，批量大小为 1024，学习率为 0.0001，温度参数为 1。
    2. 将输出维度设置为 3，并进行最多 15,000 次迭代的训练。使用余弦距离作为相似度指标，而条件变量定义为时间偏移量为 10 的时间增量。使用神经元活动数据作为输入，辅助变量作为标签来生成联合嵌入。
  3. 对于神经元活动的自嵌入，应用相同的 CEBRA 参数，但仅使用神经元活动数据作为输入。

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

与基于试验的实验相比，对自然行为的研究呈现出更大的复杂性。首先，在自然条件下，神经活动和行为都缺乏固定的基线。这些活动是反复出现的，这意味着它们受到先前状态的影响，因此，调整特定行为的开始以比较神经活动无法理清先前神经行为学状态的影响。其次，自然行为中的神经编码主要发生在种群水平 4,5。在单个神经元中观察到的变异性足以被视为噪声。为了验证这一点，这部分对神经活动和自然行为姿势进行了相关性分析（图2F、图3F、图4F）。由此产生的相关系数矩阵显示，神经元与姿态迹没有特定对应关系。具体来说，神经信号与受试者姿势、物体姿势或体间距离之间的相关系数均落在-0.3至+0.3的范围内，通常被认为是弱相关性15（图2G、图3G、图4G）。这些发现表明，在自然条件下，与姿势相关的信息不会以神经元特异性方式编码。

鉴于这些因素，该框架提供了一种客观的方法来捕获和绘制神经群体水平的神经行为学数据。mTPM 成像可确保最大程度地保留单个神经元的变异性。此外，ADPT使用基于深度学习的姿态估计和BeA和SBeA等无监督行为分解方法，生成了丰富的辅助变量，使CEBRA能够有效地解释神经群体内的变异性。

这些示例表明，联合CEBRA嵌入存在于所有辅助变量中，包括受试者姿势、物体姿势、身体距离、受试者行为基序、客体行为基序和社会行为基序（图5A）。为了验证行为基序和神经嵌入在会话或受试者之间的一致性，在三对小鼠中使用了Procrustes分析35 （图5B）。鉴于CEBRA嵌入分布在一个单位球体上，因此仅启用了Procrustes分析中的旋转参数。由于自然行为的CEBRA包埋缺乏明确的基线，该部分首先对嵌入进行标签引导的对齐采样进行对齐，确保在应用Procrustes分析之前锚点一致。从视觉上看，这些 CEBRA 嵌入表现出一定程度的内在一致性，身体距离和社会图案显示出最高的一致性。它符合Procrustes比对前后的RMSE量化（图5C）。然后，比较位姿（图5D）和基序（图5E）的嵌入解码精度。虽然它们的表示形式不同，但每个表示形式都可以高精度地解码。虽然体距的解码RMSE明显高于主体和物体姿态，但并不超过ADPT7的跟踪精度。

为了探索这些假设驱动的嵌入的起源，通过CEBRA生成了神经活动的自组织嵌入（图5A，右栏）。神经嵌入的形状比其他关节嵌入更复杂，融合了各种关节嵌入的模式。此外，使用Procrustes变换比较了神经嵌入和关节嵌入之间的相似性，然后比较了它们的余弦相似性（图5F）。余弦相似度是跨相应时间点对齐的嵌入之间每分钟得出的。

基于 S1 在编码自组织体感输入36 中的公认作用，选择 S1 受试者姿势关节嵌入作为相似性比较的基线。这种嵌入可作为具有生物学意义的参考点，用于评估其他变量（例如与对象相关的基序）如何在同一神经空间中表示。这种比较使我们能够评估不同行为维度的编码相对于自我相关的体感基线的相对强度。

当比较神经嵌入的余弦相似性与以S1主体姿势关节嵌入为基线时，本研究发现对象基序的关节嵌入明显较低。这表明，在本例中自由社交互动的 15 分钟期间，受试者小鼠的 S1 神经活动主要编码其行为和正在进行的社交互动。虽然该分析是一个示范案例，但相同的方法框架可以很容易地应用于更精细的研究，例如，通过比较不同时间时期的嵌入结构来揭示神经编码的动态变化。

figure-results-1
图1：收集神经行为学数据的程序。 （A）设备的集成。（B）数据记录的作。（C）记录后的神经信号提取、2D位姿估计和3D身体轨迹重建。 请点击此处查看此图的大图。

figure-results-2
图2：小鼠1的预处理数据以供进一步分析。 （A）神经元活动。（B） 受试者姿势。（C） 物体姿势。（D） 身体距离。（E） 行为基序。从上到下是主体、客体和社会行为主题。（F）神经活动和姿势之间的相关系数矩阵。左：神经活动与受试者姿势之间的相关系数。中心：神经活动与物体姿势之间的相关系数。右图：神经活动与身体距离之间的相关系数。相关系数位于每个神经元迹线和每个位姿维度之间。（G）F相关系数的分布。神经元指数根据神经活动和受试者姿势之间的相关系数进行排序。缩写：N & S = 神经活动和受试者姿势，N & O = 神经活动和物体姿势，N & B = 神经活动和身体距离，CC = 相关系数。 请点击此处查看此图的大图。

figure-results-3
图3：小鼠2的预处理数据，用于进一步分析。 （A） 神经元活动。（B） 受试者姿势。（C） 物体姿势。（D） 身体距离。（E） 行为基序。从上到下是主体、客体和社会行为主题。（F）神经活动和姿势之间的相关系数矩阵。左：神经活动与受试者姿势之间的相关系数。中心：神经活动与物体姿势之间的相关系数。右图：神经活动与身体距离之间的相关系数。相关系数位于每个神经元迹线和每个位姿维度之间。（G）F相关系数的分布。神经元指数根据神经活动和受试者姿势之间的相关系数进行排序。缩写：N & S = 神经活动和受试者姿势，N & O = 神经活动和物体姿势，N & B = 神经活动和身体距离，CC = 相关系数。 请点击此处查看此图的大图。

figure-results-4
图4：小鼠3的预处理数据，用于进一步分析。 （A）神经元活动。（B） 受试者姿势。（C） 物体姿势。（D） 身体距离。（E） 行为基序。从上到下是主体、客体和社会行为主题。（F）神经活动和姿势之间的相关系数矩阵。左：神经活动与受试者姿势之间的相关系数。中心：神经活动与物体姿势之间的相关系数。右图：神经活动与身体距离之间的相关系数。相关系数位于每个神经元迹线和每个位姿维度之间。（G）F相关系数的分布。神经元指数根据神经活动和受试者姿势之间的相关系数进行排序。缩写：N & S = 神经活动和受试者姿势，N & O = 神经活动和物体姿势，N & B = 神经活动和身体距离，CC = 相关系数。 请点击此处查看此图的大图。

figure-results-5
图5：神经行为学数据的CEBRA嵌入分析。 （A）CEBRA嵌入。从左到右分别是S1神经活动与主体姿态的联合嵌入、S1神经活动与物体姿态的联合嵌入、S1神经活动与两动物身体距离的联合嵌入、S1神经活动与主体行为基序的联合嵌入、S1神经活动与物体行为基序的联合嵌入， S1神经活动与社会行为基序的联合嵌入，以及S1的神经嵌入。（B） Procrustes 分析使上述嵌入保持一致。灰色圆圈表示鼠标对 1，用作参考嵌入。绿色加号代表鼠标对 2，橙色十字代表鼠标对 3，两者都与鼠标对 1 对齐。（C）Procrustes比对前（左）和后（右）的均方根误差（RMSE）（配对t检验，n = 3，SEM±平均值）。（D）CEBRA嵌入的位姿重建的RMSE（单因素方差分析，然后是Tukey多重比较检验，n = 3，平均值±SEM）。（E）CEBRA嵌入基序重建的准确性（单因素方差分析后Tukey多重比较检验，n = 3，SEM±平均值）。（F）S1的联合嵌入和神经嵌入之间的余弦相似性（单因素方差分析，然后是Dunnett多重比较检验，n = 45，SEM±平均值）。*p < 0.05，**p < 0.01，***p < 0.001。 请点击此处查看此图的大图。

不。观察到的问题可能的原因可能的解决方案
1无行为时间戳（1） SMA 或 BNC 电缆故障（1） 更换 SMA 和 BNC 电缆
（2） 缺少 USB-to-TTL 驱动程序（2） 安装 Prolific PL2303 USB 驱动程序
（3） COM端口选择不正确（3） 在设备管理器中验证 COM 端口号，并在 mTPM 软件和行为相机脚本中进行更新。
2mTPM 安装过程中无可见荧光（1）缺乏病毒表达（1） 使用不同的鼠标
（2）视野不正确（2）重新调整视野
（3）激光功率不足（3）逐渐增加激光功率
（4）干卡波姆凝胶（4） 重新涂抹新鲜的卡波姆凝胶
3mTPM 成像显示全白屏幕（1）漏光（1） 重新包裹铝箔以进行适当的屏蔽
（2）激光功率不足（2）逐渐增加激光功率
（3）光纤从mTPM头上脱落（3） 将光纤重新插入 mTPM 并拧紧固定螺钉
4行为视频中丢帧（1） 环境照明不足（1）增加背景照度
（2） USB 端口不正确（2） 至少使用 USB 3.0 端口
（3）计算机性能不足（3） 使用具有 Intel i7-9700K 或更高版本、双通道 RAM 和 SSD 存储的机器。
5在安装 mTPM 的小鼠中没有运动（1）重复使用同一只鼠标（1）避免在3天内重复使用小鼠
（2）过度使用铝箔（2） 使用遮光所需的最少箔片
（3）氦气球数量或体积不足（3）调整气球的数量和充气，以支撑mTPM纤维，同时允许小鼠自然的姿势和运动。
6不准确的 2D 位姿估计（1） 手动标记的帧数量不足（1） 增量注释至少 200 帧
（2）训练不足的ADPT模型（2）增加ADPT的config.yaml文件中的训练epochs
7异常的 3D 姿态重建（1）相机校准不当（1）提高校准对比度和倾斜角度
（2）2D位姿输入不准确（2） 增加捕获的检查板帧数
（3）先解决二维位姿问题（参见问题6）
8神经数据和行为数据之间的错位（1）软件初始化顺序不正确（1） 始终在行为相机之前开始 mTPM 录制
（2） 丢弃的行为帧（2） 解决掉帧问题（参见问题 4）
（3） 确保有足够的磁盘空间可用
9BeA/SBeA 处理期间内存溢出（1） 录音时长过长（1） 将录音分成较短的片段（5-60 分钟），然后运行 BeA/SBeA
（2） 系统内存有限（2）增加BeA中的时间减少因子（例如，从5到10）
（3） 将 RAM 升级到至少 64 GB
10CEBRA 无法在 GPU 上运行（1）CUDA和GPU驱动不匹配（1）不要直接按照教程安装CUDA 11.3
（2） 不兼容的 PyTorch 版本（2） 检查您的 GPU 型号和驱动程序版本 （nvidia-smi）
（3） 相应地安装正确的 CUDA 和 PyTorch 版本，然后通过 pip 安装 CEBRA

表 1：故障排除列表。 以下是以前遇到的 10 个重要问题和可能的解决方案的列表。

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

该神经行为学记录和解码框架建立在市售设备上，确保大多数故障排除问题都可以由各自的公司解决。即便如此，本研究还是提供了一系列经常遇到的问题，以方便参考和简化故障排除（表 1）。这种可访问性使该框架对新手更加用户友好。此外，该框架非常灵活，神经和行为记录之间的同步依赖于标准 TTL 信号。因此，如果需要，可以直接将其他生理记录设备集成到框架中。随后的分析程序也足够通用，可以支持完全定制的神经和行为记录系统。

与该基于商业化设备的框架相关的成本相对较高（~500,000 美元），从而给实验室带来了额外的财务负担。虽然最近的开源工具（如 MINI2P13 和 Anipose37 ）可以帮助降低材料成本，但这一经验表明，在考虑调试所涉及的人力资源成本时，总体费用将保持相似。该框架的另一个限制在于 CEBRA 嵌入的可解释性。作为一种基于人工神经网络的方法，解释起来本质上具有挑战性。虽然这个例子提供了一种简单的方法来解释嵌入，但需要针对不同的项目逐案开发进一步的方法。进一步解释CEBRA嵌入的一个潜在解决方案是动态系统的应用38。此外，自然行为可以分为不同的阶段，例如两只小鼠距离较远或靠近时的相互作用。不同的科学问题可能需要开发定制的数据分析工作流程。

虽然当前的 mTPM + 3D 相机系统部署在开放场地，但其应用并不局限于这种特定的行为环境。主要限制来自成像系统的物理系留，限制了动物的移动范围，以及 3D 相机的视野，限制了可追踪体积。这些因素可以在未来的迭代中通过合并无线成像模块39或陷阱相机阵列40来解决，以实现更复杂和自然的行为范式。值得注意的是，mTPM系统和3D相机设置都能够连续24小时数据采集10,41，使整个管道非常适合长期行为和神经记录研究。

本研究采用完全数据驱动的方法来研究自发行为的神经编码，因此有意避免为聚类行为基序分配预定义的语义标签。这一决定植根于保持神经行为映射框架的普遍性，使其能够独立于实验者强加的行为类别运行。对行为基序的生物学可解释性和监督分类感兴趣的读者可以参考以前的工作 1,10，以及最近的一项研究42，该研究使用相同的底层行为图谱框架系统地比较了无监督基序聚类与手动标记的行为。这些研究还提供了广泛的可视化效果，包括 3D 姿势序列、轨迹和基序级嵌入，可通过公共存储库获得。这些资源共同提供了对行为语义结构的补充见解，同时支持此处采用的灵活、可推广的神经解码方法。

该数据处理管道在设计时考虑到了模块化和灵活性，可以适应不同的实验设置和用户偏好。管道的每个主要组件，从3D姿态估计、无监督行为基序聚类、神经信号预处理到联合神经行为学嵌入，都作为一个独立的模块实现，具有明确定义的输入和输出接口。该架构使用户能够在每个阶段替换替代工具或算法（例如，不同的姿势估计框架6,22，行为聚类算法43,44或神经解码器45,46），而不会中断整个工作流程。虽然这些组件被设计为可互作，但本研究尚未详尽地测试替代方法的所有可能组合，用户可能需要执行额外的调整以确保其特定应用的兼容性。这种模块化促进了可重复性和可扩展性，并允许框架根据物种、记录模式或行为范式进行定制，超出此处展示的范围。为了支持更广泛的社区使用，本研究提供了示意图概述和汇总表（图 1，材料表）。

该管道中用于SBeA和CEBRA的参数设置基于默认值和特定于该实验环境的经验调整的组合，在自然社会互动下自由移动小鼠。这些参数已经过验证，可以重现本研究中提出的所有结果，而无需进一步调整。虽然用户可能希望微调某些参数以适应不同的录制设置或行为任务，但复制此管道不需要进行此类修改。对于在其他环境中工作的用户，建议查阅 SBeA 和 CEBRA 的原始文档和文献，其中提供了参数范围和特定任务的指导。此实现可作为强大的参考配置，可以根据需要直接应用或调整。

该框架的主要进步在于它对自由移动动物的应用。先前对头部固定动物进行的研究可以适应该框架内的自由移动条件。例如，诸如 Go/No-Go 任务47 和双选择强制选择48 之类的任务可以基于自然行为范式进行修改并集成到该框架中。这种方法消除了头部限制引起的伪影，从而能够研究任务与自然行为状态之间的关系。这个框架为动物提供了更大的决策自主权。它还支持在自然主义背景下对脊髓的研究，结合 mTPM 脊髓记录方法49。此外，它还有助于研究自由群体行为，这种现象在头部固定设置中是不可行的。数据分析工作流程能够解释跨多个变量的神经群体活动，使用嵌入来揭示神经群体背后大脑功能的复杂性。

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者声明他们没有利益冲突。

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

这项工作得到了中国科学院战略优先研究计划（资助号XDB1010101 P.W.）、STI2030重大项目（2021ZD0203900 资助）、国家自然科学基金（32222036 资助）、国家自然科学基金（T2394530 资助）、深圳市科技计划（资助编号KJZD20230923115114028 至 PW）。作者还要感谢南京脑天文台（NBO）和北京大学-南京转化医学联合研究所（江苏 南京 211800）对双光子显微镜使用的支持和帮助。

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D行为记录系统BayONE 科学BA-3D-鼠标集成同步模块
气球速卖通网址：https://tinyurl.com/3uex669s任何足够轻的气球，在充满氦气时可以飞行。这些气球是直径约 45 厘米的球形铝箔气球，并具有自密封阀。URL 提供了气球的示例。
卡波姆眼部凝胶视频基于卡波姆 980 的润滑眼胶10克
棉线速卖通网址：https://tinyurl.com/ywu7u754厚而轻，直径1-2毫米。该 URL 提供了棉线的示例。
颅钻后轮驱动780010.8、1.4 和 2.1 毫米钻头
可配置定制相机模块英特尔实感 D435/
高性能丙烯酸结构胶汇田1320490毫升
用于成像的小鼠TRANSCEND VIVOSCOPE网址：https://en.tv-scope.com/C57BL/6J背景雄性小鼠（10周龄）在12&thinsp下每笼1只小鼠饲养;h 22&ndash 的明暗循环;25&薄;°C 与 40%–湿度为 70%，并允许随意取水和食物。将AAV9-CaMKII-GCaMP6s病毒注射到其初级体感皮层（AP，&-负;0.60 毫米;ML，&减号;2.40毫米;DV，2.00 毫米）。在我们的研究中，小鼠由TRANSCEND VIVOSCOPE制备，作为其专业动物制备服务的一部分。这项服务包括病毒注射、颅窗植入和专为其微型双光子显微镜系统量身定制的底板安装。
鼠标进行交互BayONE LAC网址：https://lac.bayonesci.com/将C57BL/6J背景雄性小鼠（10周龄）饲养在12&thinsp下，每笼5只小鼠;h 22&ndash 的明暗循环;25&薄;°C 与 40–湿度 70%，并允许随意取水和食物。所有饲养和实验程序均经中国科学院深圳先进技术研究院动物护理与使用委员会批准。
mTPM神经记录系统TRANSCEND VIVOSCOPE超新星-600SUPERNOVA-600 是一款完全集成的微型双光子成像系统，适用于自由移动的啮齿动物，包括所有必要的光学和记录组件，但不包括外部刺激设备。它应该包含集成的同步模块。

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).">Han, Y., et al. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).
  2. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).">Zong, W., et al. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).
  3. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).">Schneider, S., Lee, J. H., Mathis, M. W. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).
  4. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).">Lanzarini, F., et al. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).
  5. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).">Testard, C., et al. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).
  6. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).">Mathis, A., et al. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  7. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).">Tang, G., et al. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).
  8. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).">Panadeiro, V., Rodriguez, A., Henry, J., Wlodkowic, D., Andersson, M. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).
  9. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).">Jhuang, H., et al. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).
  10. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).">Huang, K., et al. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).
  11. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).">Juavinett, A. L., Bekheet, G., Churchland, A. K. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).
  12. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).">Chen, S., et al. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).
  13. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).">Zong, W., et al. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).
  14. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).">Zong, W., et al. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).
  15. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).">Han, Y., et al. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).
  16. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).">Jazayeri, M., Ostojic, S. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).
  17. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).">Churchland, M. M., et al. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).
  18. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).">Van Der Maaten, L., Hinton, G. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).
  19. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).">Mcinnes, L., Healy, J., Melville, J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).
  20. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).">Klibaite, U., et al. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).
  21. Zhou, D., Wei, X. 34th Conference on Neural Information Processing Systems (NeurIPS), , (2020).
  22. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).">Pereira, T. D., et al. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).
  23. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).">Von Ziegler, L., Sturman, O., Bohacek, J. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).
  24. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).">Pereira, T. D., Shaevitz, J. W., Murthy, M. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).
  25. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).">Segalin, C., et al. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).
  26. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).">Gris, K. V., Coutu, J. P., Gris, D. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).
  27. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).">Liu, N., et al. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).
  28. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).">Bando, Y., Wenzel, M., Yuste, R. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).
  29. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).">Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).
  30. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).">Pachitariu, M., et al. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).
  31. Han, Y., Huang, K., Chen, K., Wang, L., Wei, P. IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), , 306-310 (2021).
  32. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).">Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).
  33. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).">Zhong, H., et al. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).
  34. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).">Datta, S. R., Anderson, D. J., Branson, K., Perona, P., Leifer, A. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).
  35. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).">Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  36. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).">Feldman, D. E., Brecht, M. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).
  37. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).">Karashchuk, P., et al. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).
  38. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).">Laiz, R. G., Schmidt, T., Schneider, S. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).
  39. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).">Liberti, W. A., Perkins, L. N., Leman, D. P., Gardner, T. J. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).
  40. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).">Tuia, D., et al. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).
  41. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).">Han, J., et al. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).
  42. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).">Ye, J., et al. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).
  43. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).">Weinreb, C., et al. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).
  44. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).">Jia, Y., et al. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).
  45. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).">Gosztolai, A., Peach, R. L., Arnaudon, A., Barahona, M., Vandergheynst, P. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).
  46. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).">Stringer, C., et al. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).
  47. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).">Vassilev, P., et al. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).
  48. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).">Verma Rodriguez, A. K., Ramírez-Jarquin, J. O., Rossi-Pool, R., Tecuapetla, F. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).
  49. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).">Ju, F., et al. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Neural Population DynamicsNatural Behavior DecodingTwo Photon MicroscopySocial Behavior AtlasBehavioral Pose EstimationNeural Embedding AlignmentFreely Moving MiceDeep Learning BehaviorDual Mouse TrackingNeural Coding Principles

Related Articles