本方案基于先进的计算神经行为学方法，提供了一个综合框架，用于理解自然情境下的大脑编码机制。
本文内容
摘要
摘要
动物通过丰富而动态的大脑活动与自然环境进行互动。理解神经群体动力学如何编码自然行为，仍是系统神经科学中的一个基本挑战。近年来，基于深度学习的行为分析和微型荧光成像技术的进步，为研究大脑如何编码自然行为开辟了新的途径。本研究提出了一种整合性的实验与计算框架，结合社会行为图谱（Social Behavior Atlas, SBeA）、微型双光子显微镜（miniature Two-Photon Microscopy, mTPM）以及利用辅助变量的一致性高维记录嵌入方法（Consistent EmBeddings of high-dimensional Recordings using Auxiliary variables, CEBRA），从脑动力学中解码复杂行为。本研究以自由活动小鼠之间的自然社会互动作为模型系统，实现高分辨率的行为标注与同步神经成像。该框架包括精确的行为姿态估计、同步双鼠追踪、神经嵌入对齐，以及直接从神经主成分中解码行为特征。本研究证明，该方法在跨个体的姿势解码中达到3. ± 1.5像素的精度，在行为模态解码中达到89 ± 6%的准确率，显示出其稳健性和可推广性。该方法为探索大脑活动如何反映结构化行为状态提供了有力工具，并为未来研究自然行为下的神经编码原理奠定了基础。
引言
该框架旨在从自然实验环境中自由活动的动物身上采集并解码其行为与神经影像数据。它包含三个关键组成部分：基于深度学习的姿态估计与行为分类方法 SBeA1、微型荧光成像技术 mTPM2，以及基于对比学习的神经行为学嵌入算法 CEBRA3。近期研究表明，在自由活动动物中所呈现的神经行为学过程极为复杂，远超固定头部实验范式中所观察到的现象4,5。然而，技术限制与实验变异性阻碍了这些方法在更广泛自然行为研究中的推广应用。本实验方案提供了一个稳定且集成的框架，可确保各类研究实验室均能便捷获取在自然情境下采集的行为与神经数据。
由于动物在自然环境中自由活动，该框架结合基于深度学习的姿态估计技术，以实现对姿态的精确追踪6,7。与基于深度学习的方法相比，传统的基于图像处理的追踪方法难以捕捉精细的运动，例如肢体和足部的动态变化8。自由活动动物表现出的多样且复杂的行为给有监督的行为分类方法带来了挑战9，因为预定义的行为类别通常无法涵盖自然行为表型的全部范围10。因此，基于无监督学习的分类方法更适用于自然场景下的行为分析1。这些方法能够根据行为内在的结构相似性，将连续的行为全面分解为离散的亚秒级行为模组，并通过数据驱动的聚类为其提供一致的定义。
在自由活动动物中进行脑成像需要捕捉单个神经元活动的广泛变异性4,5。对自由活动动物的电生理记录在检测主要表现为亚阈值活动的神经元方面存在局限性11。此外，单光子显微镜受限于较低的分辨率和对比度，难以在不同成像会话之间维持一致的神经元身份识别12。与单光子显微镜相比，mTPM 具有更高的分辨率和对比度，因此在研究自然行为的神经编码方面是一种更有效的工具2,13,14,15。
建立行为与神经数据之间的稳健映射关系，需要能够揭示二者共享信息结构的方法16。传统的降维技术，如主成分分析（Principal Component Analysis, PCA）17、t-分布随机邻域嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）18 和统一流形逼近与投影（Uniform Manifold Approximation and Projection, UMAP）19，无法在共同的特征空间中有效嵌入行为和神经数据。相比之下，基于深度学习的嵌入方法（如 CEBRA）能够在有监督和自监督框架下整合多种数据模态，生成高质量的潜在表征3。尽管近年来已出现多种替代方法20,21,22，但本研究所提出的框架优先考虑实际应用，整合了已有成熟方法，这些方法或可商业获取，或具备详尽的教程支持。
与近期研究4,5相比，本框架具有三项关键进展。首先，该框架消除了行为分类中的人为偏差。以往研究依赖于人工行为标注，这种方法劳动强度大，且容易产生不一致性，尤其当标注者出现疲劳时尤为明显23,24,25。相比之下，本框架采用无监督行为分类方法，在定义行为类别之前，通过客观分解和聚类行为模态，保留了行为模式的自然结构26,27。其次，使用mTPM能够捕捉单神经元水平上更精细的神经动力学特征。这一方法学优势扩展了该框架的应用范围，使其可用于从包括参与亚阈值编码在内的多种神经群体中解码复杂的自然行为28。第三，该框架将行为与神经数据整合到一个统一的表征空间中，而不是分别使用UMAP对每种模态进行嵌入，或使用支持向量机在神经活动与行为之间建立刚性映射而忽略其内在动力学特性4,5。这种联合嵌入方法确保了对行为与脑活动之间关系的表征更加全面且具有生物学意义。
该框架非常适合在接近自然的实验条件下，对自由活动动物的行为和神经数据进行记录与解码的研究项目。尽管当前的实现方案主要针对小鼠研究进行了优化，但将其适配至其他动物模型可能需要额外的开发工作。由于本框架所使用的硬件组件均为市售产品，一方面，整体成本可能相对较高；但另一方面，这种商业化供应显著减少了在解决后勤问题上耗费的时间，并能够高效地获得稳定且可靠的结果。
本方案旨在使配备小型动物成像和行为追踪设备的神经科学研究实验室均能实现可重复操作。该完整系统整合了商用的mTPM设备与多角度行为数据采集装置。典型的神经信号记录频率为4.84 Hz，分辨率为512 × 512像素，行为数据以每秒30帧的速度采集。通过预处理过程中的TTL脉冲对齐实现数据同步。训练与解码可在配备GPU的标准工作站上进行（例如NVIDIA RTX 3090或同等型号），每次实验的完整数据处理流程约需100 GB存储空间。尽管当前实施方案主要针对自由活动的小鼠优化，但该工作流程的模块化设计允许通过调整追踪校准参数和成像参数以适配其他物种，具体参数应根据动物体型与活动能力进行调节。这些实际操作细节保障了本方案在多种实验条件下的适应性与可重复性。
方案
中国科学院深圳先进技术研究院动物护理与使用委员会批准了所有饲养和实验操作程序。
1. 平台建立
注意：该平台由两个主要组件构成：mTPM 设备和三维行为设备（图 1A）。mTPM 设备可实现 mTPM 成像与行为数据的实时同步，从而能够对自由活动的动物高效、稳定且连续地采集高质量数据。三维行为设备配备四个摄像头，用于捕捉动物行为的完整场景，并配有自动校准模块，用于重建动物的三维姿态。两个设备在其各自版本中均需集成同步模块。
- 设备连接
- 拆下三维行为记录设备的外壳。将剩余部分，包括四个摄像头和一个自动校准模块，放入mTPM设备的行为记录腔内。
- 将三维行为记录设备同步模块的通用串行总线（USB）线缆连接至该设备的工作站。
- 通过一根小型同轴（SMA）线缆，将mTPM设备的同步模块连接至其控制器。
- 通过一根SMA-卡口式尼尔-康塞曼（BNC）转换线缆，将三维行为记录设备同步模块的晶体管-晶体管逻辑（TTL）输出端口连接至mTPM设备同步模块的TTL输入端口。
- mTPM帧的时间戳记录
- 开启mTPM设备的所有电源。
- 启动mTPM记录软件和mTPM同步软件。
- 设置mTPM帧和同步时间戳的保存路径。
注意：路径名称中不得使用任何非英文字符或特殊符号。 - 设置mTPM记录软件的记录帧数。推荐帧数为6000，足以完成同步调试步骤。
- 在mTPM同步软件中选择所有通道。
- 通过mTPM记录软件启动mTPM记录。在开始记录前，关闭房间内所有光源，以防止mTPM因强光过曝而受损。当用户启动记录时，mTPM同步软件将自动运行。
- 检查mTPM同步软件是否成功捕获mTPM帧的时间戳。
注意：mTPM同步软件中显示的mTPM帧时间戳为清晰的TTL脉冲。每帧成像默认触发一个4.84 Hz的清晰TTL脉冲。若软件界面未显示脉冲，通常存在两种正常情况：第一种是mTPM设备控制器的驱动程序不支持时间戳捕获，可通过升级驱动程序以支持时间戳捕获来解决；第二种是SMA线缆连接不良，应确保SMA接头已牢固拧紧。在检查时间戳前，请返回步骤1.1.2，逐步排查。 - 等待记录结束。检查是否已保存mTPM帧的.tif文件、一个时间戳的.tdms文件以及一个.tdms_index文件。
- 三维行为记录设备四个摄像头的时间戳记录
- 在自定义的摄像头同步脚本中设置视频和行为时间戳的保存路径。
注意：自定义摄像头同步代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py。 - 启动mTPM同步软件，并设置mTPM同步时间戳的保存路径。
- 启动mTPM同步软件的记录功能，同时运行自定义的摄像头同步脚本。
- 检查mTPM同步软件是否成功捕获行为时间戳。
注意：mTPM同步软件中显示的行为时间戳为清晰的TTL脉冲。每记录30帧行为视频帧，即向mTPM同步软件发送一个行为时间戳。这些行为时间戳也将保存在三维行为记录设备的工作站中。 - 检查是否已保存四个行为视频的.avi文件、三维行为记录设备中的一个行为时间戳.txt文件，以及mTPM工作站中的一个.tdms文件和一个.tdms_index文件。
- 在自定义的摄像头同步脚本中设置视频和行为时间戳的保存路径。
- 三维行为记录设备的摄像头校准
- 调整四个摄像头的拍摄角度。四个摄像头应全面覆盖开阔场底部区域，并将视野向上延伸至少20 cm，超出开阔场最远边界，以确保小鼠直立行为被完整捕捉。
- 将校准模块置于拍摄区域中心。运行摄像头校准软件。运行前请关闭所有光源。
注意：四个摄像头将捕捉校准屏上移动棋盘格图案的帧图像。摄像头校准基于张氏校准方法29。 - 运行摄像头校准软件后，将生成一个包含动物三维姿态重建所需摄像头投影矩阵的.mat文件。由于系统同步步骤中的行为数据索引依赖于该校准.mat文件，因此务必在系统整体同步前完成摄像头校准步骤。
- 整个系统的同步
注意：在执行此步骤前，请确保mTPM帧和三维行为记录设备的时间戳可分别被mTPM同步软件接收。- 开启mTPM设备和三维行为记录设备的所有电源。
- 启动mTPM记录软件、mTPM同步软件以及自定义的摄像头同步脚本。
- 参考步骤1.3.1设置各自的路径和参数，并通过mTPM记录软件启动mTPM记录。
- 运行自定义的摄像头同步脚本。确保mTPM帧记录的启动早于行为记录脚本的运行，以便mTPM同步软件能够接收到来自三维行为记录设备的时间戳。设置mTPM帧记录的结束时间长于行为记录时间，以确保mTPM同步软件能够无遗漏地捕获行为时间戳。
注意：建议mTPM帧记录时间比行为记录时间长5分钟以上。例如，若用户计划记录15分钟行为，则mTPM帧数应设置为4.84 × (15+5) × 60 = 5808帧。 - 等待记录结束。记录完成后，应生成一个mTPM帧.tif文件、两个mTPM同步.tdms文件、两个.tdms_index文件、四个行为视频.avi文件以及一个行为时间戳.txt文件。
- 运行自定义的同步代码，以对齐mTPM帧与行为视频。自定义同步代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m。
- 运行此脚本前，请手动按以下结构整理文件：
----\根路径 # 用于保存所有数据的路径
--------\behavior_all # 用于保存行为数据的路径
------------\A-B-C-D-E-caliParas.mat # 摄像头校准文件
------------\A-B-C-D-E-camera-1.avi # 来自摄像头1的行为视频
------------\A-B-C-D-E-camera-2.avi # 来自摄像头2的行为视频
------------\A-B-C-D-E-camera-3.avi # 来自摄像头3的行为视频
------------\A-B-C-D-E-camera-4.avi # 来自摄像头4的行为视频
------------\A-B-C-D-E-event.txt # 来自三维行为记录设备的行为时间戳
----\tpm_suite2p # 用于保存mTPM数据的路径
--------\sep # 用于保存mTPM帧和时间戳的路径
------------\A-B-C-D-E-event # 用于进行时间戳对齐的路径
----------------\beh.tdms # 行为通道的.tdms文件
----------------\beh.tdms_index # 行为通道的.tdms_index文件
----------------\tpm.tdms # mTPM通道的.tdms文件
----------------\tpm.tdms_index # mTPM通道的.tdms_index文件
------------\A-B-C-D-E-tpm # 用于保存mTPM帧的路径
----------------\F.tif # 每次记录的mTPM帧
--------\process # 用于提取神经信号的路径
------------\C # 每只小鼠的路径
----------------\F.tif # 每只小鼠的mTPM帧
A至G为命名字段的定义，其中
A表示实验组，例如free，
B表示视频序列，例如seg1，
C表示动物标识，例如1tpmss，
D表示交互伙伴，例如1wt，
E表示实验日期，例如20220226，
F表示mTPM记录帧块（每块5000帧），例如social 1。
注意：三维行为追踪系统的帧率为30 Hz，而mTPM系统为4.84 Hz。由于最大可实现的同步精度受限于最低帧率（4.84 Hz），因此同步的时间分辨率为约206 ms。行为时间戳作为参考基准，每个mTPM帧将对齐至最近的行为时间点。相对于行为时间线，连续mTPM帧之间的时间间隔采用阶梯式插值法进行处理。
- 运行此脚本前，请手动按以下结构整理文件：
2. 神经行为学数据记录
注意：神经行为学数据记录过程包括四个关键步骤（图1B）。
- 安装 mTPM
注意：由于 mTPM 安装的详细步骤已在 mTPM 教程中说明，此处仅介绍关键步骤。- 准备颅窗。
注意：颅窗的制备主要包括病毒注射、盖玻片植入以及金属板的固定。由于不同研究的成像位点不同，颅窗制备的具体细节也有所差异。本示例中，颅窗的制备由外包服务完成。示例数据中的成像脑区为初级躯体感觉皮层（S1）。 - 将小鼠固定器安装至 mTPM 微操纵器上，并通过金属板将小鼠头部固定于固定器中。
- 通过 mTPM 找到荧光信号。在开启 mTPM 成像前关闭所有光源，并在进行后续步骤前将 mTPM 固定于支架上。
- 在颅窗顶部滴加一滴卡波姆眼用凝胶。当颅窗位于 mTPM 物镜正下方时，通过运动平台移动小鼠。
- 垂直移动微操纵器以找到成像平面，并在平面内移动微操纵器以将成像平面居中。
- 将上基座固定至 mTPM，并使用胶水将下基座粘接到上基座和颅窗上。
- 为确保结构稳定性，需填充上下基座之间以及连接在小鼠头部的金属板支架之间的空隙，并使用高性能丙烯酸结构胶进行粘合。胶水固化 30 分钟后，用镊子轻轻探触基座以评估粘合的稳定性。如有必要，可继续添加胶水直至实现牢固固定。
注意：必须避免基座与 mTPM 本体之间发生直接粘连。上下基座均为小型铝制框架。上基座为定制加工，可紧密贴合 mTPM 外壳的下轮廓。下基座提供多种高度选项，用于填补上基座与颅窗之间的间隙。所有下基座的平面尺寸均与上基座相同，以确保机械兼容性，仅高度不同，以适配不同的颅骨至上基座距离。
- 为确保结构稳定性，需填充上下基座之间以及连接在小鼠头部的金属板支架之间的空隙，并使用高性能丙烯酸结构胶进行粘合。胶水固化 30 分钟后，用镊子轻轻探触基座以评估粘合的稳定性。如有必要，可继续添加胶水直至实现牢固固定。
- 在基座腔内滴加一滴卡波姆眼用凝胶。通过 mTPM 检查神经元荧光信号。若神经元荧光不清晰可见，可使用颅钻去除胶水，分离基座后重复上述步骤，直至获得清晰的荧光图像。
- 使用胶带将铝箔固定在 mTPM 光纤与颅窗之间。
注意：此步骤旨在整个记录过程中维持适当的遮光效果。为减轻整体重量，铝箔和胶带的使用应尽量减少。 - 打开室内灯光，并测试 mTPM 图像帧的清晰度。
- 准备颅窗。
- 将小鼠放入开放场
注意：此步骤涉及将小鼠放入开放场，同时确保光纤和 mTPM 的重量平衡。- 充入至少 10 个氦气球，并分别用棉线系好。将小鼠头部的金属板从小鼠固定器上取下。
- 用一只手握住小鼠尾巴，另一只手支撑 mTPM 光纤。
- 轻柔地将小鼠放入开放场中，并用棉线将氦气球悬挂在光纤上。调整气球数量，直至小鼠能够自由活动并在开放场中无约束地探索。
注意：最佳气球数量应使小鼠保持接触地面，前肢不受向上的浮力抬起，同时又能充分抵消 mTPM 的重量，使动物维持自然头部姿势并能自发直立站立。棉线应系在高于开放场的位置，以确保光纤长度足够，不妨碍小鼠自由移动。棉线系在光纤高度处，大致与开放场箱体的上边缘对齐。在本示例中，完成此步骤后，将一只未经处理的小鼠引入开放场，以实现自由社交互动。 - 关闭 mTPM 外壳的门，以尽量减少外界干扰。
- 启动 mTPM 记录。
- 启动 mTPM 记录软件和 mTPM 同步软件，并参考平台建立步骤设置其路径和参数。
- 通过 mTPM 记录软件启动 mTPM 记录，验证同步软件中是否存在对应于每一帧双光子图像的时间标记。
- 评估双光子图像的对比度是否保持稳定，并确认小鼠的运动未影响记录帧的稳定性。如发现任何问题，需重复同步程序和 mTPM 安装过程，直至双光子成像产生清晰图像帧且时间标记准确对齐。
- 启动行为记录
- 启动自定义相机同步脚本。
注意：自定义相机同步代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py。 - 参考平台建立步骤设置路径和参数。
- 通过自定义相机同步脚本启动行为记录，验证 mTPM 同步软件中是否存在对应于每 30 帧行为视频的时间标记。
- 检查来自四个相机的视频流是否正确同步，并检查三维行为追踪系统的视频采集参数。
注意：在上述设置中，相机采用 640 × 480 像素的帧分辨率、30 帧/秒的帧率、RGB 帧格式和自动曝光模式。自动曝光允许相机根据环境光照条件动态调整亮度。由于曝光时间直接影响可实现的帧率，特别是在低光条件下需要更长曝光时间时，帧率可能下降。为确保以 30 Hz 稳定获取帧图像，需控制背景照明以最小化曝光时间。在整个记录过程中，相机增益和 binning 设置均保持默认值。 - 当达到预设记录时长后，行为记录将自动停止。完成行为记录后，手动关闭 mTPM 记录和同步系统。通过执行这些步骤，即完成一次同步神经与行为数据采集的实验。
- 启动自定义相机同步脚本。
3. 神经行为学数据预处理
注意：如果所有前述步骤均成功完成，应获得三类数据文件：双光子成像帧（.tif）、四段行为视频记录（.avi）以及一个相机校准文件（.mat），以及用于后续数据预处理的两个同步时间戳文件（.tdms）（图 1C）。这些数据应手动重命名，并放入对应步骤 1.5.7 所述的文件夹中。
- mTPM 数据预处理
- 通过 suite2p 从 mTPM 帧中提取神经信号轨迹30保持 suite2p 的参数为默认值以确保可重复性。仅调整帧率以匹配 mTPM 采集设置。
注意：由于后续步骤包含信号处理和质量控制，因此在此阶段无需对 suite2p 参数进行 extensive 的精细调整。相较于参数优化，保持不同数据集之间的一致性更为重要。 - 运行自定义代码，以对齐 mTPM 帧与行为视频之间的时间戳。
注意：该脚本将行为事件的时间戳与相应的mTPM采集时间对齐。它为每次记录生成并保存索引映射，从而实现行为数据与神经数据的同步分析。此定制代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m - 运行自定义代码，将数据格式从 suite2p 的输出结果进行转换。
注意：该脚本通过识别和映射相关帧索引，提取并重新组织单个动物的 mTPM 数据。它选择对应的神经活动轨迹，并将其重构为标准化的数据格式，从而实现对分段记录的高效下游分析。该自定义代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m - 运行自定义代码，将神经信号重采样以与行为帧对齐。
注意：该脚本对mTPM数据执行时间重采样，以将神经活动轨迹与行为时间戳对齐。脚本加载先前分割的神经数据和同步索引，相应地提取重采样后的轨迹，并以标准化格式保存输出结果，供后续信号处理使用。时间重采样的方法为逐步插值法。该自定义代码位于 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m - 运行自定义代码以优化神经轨迹。
- 由于逐步插值可能引入振铃伪影和高频噪声，因此设计一个通带频率为2 Hz、阻带频率为2.2 Hz的等波纹低通滤波器以减轻这些伪影。该滤波器的阶数为61。
- 之后，使用 Weijian Zong 的去噪方法对重采样的 mTPM 钙信号轨迹进行优化13使用百分位数和局部方差标准估算局部基线，并计算 ΔF/F 信号。ΔF/F 是一个无量纲指标，表示荧光强度相对于基线的相对变化，常用于量化钙成像中的神经活动。由于分子（ΔF）和分母（F）均以任意荧光单位表示，因此所得 ΔF/F 值无物理单位，通常以比值或百分比形式表示。根据信号范围阈值排除信号极度平坦或饱和的细胞。最终获得的高质量神经活动轨迹将保存下来用于后续分析。 图 2A, 图3A，以及 图 4A).
注意：定制代码可在以下网址获取 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m
- 通过 suite2p 从 mTPM 帧中提取神经信号轨迹30保持 suite2p 的参数为默认值以确保可重复性。仅调整帧率以匹配 mTPM 采集设置。
- 行为数据预处理
- 使用抗漂移姿态追踪器（ADPT）从视频记录中提取行为姿态7.
注意：ADPT 解决了基于卷积神经网络的方法（如 DeepLabCut）中常见的点漂移问题6 和 SLEAP22ADPT 特别适用于涉及神经记录设备的场景，例如在自由活动动物中进行的 mTPM 成像，因为它能有效减少由光纤移动引起的点漂移。ADPT 的代码仓库位于 https://github.com/tangguoling/ADPT- 鉴于实验设置涉及两只小鼠，且mTPM用于标识其中一只小鼠，需分别训练两个独立的单只小鼠ADPT模型，以单独估计每只小鼠的姿态。
- 对每个模型，手动标注16个关键点1,10,15,31包括鼻部、左耳、右耳、颈部、左前肢、右前肢、左后肢、右后肢、左前足、右前足、左后足、右后足、背部、尾根、尾中部和尾尖，共约600帧，每摄像视角对15分钟视频手动标注150帧。
- 使用默认参数训练 ADPT 模型。训练与预测参数的详细信息位于 https://github.com/tangguoling/ADPT/blob/main/code/config.yaml 和 https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml。
- 重建三维动物姿态。训练完成后，分别应用两个模型，以预测每台相机拍摄的视频中每只小鼠的姿态。将生成的数据合并为单个表格文件，用于后续处理。
- 使用相机校准文件结合三角测量法对行为轨迹进行三维重建32重建后，获取携带mTPM的小鼠（实验小鼠）的运动轨迹， 图2B, 图3B, 图4B）以及对象小鼠（相互作用的同种个体， 图2C, 图3C, 图4C用于后续分析。
- 在社交互动研究中，个体间距离是衡量社会动态的关键指标33. 利用两只小鼠对应身体部位点之间的成对欧氏距离计算相对身体距离，为后续社会行为分析提供定量指标（ 图 2D, 图3D, 图4D).
- 分解并分类行为模态。
注意：尽管前述步骤能够生成精细的姿势轨迹，但尚不能告诉我们动物正在做什么。行为是指动物在特定时间段内的运动方式，而行为标注则是为每个时间段赋予具有明确意义且可被人类理解的标签。通常情况下，这一过程依赖人工标注来完成。- 由于行为记录通常过长，无法完全手动标注，因此使用机器学习方法。
注意：监督学习遵循预定义的标注规则：人工标注者为选定的行为片段分配标签，随后利用这些标签训练机器学习或人工智能模型，以对整个数据集进行标签预测。尽管该方法提高了行为分类的效率，但仍受限于人类可解释标签的有限集合，这一局限性在处理复杂、自然状态下的行为时尤为显著。为了捕捉自然状态下行为的丰富变异性，研究者开发了无监督行为分类方法。此类方法通过识别跨时间的行为模式内在相似性，并将其聚类于低维特征空间中，从而实现更高效且无偏倚的人工解读。本质上，监督分类依赖预设的人类标签来引导行为识别，而无监督分类则无需预先标注，能够揭示潜在的行为结构，因而在捕捉复杂的自然行为动态方面具有更高的灵活性。 - 在自然行为框架下，利用行为图谱（Behavior Atlas, BeA）识别两只小鼠的行为模态10 社会行为图谱（SBeA）1 ( 图2E, 图3E, 图4E），这两种方法均为专为行为分割设计的无监督聚类方法。这些方法根据动物行为的内在动态特性和层次结构，将其分解并聚类为亚秒级的行为模体34随后将其与明确的行为类别相关联。
- 由于行为记录通常过长，无法完全手动标注，因此使用机器学习方法。
- 使用 BeA 提取单只小鼠的行为模态
- 为降低噪声，应用时间窗口为500 ms的中值滤波器。利用背部和尾基关键点进行身体对齐，以促进非运动相关动作的分解；同时，采用右前肢、左前肢、右后肢和左后肢的关键点进行身体尺寸归一化。
- 用于行为分解时，采用39个对齐的身体坐标，包括：鼻部（x, y, z）、左耳（x, y, z）、右耳（x, y, z）、颈部（x, y, z）、左前肢（x, y, z）、右前肢（x, y, z）、左后肢（x, y, z）、右后肢（x, y, z）、左前爪（x, y, z）、右前爪（x, y, z）、左后爪（x, y, z）、右后爪（x, y, z）、背部（z）和尾基（x, z）。
- 将时间缩减指数设为5，聚类分辨率为3。使用谱聚类进行初始化，采用带宽sigma为30的高斯核。将最小和最大分割长度分别设为500 ms和2000 ms。
- 对于行为模态嵌入，采用具有30个最近邻和0.05最小距离的UMAP方法。通过使用Ward连接法和欧氏成对距离进行层次聚类，以提高分类的稳定性。BeA的代码仓库位于
- 使用 SBeA 识别社会行为模组。将 SBeA 的初始化参数设置为与 BeA 中使用的参数一致，并作如下修改：中值滤波窗口大小设为 1000 ms，最小分段长度增加至 2000 ms，最大分段长度延长至 5000 ms，用于社会行为的分解。
- 对于基序嵌入，应用带宽 sigma 为 2 的高斯核。最终的社会行为聚类数量范围为 16（下限）至 280（上限）。在所展示的示例中，仅使用最大的 16 个聚类进行演示。SBeA 的代码仓库位于 https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md
- 使用抗漂移姿态追踪器（ADPT）从视频记录中提取行为姿态7.
4. 神经行为学数据映射
- 准备映射数据集。在完成上述准备工作后，可获得七个用于神经行为学映射的数据集，包括神经元活动、主体姿态、对象姿态、身体距离、主体行为模态、对象行为模态以及社会行为模态。请手动按以下方式组织这些文件：
数据路径 # 用于保存所有数据的路径
----\A-B-C-D-E-neu.mat # 神经元活动
----\A-B-C-D-E-pose-tpm.mat # 主体姿态
----\A-B-C-D-E-pose-free.mat # 对象姿态
----\A-B-C-D-E-rel_dist.mat # 身体距离
----\A-B-C-D-E-mov-tpm.mat # 主体行为模态
----\A-B-C-D-E-mov-free.mat # 对象行为模态
----\A-B-C-D-E-sbea.mat # 社会行为模态
字段 A、B、C、D 和 E 的定义与 1.5.7 中相同。用于复现的示例数据位于 https://doi.org/10.6084/m9.figshare.29606795.v1. - 使用 CEBRA 创建映射的嵌入表示。
注意：由于 CEBRA 结合了基于假设驱动和发现驱动的方法来构建嵌入，因此非常适合用于揭示与多种辅助变量相关的神经表征（图 5A）。- 为确保在不同模态间对嵌入进行系统性比较，需标准化 CEBRA 模型的参数。模型架构采用 10 个偏移量，批量大小为 1024，学习率为 0.0001，温度参数为 1。
- 将输出维度设为 3，并最多训练 15,000 次迭代。使用余弦距离作为相似性度量，条件变量定义为时间差（时间偏移量为 10）。以神经元活动数据作为输入，辅助变量作为标签，生成联合嵌入。
- 对于神经元活动的自嵌入，采用相同的 CEBRA 参数，但仅使用神经元活动数据作为输入。
结果
与基于试验的实验相比，自然行为的研究具有更高的复杂性。首先，在自然条件下，神经活动和行为均缺乏固定的基线。这些活动具有重复性，即受到先前状态的影响，因此，通过比对特定行为起始点来分析神经活动，无法分离出先前神经行为学状态的影响。其次，自然行为中的神经编码主要发生在群体神经元水平4,5。单个神经元表现出的变异性足够大，通常被视为噪声。为验证这一点，本部分进行了神经活动与自然行为姿态之间的相关性分析（图2F、图3F、图4F）。所得相关系数矩阵未显示出神经元与姿态轨迹之间的特异性对应关系。具体而言，神经信号与受试者姿态、物体姿态或身体间距离的相关系数均落在-0.3至+0.3范围内，通常被认为是弱相关15（图2G、图3G、图4G）。这些结果表明，在自然条件下，与姿态相关的信息并非以单神经元特异性的方式编码。
鉴于这些因素，该框架提供了一种客观的方法，用于在神经群体水平上捕获和映射神经行为学数据。mTPM成像确保最大程度地保留单个神经元的变异性。此外，通过ADPT进行的基于深度学习的姿态估计以及BeA和SBeA等无监督行为分解方法，可生成丰富的辅助变量，从而使CEBRA能够有效解析神经群体内部的变异性。
这些示例表明，联合 CEBRA 嵌入存在于所有辅助变量中，包括个体姿态、物体姿态、身体距离、个体行为模体、物体行为模体以及社会行为模体（图 5A）。为了验证跨会话或跨个体的行为模体与神经嵌入的一致性，对三对小鼠进行了Procrustes分析35（图 5B）。由于CEBRA嵌入分布在单位球面上，Procrustes分析中仅启用了旋转参数。鉴于自然行为CEBRA嵌入缺乏明确的基线，本部分首先对嵌入进行标签引导的对齐采样，以确保在应用Procrustes分析前具有稳定的锚定点。从视觉上看，这些CEBRA嵌入表现出一定程度的内在一致性，其中身体距离和社会行为模体的对齐程度最高，这与Procrustes对齐前后RMSE的量化结果相符（图 5C）。随后，比较了姿态（图 5D）和模体（图 5E）的嵌入解码准确性。尽管它们的表征方式不同，但每种均可实现高精度解码。虽然身体距离的解码RMSE显著高于个体和物体姿态，但并未超过ADPT7的追踪精度。
为了探究这些基于假设的嵌入的来源，通过 CEBRA 生成了神经活动的自组织嵌入（图 5A，右列）。神经嵌入的形状比其他联合嵌入更为复杂，融合了多种联合嵌入的模式。此外，使用普氏变换（Procrustes transformation）比较了神经嵌入与联合嵌入之间的相似性，随后比较了它们的余弦相似性（图 5F）。余弦相似性是在对应时间点对齐的嵌入之间按每分钟计算得出的。
基于S1在编码自组织躯体感觉输入中的明确作用36，本研究选择S1-被试姿态联合嵌入作为相似性比较的基线。该嵌入为评估其他变量（如与物体相关的模态）在同一神经空间中的表征方式提供了具有生物学意义的参考点。此类比较使我们能够相对于与自我相关的躯体感觉基线，评估不同行为维度编码的相对强度。
将神经嵌入与S1-受试动物姿势联合嵌入作为基线进行余弦相似度比较时，本研究发现物体模态的联合嵌入值显著更低。这表明，在本示例中为期15分钟的自由社交互动期间，受试小鼠的S1神经活动主要编码了其自身行为以及正在进行的社交互动。尽管本分析仅为一个示范性案例，但相同的分析方法框架可直接应用于更精细的研究，例如通过比较不同时段的嵌入结构，揭示神经编码的动态变化。
图 1：神经行为学数据采集流程。（A）设备集成。（B）数据记录操作。（C）记录后的神经信号提取、二维姿态估计及三维身体轨迹重建。请点击此处查看该图的放大版本。
图 2：小鼠1预处理后的数据，用于进一步分析。（A）神经元活动。（B）主体姿态。（C）客体姿态。（D）身体距离。（E）行为模态。从上到下分别为主体、客体和社会行为模态。（F）神经活动与姿态之间的相关系数矩阵。左侧：神经活动与主体姿态之间的相关系数。中间：神经活动与客体姿态之间的相关系数。右侧：神经活动与身体距离之间的相关系数。相关系数计算了每个神经元信号轨迹与每个姿态维度之间的关系。（G）F图中相关系数的分布情况。神经元索引根据神经活动与主体姿态之间的相关系数进行排序。缩写：N & S = 神经活动与主体姿态，N & O = 神经活动与客体姿态，N & B = 神经活动与身体距离，CC = 相关系数。请点击此处查看该图的放大版本。
图3：小鼠2的预处理数据用于进一步分析。（A）神经元活动。（B）主体姿态。（C）客体姿态。（D）身体距离。（E）行为模态。从上到下分别为主体、客体及社会行为模态。（F）神经活动与姿态之间的相关系数矩阵。左侧：神经活动与主体姿态之间的相关系数。中间：神经活动与客体姿态之间的相关系数。右侧：神经活动与身体距离之间的相关系数。相关系数为每个神经元轨迹与每个姿态维度之间的相关性。（G）F图中相关系数的分布。神经元索引根据神经活动与主体姿态之间的相关系数进行排序。缩写：N & S = 神经活动与主体姿态，N & O = 神经活动与客体姿态，N & B = 神经活动与身体距离，CC = 相关系数。请点击此处查看该图的放大版本。
图 4：小鼠3的预处理数据用于进一步分析。（A）神经元活动。（B）主体姿态。（C）客体姿态。（D）身体距离。（E）行为模体。从上到下分别为主体、客体和社会行为模体。（F）神经活动与姿态之间的相关系数矩阵。左侧：神经活动与主体姿态之间的相关系数。中间：神经活动与客体姿态之间的相关系数。右侧：神经活动与身体距离之间的相关系数。相关系数为每个神经元轨迹与每个姿态维度之间的相关性。（G）F图中相关系数的分布。神经元索引根据神经活动与主体姿态之间的相关系数进行排序。缩写：N & S = 神经活动与主体姿态，N & O = 神经活动与客体姿态，N & B = 神经活动与身体距离，CC = 相关系数。请点击此处查看该图的放大版本。
图 5：神经行为学数据的 CEBRA 嵌入分析。 （A）CEBRA 嵌入结果。从左到右分别为：S1 神经活动与受试动物姿态的联合嵌入、S1 神经活动与物体姿态的联合嵌入、S1 神经活动与两只动物间身体距离的联合嵌入、S1 神经活动与受试动物行为模态的联合嵌入、S1 神经活动与物体行为模态的联合嵌入、S1 神经活动与社会行为模态的联合嵌入，以及 S1 的神经嵌入。（B）Procrustes 分析对上述嵌入结果进行对齐。灰色圆圈代表小鼠对 1，作为参考嵌入；绿色加号代表小鼠对 2，橙色叉号代表小鼠对 3，二者均与小鼠对 1 对齐。（C）Procrustes 对齐前（左）和对齐后（右）的均方根误差（RMSE）（配对 t 检验，n=3，均值 ± 标准误 SEM）。（D）从 CEBRA 嵌入重建姿态的均方根误差（RMSE）（单因素方差分析后接 Tukey 多重比较检验，n=3，均值 ± 标准误 SEM）。（E）从 CEBRA 嵌入重建行为模态的准确率（单因素方差分析后接 Tukey 多重比较检验，n=3，均值 ± 标准误 SEM）。（F）联合嵌入与 S1 神经嵌入之间的余弦相似性（单因素方差分析后接 Dunnett 多重比较检验，n=45，均值 ± 标准误 SEM）。*p < 0.05，**p < 0.01，***p < 0.001。请点击此处查看该图的放大版本。
| 编号 | 观察到的问题 | 可能原因 | 可能的解决方案 |
| 1 | 无行为时间戳 | (1) SMA 或 BNC 线缆故障 | (1) 更换 SMA 和 BNC 线缆 |
| (2) 缺少 USB-to-TTL 驱动程序 | (2) 安装 Prolific PL2303 USB 驱动程序 | ||
| (3) COM 端口选择错误 | (3) 在设备管理器中确认 COM 端口号，并在 mTPM 软件和行为相机脚本中更新该设置。 | ||
| 2 | mTPM 安装过程中无可见荧光 | (1) 病毒表达缺失 | (1) 更换小鼠 |
| (2) 视野位置不正确 | (2) 重新调整视野 | ||
| (3) 激光功率不足 | (3) 逐步提高激光功率 | ||
| (4) Carbomer 凝胶干燥 | (4) 重新涂抹新鲜的 Carbomer 凝胶 | ||
| 3 | mTPM 成像显示全白画面 | (1) 光线泄漏 | (1) 重新用铝箔包裹以实现有效遮光 |
| (2) 激光功率不足 | (2) 逐步提高激光功率 | ||
| (3) 光纤从 mTPM 头部脱落 | (3) 将光纤重新插入 mTPM 并拧紧固定螺丝 | ||
| 4 | 行为视频中出现丢帧 | (1) 环境光照不足 | (1) 增加背景照明 |
| (2) 使用了错误的 USB 端口 | (2) 使用至少 USB 3.0 端口 | ||
| (3) 计算机性能不足 | (3) 使用配备 Intel i7-9700K 或更高型号、双通道内存和 SSD 存储的计算机。 | ||
| 5 | 安装 mTPM 的小鼠无运动行为 | (1) 同一只小鼠重复使用 | (1) 避免在 3 天内重复使用同一只小鼠 |
| (2) 铝箔使用过多 | (2) 仅使用实现遮光所需的最少铝箔量 | ||
| (3) 氦气气球数量或体积不足 | (3) 调整气球数量和充气程度，以支撑 mTPM 光纤的同时允许小鼠保持自然姿势和活动。 | ||
| 6 | 2D 姿态估计不准确 | (1) 手动标注的帧数不足 | (1) 逐步标注至少 200 帧 |
| (2) ADPT 模型训练不足 | (2) 增加 ADPT 的 config.yaml 文件中的训练轮数（epochs） | ||
| 7 | 3D 姿态重建异常 | (1) 相机标定不当 | (1) 改善标定板的对比度和倾斜角度 |
| (2) 输入的 2D 姿态数据不准确 | (2) 增加采集的棋盘格图像帧数 | ||
| (3) 首先解决 2D 姿态问题（参见问题 6） | |||
| 8 | 神经数据与行为数据对齐错误 | (1) 软件启动顺序错误 | (1) 始终先启动 mTPM 记录，再启动行为相机 |
| (2) 行为视频丢帧 | (2) 解决丢帧问题（参见问题 4） | ||
| (3) 确保有足够的磁盘空间 | |||
| 9 | BeA/SBeA 处理过程中内存溢出 | (1) 记录时长过长 | (1) 将记录分割为较短片段（5–60 分钟），再运行 BeA/SBeA |
| (2) 系统内存（RAM）有限 | (2) 增加 BeA 中的时间降维因子（例如从 5 提高到 10） | ||
| (3) 将内存升级至至少 64 GB | |||
| 10 | CEBRA 无法在 GPU 上运行 | (1) CUDA 与 GPU 驱动版本不匹配 | (1) 不要直接按照教程安装 CUDA 11.3 |
| (2) PyTorch 版本不兼容 | (2) 检查 GPU 型号和驱动版本（nvidia-smi） | ||
| (3) 根据情况安装正确的 CUDA 和 PyTorch 版本，然后通过 pip 安装 CEBRA |
表1：故障排除列表。 以下是10个先前遇到的非简单问题及其可能的解决方案列表。
讨论
该神经行为学记录与解码框架基于市售设备构建，确保大多数故障问题可由相应公司提供支持解决。尽管如此，本研究仍提供了一份常见问题列表，以方便查阅并简化故障排查流程（表1）。这种可及性使该框架对初学者更加友好。此外，该框架具有高度灵活性，神经活动与行为记录之间的同步依赖于标准的TTL信号。因此，如有需要，可轻松将其他生理记录设备整合至该框架中。后续的分析流程也具备足够的通用性，可支持完全自定义的神经与行为记录系统。
该框架基于商业化设备，相关成本相对较高（约50万美元），从而给实验室带来额外的经济负担。尽管近期出现的开源工具（如MINI2P13和Anipose37）有助于降低材料成本，但本研究经验表明，在计入调试过程中所需的人力资源成本后，总体支出仍将维持在相似水平。该框架的另一局限性在于CEBRA嵌入结果的可解释性。由于该方法基于人工神经网络，其本身具有难以解释的特性。尽管本文示例提供了一种简单的嵌入结果解释方法，但针对不同项目仍需开发特定的分析方法。对CEBRA嵌入结果进行进一步解释的一个潜在解决方案是应用动力系统理论38。此外，自然行为可被划分为不同阶段，例如当两只小鼠相距较远或靠近时的互动行为。不同的科学问题可能需要定制化的数据分析流程。
尽管当前的 mTPM 与 3D 相机系统部署在开放场地环境中，但其应用并不局限于这一特定的行为学场景。主要限制因素来自成像系统的物理连接，这限制了动物的活动范围，以及 3D 相机的视场，这限制了可追踪的空间体积。未来可通过集成无线成像模块39或陷阱相机阵列40来改进系统，从而支持更复杂且更接近自然的行为范式。值得注意的是，mTPM 系统和 3D 相机装置均能够实现连续 24 小时的数据采集10,41，因此整个系统非常适用于长时间尺度下的行为与神经记录研究。
本研究采用完全数据驱动的方法来探究自发行为的神经编码，因此有意避免为聚类的行为模态分配预定义的语义标签。这一决策源于保留神经-行为映射框架普适性的目标，使其能够独立于实验者设定的行为类别而运行。对于关注行为模态生物学可解释性及监督分类的读者，可参考以往的研究1,10，以及一项近期研究42，该研究使用相同的底层行为图谱（Behavior Atlas）框架，系统比较了无监督模态聚类与人工标注行为的结果。这些研究还通过公开数据库提供了丰富的可视化资源，包括三维姿态序列、运动轨迹和模态层级的嵌入表示。这些资源共同揭示了行为语义结构的补充性见解，同时支持本研究采用的灵活且具有普适性的神经解码方法。
该数据处理流程在设计时注重模块化与灵活性，可适应不同的实验条件和用户偏好。流程的每个主要组件，从三维姿态估计、无监督行为模式聚类、神经信号预处理到联合神经行为学嵌入，均被实现为具有明确定义输入输出接口的独立模块。这种架构允许用户在各个阶段替换替代工具或算法（例如不同的姿态估计框架6,22、行为聚类算法43,44或神经解码器45,46），而不会破坏整体工作流程。尽管这些组件设计为可互操作，但本研究并未对所有可能的替代方法组合进行 exhaustive 测试，用户在特定应用中可能需要进行额外调优以确保兼容性。此类模块化设计有助于提升可重复性与可扩展性，并使该框架能够适用于本研究中未展示的物种、记录模态或行为范式。为支持更广泛的研究社区使用，本研究提供了示意图概览和材料汇总表（图1，材料表）。
本流程中用于 SBeA 和 CEBRA 的参数设置结合了默认值与针对该实验情境（即在自然社交互动条件下的自由活动小鼠）的经验性优化。这些参数已通过验证，能够复现本研究中呈现的全部结果，无需进一步调整。尽管用户可能希望微调某些参数以适应不同的记录装置或行为任务，但复制本流程时并不需要此类修改。对于在其他情境下开展工作的用户，建议参考 SBeA 和 CEBRA 的原始文档与相关文献，其中提供了参数范围及针对特定任务的指导。本实施方案提供了一种稳健的参考配置，可直接应用或根据需要进行调整。
该框架的主要进步在于其适用于自由活动的动物。先前在头部固定动物中开展的研究可在此框架下调整为自由活动条件。例如，Go/No-Go任务47和双选迫选任务48可根据自然行为范式进行修改并整合到该框架中。该方法消除了头部固定所引起的人工假象，从而能够研究任务与自然行为状态之间的关系。该框架赋予动物在决策过程中更大的自主性。同时，它还支持在更接近自然的情境下对脊髓进行研究，并可结合mTPM脊髓记录方法49。此外，该框架有助于研究自由群体行为，而这一现象在头部固定的实验设置中无法实现。数据分析流程能够通过嵌入方法解析神经群体活动在多个变量下的表现，揭示神经群体背后脑功能的复杂性。
披露
作者声明不存在利益冲突。
致谢
本工作得到了中国科学院战略性先导科技专项（项目编号：XDB1010101，授予 P.W.）、STI2030 重大项目（项目编号：2021ZD0203900，授予 P.W.）、国家自然科学基金（项目编号：32222036，授予 P.W.）、国家自然科学基金（项目编号：T2394530，授予 P.W.）以及深圳市科技计划（项目编号：KJZD20230923115114028，授予 P.W.）的支持。作者还感谢南京脑观象台（NBO）和北大—南京转化医学联合研究院（中国南京 211800）在双光子显微镜使用方面提供的支持与协助。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 3D行为记录系统 | BayONE Scientific | BA-3D-Mouse | 集成同步模块 |
| 气球 | AliExpress | URL: https://tinyurl.com/3uex669s | 任何充入氦气后足够轻便可飞行的气球。这些气球为球形金属薄膜气球，直径约45 cm，并带有自密封阀门。该URL提供了此类气球的一个示例。 |
| 卡波姆眼用凝胶 | Vidisic | 基于卡波姆980的润滑性眼用凝胶 | 10g |
| 棉绳 | AliExpress | URL: https://tinyurl.com/ywu7u754 | 粗而轻，直径1–2 mm。该URL提供了棉绳的一个示例。 |
| 颅骨钻 | RWD | 78001 | 0.8、1.4和2.1 mm钻头 |
| 可配置定制相机模块 | Intel | RealSense D435 | / |
| 高性能丙烯酸结构胶 | HUITIAN | 1320 | 490ml |
| 用于成像的小鼠 | TRANSCEND VIVOSCOPE | URL: https://en.tv-scope.com/ | 使用C57BL/6J背景的雄性小鼠（10周龄），单只饲养于笼中，环境条件为12 小时光照-黑暗循环，温度22–25 °C，湿度40%–70%，可自由获取水和食物。向其初级躯体感觉皮层（前-后位，−0.60 mm；内-外侧位，−2.40 mm；背-腹侧位，2.00 mm）注射AAV9-CaMKII-GCaMP6s病毒。在本研究中，小鼠由TRANSCEND VIVOSCOPE进行制备，作为其专业动物制备服务的一部分。该服务包括病毒注射、颅窗植入以及专为其微型双光子显微成像系统定制的基板安装。 |
| 用于交互的小鼠 | BayONE LAC | URL: https://lac.bayonesci.com/ | 使用C57BL/6J背景的雄性小鼠（10周龄），每笼饲养5只，环境条件为12 小时光照-黑暗循环，温度22–25 °C，湿度40–70%，可自由获取水和食物。所有饲养和实验操作均经中国科学院深圳先进技术研究院动物护理与使用委员会批准。 |
| 微型双光子神经记录系统（mTPM） | TRANSCEND VIVOSCOPE | SUPERNOVA-600 | SUPERNOVA-600是一种完全集成的微型双光子成像系统，适用于自由活动的啮齿类动物，包含所有必要的光学和记录组件，但不包括外部刺激装置。该系统应包含集成同步模块。 |
参考文献
- Han, Y., et al. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).
- Zong, W., et al. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).
- Schneider, S., Lee, J. H., Mathis, M. W. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).
- Lanzarini, F., et al. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).
- Testard, C., et al. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).
- Mathis, A., et al. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Tang, G., et al. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).
- Panadeiro, V., Rodriguez, A., Henry, J., Wlodkowic, D., Andersson, M. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).
- Jhuang, H., et al. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).
- Huang, K., et al. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).
- Juavinett, A. L., Bekheet, G., Churchland, A. K. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).
- Chen, S., et al. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).
- Zong, W., et al. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).
- Zong, W., et al. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).
- Han, Y., et al. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).
- Jazayeri, M., Ostojic, S. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).
- Churchland, M. M., et al. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).
- Van Der Maaten, L., Hinton, G. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).
- Mcinnes, L., Healy, J., Melville, J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).
- Klibaite, U., et al. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).
- Zhou, D., Wei, X. 34th Conference on Neural Information Processing Systems (NeurIPS), , (2020).
- Pereira, T. D., et al. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).
- Von Ziegler, L., Sturman, O., Bohacek, J. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).
- Pereira, T. D., Shaevitz, J. W., Murthy, M. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).
- Segalin, C., et al. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).
- Gris, K. V., Coutu, J. P., Gris, D. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).
- Liu, N., et al. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).
- Bando, Y., Wenzel, M., Yuste, R. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).
- Pachitariu, M., et al. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).
- Han, Y., Huang, K., Chen, K., Wang, L., Wei, P. IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), , 306-310 (2021).
- Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).
- Zhong, H., et al. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).
- Datta, S. R., Anderson, D. J., Branson, K., Perona, P., Leifer, A. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).
- Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
- Feldman, D. E., Brecht, M. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).
- Karashchuk, P., et al. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).
- Laiz, R. G., Schmidt, T., Schneider, S. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).
- Liberti, W. A., Perkins, L. N., Leman, D. P., Gardner, T. J. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).
- Tuia, D., et al. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).
- Han, J., et al. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).
- Ye, J., et al. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).
- Weinreb, C., et al. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).
- Jia, Y., et al. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).
- Gosztolai, A., Peach, R. L., Arnaudon, A., Barahona, M., Vandergheynst, P. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).
- Stringer, C., et al. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).
- Vassilev, P., et al. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).
- Verma Rodriguez, A. K., Ramírez-Jarquin, J. O., Rossi-Pool, R., Tecuapetla, F. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).
- Ju, F., et al. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).
重印与许可
