本文展示了一种视频分析流程，可克服在磁共振成像（MRI）环境中进行行为监测所面临的挑战，从而实现对外部刺激引发的非指令性行为反应的检测。该分析方法将有助于更全面地理解诱发的内在状态变化及全脑范围的活动模式。
本文内容
摘要
摘要
全脑成像技术的最新进展使神经科学家能够研究协调性的脑活动如何处理外部线索，进而影响内部状态变化并引发行为反应。例如，功能磁共振成像（fMRI）是一种非侵入性技术，可通过血氧水平依赖（BOLD）反应，在清醒且能自由活动的小鼠中测量全脑活动。然而，要全面理解由外部刺激引发的BOLD反应，实验人员在扫描过程中同步评估行为反应至关重要。MRI环境为此目标带来了挑战，导致常用的行为监测方法无法适用。这些挑战包括：（1）视野受限；（2）缺乏不含铁磁性组件的可用设备。本文介绍了一种行为视频分析流程，该流程通过从受上述环境限制所采集的视频中提取有价值的信息，克服了这些局限性，从而实现在获取全脑神经数据的同时对行为进行评估。通过采用光流估计和降维等方法，可检测到fMRI扫描期间不同刺激所引发的行为反应中的显著差异。例如，代表性结果表明，在母鼠与未交配雌鼠中，幼鼠发声（而非纯音）会引发显著不同的行为反应。未来，这一行为分析流程——最初为解决fMRI实验中的挑战而设计——可拓展应用于多种神经记录方法，为受限环境下的行为监测提供广泛适用的解决方案。对行为反应与神经反应的协同评估，将有助于更全面地理解刺激感知如何导致复杂行为输出的协调过程。
引言
在神经记录过程中监测行为反应对于理解全脑范围内由刺激引发的协调性活动至关重要 。当动物对刺激的反应无法预期为特定且目标导向的行为时，观察其自发行为可为外界线索如何影响其内在状态提供重要线索1,2。近年来，神经成像技术的进步（如大视野钙成像和功能磁共振成像（fMRI））使神经科学家能够将研究范围扩展至单一脑区之外。然而，为了更全面地理解此类高维神经数据，也必须同步提升对这些复杂神经活动模式所对应行为输出的评估能力。
目前，用于表征任务指导行为的先进技术已广泛应用于神经科学研究中，包括使用温度和压力传感器检测嗅闻行为3,4、利用光束检测舔舐行为5，以及采用无标记姿态估计算法追踪预设的身体部位6。然而，对非指令性行为模式进行数据驱动评估仍是该领域面临的一项挑战7。尽管数据驱动行为分析方法正在快速发展，但现有方法通常需要强大的计算资源、专用设备，或对动物具有特别清晰的视野2,6,8,9。 本文介绍了一种行为视频分析流程，该流程可轻松适用于任何视频数据，并能够从被动刺激期间获取的视频中提取有价值的行为指标。
该行为分析流程旨在与固定头部动物在多种外部刺激和记录环境下同步采集神经信号和视频数据的需求相兼容，即使在存在较大限制的条件下也能适用。例如，磁共振成像（MRI）环境对行为监测提出了特殊挑战，包括视野受限以及无法使用含铁磁性成分的设备。这些限制使得常用方法难以应用，导致诸如头部运动（即大脑在体积扫描间期的移动情况）等指标成为最易获取且仍具价值的测量参数之一 有限的 评估扫描期间身体反应的方法10。通过 克服这些局限性，本方案促进了对磁共振兼容视频数据的分析，表明 雌性小鼠与 不同的母体经历对听觉刺激表现出不同的行为反应。在进行fMRI扫描期间，向母亲个体与未产个体呈现听觉刺激，包括幼崽痛苦的叫声（"幼鼠叫声"）和纯音。这些刺激以被动方式呈现，即不涉及任何指令性的行为反应。尽管预测母亲个体对幼崽叫声的反应会比未产仔个体更强，但关于这方面的文献还很少。 雌性小鼠在头部固定环境中对幼崽线索的反应。因此，没有特定的行为输出可供追踪 先验的，使本实验成为检验所提出的数据驱动行为分析方法的理想测试。通过采用光流估计和降维等方法，检测到了行为反应在强度和空间表现上的组间差异。
未来，通过协调评估行为反应和神经反应，可更全面地理解外部刺激如何改变内在状态并影响复杂的行为输出。这种理解应扩展到在无强制任务和无指导行为的情况下呈现的刺激。本文介绍的分析流程可推广至多种神经记录技术，即使在受限环境中也能实现灵活的行为监测。
方案
所有动物实验均按照哥伦比亚大学机构动物护理和使用委员会（IACUC）批准的方案进行，所有方法均遵循相关指南、法规和建议。所用设备和软件的详细信息列于下文 材料表.
1. 软件
- 下载 MATLAB 来自 Mathworks 网站。
注意：本分析流程所包含的代码仅可通过 MATLAB 执行，且专门编写为与 MATLAB 2023a 版本兼容。 - 此流程需要 MATLAB 中的 Computer Vision Toolbox 和 Image Processing Toolbox。通过点击 MATLAB 附加功能中的按钮，将这些工具箱添加到 MATLAB 中 管理附加组件，获取附加组件，然后搜索并添加它们。
注意：提供了五个 MATLAB 脚本作为补充文件，文件名如下：script1_videocoreg.m（补充编码文件 1），script2_optflow_roiselect.m（补充编码文件 2），script3_optflow_analysis.m（补充编码文件 3），script4_optflow_pca.m（补充编码文件 4）和 script5_optflow_pca_analysis.m（补充编码文件 5）。两个示例视频（视频 1 和 视频 2）及其对应事件时间文件（补充文件 1 和 补充文件 2) 也一并提供。建议首先使用示例数据运行整个流程。
警告：请注意代码中包含感叹号的注释，这些部分在执行前需要进行操作。例如，存在如下注释 "编辑下方的代码块！" 以突出显示为适应文件结构、实验细节或分析需求而必须修改的位置。这些选项默认设置为适配所提供的两个示例视频，但在用户开始使用自身数据运行流程时，需要进行相应调整。 - 要运行每个脚本的每个部分，请单击 运行与推进 在 编辑 菜单
2. 视频共配准
注意：本分析流程中提供的第一个脚本是 script1_videocoreg.m（补充代码文件 1），该脚本通过配准实现所有视频之间的空间对齐。via 配准。该脚本的输入为原始视频，主要输出为经过变换的视频。
- 根据数据结构，在脚本中标注的位置编辑 第1、2、3、4、5 和 6 节。
- 运行 第1节。
- 在每个视频中选择三个 点进行标记，如 图1A 所示。这三个 点将用于将所有帧彼此配准。运行脚本的 第2节 以调出每个视频的第一帧 ，然后使用鼠标在 前两个点 上单击一次，在 第三个点 上双击。在选择完最后一个视频的点后，按下 Enter 键。
- 运行 第3节 和 第4节。
- 将标志 aligned 设为 0 ，然后运行 第5节。接着，将标志 aligned 设为 1，再次运行 第5节。
- 运行 第6节，并将生成的并排图像与 图1B 进行比较。左侧未对齐的平均图像中观察到的任何异常现象，在右侧对齐后的平均图像中应有所减轻。
3. 光流估计：全视场
注意：为了评估扫描视频中的运动情况，需要对每个转换后的视频估算光流。此操作可通过提供的脚本 script2_optflow_roiselect.m 对每个视频的整个视野（FOV）完成（补充代码文件 2）。该脚本的输入为转换后的视频，输出为三维矩阵，表示每个视频中各像素随时间变化的光流强度。图 2A 展示了一个示例帧，其中以蓝色叠加了光流矢量，每个矢量的长度代表对应像素的相对光流强度。将输出结果保存为视频比保存为三维矩阵更高效。
- 根据数据结构，在脚本中标注的位置编辑第1节。
- 运行第1节。
4. ROI 选择
注意：通过在完整视场（FOV）内选择一个感兴趣的区域（ROI）作为分析重点，可显著降低后续分析步骤的计算负载和数据存储需求。ROI 可根据实验设计和关注的行为特征进行选择，也可采用更偏向数据驱动的方法确定。本文展示的代表性结果中，使用脚本 script2_optflow_roiselect.m 的第 2 节（补充代码文件 2）计算了完整 FOV 中每个像素的光流幅值的标准差。该部分脚本的输入为第 1 节的输出结果，主要输出为所有视频中各像素光流幅值标准差的可视化图像。在所展示的代表性结果中，镜像 FOV 显示出相对较高的光流标准差，这为示例中 ROI 的选择提供了依据。
- 根据指示编辑脚本中的第2节，以适配数据结构。
- 运行第2节，并利用生成的图像观察所分析视频中光流变化最显著的区域。该图像示例如图2B所示。
5. 光流定量分析：ROI
注意：脚本 script2_optflow_roiselect.m 的第 3 节（补充代码文件 2）允许用户使用绘图工具选择感兴趣区域（ROI）并保存边界坐标。该部分脚本的输入为第 1 节的输出，输出为一维向量，表示每个视频中 ROI 随时间变化的平均光流幅值。
- 根据数据结构和分析需求，编辑脚本中指定的第3节。
注意：关于如何进行ROI选择，有几种可选方案。请选择其中一种：- 选项1：分析整个视频的视场（FOV）。
- 将标志selectROI 设置为0 ，并将provideROI 设置为0。
- 选项2：分析一个新的ROI区域。
- 将标志selectROI 设置为1 ，并将provideROI设置为0。然后编辑newCoordsName。
- 选项3：分析先前绘制的ROI区域。
注意：仅当之前已运行过此代码并创建了ROI时，才可选择此选项。- 将标志selectROI 设置为0 ，并将provideROI 设置为1。然后编辑inputCoords ，以提供一组预定义的坐标。
- 选项1：分析整个视频的视场（FOV）。
- 运行第3节。
6. 光流幅值比较
注意：所提供的脚本 script3_optflow_analysis.m（补充代码文件 3）需要最大程度的定制化以适配用户的数据。主要输入为一维向量，表示每个视频中感兴趣区域（ROI）随时间变化的平均光流幅值；当这些向量与事件起始时间以及分组/条件信息适当地结合后，主要输出为可根据分析需求定制的统计比较结果。
- 根据数据结构和分析需求，编辑脚本的第1-3节。
- 在第1节中，将分析选项标志zsc, blrm, blzsc, demeanPerTrial和applyLPfilter按需设置为0或1。在所展示的代表性结果中，zsc, blrm和applyLPfilter被设为1，其余选项均设为0。
- 将LPfilter设置为一个数值，表示所需低通滤波器的频率（单位：赫兹，Hz）。在所展示的代表性结果中，应用了5 Hz的低通滤波器，因为行为反应预期不会以超过5 Hz的频率波动。
- 运行第1-3节。第3节应生成群体平均光流时间序列、群体平均累积光流以及汇总的累积光流图，包括如图3所示的图表。第3节可用于任意组合的组别/条件比较。
7. 光流PCA
注意：在光流幅度估算的基础上，脚本 script2_optflow_roiselect.m（补充代码文件 2）的输出结果还包含每个视频逐帧光流的空间分布信息。为了降低该空间信息的维度，所提供的脚本 script4_optflow_pca.m（补充代码文件 4） 对估算的光流进行主成分分析（PCA）。主要输入为此前按每个行为视频保存的三维光流矩阵，主要输出为每个视频对应的一个 .mat 文件，其中包含主成分（PC）及解释方差信息。
- 根据数据结构和分析需求编辑脚本的第1节。
- 在第1节中，按需设置分析选项标志stimnum、dsfactor和fnfactor。在本文展示的代表性结果中，每种刺激类型被单独分析，dsfactor和fnfactor保持默认值1，从而在空间和时间上均未进行下采样。
- 运行第1节。
8. 光流 PCA 比较
注意：提供的脚本 script5_optflow_pca_analysis.m（补充代码文件 5）将对不同组之间的主成分分析（PCA）结果进行探索性比较。主要输入为从脚本 script4_optflow_pca.m（补充代码文件 4）获得的特定刺激的主成分（PC）及其解释方差信息，主要输出为经过统计阈值处理的热图，用以展示第一主成分的载荷情况，但该脚本也可用于分析其他主成分。
- 编辑脚本中的第1节，以适配数据结构和分析需求。
- 运行第1节和第2节。
- 编辑第3节的输入参数，特别是group和myTitle变量，以反映所需的组分析内容，以及threshT。threshT表示T统计量的阈值，高于该阈值的结果将被视为具有显著性，可根据公开的T统计量转p值对照表及自由度进行计算。
- 对每个感兴趣的组运行第3节。代码应生成一个组汇总统计图，如图4左侧面板和中心面板所示。可根据可视化需要调整caxis范围，从而调整颜色条的显示界限。
- 编辑第4节的输入参数，特别是mag和myTitle变量，以反映所需的组间比较内容，以及threshT。threshT表示T统计量的阈值，高于该阈值的结果将被视为具有显著性，可根据公开的T统计量转p值对照表及自由度进行计算。
- 对每个感兴趣的组间比较运行第4节。代码应生成一个组间比较的统计图， 如图4右侧面板所示。可根据可视化需要调整caxis范围，从而调整颜色条的显示界限。
结果
为展示该分析流程的潜力，采集了固定头部的雌性小鼠（分别为母鼠和未交配雌鼠）在功能磁共振成像（fMRI）扫描期间接受听觉刺激时的行为视频。刺激包括被动呈现的幼崽叫声和纯音，未要求小鼠产生任何特定行为反应。幼崽叫声来源于出生6天、暂时脱离巢穴的幼鼠所发出的超声波发声录音。这类叫声通常会引发母性行为中的幼崽回收行为，即母鼠定位、靠近、探查幼崽，随后将其叼起并带回巢中安全处；而未交配雌鼠通常不表现出此类行为。11先前的研究表明，幼崽的叫声能在母鼠的初级听觉皮层中引发强烈的诱发电活动，但在未交配雌鼠中则不能，而纯音反应在两组之间无显著差异。12因此，研究假设在对幼崽叫声的行为反应上存在组间差异，而对纯音则无此差异。然而，相关文献较为有限 在头部固定环境下，雌性小鼠对幼崽相关线索的特定行为反应。因此，未预期有特定的行为输出, 使本实验成为验证所提出的数据驱动行为分析方法的理想测试。
在为期八天的过程中，所有动物逐渐适应了实验人员的接触、头部固定以及磁共振成像（MRI）环境。对头部固定和实验环境的适应对于评估动物对所呈现刺激的行为反应至关重要。若动物未充分适应环境，则可能仅表现出应激反应，从而掩盖原本可被识别的刺激驱动效应。 通过 视频记录
尽管行为实验装置的设置在每次数据采集过程中基本保持一致，但在动物进行头固定以接受fMRI扫描时，相机的视野（FOV）仍可能每次发生轻微偏移（参见示例FOV） 图1A这可能是由于相机支架位置的微小变化，以及每只动物头颅固定头杆时存在的个体差异所致。因此，需要对扫描获得的视频进行相互对齐。 通过 线性共配准，以实现不同扫描及不同动物间所包含空间信息的比较。共配准过程根据代表性数据进行定制。例如，在常规扫描日，每只动物采集3–4次扫描，从而每天获得3–4个视频。每次扫描之间，承载装置的各组件（包括相机和头部固定组件）均未移动。因此，一旦确定了每只动物每天其中一个视频的共配准变换参数，该变换即可应用于同一天内该动物的其余2–3个视频。尽管此方法可节省本流程中共配准步骤的时间，但如有需要，也可为每个视频单独计算空间变换。每个视频中选取三个稳定存在的特征点用于标记并计算空间变换。在所示的代表性数据中，这三个点分别为头固定柱的中心、动物右眼的正面视图，以及通过置于45度角的镜面可见的右眼侧面视图。视频共配准的示例如图所示。 图1A，B，显示了本实验中所有视频在配准前后计算得到的平均帧，以展示该步骤的效果。
该流程主要依赖光流法（optical flow），这是一种计算机视觉方法，通过估算连续视频帧之间物体的表观速度来估计其运动13。选择光流法是因为它能够在无需预设感兴趣身体部位或行为动作的情况下，对运动（作为行为反应的代理指标）进行量化。此外，该方法适用于代表性视频有限的图像质量，这些视频是在实验期间唯一可获得的磁共振兼容相机所采集的。在本流程中，采用的是Horn-Schunck全局稠密光流估计算法；然而，其他算法（如Lucas-Kanade算法）也可通过略微修改所提供的MATLAB脚本轻松实现14,15,16。图2A展示了一个视频帧示例，其中每个像素点上叠加了相对光流速度矢量。请注意，较大的矢量出现在预期会发生运动的区域，例如动物的鼻部和爪子部位。
尽管该流程对整个视场（FOV）内的所有视频均估算了光流，但通过在视场内选择一个感兴趣区域（ROI），使得后续分析步骤在计算负载和数据存储需求方面大大降低，更具可操作性。ROI可根据实验设计和预设的关注行为进行选择，也可采用更偏向数据驱动的方法确定。鉴于代表性数据中不包含需追踪的特定行为输出 先验的采用了一种数据驱动的方法。计算了所有视频中每个像素处光流幅度的标准差，如图所示。 图2B标准差最高的区域包括动物轮廓部分，例如眼睛和吻部周围，这表明所观察到的光流波动是由动物运动引导的，而非视频中的噪声所致。标准差较低的区域则包括支架轮廓部分，这可能是扫描过程中相机和支架发生微小振动所导致的。在MRI环境中，由于梯度切换不可避免地会引起振动，这些振动可能表现为支架反光部件中所观察到的光流波动。幸运的是，这些振动在整个数据采集过程中保持恒定，与刺激条件无关，因此不会影响行为分析的结果。在镜面像素中观察到尤为显著的光流标准差升高，对应于动物面部的侧貌视图，这一现象指导了代表性数据感兴趣区域（ROI）的选择。该区域也是预期可能出现行为反应（如胡须颤动和嗅探）的部位，这些行为属于雌性小鼠在寻找发出幼崽叫声的孤立幼崽时典型的行為特征。17.
在选定感兴趣区域（ROI）并提取所有视频的逐帧光流平均幅度后，可比较不同组别和条件下感兴趣时间段内的光流情况。需要注意的是，每个视频光流向量的前20秒（s）因亮度稳定需要已被屏蔽；但此参数可根据实验需求进行调整。对于每个视频，所选ROI的逐帧光流向量首先进行Z分数标准化，随后参照先前面部表情分类研究的方法，在5赫兹（Hz）进行低通滤波，以校正摄像机30 Hz帧率远高于预期行为波动频率的问题2。最后，将经过Z分数标准化和滤波处理的向量按刺激呈现时段进行分段，以评估刺激呈现对光流的影响。对于每个时段，均减去刺激前基线期的平均信号，以将光流标准化至刺激前阶段。图3A展示了两个视频（一位母鼠和一位处女鼠）的典型光流时间序列，其群体汇总数据见图3B-E。图3B和图3D显示了刺激呈现期间相对于基线的累积光流随时间的变化，而图3C和图3E则总结了刺激开始后2.5秒时的累积光流。计算累积光流旨在捕捉随时间推移的整体运动情况，而不假设自发行为反应会以时间锁定的方式发生。总体而言，这些代表性结果表明，如预期所示，幼崽叫声（而非纯音调）在母鼠与处女雌鼠之间引发了显著不同的行为反应（组间Mann-Whitney U检验：幼崽叫声：p = 0.026；纯音调：p = 0.093）。然而，该刺激效应未通过双因素方差分析（2-way ANOVA），而组别效应具有统计学意义（刺激：F(1,10) = 0.19，p = 0.67；组别：F(1,10) = 8.61，p = 0.015）。综上所述，这些结果提示母鼠在刺激诱发下的运动反应强于处女鼠，且母鼠对幼崽叫声的反应比对纯音调更为一致。这可能反映了母鼠对幼崽叫声具有更高的警觉性或应激水平，同时也体现了幼崽叫声的行为相关性——与纯音调不同，幼崽叫声在自然情境下可引发母鼠的捡回幼崽行为。综合来看，这些代表性结果表明，在外部刺激呈现期间进行光流估计，能够提取有关细微且自发行为反应的信息。
最后，进行了一项更具探索性的分析，以揭示代表性数据中行为的空间特征。为了研究在刺激呈现期间，感兴趣区域（ROI）中哪些像素的波动具有协调性，对随时间变化的空间光流信息进行了主成分分析（PCA）。该分析揭示了对第一主成分（PC）贡献最大的像素，以及在每种刺激条件下表现出组间差异的像素，如图4所示。图4A、B最右侧的图示表明，在呈现两种刺激类型期间，与未交配雌鼠相比，母鼠的鼻部活动更为明显。在两组动物及两种刺激条件下，第一主成分解释了光流分析中总方差的5.41% ± 0.59%。尽管本部分分析中仍保持使用镜像ROI，但未来的分析可扩展至视野（FOV）更广泛的区域，以表征对刺激产生反应时面部以外的协调性运动。例如，比较前爪的运动可能揭示更显著的组间差异，因为幼崽叫声通常会引发母鼠的捡回行为，而未交配雌鼠则无此反应，且动物的前爪相比头部具有更大的活动自由度。
尽管到目前为止的代表性结果表明，该流程能够评估在受限视频记录环境下动物对外部刺激的无指导行为反应，但仍存在一个问题：观察到的光流波动是否真正反映了有意义的动物行为。为回答这一问题，使用相同流程分析了一个独立的验证数据集。在另一项实验中，对饮水受限的雄性小鼠进行训练，使其将光信号与获得某种奖励的递送相关联。 6 μL （“高奖励”）或 1 μL （“低奖励”）水奖励。值得注意的是，与听觉刺激实验不同，本实验具有一个 先验的 行为读出指标：舔舐速率。已建立舔舐监测仪 通过 基于对饮水口附近像素亮度的分析，实现舔舐行为的视频检测。因此，可通过舔舐监测仪提供的行为读出结果，与基于光流估计所获得的行为读出结果进行比较，从而验证该流程在检测自发行为方面的有效性。在完成视频共配准、光流估计、感兴趣区域（ROI）选择（再次包含镜像视野）以及光流量化后，对光流幅度的比较揭示了动物对高奖励与低奖励的行为反应之间存在显著差异。该分析结果如图所示 图5A，B，其中 图5A 显示组平均时间序列，以及 图 5B 总结刺激开始后2.5秒的累积光流（组间配对Wilcoxon符号秩检验： p = 0.031）。需要注意的是，与代表性数据中记录的自发行为相比，光流值更大，这进一步凸显了评估无指导的、细微行为反应的挑战性。 图5C 展示了舔舐测量仪记录的两种奖励条件下各自的实时舔舐速率，而 图 5D 表明在奖励给予后的2.5秒内，高奖励条件下记录到的舔舐次数多于低奖励条件（组间配对Wilcoxon符号秩检验： p = 0.031）。总体而言，两种分析在比较高奖励与低奖励反应时均显示出相似的趋势，验证了所提出的视频分析流程在捕捉不同条件下动物行为有意义差异方面的有效性。
综上所述，此处展示的代表性结果表明，幼崽叫声的呈现引起了母鼠与未交配雌鼠显著不同的反应，而纯音则未引起此类差异。对验证数据集的分析进一步证实，光学流中观察到的差异反映了动物对外部刺激行为反应的真实差异。
图1：视频共配准。（A）视频共配准示例，展示预定义特征（头固定装置中心、右眼正面视图、右眼侧面视图），标注于三个不同动物的视频中提取的帧上。注意在叠加图像中，这三个点未对齐，表明行为实验装置在不同数据采集会话之间存在轻微变化。（B）每段视频最后10秒的平均帧，在执行视频共配准前（左）和后（右）的对比。请点击此处查看该图的放大版本。
图2光流估计 (A) 示例帧，叠加了以蓝色显示的相对光流矢量。B）该 所有视频中光流的平均像素级标准差。围绕动物面部轮廓视图选定的感兴趣区域 通过 镜面以洋红色勾勒。颜色条对应标准差。 请点击此处以查看此图的放大版本。
图 3：不同组别和条件下光流的可视化与比较。 （A）母鼠和处女鼠各一个视频在5 Hz低通滤波后的Z分数标准化光流时间序列示例。（B）和（D）在幼崽叫声（B）和纯音（D）刺激期间测得的累积光流。阴影区域表示均值的标准误（SEM）。（C）和（E）在幼崽叫声（C）和纯音（E）刺激呈现的前2.5秒内的累积光流。* 表示组间Mann-Whitney U检验差异显著（p < 0.05）（幼崽叫声：p = 0.026；纯音：p = 0.093），每组N = 6。请点击此处查看该图的放大版本。
图 4：各组间 PC1 的比较。 （A,B）各组在幼崽叫声（A）和纯音（B）刺激期间光流第一主成分（PC1）载荷的分布图，统计显著性阈值设为 p < 0.05，未对多重比较进行校正。热图表示每个像素的光流波动对 PC1 的相对贡献程度。黑色小字表示 PC1 解释的方差百分比（母鼠-幼崽叫声：4.95% ± 0.72%；处女鼠-幼崽叫声：4.44% ± 0.59%；母鼠-纯音：4.95% ± 0.39%；处女鼠-纯音：4.72% ± 1.24%（均值 ± 标准差））。 请点击此处查看该图的放大版本。
图5行为分析流程的验证. (A高奖励和低奖励递送期间光学流的平均Z分数化、预刺激基线校正并经5 Hz低通滤波后的时间序列。阴影区域表示标准误（SEM），白色垂直线表示奖励递送时刻，红色星号表示由于光线索开启和关闭引起的短暂光学流伪迹。B) 奖励给予后前2.5秒内累积光流的总结。* 表示 p < 0.05，组间配对Wilcoxon符号秩检验（p = 0.031). (C通过舔舐测量仪获得的高奖励和低奖励递送期间的平均舔舐速率。阴影部分表示标准误，白色竖线表示奖励递送时刻。D) 奖励给予后前2.5秒内记录的舔舐次数。* 表示 p < 0.05，组间配对Wilcoxon符号秩检验（p = 0.031），N = 6。 请点击此处以查看此图的放大版本。
视频 1：示例视频 1。 PCR_Br011_20231015_1842_output.avi。 请点击此处下载该视频。
视频 2：示例视频 2。 PCR_Br014_20231015_1722_output.avi。 请点击此处下载该视频。
补充文件 1：视频 1 的事件时间文件。 PCR_Br011_20231015_1842_output_videoTimestamps.mat。 请点击此处下载该文件。
补充文件 2：视频 2 的事件时间文件。 PCR_Br014_20231015_1722_output_videoTimestamps.mat。 请点击此处下载该文件。
补充代码文件 1：script1_videocoreg.m 该脚本将所有视频在空间上相互对齐 通过 共配准 请点击此处下载此文件。
补充代码文件 2：script2_optflow_roiselect.m。该脚本用于估算每段转换后视频全视野（FOV）的光流，并允许为后续流程选择感兴趣区域（ROI）。请点击此处下载该文件。
补充代码文件 3：script3_optflow_analysis.m。 该脚本用于比较所选 ROI 在不同组/条件下的光流幅值。请点击此处下载该文件。
补充代码文件 4：script4_optflow_pca.m。 该脚本对选定 ROI 的估计光流进行主成分分析（PCA）。请点击此处下载该文件。
补充代码文件 5：script5_optflow_pca_analysis.m。 该脚本用于比较所选 ROI 在不同组别/条件下的 PCA 结果。请点击此处下载该文件。
讨论
本研究所展示的行为分析流程能够从动物对被动呈现的刺激产生非指令性行为的视频中提取有价值的信息。这些代表性行为视频是在获取全脑功能磁共振成像（fMRI）数据的同时采集的，研究过程中克服了多种限制，以在磁共振成像环境中成功捕捉行为反应。通过光流估计方法，揭示了母鼠与处女鼠对幼崽叫声（而非纯音）的反应差异，支持了最初的假设13,14,15,16。通过利用光流信息的降维处理，该发现进一步拓展至对这些行为空间分布的探索性分析。
该分析流程适用于多种实验范式。它对所获取的神经数据类型完全无依赖性，且不需要过高的计算能力或专用设备。主要的实验要求是，录像数据必须记录与刺激呈现起始时间相对应的时间戳。此外，通过提供用于执行示例分析的 MATLAB 脚本，即使对于 MATLAB 使用经验较少的研究人员，该流程的实施也相对简便。如实验方案所述，总体步骤包括视频共定位、光流估计、感兴趣区域（ROI）选择、针对特定 ROI 的光流量化、光流幅度比较、主成分分析（PCA）以及 PCA 结果比较。在每个步骤中，均可根据实验和分析需求对流程进行修改，具体方法已在方案中说明，并在代码中通过注释明确标出 并 强调。
在使用本文所述的视频分析流程时，需注意以下几个局限性。首先，行为实验装置的设计应经过仔细考量。如果尚不明确可能产生的行为反应类型，则在后续分析中尽可能多地获取动物的不同视角图像将更有利。因此，建议安装一个或多个镜子，以同时捕捉动物的正面和侧面视角，如示例视频帧所示。 图1A其次，建议用于视频采集的照明亮度应足以清晰观察视野（FOV）中的所有相关特征，但又不应过亮以致达到饱和。 图1A可以观察到，小鼠鼻部的正面视图处于接近饱和的状态，难以捕捉到能够指示运动的亮度波动。这可能导致了在该视野区域中观察到的光流变化不明显，如图所示。 图2B幸运的是，鼻部的侧面轮廓未出现此问题，从而允许对镜像感兴趣区域（ROI）进行分析。此外，若实验中涉及视觉刺激，则还应考虑饱和的可能性。在验证数据集实验中，用于提示给予水奖励的光线索在采集的视频中引入了短暂的饱和现象，导致光流估计中出现暂时性伪影。该伪影可在 图 5A，其中在两种奖励条件下的光流轨迹中，两个尖锐的峰值恰好与光线索开启和关闭的时间完全对齐。该伪影使得这些短暂时间窗口难以使用本文所述的分析流程进行处理；若该伪影不存在，所呈现的结果将 图5B 可能更为重要。对于大多数光流算法而言，场景光照恒定是一个必要的假设。14,16因此，不建议在光照环境发生剧烈变化的实验中使用本视频分析流程，无论这种变化发生在单次实验过程中还是不同实验之间。第三，也是最后一点，动物对记录环境的充分适应是任何利用该流程的实验中的关键环节。如果动物未得到充分适应，可能会表现出显著的应激反应，从而掩盖原本可被解析出的细微刺激驱动效应 通过 视频分析
未来，该行为分析流程可用于促进对同步记录的行为和神经反应进行协调评估。如前所述，对非指令性行为进行定量评估，有助于评价在复杂记录环境中刺激的显著性，以及检验不同实验组别和条件下的行为反应差异。还可进一步开展分析，以探究行为反应的个体差异或单次试验间的趋势，从而考察相应的神经活动。此外，通过引入主成分分析（PCA）获取刺激诱发运动的空间信息，可进一步研究在刺激呈现期间观察到的特定类型行为序列在不同组别和条件下是否存在差异。该分析流程可轻松扩展至多种神经记录方法，从而在受限环境中实现多功能的行为监测。通过探究外部刺激在大脑和行为中的表征方式，研究人员有望更全面地理解刺激感知如何影响内在状态及其外在表现。
披露
作者无任何利益冲突需要披露。
致谢
我们感谢Marlin实验室和Kahn实验室对本研究的支持。我们还要感谢Kevin Cury博士就我们的视频数据所进行的富有洞见的讨论。本出版物中报道的研究工作得到了尤妮斯·肯尼迪·施莱弗国立儿童健康与人类发育研究所的资助 &美国国立卫生研究院人类发展研究所资助编号F31HD114466（BRM）、霍华德·休斯医学研究所（BJM）、联合大学基金会E.E. Just奖学金CU20-1071（BJM）、BBRF NARSAD青年研究者奖30380（BJM）以及怀特霍尔基金会（BJM）提供支持。本内容仅由作者负责，不代表美国国立卫生研究院的官方观点。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| MATLAB 计算机视觉工具箱 | MathWorks | https://www.mathworks.com/products/computer-vision.html | |
| MATLAB 图像处理工具箱 | MathWorks | https://www.mathworks.com/products/image-processing.html | |
| MATLAB 软件 | MathWorks | https://www.mathworks.com/products/matlab.html | |
| 磁共振兼容相机 “12M-i”，带集成 LED 光源 | MRC Systems GmbH | 12M-i | https://www.mrc-systems.de/downloads/en/mri-compatible-cameras/manual_mrcam_12m-i.pdf |
参考文献
- Musall, S., Kaufman, M. T., Juavinett, A. L., Gluf, S., Churchland, A. K. Single-trial neural dynamics are dominated by richly varied movements. Nat Neurosci. 22 (10), 1677-1686 (2019).
- Dolensek, N., Gehrlach, D. A., Klein, A. S., Gogolla, N. Facial expressions of emotion states and their neuronal correlates in mice. Science. 368 (6486), 89-94 (2020).
- Kepecs, A., Uchida, N., Mainen, Z. F. The sniff as a unit of olfactory processing. Chemical Senses. 31 (2), 167-179 (2006).
- Shusterman, R., Smear, M. C., Koulakov, A. A., Rinberg, D. Precise olfactory responses tile the sniff cycle. Nat Neurosci. 14 (8), 1039-1044 (2011).
- Han, Z., et al. Awake and behaving mouse fMRI during Go/No-Go task. NeuroImage. 188, 733-742 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neurosci. 21 (9), 1281-1289 (2018).
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience needs behavior: Correcting a reductionist bias. Neuron. 93 (3), 480-490 (2017).
- Wiltschko, A. B., Tsukahara, T., Zeine, A. Revealing the structure of pharmacobehavioral space through motion sequencing. Nat Neurosci. 23 (11), 1433-1443 (2020).
- Moëne, O. L., Larsson, M. A new tool for quantifying mouse facial expressions. eNeuro. 10 (2), (2023).
- Paasonen, J., Stenroos, P., Laakso, H. Whole-brain studies of spontaneous behavior in head-fixed rats enabled by zero echo time MB-SWIFT fMRI. NeuroImage. 250, 118924(2022).
- Ehret, G. Infant rodent ultrasounds: A Gate to the understanding of sound communication. Behav Genet. 35 (1), 19-29 (2005).
- Marlin, B. J., Mitre, M., D'amour, J. A., Chao, M. V., Froemke, R. C. Oxytocin enables maternal behavior by balancing cortical inhibition. Nature. 520 (7548), 499-504 (2015).
- Optical Flow. , https://www.mathworks.com/discovery/optical-flow.html (2024).
- Horn, B. K. P., Schunck, B. G. Determining optical flow. Artif Intell. 17 (1), 185-203 (1981).
- Szeliski, R. Dense motion estimation. Computer Vision: Algorithms and Applications. Szeliski, R. , Springer. 335-374 (2011).
- Beauchemin, S. S., Barron, J. L. The computation of optical flow. ACM Comput Surv. 27 (3), 433-466 (1995).
- McRae, B. R., Andreu, V., Marlin, B. J. Integration of olfactory and auditory cues eliciting parental behavior. J Neuroendocrin. 35 (7), e13307(2023).
重印与许可
标签
