记录鸽子在自由移动状态下经历三个学习阶段的单个神经元动作电位

摘要

学习新的刺激-反应关联会激活广泛的神经过程，最终反映为单个神经元放电输出的变化。本文描述了一种行为学实验方案，可在单次实验过程中持续记录动物在习得、消退及重新习得条件反应时的单个神经元活动。

摘要

尽管学习这一主题长期受到行为科学与神经科学领域研究者的广泛关注，但仅有相对少数的研究人员在动物获得操作性条件反射或该反射被消退的过程中，观察过单个神经元的活动。然而，即便在这些研究中，观察期通常也仅涵盖学习的单一阶段。 即 获得或消退，但不同时进行（例外情况包括采用逆转学习的方案；参见 Bingman） 等¹ 例如，习得与消退涉及不同的学习机制，因此预期会伴随不同类型和/或不同脑区的神经可塑性变化。

因此，我们开发了一种行为范式，可在单次行为实验中实现学习的三个阶段，并适用于同时记录单个神经元的动作电位。动物被训练执行一种单时间间隔的强制选择任务，要求将两种可能的选择反应分别与不同新异视觉刺激的呈现相对应（习得阶段）。当达到预设的行为表现标准后，其中一种选择反应不再受到强化（消退阶段）。在行为表现水平出现一定程度下降后，再次对正确反应进行强化（再习得阶段）。通过在每次实验中使用一组新的刺激，动物可反复经历习得-消退-再习得的过程。由于学习的三个阶段均发生在单次行为实验中，该范式非常适用于同时观察多个单神经元的放电输出。我们采用鸽子作为模型系统，但该任务可轻松推广至任何具备条件性辨别学习能力的其他物种。

引言

学习新的刺激-反应-结果关联会涉及广泛的神经可塑性过程。这些过程最终反映在单个神经元放电输出的变化上。可以说，最常采用的学习范式之一是利用啮齿类动物进行的巴甫洛夫式恐惧条件反射实验。在此实验条件下，条件反应的习得与消退可在数十次试验内完成²。条件性恐惧的快速形成具有优势，因为它允许在短时间内测试大量动物。此外，在未经训练的动物中，条件反应的习得和消退既可在单日内通过数十次试验完成^3,4，也可分布在2 至3 天内完成^2,5-8。然而，从这些实验中获得的关于学习过程中神经活动变化的认识，并不一定适用于恐惧条件反射以外的情境。例如，由正向强化驱动的目标导向行为，更适合通过操作性条件反射而非巴甫洛夫条件反射来建模，且可能部分依赖于不同的神经基础^9,10。此外，恐惧条件反射发展极为迅速，导致对条件刺激（CS）的神经反应仅能在数十次试验中被观察到，这严重限制了对学习过程中神经活动变化的分析。

遗憾的是，操作性反应的获得与消退通常需要数天时间。这对于神经生理学研究而言是不利的，因为记录单个细胞的活动超过数小时已众所周知地困难。由于细胞外记录的动作电位波形具有高度相似性，很难断言某一天记录到的锋电位与第二天记录到的具有相似波形的锋电位来自同一个细胞^11,12，尤其是在细胞密度较高的脑区，如海马体。

为了解决这些问题，我们开发了一种新的行为范式，在单日的一次实验过程中整合了3 种学习条件。该范式要求实验动物在强化频率较低的情况下，愿意在不同条件下完成数百次试验。家鸽（Columbia livia forma domestica）是实验心理学中的经典模式生物^13-17。这些鸟类能够执行复杂的视觉辨别任务¹⁸，能够灵活地调整行为以适应变化的强化条件^19,20，并且表现出极强的工作积极性，可在极少强化的情况下完成1,000次试验。这些特性使它们特别适用于下文所述的实验。

方案

伦理声明

所有实验均按照德国关于科学实验动物护理与使用的指南进行。相关操作程序已获得德国北莱茵-威斯特法伦州国家伦理委员会的批准。

系统概述

操作性测试箱

操作箱（图1）尺寸为34 cm × 34 cm × 50 cm。箱体后壁嵌入三个半透明的反应键（4 cm × 4 cm，距箱底约20 cm高处）。刺激通过安装在反应键后方的LCD平板屏幕呈现。箱体两侧壁装有两个2瓦的灯泡，提供微弱照明。操作箱置于隔音屏蔽箱内，以屏蔽外界噪音。扬声器持续播放白噪音。食物（谷物）由位于中央反应键下方的食物分配器提供。实验硬件由自行编写的MATLAB代码²¹控制。动物通过安装在箱体前壁的数字摄像机进行持续监测。

定制微驱动装置

我们实验室自行定制了容纳16根电极丝的微型驱动装置；其设计基于Bilkey及其同事的研究^22,23，详细描述请参见这些文献。我们对该设计进行了改进，以容纳更多电极（16根而非8根；25 µm镍铬电极丝），并通过导电银胶将电极丝连接至前置放大器插座。此外，我们对电极尖端进行镀金处理以降低阻抗，提高信噪比（施加-3 V电压约3秒；阻抗应降至<100 kΩ）。

微驱动装置组装完成后，将电极裁剪至所需长度，用电解清洗剂（蒸馏水中配制的Tergazyme）在超声波清洗仪中清洗20分钟，并再用蒸馏水冲洗20分钟。电极尖端的镀金处理应在植入前立即进行。接地采用置于小脑外侧上方的银球电极。材料的具体规格见本文附带的材料表。

在使用自由活动动物进行实验时，一个重要的问题是运动伪迹。我们发现，实验装置中的运动伪迹主要来源于两个因素：a）电极阻抗过高（>500 kΩ）；b）动物活动时，插头（植入体）与插座（前置放大器）之间的接触连接不牢固。目前市面上多种商用微型连接器在记录自由活动鸟类的信号时表现不理想，原因是鸽子剧烈运动（如点头、啄键）会导致插头与插座之间的机械接触迅速恶化。相比之下，Ginder Scientific 公司的头插组件在植入体与前置放大器之间实现了最佳的机械连接。这些插头-插座组件具有 18 个接触点，并通过一个环形螺母牢固地固定在一起。

电生理记录装置设置

电生理记录装置包含以下组件：1）自制的单位增益前置放大器（运算放大器）；2）两个机架式安装单元中容纳的15个差分放大器模块（分别为DPA-2FS和EPMS-07；npi electronic GmbH，德国）；3）16通道模拟-数字转换器（power 1401 mark I）。原始信号被放大1,000倍，并进行带通滤波（500–5,000 Hz，1^st 阶跃滤波器），以16-20 kHz的采样率进行数字化，并使用Spike2 7.06a版本存储，用于离线处理。事件时间（如刺激 onset 或动物个体的按键啄击）通过实验室自制的并行端口IO盒采集（参见Rose 等²¹）并传送至模数转换器，与神经生理学数据一同存储（参见 图1）。离线处理的具体方法将在下文进一步描述。

图1. 系统概览。 信息流以彩色箭头表示。计算机1控制与行为输出相关的硬件（通过平板显示器呈现刺激、笼灯、食斗、喂食灯、反应键），并将事件时间戳发送至模数转换器（AD converter）。计算机2存储从模数转换器获取的神经生理信号以及从计算机1接收到的事件时间戳。左侧照片显示了位于隔音屏蔽箱内的条件反射实验舱。其组成部分包括：1）隔音外壳，2-4）反应键，5）食斗，6）喂食灯，7）笼灯，8）观察摄像机。

单区间强迫选择（SIFC）辨别任务

为便于说明，本文将首先描述最终的 SIFC 任务，然后在下文解释训练动物完成该任务所需的各个步骤。

SIFC 任务的流程如图2所示。在两次试验间隔（ITI）结束后，中央键会透射绿光，持续最多5秒（“初始化阶段”）。动物在5秒内完成第三次反应后，中央键上会呈现若干样本刺激中的一个，持续2秒（“样本阶段”；图2插图中展示了示例刺激）。2秒后，中央键再次透射绿光，动物需再进行一次反应，随后两个侧键被透射绿光（“确认阶段”）。根据样本阶段所呈现刺激的类型，动物必须向左侧或右侧键进行一次选择性反应（“选择阶段”）。若选择正确，则可获得持续2秒的奖励（谷物）。因此，该任务的核心是在中央键呈现某一特定刺激后，动物需选择左侧的选择键；而在呈现另一刺激后，需选择右侧的选择键。样本阶段前后分别设置初始化阶段和确认阶段，目的是确保动物在呈现样本刺激时头部保持在中央键前方。

当动物掌握了一对刺激的任务后（此后称为“熟悉”刺激，FS），在每个新实验阶段会向其呈现一对新的刺激（NS），并要求其学会两个新刺激中哪一个应对应于左侧或右侧选择键的反应。在这些实验过程中，FS 刺激对会持续呈现，以作为适当的对照条件。最终任务中的充分表现极为依赖于动物执行任务的意愿。 >1,000 次试验的总体强化概率 <0.5. 下述段落描述了一种训练程序，其中任务复杂性逐步增加，直至动物达到SIFC水平；同时，需要提高强化概率和每节训练中的试验次数，以确保在最终任务中表现持续保持高水平。

1. 动物训练

1. 食物限制
   1. 在动物自由进食至少两周后进行称重，将此重量作为自由进食状态下的体重。在接下来的1至2周内限制食物供应，直至动物体重达到其自由进食体重的85%。
   2. 在整个实验过程中，必须确保鸽子保持健康的体态和正常的活动水平。为此，需在整个行为训练和测试期间密切监测动物的外观和体重变化。每次实验前后均应称量动物体重，以评估每日食物摄入量。如有必要，提供额外食物以防止体重进一步下降。周末期间应提供无限制的食物供应。
2. 自动成型训练
   自动成型训练用于使动物适应实验箱环境，并建立条件化反应。
   1. 在中央键呈现一个持续5秒的视觉刺激（以下简称初始化刺激，IS）。一旦IS结束或动物对反应键进行一次啄击（以先发生者为准），立即关闭键灯并给予食物奖励（食物槽激活2秒）。
   2. 将试验间间隔（ITI）设置得显著长于样本呈现时间，以促进学习²⁴。ITI采用120秒，每天进行40次试验。后续将在最终任务中重复使用该IS作为初始化、确认和选择键的刺激（见图2）。此阶段训练大约需要一周时间。
   3. 当动物反应稳定（在>85%的试验中产生反应）后，逐步将ITI减少至10秒，样本呈现时间减少至2秒。同时，将强化所需反应次数增加至3次（固定比率3，FR 3）。此外，增加每日总试验次数。选择合适的参数，使动物每天训练时间约为1小时。此阶段训练持续约2周。
   4. 对左侧和右侧反应键重复步骤1.2.1–1.2.3，直至受试动物能稳定地对三个键上的IS作出反应。随机交替进行左侧、右侧和中央键激活的试验。
   5. 现在先在中央键呈现IS，然后根据动物的反应，再在任一侧键呈现IS（中央键反应不给予强化）。每轮试验中随机交替激活左侧或右侧键。若动物在5秒内未对中央键作出反应，则终止该次试验。重复此过程直至动物反应稳定（约3天）。
   6. 引入两个新的刺激，这些刺激将在最终任务中作为FS使用（示例见图2插图）。使用这两个新刺激重复步骤1.2.1–1.2.3。相较于首个刺激，动物对此类刺激的反应建立速度更快，通常在4天内完成。

图 2. 行为范式的示意图。 在5秒的间隔时间（ITI）后，中央按键透射绿光，持续最多5秒（初始化阶段）。如果动物在此5秒内啄击3次，则在同一位置呈现4种样本刺激中的1种。在固定的2秒样本呈现时间内，动物必须至少啄击一次；随后中央啄击键再次透射绿光（确认阶段）。再进行一次啄击后，两侧的两个按键透射绿光。动物通过啄击其中一个侧键一次来表示其选择。在习得和再习得阶段，正确反应后将获得2秒的食物获取机会，并伴随饲喂灯的激活；或仅激活饲喂灯。若反应错误，则关闭笼内灯3秒。在消退阶段，对消退刺激的正确与错误反应均不产生任何后果。插图显示了新异刺激与熟悉刺激的示例配对。

3. 熟悉刺激的单间隔迫选任务训练
   1. 建立完整的初始化、样本、确认和选择序列：在每次试验中，首先呈现 IS（FR 3），然后呈现两个 FS 中的任意一个（固定持续时间为 2 秒），再重复呈现一次 IS（FR 1）。采用提示式选择设计：在每轮试验中，仅透照与当前 FS 对应的正确选择键。该训练阶段大约持续 1 周。
   2. 当受试者表现稳定（对相应侧键的反应正确率 >85%）后，引入自由选择试验（在选择阶段同时透照两个侧键）。若动物选择正确的一侧，则给予 2 秒的食物获取时间；错误反应则施加超时惩罚（关闭笼内灯 2 秒）。若在 3 秒内无反应，则终止该次试验并重新开始 ITI。动物通常在 2 周内掌握任务的这些子成分。
   3. 在后续训练阶段中，逐步将自由选择试验的比例从 20% 增加至 100%。
   4. 若受试者在自由选择试验中的正确率 >90%，则将正确反应的奖励概率降至 0.5，同时逐步增加每阶段试验次数至 1,000 次。不要每天或每阶段都更改参数，而应根据受试者在初始化遗漏情况及正确反应百分比方面的表现灵活调整。该训练阶段将持续约 4 周。
   5. 鸽子倾向于拒绝应对不熟悉的刺激。因此，在动物能够稳定完成 >1,000 次试验后，应使其对大量视觉刺激形成自动形状反应（参见第 1.2 节）。但切勿提前暴露那些将在最终范式中作为新刺激使用的视觉刺激，而应使用均匀的彩色显示作为替代。
4. 在不同强化条件下使用新刺激的最终单间隔迫选任务
   1. 热身阶段
      让受试者仅使用 FS 完成 50 次试验。在整个各阶段中，将这些刺激的奖励概率设为 <1（例如 0.5–0.8），以防止过早饱足，从而维持其反应动机。
   2. 习得阶段
      随机交替呈现 FS 和 NS 的试验。为两种 NS 分别指定不同的正确反应键，并对每一次正确反应给予强化。以最近 120 次试验为窗口，计算正确反应百分比的滑动平均值。当每种 NS 的表现均超过 85% 时，视为完成习得，但在此之前至少需完成 150 次试验。
   3. 消退阶段
      停止对某一随机选定的 NS（消退刺激）的正确反应进行强化，并取消对错误反应的惩罚。当对该消退刺激的正确反应率降至 60% 以下，且动物在该阶段累计经历至少 150 次试验后，开始重新习得阶段。
   4. 重新习得阶段
      再次对消退刺激的正确反应进行强化，错误反应施加惩罚，方式与习得阶段相同。当对该刺激的正确率超过 85%，且动物在该阶段累计完成至少 150 次试验后，终止该阶段。

2. 电生理学

1. 电极植入
   植入手术在动物反复（3-4次）完成整个获得-消退-再获得序列后进行，具体操作细节在其他文献中有更详细的描述²⁵.
   1. 在颅骨上放置5-6个不锈钢微型螺钉，用于固定包含微驱动装置的牙科水泥头帽。
   2. 在目标脑区上方进行开颅手术；然后小心剥离硬脑膜，将电极缓慢降至目标位置。
   3. 在将微驱动装置固定到头颅固定装置之前，于导管套管周围涂抹凡士林；此举可防止牙科水泥包裹导管。
   4. 将一个绝缘的银球电极置于颅骨下方、小脑表面区域作为接地电极。
   5. 术后给予动物止痛药（卡洛芬，10 mg/kg，每日注射两次），持续三天。让动物恢复至少2周。
2. 动物执行任务时的记录
   1. 每次实验使用一对新的刺激材料，并至少推进电极 125 µm （驱动螺杆半圈）后再开始。如果未观察到信噪比足够高的动作电位，应终止实验，将动物放回饲养笼，并于次日重新尝试。
   2. 将头端电缆布置妥当，确保其不妨碍动物正常的啄食和进食行为。可通过使用数根弹性绑带将电缆固定在 conditioning chamber 顶部，并让鸟类适应连接的电缆数小时，以达到此目的。
   3. 如有条件，可使用换向器为鸟类提供更大的活动自由度。
3. 离线信号分析
   1. 使用 Spike2 对所有通道进行离线带通滤波，频率范围为 500 至 5,000 Hz，采用陡峭的滚降斜率。通过设定幅值阈值提取峰电位，并利用主成分分析进行手动分类。
   2. 使用自定义编写的 MATLAB 代码检查分选结果（代码可从 MATLAB Central 文件交换平台获取，文件编号 #37339）。一个分离良好的单个神经元单位（图3) 应满足以下所有标准：a) 在主成分空间中呈现明显分离的簇，b) 当所有记录的波形叠加并以热图形式绘制时，无多个单元的迹象图 3A)，c）对称分布的峰形波幅（图3B)，d）通过动作电位振幅保持不变证明在整段记录期间信号稳定图3C)，e）在前一次峰电位的不应期内不出现或极少出现峰电位事件（图3D），以及至少为2的信噪比（SNR）（此处定义为平均后尖峰波形的最小值与最大值之差除以截断噪声带的宽度（2.5^th 和 97.5^th 分布值第一个波形区间内所有数值的百分位数）。所示神经元的信噪比 图3 是 3.9。
   3. 离线检查原始通道是否存在与运动相关的伪迹。根据需要丢弃相应通道。
   4. 在少数情况下，啄键期间产生的电伪迹可能与正常的尖峰波形混淆。通过检查每次记录的啄键事件周围尖峰计数的时间直方图（即啄键周围时间直方图，PPTH）来检测记录是否受到污染。 图3E）。啄键引起的人工伪迹会在直方图中时间0点附近（±50毫秒）表现为一个峰值。作为额外验证，将所有在按键前后±20毫秒内记录的疑似峰电位事件的波形单独绘出，并与该时间窗以外检测到的峰电位波形进行比较。图3F).

图3. 单元分离的质量评估指标。A） 所有波形的时间-电压值热图 B) 所有波形的最大值（红色）、最小值（绿色）和噪声（蓝色）电压值分布。这些分布彼此清晰分离，表明单元隔离效果良好。 C) 自发放电率（红色，根据所有试验间期中每2秒时间段计算）和峰电位幅度（峰峰值）随实验时间的变化。两条曲线均使用矩形窗函数进行平滑处理（窗宽：50个数据点）。 D) 该神经元的峰间间隔分布。Bin宽度：10毫秒（插图：1毫秒）。极短的间隔几乎不存在（<0.1% 的区间低于 4 毫秒。 E) 以按键啄击触发的PSTH。靠近按键啄击时间（±20毫秒）的事件计数以红色高亮显示。 F) 记录了所有157个在按键事件前后±20毫秒内的波形。这些波形与A图中显示的整体波形形状高度一致。

结果

行为

图4A 显示了某只动物在一次示例实验中的行为表现。该动物在180次试验（45次刺激呈现）内即达到NS 2的判定标准，且从实验开始时对NS 1的反应正确率就接近100%。这种策略——即最初对两个新刺激均作出相同的按键反应，随后再对其中一个刺激调整反应——与最初对两个新刺激均随机反应的情况出现频率大致相当。在本实验中，NS 2被随机选定进入消退阶段，意味着在此刺激之后的所有选择均不再产生后果（学习阶段之间的转换以垂直的黑色虚线表示）。在消退阶段，动物对消退刺激的反应表现下降，但对另一新刺激（NS）的反应表现仍保持较高水平。在第370次试验时达到判定标准。此后，正确与错误反应再次分别受到强化与惩罚（重新习得阶段），在第402次试验时表现水平再次达到标准。对FS的反应表现始终维持在较高水平（>95%；数据未显示）。b) 完成各学习阶段所需平均试验次数（共5只动物，总计44次实验的平均值）。平均而言，动物需要约700次试验才能稳定地作出正确反应。消退阶段平均需要约900次试验，而重新习得阶段仅需约60次试验，显著少于最初的习得阶段（图4B

讨论

本方案描述了一种适用于同步单细胞记录的复杂行为学任务。我们以鸽子的SIFC任务为例进行了说明，但该任务可轻松改编用于啮齿类动物 ，只需将按键啄击改为鼻触或按压杠杆，并将视觉刺激替换为嗅觉、听觉或触觉刺激即可。

训练过程中最关键的步骤可能是：1）逐步降低奖励概率，以及 2）增加试验次数。关于熟悉刺激的间歇性强化，我们选择的奖励概率范围为 0.5 至 0.8；这一范围足以维持稳定的表现，同时又足够低以防止过早的满足感。然而，许多鸟类在奖励概率低至 0.2 时仍愿意保持良好的表现。

每轮实验需要进行大量试验（500–1,500 次），原因在于条件反应的习得、消退和再习得本身就需要如此多的试验次数，同时也因为当试验次数少于约25次时，难以精确估计神经元的放电率，尤其是在记录低放电率神经元时（在NCL中，基础放电率<1 Hz）。因此，我们将完成一个学习阶段所需的最少试验次数设定为每个刺激至少呈现35次。

对于未经训练的动物而言，完成SIFC任务的训练大约需要4个月...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
电阻丝（用作电极）	美国加利福尼亚州格罗夫海滩，加州细线公司		Stablohm 675；镀有formvar的镍铬丝（外径25 µm)
微连接器	加拿大安大略省尼皮安，Ginder Scientific公司		GS18PLG-220（插头） & GS18SKT-220（用于构建前置放大器的插座）
套管针	Henke Sass Wolf，德国图特林根		0.4 × 20 mm / 27 G × 3/4"
镀金溶液	Neuralynx，博兹曼，蒙大拿州，美国		SIFCO 工艺金无氰，编号 5355
超声波清洗机用溶液	Alconox, Inc.，美国纽约	1304	Tergazyme
导电胶	Henkel Loctite		LOCTITE 3888 银填充导电胶黏剂
不锈钢螺钉	J.I. Morris，美国马萨诸塞州索斯布里奇		F0CE125 自攻微型螺钉，体长 1/8 英寸
光固化牙科粘接剂	van der Ven 牙科，杜伊斯堡，德国		Omniceram Evo Flow A2
光固化仪	van der Ven 牙科，杜伊斯堡，德国		Jovident Excelled 215 光固化灯（无线LED光固化装置）
滤波放大器	npi electronic GmbH，德国	DPA-2FS
模数转换器	英国剑桥，剑桥电子设计公司	power 1401
Spike2 软件	英国剑桥，剑桥电子设计公司		版本 7.06a
MATLAB	The Mathworks，美国马萨诸塞州纳蒂克		R2012a