啮齿动物强化决策中成本效益分析的操作协议

摘要

成本效益分析是大脑在决策过程中进行的一种称重尺度方法。在这里, 我们提出了一个训练老鼠的协议, 在一个以操作为基础的决策范式中, 老鼠选择更高的奖赏, 代价是等待十五年代的接收。

摘要

强化导向决策是根据利益的相对价值及其后果选择竞争的行动路线之间的能力。这一过程是人类正常行为的组成部分, 被证明被神经和精神紊乱, 如成瘾、精神分裂症和抑郁症所扰乱。啮齿类动物早已被用来揭示人类认知的神经生物学。为此, 制定了若干行为任务;然而, 大多数是非自动化的, 是劳动密集型的。最近开发的开源微控制器使研究人员能够自动化基于操作的任务来评估各种认知任务, 规范刺激演示, 改进数据记录, 从而提高研究成果。在这里, 我们描述了一种自动化的基于延迟的增强导向决策任务, 使用由定制软件程序控制的操作性 T 迷宫。利用这些决策任务, 我们展示了大鼠前扣带皮层局部场电位活动的变化, 同时进行了基于延迟的成本和效益决策任务。

引言

决策是根据决策者的价值和偏好以及所选行动¹的后果来识别和选择选择的过程。尽管决策在不同领域 (即经济学、心理学和神经科学) 中得到了广泛的研究, 但这种认知能力背后的神经机制尚未得到充分的理解。决策的两个子类是感性决策和增强导向决策。虽然它们包含相当多的重叠元素和概念, 感性决策依赖于现有的感官信息^1,2, 而加强导向决策处理相对价值在特定时间刻度³中获得的操作。增强决策的一个重要方面是成本效益分析, 它是通过计算给定选择的好处并减去每种备选方案¹的相关成本而直观地执行的。

T 迷宫 (或变种 Y 迷宫) 是使用啮齿动物的认知实验中使用最广泛的迷宫之一。动物被放置在起始臂 (T 的底部), 并允许选择目标臂 (其中一个侧臂)。任务, 如强迫交替或左-右歧视主要是用来与啮齿类动物在 T 迷宫测试参考和工作记忆⁴。T 迷宫也广泛用于决策实验^5,6,7。在最简单的设计中, 奖励只放在一个目标臂上。这种选择是可以预测的, 而无论奖励价值如何, 动物们肯定更喜欢奖赏而不是一无所有。另一种选择是在两个目标武器中放置奖励, 然后让动物根据几个参数 (即动物的自然喜好、奖励的价值和支付的费用) 选择哪条路径。在基于价值的设计中, 由于具有称量尺度属性, 任务更加复杂。这样, 动物通过在两种替代品之间选择, 以及在行动的成本 (即等待的量 (延迟) 或获得奖励所需的努力 (基于努力的工作量) 之间, 得到不同的价值奖赏,每个作出贡献的决定,^5,6。

在传统的基于延迟的 T 迷宫决策中, 动物被训练来选择高奖赏臂 (HRA), 避免相反的低奖赏臂 (上帝军)。在整个实验中, HRA 和上帝抵抗军的两侧保持不变。尽管上述任务在文献中有很好的记载, 但它还是有几个程序上的弊端。首先, 通过有一个固定的目标手臂, 动物知道哪一个手臂选择从一开始的试验。在这种情况下, 动物可以根据记忆而不是决策来选择目标臂。因此, 在一个基于延迟的决策范式中, 如果动物因为研究干预而选择了低报酬, 就不清楚这是由于记忆力的丧失还是学习干预的缘故。记忆控制小组分离观察的行为从记忆问题可能被考虑, 但这负担研究员和动物一样由于另外的工作⁷。第二个问题是动物做出决定的时刻: 一旦动物到达决策区 (所有三臂的交界处), 他们通常会向左和向右看, 权衡每只手臂的成本和利益, 然后做出决定。然而, 经过几次试验, 他们在到达决策区之前进行这样的计算, 直接跑到奖励臂上。因此, 这两个缺点-一只手臂的预偏向, 并发现决策的时刻-都高度中断了对电生理和神经影像数据的解释。

在本文所解释的方法中, 首选臂 (HRA) 由听觉线索提示, 并可能因试用而异。动物通过进入测试区 (图 1) 启动试验, 并通过 "鼻子戳" 的红外线门触发听觉提示, 该闸门已放置在三臂的交界处。音频信号 (20 分贝, 介于500和 1000 ms) 是从扬声器在目标臂的末尾播放。

方案

这里解释的所有程序都是按照《动物保育和使用指南》批准和执行的, 并经 Florey 研究所动物伦理委员会或神经科学研究中心批准。

1. 住房、搬运和食物限制

1. 使用成年 (通常8周大) 雄性大鼠 (任何菌株), 并保持他们在房间内的12小时的光/暗循环。
2. 限制他们的食物接触, 鼓励动物执行任务。
   注意: 建议动物的住房, 因为它提供更好的控制每一个人的食物摄入量。
3. 1-3 天, 每天处理动物大约5分钟, 2x。
   注意: 处理熟悉与人类接触的动物, 并减少在整个实验动物的压力和焦虑水平。
4. 在每次处理会话后对动物进行称量。使用第一天的重量作为免费喂养量, 并保持动物约 80-85% 的免费喂养量。

2. 实验设置

1. 使用装有3个分区或武器的 T 迷宫、2个刺激扬声器、5个可伸缩门和5个红外运动传感器或红外光束 (IRB) 传感器。
   注: T 型迷宫可由中密度纤维板 (MDF) 或聚氯乙烯 (PVC) 构成。
2. 控制在这里构造的迷宫由一个 Arduino 微控制器。
3. 将 Arduino 代码复制到计算机中。
4. 从软件网站下载 Arduino 软件并将其安装在计算机上。
5. 使用 USB 端口将微控制器连接到计算机。
6. 在 "计算机" 上, 单击 "软件" 图标, 转到 "工具", 然后选择 "端口"。
7. 从下拉菜单中, 选择将软件连接到计算机的 COM 端口 (通信端口)。
8. 转到工具并选择主板。从下拉菜单中, 选择控制 T 迷宫的 Arduino 的类型。
9. 单击 "界面" 窗口左上方的 "上载"。选择 Arduino 代码。等待进程完成。
10. 单击 "接口" 窗口右上的 "串行监视器"。然后, 在新的弹出窗口中, 将波特率更改为115200。

3. 适应迷宫

1. 在每一次的适应之前, 把动物带到实验室至少1小时之前的实验。
2. 在每个球门臂上留出10块糖丸, 让所有的门都开着。
   注意: 在这个阶段, 没有必要跟踪动物的运动 (图 1)。
3. 天 1-3: 在迷宫中单独放置动物10分钟, 每天 1x, 探索迷宫没有限制。
4. 天 4-5: 安置动物单独地在迷宫。每只手臂留出2粒, 让他们从两边取样。将动物从迷宫中取出后, 立即从两侧或5分钟后在迷宫中进食。
   注意: 这一阶段和上一阶段的主要区别是, 动物需要从迷宫中的两个球后立即被移除。这将使动物熟悉在试验结束时从迷宫中移除。
5. 每节课后, 用70% 乙醇清洁迷宫的地板, 并确保在将下一个动物放到迷宫中之前, 乙醇已经蒸发。

4. 歧视培训

1. 迷宫准备
   1. 6天: 实验前, 把动物带到实验室至少1小时。
   2. 运行 Arduino 程序, 并将试验编号设置为 14, 其中前4项试验将被强制选择, 其余的将是选择试验。
      注意: 该程序将随机生成相同数量的试验被分配到 T 迷宫的左和右端。
   3. 在每次试验开始之前, 将4粒球放在目标臂中, 将被提示为 HRA, 另一臂是上帝抵抗军的2颗小球。
2. 强迫选择试验训练 (4 项试验)
   1. 伪随机阻断一只手臂在每次试验前使动物被迫选择另一只手臂。
      注: 被阻断的手臂可以是一个高奖赏臂或低奖赏臂, 而听觉信号突出的侧面的 HRA。
   2. 将动物放在 "开始" 框中 (图 1)。5-7 秒后, 同时打开启动门并在 Arduino 的界面窗口中单击 "开始"。
   3. 进食小球后立即收集动物, 或在迷宫中5分钟后采集。
   4. 把动物留在笼子里2分钟。
3. 选择试用培训 (10 项试验)
   1. 在每次试验之前, 关闭门 B 在胳膊被选择由软件是 HRA。离开门-在相反的手臂 (上帝抵抗军) 开放。
   2. 将动物放在 "开始" 框中 (图 1)。5-7 秒后, 同时打开启动门并单击 "开始"。
   3. 让动物自由选择任一臂。如果动物选择了 HRA, 打开门, 让动物进入房间, 关上门, 打开门 B 立即给动物进入选定的食物好。
   4. 如果动物选择了上帝抵抗军, 打开门 B, 以使动物获得食物的良好。
   5. 在吃完所选食品中的所有食物后, 将其移走, 并将其留在笼中2分钟。
   6. 为每种动物完成10项选择试验, 并在每次试验中记录动物的选择 (HRA 或上帝抵抗军)。
   7. 在每次训练后计算所有选择试验的高奖赏选择百分比。
   8. 完成14步后, 每个红外线传感器获得的各个时间都显示在 Arduino 界面窗口中。

5. 延迟培训

1. 一旦每一个动物已经达到80% 的人权委员会在歧视训练 (步骤 4), 开始延迟训练, 每天运行10试验, 每一个动物。在这一阶段, 门 B 将被打开后, 只有5的延迟, 当动物选择 HRA。
2. 如果该动物在训练课程结束时达到80% 的人权委员会, 在5的延迟时间内, 将推迟到十年代进行下一个培训课程。
3. 一旦该动物已达到80% 的人权委员会, 十年代的延迟, 增加推迟到十五年代的下一个培训课程。
4. 记录每项试验的动物选择, 在每次训练后计算人权委员会。
5. 试验完成后, 每个红外线传感器所获得的各个时间都显示在 Arduino 界面窗口中。
   注 1: 单击Enter时计时器开始。"Time_decision" 是鼻子戳到 IRB-1 的时间。"Time_left_1" 是动物打破 IRB-1L 和 ' Time_left_2 ' 的时候, IRB-2L 被打破了。如果将行为研究与电生理学或神经成像 (如钙成像) 方法结合起来, 则建议用胶片记录更好地将动物的行为与神经信号同步。

6. 电生理学 (电极制造)

1. 使用单极或双极性电极记录局部磁场电位 (LFPs)。
   注意: 建议使用双极性电极, 因为它能使局部重新参照, 以减少体积传导的影响。因此, 记录的 LFP 是2电极之间的差电压与200微米距离之间的提示。
2. 要制造两极电极, 请将2个钨电极粘合在一起, 或将2不锈钢线连接在一起 (通常, 使用50微米直径的粉煤灰涂层不锈钢线)。
3. 将接地和记录线焊接到迷你插头/插座上, 成为电生理记录系统的连接器。

7. 麻醉

1. 要植入电极, 麻醉大鼠腹腔注射氯胺酮 (100 毫克/千克) 和甲苯噻嗪 (8 毫克/千克) 混合物, 或管理异氟醚, 如以下步骤所述。
   注意: 建议使用异氟醚, 因为它的麻醉深度控制得到改善。
2. 使用有控制氧和麻醉蒸汽流的麻醉机。
3. 用异氟醚麻醉动物, 将其放置在感应腔内, 在麻醉机上将异氟醚设置为大约4% 和 500-1000 毫升/分钟的氧气。
4. 继续诱导直到动物的矫正反射消失。
5. 在机器上设置 1-2.5% 异氟醚和 300-400 毫升/分氧的麻醉维持率。
6. 将隔热垫 (棉绒) 放在立体定向装置上, 然后将该动物固定在立体定向装置中。
7. 通过捏动物的脚趾来测量麻醉的水平。

8. 手术方法

1. 使用电动剃须刀或剪刀, 剃掉动物的头部, 在切口是要作出。
2. 用乙醇擦洗手术区, 然后用 povidone–iodine, 4%。
3. 在手术中应用眼部润滑剂保护动物的角膜。
4. 使用纸巾钳, 轻轻地拉在动物的眼睛和耳朵之间的皮肤。使用剪刀, 切断钳夹之间的皮肤, 取出骨膜。
5. 使用过氧化氢清洁和消毒头骨。
6. 使用立体定位坐标找到电极插入点的位置, 并在头骨上标记一个永久性标记。
7. 使用手持钻头为接地电极制造一个孔, 一个用于锚固植入物, 每个记录电极上有一个孔。
8. 插入电极以非常缓慢的速度, 以尽量减少可能的皮质和皮层下的损害。
9. 用小螺丝将接地电极连接到头骨上。
10. 使用薄层的牙科丙烯酸水泥, 确保连接器插头/插座到位。
11. 注射丁丙诺啡 (15 µg/千克, 皮下) 或 meloxicam (1-3 毫克/千克, 皮下) 作为止痛药。
12. 把动物留在一个温暖的垫子上的笼子里恢复。至少每30分钟观察一次动物, 直到它从麻醉剂中恢复。

9. 程序后培训

1. 手术后, 至少允许10天的恢复期。将动物单独带到食物和水的广告随意并每天监视它们 (参见 Rudebeck、沃尔顿、史密斯、班诺曼和拉什沃思⁷ , 了解更多信息)。
2. 在恢复之后, 开始将动物的饮食限制在免费喂养量的85%。
3. 重新培训迷宫中的动物, 以召回歧视阶段 (步骤 4)。
4. 继续对老鼠进行重新训练, 直到他们达到80% 的人权委员会。

结果

这里提供的数据是从左眶皮质 (LFP) 和前扣带皮质 (ACC) 的记录使用双极电极 (粉煤灰涂层不锈钢)。表 1显示了每个训练阶段的行为习得长度。目标位置的坐标是从鼠脑图谱⁹确定的, 如下: 为 AAC, 1.2 毫米前的 bregma, 0.8 毫米侧向中线, 和2毫米腹侧的头骨;对于 bregma, 3.5 毫米的前部, 2.3 毫米侧向中线, 5.4 毫米腹侧的头骨。

录音被带通滤波 (0.01-250 Hz) 提取 LFPs, 然后取样在1000赫兹。利用多锥度¹⁰对 LFPs 进行了谱分析。采用五斯莱皮恩锥度和三的时间带宽乘积实现最佳谱浓度。用300毫秒的滑动窗口估计了时频图谱, 这是在 5 ms 台阶上转移到数据上的。为了更好地观察光谱功率与任务相关的调制, 并衰减 1/f 幂度问题, 所有图谱都是基线规范化的...

讨论

啮齿目动物长期被使用了在处理不同的题目的神经科学研究研究, 从认知能力例如学习和记忆^2,14和增强的行为^7,15,16对器官的中央控制^17,18和神经药理学^19,20。拟议的议定书解释了一个复杂的行为任务, 适合的实验涉及电生理和神经影像学。我们描述了大鼠延迟基强化导引任务, 但它可以适应小鼠, 因为大鼠和小鼠执行类似的干土地任务。

我们用鼻子戳作为刺激来触发音频刺激。然而, 杠杆压制和其他刺激方式, 如视觉或嗅觉刺激也可以单独或同时使用。拟议的操作...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
T-maze			自制
无尘精密糖丸	TSE Systems 国际组	F0023	45 毫克，蔗糖
盐酸氯胺酮注射液，USP	Sigma-Aldrich	6740-87-0
甲苯噻嗪	Sigma-Aldrich	7361-61-7
立体定位装置	Stoelting
Isofluran	Santa Cruz Biotechnology	sc-363629Rx
PFA 涂层不锈钢丝	AM 系统
丙烯酸水泥	Vertex， MA， USA
（木制或 PVC（聚氯乙烯）制造）	本地供应商
MiniFit 电源连接器	Molex	15243048
乙烷醇 70%	本地供应商
丁丙诺啡	小菜药
Arduino UNO	Arduino		https://www.arduino.cc/
红外发射二极管	夏普	GL480E00000F	http://www.sharp-world.com/
Chronux 工具箱			Chronux.org
Arduino 代码			https://github.com/dechuans/arduino-maze