需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

用于评估啮齿类动物在强化决策过程中成本效益分析的操作型实验方案

5.3K 次观看

⸱

DOI：

10.3791/57907

⸱

2018年9月10日

 ,  ,  ,  , 
1Department of Optometry and Vision Science, The University of Melbourne, 2Neuroscience Research Center, Shahid Beheshti University of Medical Science, 3Department of Medicine, The University of Melbourne, 4Royal Melbourne Hospital

* These authors contributed equally

本文内容

摘要

成本效益分析是大脑在决策过程中进行的一种权衡式评估。本文提出了一种基于操作性条件反射的决策范式训练方案，使大鼠在需要等待15秒才能获得奖励的条件下，选择获取更高的奖励。

摘要

强化引导的决策能力是指根据不同行为方案所带来的收益及其后果的相对价值，在多个竞争性行动方案之间做出选择的能力。这一过程是人类正常行为的重要组成部分，并已被证明在成瘾、精神分裂症和抑郁症等神经及精神疾病中受到破坏。长期以来，啮齿类动物被用于揭示人类认知的神经生物学机制。为此，研究人员已开发出多种行为学任务；然而，大多数任务尚未实现自动化，且劳动强度较大。近年来开源微控制器的发展使研究人员能够实现基于操作条件反射的任务自动化，用于评估多种认知功能，标准化刺激呈现过程，改善数据记录，从而提高科研产出效率。本文中，我们描述了一种基于延迟的自动化强化引导决策任务，该任务采用由自定义软件程序控制的操作性T型迷宫系统。通过这些决策任务，我们展示了大鼠在执行基于延迟的成本-收益决策任务时，其前扣带皮层局部场电位活动的变化情况。

引言

决策是基于决策者的价值观和偏好以及所选行为的后果，识别和选择选项的过程1。尽管决策已在不同领域（即经济学、心理学和神经科学）得到广泛研究，但支撑这种认知能力的神经机制尚未被完全阐明。决策可分为两个子类别：感知决策和强化引导决策。尽管二者包含大量重叠的要素和概念，但感知决策依赖于可获得的感觉信息1,2，而强化引导决策则涉及在特定时间尺度上获得的行为相对价值3。强化决策的一个重要方面是成本效益分析，大脑通过计算给定选项的收益并减去各备选方案的相关成本，直观地完成这一过程1。

T型迷宫（或其变体Y型迷宫）是啮齿类动物认知实验中最常用的迷宫之一。将动物放置于起始臂（T的基部），使其可选择目标臂（两个侧臂之一）。强迫交替或左右辨别等任务主要在T型迷宫中用于测试啮齿类动物的参考记忆和工作记忆4。T型迷宫也广泛应用于决策行为实验5,6,7。在最简单的实验设计中，仅在一个目标臂中放置奖励。此时选择具有可预测性，无论奖励价值如何，动物都会明确偏好有奖励而非无奖励的路径。另一种方案是在两个目标臂中均放置奖励，然后让动物根据多个参数（i.e.，动物的自然偏好、奖励价值的差异以及所需付出的代价）来选择行进路径。在基于价值的设计中，任务因具有权衡特性而变得更加复杂。通过在两个备选项之间进行选择，动物所获得的奖励价值不同，同时获取奖励所需付出的代价（i.e.，等待时间的长短（基于延迟）或所需努力的程度（基于努力））也各不相同，这些因素共同影响最终的决策过程5,6。

在传统的基于延迟的T型迷宫决策实验中，动物被训练选择高奖励臂（HRA）并避开相对的低奖励臂（LRA）。在整个实验过程中，高奖励臂和低奖励臂的位置保持不变。尽管上述任务在文献中已有充分记载，但其存在若干程序性缺陷。首先，由于目标臂位置固定，动物从每次试验开始时便已知晓应选择哪一侧。在此情况下，动物可能基于记忆而非真正的决策过程来选择目标臂。因此，在基于延迟的决策范式中，若动物因研究干预而选择了低奖励臂，则无法明确该行为是源于记忆丧失还是研究干预本身所致。虽然可设置记忆对照组以区分观察到的行为是否由记忆问题引起，但这会因额外的工作量而增加研究人员和实验动物的负担7。第二个问题是动物做出决策的时刻：当动物到达决策区（三条臂的交汇处）时，通常会向左和向右探查，权衡各臂的代价与收益，然后做出选择。然而，经过数次试验后，动物往往在到达决策区之前就已完成这一判断过程，并直接奔向奖励臂。因此，这两个缺陷——对某一臂的预先偏好以及难以确定决策发生的准确时刻——会严重干扰对电生理和神经影像数据的解释。

在本文所述方法中，优势臂（HRA）由听觉线索提示，且可能在每次试验中有所不同。动物通过进入测试区域来启动试验（图1）并通过触发听觉提示 "鼻触" 位于三个臂交汇处的红外门。从目标臂末端的扬声器播放音频信号（20 dB，持续时间为500至1,000毫秒）。

访问受限。请登录或开始试用以查看此内容。

方案

此处所述所有实验程序均经弗洛里研究所动物伦理委员会或神经科学研究委员会批准，并依照《实验动物护理与使用指南》进行。

1. 动物饲养、操作与食物限制

  1. 使用成年（通常为8周龄）雄性大鼠（任何品系），并在12小时光照/12小时黑暗循环的环境中饲养。
  2. 限制其食物获取，以促使动物完成任务。
    注意：建议单独饲养动物，以便更好地控制每只动物的食物摄入量。
  3. 在第1至第3天，每天进行约5分钟、两次的抓取操作。
    注意：抓取操作可使动物熟悉与人类的接触，降低其在实验过程中的应激和焦虑水平。
  4. 每次抓取操作后称量动物体重。以第一天的体重作为自由进食量，将动物维持在其自由进食量的80–85%左右。

2. 实验设置

  1. 使用一个配备3个隔间或臂、2个刺激扬声器、5个可伸缩门和5个红外运动传感器（或红外光束，IRB传感器）的T型迷宫。
    注意：T型迷宫可由中密度纤维板（MDF）或聚氯乙烯（PVC）制成。
  2. 通过Arduino微控制器控制此处构建的迷宫。
  3. 将Arduino代码复制到计算机中。
  4. 从软件网站下载Arduino软件并安装到计算机上。
  5. 使用USB端口将微控制器连接到计算机。
  6. 在计算机上点击软件图标，进入工具，然后选择端口。
  7. 在下拉菜单中选择连接软件与计算机的COM端口（通信端口）。
  8. 进入工具并选择开发板。在下拉菜单中选择用于控制T型迷宫的Arduino型号。
  9. 点击界面窗口左上角的上传按钮，选择Arduino代码，等待上传过程完成。
  10. 点击界面窗口右上角的串口监视器。然后在新弹出的窗口中，将波特率更改为115200。

3. 迷宫适应

  1. 每次习惯化实验前，至少提前1小时将动物带入实验房间。
  2. 在每个目标臂中放置10粒糖丸，并保持所有门敞开。
    注意：此阶段无需记录动物的运动轨迹（图1）。
  3. 第1至3天：将动物单独放入迷宫中，每天一次，每次10分钟，使其在无限制条件下探索迷宫。
  4. 第4至5天：将动物单独放入迷宫中。在每个臂内放置2粒糖丸，允许动物从两侧取食。动物吃完两侧糖丸后应立即将其从迷宫中移出，或在进入迷宫5分钟后将其移出。
    注意：此阶段与前一阶段的主要区别在于，动物一旦吃完两侧的糖丸，必须立即从迷宫中移出。这有助于使动物熟悉在每次试验结束时被移出迷宫的过程。
  5. 每次实验结束后，使用70%乙醇清洁迷宫地面，并确保乙醇完全挥发后，再将下一只动物放入迷宫。

4. 辨别训练

  1. 迷宫准备
    1. 第6天：在实验开始前至少1小时将动物带入实验房间。
    2. 运行Arduino程序，并将试验次数设置为14次，其中前4次为强制选择试验，其余为自由选择试验。
      注意：程序将随机生成相同数量的试验，分别分配到T型迷宫的左侧和右侧。
    3. 每次试验开始前，在目标臂（提示为高奖励臂）中放置4粒食丸，在另一臂（低奖励臂）中放置2粒食丸。
  2. 强制选择试验训练（4次试验）
    1. 每次试验前伪随机地封闭一个臂，迫使动物选择另一个臂。
      注意：被封闭的臂可以是高奖励臂或低奖励臂，而听觉信号会提示高奖励臂所在的一侧。
    2. 将一只动物放入起始箱（图1）。5–7秒后，同时打开起始门并在Arduino界面窗口中点击开始。
    3. 动物吃完食丸后立即取出，或在迷宫中停留满5分钟后将其取出。
    4. 将动物放回饲养笼中静置2分钟。
  3. 自由选择试验训练（10次试验）
    1. 每次试验前，关闭软件选定为高奖励臂（HRA）一侧的门-B ，保持对侧臂（低奖励臂，LRA）的门-A处于打开状态。
    2. 将一只动物放入起始箱（图1）。5–7秒后，同时打开起始门并在Arduino界面中点击开始。
    3. 让动物自由选择任一臂。若动物选择高奖励臂（HRA），则打开门-A，允许动物进入腔室，随后关闭门-A，并立即打开门-B，使动物能够接触到所选的食物井。
    4. 若动物选择低奖励臂（LRA），则打开门-B，使动物能够接触到该侧的食物井。
    5. 动物吃完所选食物井中的全部食物后将其移出，并放回饲养笼中静置2分钟。
    6. 为每只动物完成10次自由选择试验，并记录每次试验中动物的选择（HRA或LRA）。
    7. 每次训练结束后，计算所有自由选择试验中高奖励选择（HRC）的百分比。
    8. 完成14次试验后，Arduino界面窗口将显示每个红外传感器记录的个体时间数据。

5. 延迟训练

  1. 当每只动物在辨别训练（步骤4）中达到80%的正确反应率（HRC）后，开始进行延迟训练，每天为每只动物运行10次试验。在此阶段，当动物选择高奖励选择（HRA）时，门B仅在5秒延迟后打开。
  2. 如果动物在一次训练阶段结束时，在5秒延迟条件下达到80%的HRC，则在下一次训练阶段将延迟时间增加至10秒。
  3. 一旦动物在10秒延迟条件下达到80%的HRC，则在下一次训练阶段将延迟时间增加至15秒。
  4. 记录每次试验中动物的选择，以计算每次训练阶段后的HRC。
  5. 完成所有试验后，每个红外传感器获取的个体时间将显示在Arduino界面窗口中。
    注意1：点击Enter后计时器开始运行。“Time_decision”表示动物鼻触IRB-1后的时间，“Time_left_1”表示动物断开IRB-1L光束的时间，“Time_left_2”表示断开IRB-2L光束的时间。如果行为学研究结合了电生理或神经成像（例如，钙成像）方法，建议进行录像记录，以便更好地将动物行为与神经信号同步。

6. 电生理学（电极制备）

  1. 使用单极或双极电极记录局部场电位（LFPs）。
    注意：建议使用双极电极，因为它可实现局部重新参考，从而减少容积导电的影响。因此，所记录的LFP是两个电极之间的差分电压，其尖端间距约为200 μm。
  2. 制作双极电极时，可将两根钨电极粘合在一起，或将两根不锈钢丝绞合在一起（通常使用直径为50 μm的PFA涂层不锈钢丝）。
  3. 将接地线和记录导线焊接到微型插头/插座上，以形成与电生理记录系统的连接器。

7. 麻醉

  1. 植入电极时，通过腹腔注射氯胺酮（100 mg/kg）和赛拉嗪（8 mg/kg）的混合物麻醉大鼠，或按照后续步骤中所述使用异氟烷进行麻醉。
    注意：推荐使用异氟烷，因其对麻醉深度的控制更佳。
  2. 使用带有可控氧气和麻醉气体流量的麻醉机。
  3. 若通过异氟烷麻醉动物，将动物放入诱导室，并在麻醉机上将异氟烷流量设为约4%，氧气流量设为500 - 1,000 mL/min。
  4. 持续诱导，直至动物的翻正反射消失。
  5. 在麻醉机上将维持麻醉的异氟烷浓度设为1 - 2.5%，氧气流量设为300 - 400 mL/min。
  6. 在立体定位仪上放置带隔热材料（脱脂棉）的加热垫，然后将动物固定在立体定位仪中。
  7. 通过轻捏动物脚趾来检测麻醉水平。

8. 手术操作

  1. 使用电动剃须刀或剪刀，剃除动物头部将要进行切口部位的毛发。
  2. 先用乙醇擦拭手术区域，再用4%聚维酮-碘进行消毒。
  3. 涂抹眼用润滑剂，以保护动物在手术期间的角膜。
  4. 使用组织镊轻轻牵拉动物双眼与双耳之间的皮肤，用剪刀剪开镊子夹起的皮肤，并去除骨膜。
  5. 使用过氧化氢清洁并消毒颅骨。
  6. 根据立体定位坐标确定电极植入位置，并用永久性记号笔在颅骨上标记该点。
  7. 使用手持钻在颅骨上钻一个用于接地电极的孔、一个用于固定植入物的孔，以及每个记录电极对应的植入孔。
  8. 以极慢的速度插入电极，以尽量减少可能的皮层及皮层下组织损伤。
  9. 使用小螺丝将接地电极固定于颅骨上。
  10. 使用一层薄的牙科丙烯酸树脂水泥将连接器插头/插座固定到位。
  11. 皮下注射布托啡诺（15 µg/kg）或美洛昔康（1 - 3 mg/kg）作为镇痛剂。
  12. 将动物置于铺有加热垫的笼子中恢复，并至少每30分钟观察一次，直至其从麻醉中完全苏醒。

9. 术后训练

  1. 手术后，至少给予 10 天的恢复期。将动物单独饲养，自由获取食物和水（ad libitum），并每天进行监测（更多信息请参见 Rudebeck, Walton, Smyth, Bannerman, 和 Rushworth7）。
  2. 恢复期结束后，开始将动物的饮食量限制为其自由进食量的 85%。
  3. 在迷宫中重新训练动物，使其回忆辨别阶段（步骤 4）。
  4. 持续对小鼠进行再训练，直至其达到 80% 的 HRC。

访问受限。请登录或开始试用以查看此内容。

结果

本文展示的数据是使用双极电极（PFA涂层不锈钢制成）记录的六只雄性Wistar大鼠左侧眶额皮层（OFC）和前扣带皮层（ACC）的局部场电位（LFP）。表1列出了每个训练阶段的行为习得时长。目标脑区的坐标根据大鼠脑图谱9确定，具体如下：ACC位于前囟前方1.2 mm、中线外侧0.8 mm、颅骨下方2 mm处；OFC位于前囟前方3.5 mm、中线外侧2.3 mm、颅骨下方5.4 mm处。

记录信号经过带通滤波（0.01 - 250 Hz）以提取局部场电位（LFP），然后以 1,000 Hz 的采样率进行采样。使用多锥法10对 LFP 进行谱分析。采用五个 Slepian 锥形窗和时间-带宽积为 3，以实现最佳的谱集中度。时频谱图通过滑动窗方法估计，窗长为 300 ms，以 5 ms 步长在数据上滑动。为了更清晰地观察任务依赖性的...

访问受限。请登录或开始试用以查看此内容。

讨论

啮齿类动物长期以来被用于神经科学研究，涉及多种主题，从学习和记忆等认知能力2,14、强化行为7,15,16，到器官的中枢调控17,18以及神经药理学19,20。本方案介绍了一种适用于电生理学和神经影像学实验的复杂行为任务。我们描述了基于延迟的强化引导任务，该任务适用于大鼠，但也可适用于小鼠，因为大鼠和小鼠在陆地任务中的表现相似。

我们采用鼻触作为触发听觉刺激的条件。然而，也可以单独或同时使用其他刺激方式，例如压杆以及视觉或嗅觉刺激。与现有的非操作性方...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本研究由澳大利亚皇家墨尔本医院神经科学基金会、澳大利亚脑基金会、澳大利亚皇家内科医学院Thyne Reid研究员项目，以及伊朗认知科学与技术委员会授予Abbas Haghparast的项目资助支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
T型迷宫自制
无尘精密糖丸TSE Systems Intl. GroupF002345 mg，蔗糖
盐酸氯胺酮注射液，USPSigma-Aldrich6740-87-0
赛拉嗪Sigma-Aldrich7361-61-7
立体定位仪Stoelting
异氟烷Santa Cruz Biotechnologysc-363629Rx
聚四氟乙烯包被不锈钢丝A-M systems
丙烯酸树脂水泥Vertex, MA, USA
（木制或聚氯乙烯（PVC）材料）本地供应商
Mini-Fit 电源连接器Molex15243048
70% 乙醇本地供应商
丁丙诺啡diamondback drugs
Arduino UNOArduinohttps://www.arduino.cc/
红外发射二极管SharpGL480E00000Fhttp://www.sharp-world.com/
Chronux 工具箱Chronux.org
Arduino 代码https://github.com/dechuans/arduino-maze

参考文献

  1. Gold, J. I., Shadlen, M. N. The neural basis of decision making. Annual Review of Neuroscience. 30, 535-574 (2007).
  2. Shi, Z., Müller, H. J. Multisensory perception and action: development, decision-making, and neural mechanisms. Frontiers in Integrative Neuroscience. 7, 81(2013).
  3. Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. 1, MIT Press. Cambridge, MA. (1998).
  4. Khani, A., Rainer, G. Neural and neurochemical basis of reinforcement-guided decision making. Journal of Neurophysiology. 116, 724-741 (2016).
  5. Fatahi, Z., Haghparast, A., Khani, A., Kermani, M. Functional connectivity between anterior cingulate cortex and orbitofrontal cortex during value-based decision making. Neurobiology of Learning and Memory. 147, 74-78 (2018).
  6. Khani, A., et al. Activation of cannabinoid system in anterior cingulate cortex and orbitofrontal cortex modulates cost-benefit decision making. Psychopharmacology. 232, 2097-2112 (2015).
  7. Rudebeck, P. H., Walton, M. E., Smyth, A. N., Bannerman, D. M., Rushworth, M. F. Separate neural pathways process different decision costs. Nature Neuroscience. 9, 1161-1168 (2006).
  8. Gage, G. J., et al. Surgical implantation of chronic neural electrodes for recording single unit activity and electrocorticographic signals. Journal of Visualized Experiments. (60), e3565(2012).
  9. Paxinos, G., Watson, C. The Rat Brain in Stereotaxic Coordinates. , Academic Press. San Diego, CA. (1998).
  10. Bokil, H., Andrews, P., Kulkarni, J. E., Mehta, S., Mitra, P. P. Chronux: a platform for analyzing neural signals. Journal of Neuroscience Methods. 192, 146-151 (2010).
  11. Cohen, M. X. Analyzing Neural Time Series Data: Theory and Practice. , MIT Press. Cambridge, MA. (2014).
  12. Luk, C. -H., Wallis, J. D. Choice coding in frontal cortex during stimulus-guided or action-guided decision-making. Journal of Neuroscience. 33, 1864-1871 (2013).
  13. Rudebeck, P. H., et al. Frontal cortex subregions play distinct roles in choices between actions and stimuli. Journal of Neuroscience. 28, 13775-13785 (2008).
  14. Goshadrou, F., Kermani, M., Ronaghi, A., Sajjadi, S. The effect of ghrelin on MK-801 induced memory impairment in rats. Peptides. 44, 60-65 (2013).
  15. Haghparast, A., et al. Intrahippocampal administration of D2 but not D1 dopamine receptor antagonist suppresses the expression of conditioned place preference induced by morphine in the ventral tegmental area. Neuroscience Letters. 541, 138-143 (2013).
  16. Esmaeili, M. -H., Kermani, M., Parvishan, A., Haghparast, A. Role of D1/D2 dopamine receptors in the CA1 region of the rat hippocampus in the rewarding effects of morphine administered into the ventral tegmental area. Behavioural Brain Research. 231, 111-115 (2012).
  17. Chaleek, N., Kermani, M., Eliassi, A., Haghparast, A. Effects of orexin and glucose microinjected into the hypothalamic paraventricular nucleus on gastric acid secretion in conscious rats. Neurogastroenterology & Motility. 24, e94-e102 (2012).
  18. Kermani, M., Eliassi, A. Gastric acid secretion induced by paraventricular nucleus microinjection of orexin A is mediated through activation of neuropeptide Yergic system. Neuroscience. 226, 81-88 (2012).
  19. Kermani, M., Azizi, P., Haghparast, A. The role of nitric oxide in the effects of cumin (Cuminum Cyminum L.) fruit essential oil on the acquisition of morphine-induced conditioned place preference in adult male mice. Chinese Journal of Integrative Medicine. , 1-6 (2012).
  20. Ahmadi, A., et al. Synthesis and antinociceptive behaviors of new methyl and hydroxyl derivatives of phencyclidine. Current Medicinal Chemistry. 19, 763-769 (2012).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

操作性T型迷宫基于延迟的决策行为强化引导行为啮齿类认知任务自动化行为检测局部场电位前扣带皮层红外运动传感器自定义软件程序糖颗粒奖励
用于评估啮齿类动物在强化决策过程中成本效益分析的操作型实验方案
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。