楊玉潔，王克柱，董黎明，姜 寧，范琳犀，張宏霞，呂靜薇，陳善廣，劉新民，王 瓊*

(1.西南醫(yī)科大學附屬中醫(yī)醫(yī)院中葡中醫(yī)藥國際合作中心，四川 瀘州 646000； 2.西南醫(yī)科大學藥學院藥理教研室，四川 瀘州 646000；3.中國醫(yī)學科學院藥用植物研究所，北京 100193； 4.廣東東陽光藥業(yè)有限公司，廣東 東莞 523808；5.湖南中醫(yī)藥大學，長沙 410208； 6.中國航天員科研訓練中心，北京 100193)

19世紀末到20世紀初，伊萬·巴甫洛夫和桑代克分別提出了經(jīng)典條件反射理論和動物學習定律，到20世紀30年代后期B. F. 斯金納在前人的基礎上提出了操作性條件反射理論，并研制出斯金納箱，成為操作式條件反射理論的奠基者。隨著神經(jīng)科學研究的深入，國內(nèi)外眾多研究者將經(jīng)典條件反射理論廣泛應用于研究認知行為。本實驗室在此基礎上研制了國內(nèi)首臺獎勵性操作式條件反射檢測分析處理系統(tǒng)，通過條件性刺激(stimulus，S)、踏板操作(response，R)、物質(zhì)獎勵(outcome，O)建立了一種關聯(lián)性的認知檢測模式，先在條件刺激下訓練動物獲得獎賞，建立條件反射(S-O)聯(lián)系，再利用踏板和條件刺激的關聯(lián)獲得獎賞，建立操作條件反射(S-R-O)聯(lián)系。與傳統(tǒng)的認知行為評價方法(如：跳臺、穿梭、避暗等)單一的學習記憶能力檢測相比，該檢測系統(tǒng)可用于多方面考察動物的聯(lián)合性學習記憶能力，包括進行復雜任務時的興趣、動機、反應力、執(zhí)行力、信號辨識力、決策力和記憶力等相關認知能力表現(xiàn)。目前，獎勵性操作式條件反射檢測分析處理系統(tǒng)正在成為一種在評價動物認知功能領域中新起的無傷害刺激且準確可靠的行為學實驗方法。

獎勵性條件反射理論在國際上運用廣泛，但至今對其所涉及到的一些實驗因素無明確比較和研究，因此本研究通過探討不同顏色光刺激、不同刺激時長和晝/夜訓練三種實驗因素對大鼠獎賞性條件反射實驗的影響，為規(guī)范獎勵性條件反射實驗方法學提供依據(jù)。

1 材料和方法

1.1 實驗動物

實驗一：SPF級雄性Wistar大鼠30只，8周齡，體重(290±10) g。實驗二：SPF級雄性Wistar大鼠32只，8周齡，體重(290±10) g。實驗三：SPF級雄性Wistar大鼠16只，8周齡，體重(290±10) g。均購自北京維通利華實驗動物科技有限公司[SCXK (京) 2016-0011]。實驗室安靜，溫度恒溫保持在22℃～25℃，濕度條件為(55±10)%，12 h照明/12 h黑暗環(huán)境(8:30～20:30亮燈)[SYXK (京) 2013-0023]，飼養(yǎng)期間給予標準飼料及潔凈自來水。所有動物實驗遵守國際實驗動物倫理學要求，實驗過程中按實驗動物使用的3R原則給予人道主義關懷。

1.2 主要儀器

獎勵性操作式條件反射檢測分析處理系統(tǒng)，由中國醫(yī)學科學院藥用植物研究所與中國航天員科研訓練中心聯(lián)合研制。測試系統(tǒng)包括4個測試箱，每個測試箱的內(nèi)側(cè)壁安裝有兩套蔗糖水獎賞裝置、踏板裝置以及三色信號燈，左右對稱。獎賞裝置下方安裝寬度為4 cm的踏板裝置，踏板上方各有一個三色信號燈(紅、黃、藍)。內(nèi)箱的頂部安裝有攝像裝置和環(huán)境光源，可以實時監(jiān)控動物在測試箱內(nèi)暗環(huán)境下的行為活動。

1.3 實驗方法

1.3.1 不同顏色光刺激對大鼠獎勵性條件反射實驗的影響

(1)飲食限制與雙瓶喂養(yǎng)：30只大鼠隨機分為3組，適應環(huán)境3天后，開始飲食限制。采用雙瓶喂養(yǎng)的方法，給予動物兩瓶飲水，每只大鼠每天給予30 mL的8%蔗糖水或純凈水。兩瓶飲水每天位置對換，以免動物偏愛其中某一方位。飲水控制的同時，每只大鼠每天給予鼠糧14～17 g，連續(xù)飲食限制10 d，目的是使限食后的動物體重減輕到正常進食動物體重的80%～85%[1]，此時動物對食物的渴求動機最大，同時不影響動物正常的生理需求。

圖1 獎勵性條件反射實驗操作流程Fig.1 Operational process of the reward conditioned reflex experiment

(2)經(jīng)典的獎勵性條件反射：三組動物第9天開始，按照圖1操作流程進行為期1 d的適應訓練，即動物自由適應模式，獎賞裝置每(60±10) s自動給予一滴0.2 mL 20%蔗糖水，實驗時間30 min。第10天動物開始進行為期7 d的獎勵性條件反射的訓練階段。在獎勵性條件反射訓練期中，踏板縮回，紅色光刺激信號組給予紅燈刺激，黃色光刺激信號組給予黃燈刺激，藍色光刺激信號組給予藍燈刺激，周期性亮燈，每次亮燈10 s，此時動物探索飲水盒時自動促發(fā)紅外感應裝置，發(fā)出信號至計算機，并反饋到獎賞裝置自動給予一滴獎賞物質(zhì)(0.2 mL)，我們將此定義為正確鼻觸反應，鼻觸次數(shù)被記為正確鼻觸次數(shù)(correct nose pokes，CNPs)；10 s之后信號燈熄滅，實驗進入間隔期(30±5) s，若此時動物進行探索飲水盒，將沒有獎賞物質(zhì)的獲得，同樣系統(tǒng)也會記錄其鼻觸反應，我們將其定義為錯誤鼻觸反應，鼻觸次數(shù)被記為錯誤鼻觸次數(shù)(incorrect nose pokes，INPs)。每天訓練20 min，連續(xù)訓練7 d。記錄正確鼻觸次數(shù)、錯誤鼻觸次數(shù)等，動物的學習能力及獎勵性條件反射獲得能力通過比較正確鼻觸次數(shù)和鼻觸正確率[CNPs/(CNPs + INPs)]表現(xiàn)出來。

1.3.2 不同刺激時長對大鼠獎勵性條件反射實驗的影響

(1)飲食限制與雙瓶喂養(yǎng)：實驗方法同1.3.1中(1)所述。

(2)經(jīng)典的獎勵性條件反射：實驗方法同1.3.1中(2)所述，但在獎勵性條件反射訓練模式中，實驗參數(shù)為：Ⅰ組：燈亮持續(xù)時間10 s，實驗時長20 min；Ⅱ組：燈亮持續(xù)時間30 s，實驗時長22.5 min；Ⅲ組：燈亮持續(xù)時間60 s，實驗時長30 min。三組均將藍燈作為刺激信號，周期次亮燈，亮燈次數(shù)均為15次，其他參數(shù)相同。記錄正確鼻觸次數(shù)、鼻觸正確率等指標。

1.3.3 晝/夜訓練對大鼠獎勵性條件反射實驗的影響

(1)飲食限制與雙瓶喂養(yǎng)：實驗方法同1.3.1中(1)所述。

(2)經(jīng)典的獎勵性條件反射：實驗方法同1.3.1中(2)所述，每組連續(xù)訓練7 d，每天一次，每次實驗時長20 min，記錄正確鼻觸次數(shù)、鼻觸正確率等指標。

1.4 統(tǒng)計學方法

2 結(jié)果

注：紅光刺激與藍光刺激比較，* P< 0.05，**P< 0.01，***P< 0.001；黃光刺激與藍光刺激比較，# P< 0.05，## P< 0.01。圖2 三種光刺激對Wistar大鼠獎勵性條件反射實驗的影響Note. Right light stimulus compared with blue light stimulus,*P< 0.05,**P< 0.01,***P< 0.001. Yellow light stimulus compared with blue light stimulus,#P< 0.05,##P< 0.01.Fig.2 Effects of light stimulation with three different color on the reward conditioned reflex of Wistar rats

2.1 三種顏色光刺激對大鼠獎勵性條件反射實驗的影響

如圖2可以看出，隨著訓練天數(shù)的增加，三個組別的大鼠的正確鼻觸次數(shù)、鼻觸正確率均逐漸上升，到第5天基本達到穩(wěn)定值。鼻觸潛伏期代表動物首次進行鼻觸反應的時間，反映出動物對S-O關聯(lián)的記憶程度，圖中看出三個組別的鼻觸潛伏期隨著訓練的延長均呈現(xiàn)大幅度下降趨勢。在訓練第1天、第2天三組大鼠的正確鼻觸次數(shù)和錯誤鼻觸次數(shù)即差異有顯著性，可能是由于大鼠對新環(huán)境的熟悉程度不一致導致的，由于學習是一個循序漸進的過程，所以不能說明其學習能力有差異。對獎賞訓練中的運動路程與平均速度比較發(fā)現(xiàn)(圖3)，動物在三種不同顏色光刺激下的運動路程與平均速度相似，差異無顯著性。

2.2 不同光刺激時長對獎賞條件反射記憶獲得的影響

如圖4顯示，與刺激持續(xù)時間10 s比較，30 s和60 s組大鼠的正確鼻觸次數(shù)顯著升高。同樣鼻觸正確率也在緩慢提高。獎賞訓練前3 d，10 s組大鼠的潛伏期最長，說明大鼠對獎賞的記憶能力最差。

2.3 晝/夜訓練對大鼠獎勵性條件反射實驗的影響

如圖5所示，白天訓練組與夜晚訓練組二者間的正確鼻觸次數(shù)、鼻觸潛伏期和鼻觸正確率差異均無顯著性。

圖3 三種顏色光刺激對Wistar大鼠運動路程和平均速度的影響Fig.3 Effect of light stimulation with three different color on the movement distance and average speed of Wistar rats in the reward conditioned reflex test

注：與10 s組比較，* P< 0.05，**P< 0.01，***P< 0.001；與30 s組比較，# P< 0.05，## P< 0.01，### P< 0.001。圖4 光刺激時長對大鼠獎賞條件反射實驗的影響Note. Compared with the 10 s group,*P< 0.05,**P< 0.01,***P< 0.001. Compared with the 30 s group,#P< 0.05,##P< 0.01,###P< 0.001.Fig.4 Effect of time duration of conditioned stimulus on reward conditioned reflex of the rats

3 討論

經(jīng)典條件反射理論長久以來被應用于認知行為學研究，包括獎勵性條件反射和懲罰性條件反射。目前常用的評價認知行為的實驗方法中穿梭、避暗、跳臺、Y迷宮等均是建立在條件反射理論的基礎上，但這些給予厭惡條件和懲罰刺激的行為學實驗會對動物的心理和生理產(chǎn)生一定影響，而獎勵性條件反射理論的應用減小了對動物本身的傷害，更加符合國際上對實驗動物的3R原則[2]，保證實驗結(jié)果的科學性和準確性。課題組研究團隊研發(fā)的獎勵性操作條件反射實時測試系統(tǒng)是一種精細敏感的的認知功能評測系統(tǒng)，利用計算機對信號資源進行綜合分析、優(yōu)化重組，建立了針對不同認知功能與操作方式的實驗模式，以及針對不同操作任務與學習記憶評價的敏感行為評價指標體系[3]，是國內(nèi)首臺應用于大鼠的獎勵性操作條件反射檢測系統(tǒng)。國外有大量文獻報道獎勵性操作條件反射實驗方法，研究對象主要為昆蟲[4-5]、斑馬魚[6]、軟體動物[7]，檢測指標主要為探頭潛伏期[8]，而此獎勵性操作條件反射檢測系統(tǒng)不僅能記錄動物軌跡，還能自動統(tǒng)計動物的鼻觸次數(shù)、鼻觸潛伏期、正確鼻觸次數(shù)、運動路程與速度等，該系統(tǒng)還能進行信號識別辨識，位置信號識別等實驗，可多方面評價動物的學習、記憶、判斷與執(zhí)行能力。

本課題組前期研究了動物品系對獎賞條件反射和操作式條件反射的行為學差異，發(fā)現(xiàn)雄性SD大鼠對獎賞條件反射經(jīng)典條件反射階段對飲水盒的探索能力強，表現(xiàn)出對獎賞物質(zhì)較強的興趣；而在獎賞操作條件反射階段雄性Wistar大鼠的表現(xiàn)優(yōu)于雄性SD大鼠[9]。故本研究選擇雄性Wistar大鼠作為實驗對象，綜合探討不同實驗因素對大鼠獎勵性條件反射獲得的影響，為獎勵性操作條件反射實驗做鋪墊。

圖5 晝/夜訓練對大鼠獎勵性條件反射實驗的影響Fig.5 Effect of day/night training on reward conditioned reflex of the rats

獎勵性條件反射在巴浦洛夫[10]經(jīng)典條件反射基礎上，條件刺激可為光刺激或聲音刺激[11]，獎賞物質(zhì)可為固體食物或糖水，建立動物自主獲得獎賞物的條件反射。在獎勵性條件反射中，動物將條件刺激與獎賞物結(jié)合在一起，產(chǎn)生正性作用，起到預測獎勵的作用[12]。為研究不同光刺激對大鼠條件反射建立的影響，本實驗選取三種光作為條件刺激，紅色、藍色和黃色，同時也考察大鼠的視覺識別能力。嚙齒類動物的視覺辨別能力是由其體內(nèi)的SWS1(shortwavelengthsensitivetype1)和LWS(longwavelengthsensitivetype)基因家族控制[13]，且大、小鼠的SWS1色素只能接收紫外光(400 nm)，LWS色素可接收光波長為510～540 nm的光[14]。而紅光波長為620～750 nm，藍光波長為460～480 nm[15]，黃光波長為570～590 nm，因此，大鼠對藍光較其他兩光源更敏感[16]。但從本實驗結(jié)果可得出，三組動物的鼻觸次數(shù)、正確鼻觸率、鼻觸潛伏期、運動路程及速度差異均無顯著性。說明三組運功能力相當，不存在由于運動功能缺陷導致的條件反射記憶獲得的差異，所以紅、黃、藍三種光刺激對大鼠獎勵性條件反射的獲得無影響。

大量研究表明，訓練次數(shù)的增加對條件反射的建立有促進作用，可形成長期的條件反射記憶[5, 17]。要建立穩(wěn)定的條件反射，條件刺激信號須反復出現(xiàn)，且經(jīng)不斷訓練，動物才能逐漸習得信號與獎勵間的關聯(lián)。條件刺激在條件反射習得過程中充當了一種強有效的條件強化物，能加固非條件刺激與獎賞物之間的聯(lián)系[18]。故本研究考察條件刺激持續(xù)時間的長短對條件反射獲得的影響，發(fā)現(xiàn)當訓練天數(shù)及其他參數(shù)一致時，前3 d條件刺激時間為10 s時，動物對獎勵條件的記憶力最差，而當條件刺激作用30 s或60 s時，動物表現(xiàn)出對獎勵物有很強的興趣，且鼻觸正確率顯著提高。本實驗室前期研究者石哲[19]選擇給予藍光條件刺激持續(xù)10 s[20]，每天訓練一次，共訓練10 d，動物對獎勵物也表現(xiàn)出強烈的探索興趣，條件反射形成。結(jié)合本次實驗結(jié)果，可以說明適當延長條件強化物的持續(xù)時間有利于在短時間內(nèi)建立良好的條件反射，提高動物記憶效率。

幾個世紀以來關于植物[21]和動物[22]的晝夜節(jié)律的研究眾多，機體的一切生理活動均受晝夜節(jié)律的控制，如睡眠、激素分泌和行為等[23]，晝夜節(jié)律對認知功能的影響也有大量報道[24-27]。幾項研究表明，生物鐘對學習和記憶的影響可能是不相同的。在某些情況下，形成記憶的能力可能與晝夜節(jié)律相獨立，但時間戳作為聯(lián)系回憶與表現(xiàn)的線索，在倉鼠[28]和大鼠[29]學習后間隔24 h內(nèi)會更好。在其他情況下，回憶可能很大程度上與檢測階段無關，但記憶的獲取或整合可能取決于訓練的晝夜節(jié)律，如軟體動物[30-31]、昆蟲[27,32-33]、魚[34]和小鼠[35]。Cain等人[36]研究了Wistar大鼠與Long Evans大鼠兩種大鼠的條件位置偏好的時間節(jié)律，發(fā)現(xiàn)大鼠品系對學習記憶任務的表現(xiàn)有很大影響，一天中某個特定時間點的學習任務作為一個變量對Wistar大鼠的影響更大。目前，大多數(shù)行為學實驗是在白天進行，而嚙齒類動物屬夜行性動物，在研究晝/夜訓練對獎勵性條件反射實驗的影響時，結(jié)果顯示白天訓練組與夜晚訓練組大鼠的正確鼻觸次數(shù)和鼻觸正確率沒有明顯差異，說明晝/夜訓練不影響大鼠獎勵性條件反射的習得。但對大鼠獎勵性操作條件反射是否受晝夜節(jié)律影響，還需深入研究。

此次研究首次探討了三種因素對大鼠獎勵性條件反射實驗的影響，結(jié)果說明了三種不同顏色的光刺激對大鼠條件反射的習得無影響，但光刺激時間長短對其學習成績有影響，適當增長光刺激時間有利于條件反射的形成。同時，實驗結(jié)果也表明晝/夜訓練對大鼠訓練成績無影響，可在白天進行與獎勵性條件反射相關的訓練。

[1] Shi Z, Sun X, Liu X, et al. Evaluation of an Aβ(1-40)-induced cognitive deficit in rat using a reward-directed instrumental learning task [J]. Behav Brain Res, 2012, 234(2): 323-333.

[2] 石哲, 陳善廣, 陳玲玲, 等. 獎勵性操作式條件反射任務在大鼠學習記憶研究中的應用 [J]. 中國實驗動物學報, 2012, 20(4): 9-15.

[3] 陳鈴鈴. 基于獎勵性操作條件反射的開心散益智藥效研究 [D]. 湖南中醫(yī)藥大學, 2013.

[4] Hussaini SA, Komischke B, Menzel R, et al. Forward and backward second-order Pavlovian conditioning in honeybees [J]. Learn Mem, 2007, 14(10): 678-683.

[5] Menda G, Bar HY, Arthur BJ, et al. Classical conditioning through auditory stimuli in Drosophila: methods and models [J]. J Exp Biol, 2011, 214(Pt 17): 2864-2870.

[6] Valente A, Huang KH, Portugues R, et al. Ontogeny of classical and operant learning behaviors in zebrafish [J]. Learn Mem, 2012, 19(4): 170-177.

[7] Ribeiro MJ, Schofield MG, Kemenes I, et al. Activation of MAPK is necessary for long-term memory consolidation following food-reward conditioning [J]. Learn Mem, 2005, 12(5): 538-545.

[8] O’Connor EC, Crombag HS, Mead AN, et al. The mGluR5 antagonist MTEP dissociates the acquisition of predictive and incentive motivational properties of reward-paired stimuli in mice [J]. Neuropsychopharmacology, 2010, 35(8): 1807-1817.

[9] 王克柱, 徐攀, 盧聰, 等. 兩品系大鼠在經(jīng)典條件反射和操作式條件反射中的行為學表現(xiàn) [J]. 中國實驗動物學報, 2016, 24(1): 65-71.

[10] Pavlov IP. Conditioned reflexes. New York: Dover, 1960.

[11] Ranaldi R, Egan J, Kest K, et al. Repeated heroin in rats produces locomotor sensitization and enhances appetitive Pavlovian and instrumental learning involving food reward [J]. Pharmacol Biochem Behav, 2009, 91(3): 351-357.

[12] 王克柱. 基于獎賞操作的慢性束縛應激所致大鼠認知功能損傷及Rg1, Rb1防護作用研究 [D]. 中國醫(yī)學科學院 北京協(xié)和醫(yī)學院, 2016.

[13] Jacobs GH. Evolution of colour vision in mammals [J]. Philos Trans R Soc Lond B Biol Sci, 2009, 364(1531): 2957-2967.

[14] Jacobs GH, Neitz J, Deegan JF 2nd. Retinal receptors in rodents maximally sensitive to ultraviolet light [J]. Nature, 1991, 353(6345): 655-656.

[15] Rea MS, Figueiro MG, Bierman A, et al. Modeling the spectral sensitivity of the human circadian system [J]. Lighting Res Technol, 2012, 44(4): 386-396.

[16] Jacobs GH, Williams GA, Fenwick JA. Influence of cone pigment coexpression on spectral sensitivity and color vision in the mouse [J]. Vision Res, 2004, 44(14): 1615-1622.

[17] Felsenberg J, Plath JA, Lorang S, et al. Short- and long-term memories formed upon backward conditioning in honeybees (Apismellifera) [J]. Learn Mem, 2013, 21(1): 37-45.

[18] Meyer PJ, Cogan ES, Robinson TE. The form of a conditioned stimulus can influence the degree to which it acquires incentive motivational properties [J]. PLoS One, 2014, 9(6): e98163.

[19] 石哲. 基于獎勵性操作條件反射的益智復方中藥藥效評價方法研究 [D]. 中國醫(yī)學科學院 北京協(xié)和醫(yī)學院, 2012.

[20] Parkinson JA, Robbins TW, Everitt BJ. Dissociable roles of the central and basolateral amygdala in appetitive emotional learning [J]. Eur J Neurosci, 2000, 12(1): 405-413.

[21] McClung CR. Plant circadian rhythms [J]. Plant Cell, 2006, 18(4): 792-803.

[22] Moore MC, Sulzman FM, Fuller CA. The clocks that time us: physiology of the circadian timing system [J]. J Gerontology, 1983, 38(2): 246-247.

[23] Tapp WN, Holloway FA. Phase shifting circadian rhythms produces retrograde amnesia [J]. Science, 1981, 211(4486): 1056-1058.

[24] Fekete M, van Ree JM, Niesink RJ, et al. Disrupting circadian rhythms in rats induces retrograde amnesia [J]. Physiol Behav, 1985, 34(6): 883-887.

[25] Devan BD, Goad EH, Petri HL, et al. Circadian phase-shifted rats show normal acquisition but impaired long-term retention of place information in the water task [J]. Neurobiol Learn Mem, 2001, 75(1): 51-62.

[26] Krishnan HC, Lyons LC. Synchrony and desynchrony in circadian clocks: impacts on learning and memory [J]. Learn Mem, 2015, 22(9): 426-437.

[27] Decker S, McConnaughey S, Page TL. Circadian regulation of insect olfactory learning [J]. Proc Natl Acad Sci U S A, 2007, 104(40): 15905-15910.

[28] Cain SW, Chou T, Ralph MR. Circadian modulation of performance on an aversion-based place learning task in hamsters [J]. Behav Brain Res, 2004, 150(1-2): 201-205.

[29] Manrique T, Molero A, Ballesteros MA, et al. Time of day-dependent latent inhibition of conditioned taste aversions in rats [J]. Neurobiol Learn Mem, 2004, 82(2): 77-80.

[30] Fernandez RI, Lyons LC, Levenson J, et al. Circadian modulation of long-term sensitization in Aplysia [J]. Proc Natl Acad Sci U S A, 2003, 100(24): 14415-14420.

[31] Lyons LC, Rawashdeh O, Katzoff A, et al. Circadian modulation of complex learning in diurnal and nocturnal Aplysia [J]. Proc Natl Acad Sci U S A, 2005, 102(35): 12589-12594.

[32] Lyons LC, Roman G. Circadian modulation of short-term memory in Drosophila [J]. Learn Mem, 2008, 16(1): 19-27.

[33] Lehmann M, Gustav D, Galizia CG. The early bee catches the flower—circadian rhythmicity influences learning performance in honey bees,Apismellifera[J]. Behav Ecol Sociobiol, 2011, 65(2): 205-215.

[34] Rawashdeh O, de Borsetti NH, Roman G, et al. Melatonin suppresses nighttime memory formation in zebrafish [J]. Science, 2007, 318(5853): 1144-1146.

[35] Chaudhury D, Colwell CS. Circadian modulation of learning and memory in fear-conditioned mice [J]. Behav Brain Res, 2002, 133(1): 95-108.

[36] Cain SW, Ko CH, Chalmers JA, et al. Time of day modulation of conditioned place preference in rats depends on the strain of rat used [J]. Neurobiol Learn Mem, 2004, 81(3): 217-220.