楊 晨，劉心聲

（南京航空航天大學(xué) 理學(xué)院，江蘇 南京 210016）

研究神經(jīng)元群體如何表達(dá)和傳遞信息是神經(jīng)科學(xué)的一個(gè)重要方向，對(duì)于我們理解視覺系統(tǒng)的功能具有重要意義。近20年來的研究表明，神經(jīng)回路中細(xì)胞的活動(dòng)具有強(qiáng)烈的相關(guān)性[1-3]，這些相關(guān)性很大一部分是由刺激引起的，群體中的不同神經(jīng)元可能對(duì)刺激的共同特征做出響應(yīng)，并通過這種共同的響應(yīng)相互關(guān)聯(lián)。另一方面，大腦區(qū)域的神經(jīng)元之間具有“噪聲相關(guān)性”，即在給定刺激下神經(jīng)元輸出嘈雜的響應(yīng)之間仍然存在相關(guān)性。研究表明，在含有多個(gè)神經(jīng)元的群體中考慮噪聲相關(guān)性有利于描述感覺神經(jīng)元對(duì)刺激的反應(yīng)[4]。

分析兩圖得到皖河泥沙特征：第一，徑流量與含沙量波動(dòng)呈正相關(guān)，月峰值同時(shí)出現(xiàn)；第二，上游支流潛水含沙量大于干流皖河；第三，1995年后，石牌站和潛山站年平均含沙量波動(dòng)區(qū)間顯著下降。

基于此，本文考慮神經(jīng)元群體對(duì)刺激的共同特征產(chǎn)生的響應(yīng)之間可能存在相關(guān)聯(lián)的情況，利用機(jī)器學(xué)習(xí)中的受限玻爾茲曼機(jī)模型模擬神經(jīng)元群體的編碼過程，并構(gòu)建解碼器用于模擬小鼠視覺皮層神經(jīng)元由光柵方向引起的響應(yīng)序列中，實(shí)現(xiàn)對(duì)光柵方向的解碼。

1 最大熵模型

已有研究大都采用二進(jìn)制框架來描述神經(jīng)元群體的動(dòng)作電位：對(duì)于包含n個(gè)神經(jīng)元的群體，σi表示第i個(gè)神經(jīng)元在很短時(shí)間區(qū)間內(nèi)的響應(yīng)，當(dāng)σi為0時(shí)表示第i個(gè)神經(jīng)元在時(shí)間段內(nèi)沒有產(chǎn)生動(dòng)作電位，當(dāng)σi為1時(shí)表示第i個(gè)神經(jīng)元在時(shí)間段內(nèi)至少產(chǎn)生一個(gè)動(dòng)作電位。在這個(gè)框架下，整個(gè)神經(jīng)元群體可能的響應(yīng)模式有2n種，需要建立合適的概率模型來描述在給定刺激s下每種響應(yīng)模式的概率。

統(tǒng)計(jì)物理中的最大熵（ME）模型[5]是描述神經(jīng)元群體響應(yīng)的一種常用模型。最大熵模型的思想是首先選定一些描述性的統(tǒng)計(jì)數(shù)據(jù)，計(jì)算它們?cè)跇颖局械闹?，在所有可以重現(xiàn)這些統(tǒng)計(jì)數(shù)據(jù)的模型中尋找熵最大的分布。最大熵模型的形式為

其中，σ是神經(jīng)元群體的響應(yīng)向量；f i(σ)是選取的統(tǒng)計(jì)值，它是σ的任意函數(shù)；Z是配分函數(shù)，它很難通過計(jì)算得到，但是在大部分模型中并不需要計(jì)算出Z的實(shí)際值；λi是拉格朗日乘子。

采用SPSS 21.0軟件進(jìn)行統(tǒng)計(jì)分析，計(jì)量資料用均數(shù)±標(biāo)準(zhǔn)差表示，滿足正態(tài)性，用t檢驗(yàn)，不滿足正態(tài)性，用秩和檢驗(yàn)。計(jì)數(shù)資料用x2檢驗(yàn)。

有些教師為了趕進(jìn)度，將更多時(shí)間花在強(qiáng)調(diào)單一概念上，學(xué)生則是很盲目地接收信息，出現(xiàn)了學(xué)生不明確課程目標(biāo)，缺少能動(dòng)性的現(xiàn)象。在課堂中，部分教師由于課時(shí)緊張，往往選擇刪減案例，僅保留關(guān)鍵語句的講解和圈畫。但是，關(guān)鍵定義的陳述往往需要論據(jù)加以論證才能在學(xué)生心里留下深刻印象。這種做法也導(dǎo)致不能有效拓展第二課堂，缺少具體的教學(xué)輔助資料，課程內(nèi)容受限，教學(xué)資源急劇減少。有限的教學(xué)時(shí)間導(dǎo)致很多教師只能依靠考試和作業(yè)這兩種單一形式來檢驗(yàn)學(xué)生的階段性和長期性學(xué)習(xí)成果，缺少多樣化的評(píng)價(jià)方式。

最大熵模型的實(shí)際形式與約束條件有關(guān)，最簡單的一種最大熵模型是獨(dú)立模型。在該模型中f i(σ)=σi，即對(duì)每個(gè)神經(jīng)元的平均放電活動(dòng)做約束，使得

其中，Z(s)是配分函數(shù)，αi(s)是控制第i個(gè)神經(jīng)元響應(yīng)的參數(shù)，s是離散的刺激集{s1,s2,s3,…,s q}中的任一刺激。這種模型簡單、便于計(jì)算，但忽略了神經(jīng)元響應(yīng)之間的相關(guān)性。

為了描述神經(jīng)元之間的兩兩相關(guān)性，Schaub等[6]在獨(dú)立模型的基礎(chǔ)上增加了模型中神經(jīng)元之間的成對(duì)相關(guān)性與數(shù)據(jù)中神經(jīng)元之間的成對(duì)相關(guān)性相等的約束條件，即

總之，在大風(fēng)降溫前應(yīng)做好防風(fēng)保溫準(zhǔn)備，為豬只創(chuàng)造良好的生存環(huán)境，以維持豬群的穩(wěn)定，充分發(fā)揮豬只的生產(chǎn)性能，提高豬場(chǎng)的效益。

為了降低油泥的處理費(fèi)用，減少固體廢物產(chǎn)生量，撫順礦業(yè)集團(tuán)根據(jù)油泥中含有大量油的特點(diǎn)，開發(fā)并建設(shè)了油泥過濾與復(fù)用裝置，通過物理方法回收其所含的大部分油、水后，將泥餅與油頁巖尾礦混合壓錠，再作為原料送回干餾爐。油泥過濾與復(fù)用裝置的工藝流程見圖5。

其中，h(s)=(h i(s))和J(s)=(J ij(s))分別是控制單個(gè)神經(jīng)元的活動(dòng)和成對(duì)神經(jīng)元的交互作用的參數(shù)。Ising模型也被稱作二階最大熵模型，因?yàn)榕c獨(dú)立模型相比，它可以準(zhǔn)確描述神經(jīng)元之間的兩兩相關(guān)性，但在描述更高階的相關(guān)性方面效果不佳。在Ising模型的基礎(chǔ)上，繼續(xù)增加三階相關(guān)性和更高階相關(guān)性的約束：

α(s)和β(s)分別是控制響應(yīng)單元和隱藏單元活動(dòng)的參數(shù)，在統(tǒng)計(jì)物理中被稱為外場(chǎng)，W(s)是響應(yīng)單元與隱藏單元之間的連接權(quán)重矩陣，在統(tǒng)計(jì)物理中被稱作耦合，通過這些與刺激相關(guān)的參數(shù)描述由刺激引起的相關(guān)性。對(duì)于離散的刺激集，需要估計(jì)的參數(shù)隨著刺激的數(shù)量呈線性增長。假設(shè)有n個(gè)神經(jīng)元、m個(gè)隱藏單元和q個(gè)刺激，則模型有(n+m+n×m)×q個(gè)參數(shù)。

參數(shù)?i1,i2,i3,…,i q用來描述神經(jīng)元i1,i2,i3,…,i q之間交互作用大小，若?i1,i2,i3,…,i q=0，則表示神經(jīng)元i1,i2,i3,…,i q之間不存在交互作用，Z(s)是配分函數(shù)。這種模型在理論上可以描述神經(jīng)元之間任意階的相關(guān)性，但是描述越準(zhǔn)確，需要的模型參數(shù)越多，因此在實(shí)際中難以學(xué)習(xí)。

1.3.3 血漿ET‐1測(cè)定 檢測(cè)試劑盒來自深圳晶美物工程有限公司，在治療前后抽取空腹靜脈血3～5 mL，抗凝后4℃下3 000 r/min離心10 min（離心半徑15 cm），分離上層血清，采用ELISA法檢測(cè)血清ET‐1的含量。

2 神經(jīng)元群體響應(yīng)編碼與解碼模型

2.1 基于受限玻爾茲曼機(jī)的編碼模型

或?qū)懽骶仃囆问剑?/p>

圖1 基于受限玻爾茲曼機(jī)的神經(jīng)節(jié)細(xì)胞編碼模型

由上述模型可知，很難直接對(duì)神經(jīng)元之間的高階相關(guān)性建模。因此，本節(jié)引入機(jī)器學(xué)習(xí)中的受限玻爾茲曼機(jī)（RBM）模型[8]，利用模型中隱藏層的隱藏單元來模擬神經(jīng)元之間的復(fù)雜交互。將神經(jīng)元響應(yīng)的相關(guān)性分為由刺激引起的相關(guān)性和噪聲相關(guān)性，其中刺激相關(guān)性是指群體中不同神經(jīng)元對(duì)刺激的共同特征做出響應(yīng)產(chǎn)生的相關(guān)性，噪聲相關(guān)性是在給定刺激后，重復(fù)多次實(shí)驗(yàn)得到的神經(jīng)元嘈雜反應(yīng)之間的相關(guān)性。如圖1所示，利用受限玻爾茲曼機(jī)模型描述每個(gè)刺激s下神經(jīng)元群體響應(yīng)模式的概率P(σ|s)，受限玻爾茲曼機(jī)是一種具有可見層和隱藏層兩層結(jié)構(gòu)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，它們的聯(lián)合概率可以寫作：

其中，σ=(σ1,σ2,σ3,…,σn)是可見層單元，用來描述可觀察到的神經(jīng)元群體響應(yīng)；h=(h1,h2,h3,…,h m)是隱藏單元，σi∈{0,1}，h j∈{0,1}，i=1,2,3,…,n；h=1,2,3,…,m。受限玻爾茲曼機(jī)的隱藏層單元h不對(duì)應(yīng)于實(shí)體，只是用來簡化模型的一些抽象變量以捕獲神經(jīng)元之間的噪聲相關(guān)性。每一個(gè)隱藏層變量都與多個(gè)神經(jīng)元交互，與同一個(gè)隱藏變量交互的神經(jīng)元通過這個(gè)隱藏變量建立聯(lián)系，隱藏變量的存在大大簡化了模型。Z(s)是配分函數(shù)，形式為

RBM模型中神經(jīng)元的邊緣分布為

這時(shí)，我們走到蕉園附近，高大的父親從蕉園穿出來，全身也濕透了，“咻！這陣雨真夠大！”然后他把我抱起來，摸摸我的光頭，說：“有給雷公驚到否？”我搖搖頭，父親高興地笑了：“哈……金剛頭，不驚風(fēng)，不驚雨，不驚日頭?！?/p>

式（7）即為RBM編碼模型的最終形式。下面給出式（7）的證明。

Hinton提出了k步對(duì)比散度算法[9]學(xué)習(xí)RBM參數(shù)，其大致思路是：將訓(xùn)練集中的任意一個(gè)樣本σ作為初始化可見變量σ(0)，進(jìn)行k次Gibbs采樣，如圖2所示，得到σ(k)，并在每次采樣中執(zhí)行梯度上升算法：

圖2 Gibbs采樣過程

其中，η是學(xué)習(xí)率。更新參數(shù)θ={W,α,β}的值，得到訓(xùn)練后的RBM模型。

2.2 基于貝葉斯定理的解碼模型

在建立編碼模型后，希望模擬大腦在接收到視網(wǎng)膜通過動(dòng)作電位傳遞的視覺信息，如光條的傾斜角度變化后，分析看到的光條傾斜角度是70°、75°、80°，還是85°的過程。為此，建立解碼模型，從觀察到的神經(jīng)元放電序列σobs中解碼它是由哪一個(gè)刺激引起的。

下面模擬小鼠視覺皮層神經(jīng)元由刺激引起的群體活動(dòng)響應(yīng)模式，其中刺激是每次在黑暗的背景上出現(xiàn)的一個(gè)白色光條，它有q種可能的傾斜角度，分別為i·180/q，i∈{1,2,3,…,q}，對(duì)應(yīng)于解碼過程中刺激的取值范圍。例如，q=6時(shí)，光條的傾斜角度分別為30°、60°、90°、120°、150°和180°，將每個(gè)刺激重復(fù)10 000次，模擬每個(gè)刺激下小鼠視覺皮層神經(jīng)元的10 000組放電序列。將這些數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，訓(xùn)練集用來學(xué)習(xí)受限玻爾茲曼機(jī)模型的參數(shù)，得到編碼模型；測(cè)試集用來評(píng)估解碼模型的準(zhǔn)確性，利用解碼器對(duì)測(cè)試集中的響應(yīng)序列解碼，判斷它是由上述6個(gè)刺激中的哪一個(gè)引起的。

其中，P(s|σobs)是刺激的后驗(yàn)分布，根據(jù)貝葉斯定理，它可以寫做

綜合正交實(shí)驗(yàn)的結(jié)果，以CODCr和UV254為主要分析指標(biāo)，采用單因素變量法[9]，分別考察廢水pH值、石墨烯加入量以及H2O2加入量對(duì)廢水CODCr去除率和出水UV254值的影響。

P(σobs)與刺激s無關(guān)，因此它與式（8）中的最大化表達(dá)式無關(guān)，最終的解碼模型表達(dá)式為

由于咨詢單位與設(shè)計(jì)單位往來的文檔均為電子版，公司工作成果信息載體主要是OFFICE文檔、PDF格式文件、WPS文檔，接收的文檔類型有DWG、DWF、PDF格式文件，OFFICE文檔，WPS文檔，適合于開展信息化建設(shè)。

3 模擬神經(jīng)元群體的放電序列

利用最大后驗(yàn)進(jìn)行解碼：

在模擬小鼠視神經(jīng)節(jié)細(xì)胞群體的響應(yīng)時(shí)，假設(shè)群體中神經(jīng)元的偏好方向在0°～180°范圍內(nèi)均勻分布。因?yàn)槊總€(gè)神經(jīng)元的調(diào)諧曲線是鐘形的，所以這里采用Von Mises分布來擬合神經(jīng)元的調(diào)諧曲線，它是一種圓上的連續(xù)概率分布模型，形式為

徐進(jìn)步被他瞪得一哆嗦,趕緊擺手道:“不是我說的,是他!我從不背后說領(lǐng)導(dǎo)的怪話?！彼制髨D往趙天亮身上賴,賴人仿佛也有慣性。

其中，φi是第i個(gè)神經(jīng)元的偏好方向，A是第i個(gè)神經(jīng)元在偏好方向上的放電率，ω是控制調(diào)諧曲線的刻度參數(shù)。ω越大，調(diào)諧函數(shù)曲線越尖峭，越向φi的鄰近集中；ω越小，調(diào)諧函數(shù)曲線越平緩；當(dāng)ω趨于0時(shí)，Von Mises分布趨于均勻。這些參數(shù)由文獻(xiàn)[10]中的實(shí)驗(yàn)數(shù)據(jù)得到。

分別模擬同質(zhì)神經(jīng)元群體和異質(zhì)神經(jīng)元群體的調(diào)諧函數(shù)。對(duì)于同質(zhì)神經(jīng)元群體，每個(gè)神經(jīng)元的最大放電率和調(diào)諧曲線的寬度相同，只有偏好方向不同。圖3（a）給出了同質(zhì)群體中6個(gè)神經(jīng)元的Von Mis‐es調(diào)諧函數(shù)圖像。對(duì)于異質(zhì)神經(jīng)元群體，每個(gè)神經(jīng)元的最大放電率和調(diào)諧曲線寬度不同，如圖3（b）、（c）、（d）所示。

圖3 包含6個(gè)神經(jīng)元群體的調(diào)諧函數(shù)。（a）同質(zhì)神經(jīng)元群體；（b）最大放電率異質(zhì)神經(jīng)元群體；（c）調(diào)諧寬度異質(zhì)神經(jīng)元群體；（d）最大放電率和調(diào)諧寬度異質(zhì)神經(jīng)元群體

最后，利用Jakob[11]文中的二分高斯分布生成神經(jīng)元群體的二進(jìn)制響應(yīng)序列。

4 實(shí)驗(yàn)結(jié)果

根據(jù)上述方法模擬了每個(gè)刺激下10 000組小鼠視覺皮層神經(jīng)元放電序列，其中，9 000組作為訓(xùn)練集，用于學(xué)習(xí)模型的參數(shù)，另外1 000組作為測(cè)試集，用于測(cè)試解碼器的性能。利用解碼的正確率來評(píng)估解碼器的性能，它的定義為

圖4（a）展示了不同數(shù)量的刺激下基于RBM模型與獨(dú)立模型解碼器的解碼正確率，其中，神經(jīng)元群體是同質(zhì)的，神經(jīng)元的個(gè)數(shù)為50，受限玻爾茲曼機(jī)中隱藏單元的個(gè)數(shù)為30。從圖中可知，隨著刺激數(shù)量的增加，兩解碼器的正確率都會(huì)降低，這是由于增加刺激數(shù)量后，不同刺激之間的差異變小，從而使得解碼的問題更加復(fù)雜。另一方面，對(duì)于不同數(shù)量的刺激，基于RBM模型的解碼器都有更好的性能，這表明考慮由刺激引起的神經(jīng)元之間的相關(guān)性可以提高解碼精度。圖4（b）展示了固定刺激個(gè)數(shù)為4，受限玻爾茲曼機(jī)中隱藏單元個(gè)數(shù)為30時(shí)，基于RBM模型與獨(dú)立模型的解碼器的解碼正確率。結(jié)果表明，當(dāng)刺激數(shù)量固定時(shí)，隨著群體中神經(jīng)元數(shù)量的增加，兩種解碼器的性能都會(huì)提高，且基于RBM模型的解碼器始終具有更高的正確率。

圖4 RBM解碼器與獨(dú)立解碼器的解碼性能。（a）兩種模型的解碼正確率與刺激個(gè)數(shù)的關(guān)系；（b）兩種模型的解碼正確率與群體中神經(jīng)元個(gè)數(shù)的關(guān)系

現(xiàn)研究RBM解碼器的性能與模型中隱藏單元個(gè)數(shù)的關(guān)系，及兩種解碼器對(duì)異質(zhì)神經(jīng)元群體的解碼性能，結(jié)果分別如圖5和6所示。

圖5 包含不同數(shù)量隱藏單元的RBM解碼器的正確率

圖5顯示了包含不同數(shù)量隱藏單元的RBM解碼器的準(zhǔn)確率。結(jié)果表明，當(dāng)隱藏單元的個(gè)數(shù)達(dá)到20時(shí)，解碼器的性能趨于飽和。圖6給出了不同數(shù)量的刺激下RBM模型和獨(dú)立模型對(duì)同質(zhì)神經(jīng)元群體和異質(zhì)神經(jīng)元群體的解碼精度，可見，對(duì)于異質(zhì)神經(jīng)元群體，RBM解碼器和獨(dú)立解碼器的準(zhǔn)確率都有提升，這可能是由于群體中神經(jīng)元具有一定的變異性，從而使得不同刺激的響應(yīng)數(shù)據(jù)特征更加具體。

圖6 受限玻爾茲曼機(jī)解碼器的解碼精度（神經(jīng)元個(gè)數(shù)為50）

5 結(jié)束語

綜上所述，利用受限玻爾茲曼機(jī)模型可以從模擬的大規(guī)模神經(jīng)元群體活動(dòng)中解碼離散的方向刺激。與傳統(tǒng)的獨(dú)立解碼器相比，受限玻爾茲曼機(jī)模型的解碼器考慮了神經(jīng)元群體響應(yīng)的相關(guān)性結(jié)構(gòu)對(duì)刺激的依賴性，因此解碼性能更好。數(shù)值模擬結(jié)果表明，對(duì)于兩種模型，解碼性能隨著群體中神經(jīng)元個(gè)數(shù)的增加而增強(qiáng)，隨著刺激數(shù)量的增加而減小。對(duì)于異質(zhì)的神經(jīng)元群體，兩種解碼器的解碼性能都有提高。本文所提出的解碼器對(duì)于模擬神經(jīng)元響應(yīng)的解碼效果更好，在今后的工作中，我們會(huì)進(jìn)一步將其應(yīng)用于實(shí)驗(yàn)數(shù)據(jù)進(jìn)而評(píng)估它的性能。