焦李成

（西安電子科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)部，陜西 西安 710126）

從腦科學(xué)和認(rèn)知科學(xué)到人工智能，我們能夠從生物物理機(jī)理中得到什么啟發(fā)？推動認(rèn)知人工智能，不僅需要“感知”也需要“認(rèn)知”。 本文首先對人工智能與深度學(xué)習(xí)的發(fā)展脈絡(luò)進(jìn)行了梳理與反思，在此基礎(chǔ)上淺談?wù)J知建模、自動學(xué)習(xí)和漸近演化。

1 人工智能與深度學(xué)習(xí)

1.1 人工智能發(fā)展歷程

人工智能誕生距今已有60余年，在1956年的達(dá)特茅斯會議上，麥卡錫、明斯基、羅切斯特和香農(nóng)等科學(xué)家首次提出“人工智能”這個(gè)術(shù)語，并明確了其完整的學(xué)術(shù)路徑，標(biāo)志著人工智能正式成為一門科學(xué)，也標(biāo)志著人工智能這一新領(lǐng)域正式誕生。他們不僅在討論中催生了人工智能這一概念，而且其具有前瞻性的工作也對后世產(chǎn)生了深遠(yuǎn)影響，尤其是對IT領(lǐng)域。

人工智能按照其核心思想分為5個(gè)學(xué)術(shù)流派：符號主義、聯(lián)結(jié)主義、行為主義、貝葉斯學(xué)派和類推學(xué)派。這些學(xué)派從各自的角度出發(fā)對人工智能和機(jī)器學(xué)習(xí)進(jìn)行闡釋，發(fā)展人工智能需要這五大學(xué)派相互融合借鑒。

人工智能按照其自然發(fā)展的歷史，又可以分成4個(gè)階段：專家系統(tǒng)，特征工程，語音圖像和文字處理，以及以增強(qiáng)學(xué)習(xí)、對抗學(xué)習(xí)、自監(jiān)督學(xué)習(xí)、元學(xué)習(xí)和強(qiáng)化學(xué)習(xí)為代表性技術(shù)的當(dāng)前階段。

1) 專家系統(tǒng)階段(1960—1980年)：人工智能較為初級，主要依賴的技術(shù)是人工設(shè)計(jì)的規(guī)則。在這個(gè)階段，人們主要希望人工智能系統(tǒng)能夠進(jìn)行搜索工作。

2) 特征工程階段(1980—2000年)：人們開始對原始數(shù)據(jù)進(jìn)行處理從而提取特征，并使用簡單的機(jī)器學(xué)習(xí)模型進(jìn)行分類、回歸等任務(wù)。

3) 第三階段(2000—2010年)：人們開始對語音、圖像和文字等自然信息進(jìn)行處理。在該階段中，人工智能系統(tǒng)會將原始數(shù)據(jù)和答案標(biāo)簽輸入深度學(xué)習(xí)模型。但是基于當(dāng)時(shí)傳統(tǒng)的二值串型結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型無法對如此復(fù)雜的系統(tǒng)進(jìn)行學(xué)習(xí)從而完成對應(yīng)的復(fù)雜任務(wù)，因此AI進(jìn)入下一階段。

4) 第四階段(2010—2020年)：人們將數(shù)據(jù)交給機(jī)器，并希望機(jī)器能夠自動在數(shù)據(jù)中間挖掘其中所蘊(yùn)含的知識。但是在實(shí)際應(yīng)用中，系統(tǒng)仍舊依賴人類對模型和數(shù)據(jù)進(jìn)行組織編排，從而指導(dǎo)模型進(jìn)行知識的挖掘。我們雖然希望AI模型能夠自動挖掘知識，但是模型的成功運(yùn)行很難離開人類的監(jiān)督和指導(dǎo)。

在這個(gè)絢爛的第四階段中，產(chǎn)生了機(jī)器證明、機(jī)器翻譯、專家系統(tǒng)、模式識別、機(jī)器學(xué)習(xí)、機(jī)器人與智能控制等多種領(lǐng)域。雖然它們的核心不同，但都是AI發(fā)展第四階段中不可或缺的重要部分。

人工智能已經(jīng)經(jīng)歷了從“特征工程”“特征搜索”到現(xiàn)在的“表征學(xué)習(xí)”“學(xué)習(xí)解意”的新階段，這為計(jì)算機(jī)視覺領(lǐng)域帶來了大數(shù)據(jù)驅(qū)動的表征學(xué)習(xí)、識別和優(yōu)化的新范式。

1.2 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

歷經(jīng)70年的發(fā)展，神經(jīng)網(wǎng)絡(luò)作為人工智能最核心的部分，從淺層模型發(fā)展到深層模型，進(jìn)入到一個(gè)新階段。面對如今海量、有噪聲、小樣本、非平穩(wěn)、非線性數(shù)據(jù)的表達(dá)、學(xué)習(xí)和解譯等場景和問題，神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的數(shù)據(jù)訓(xùn)練方法已有很大區(qū)別。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)包含很多因素：其中最根本的是基本科學(xué)問題的研究；其次是學(xué)習(xí)理論的理解，包括表示理論、優(yōu)化理論、泛化理論。其算法基礎(chǔ)不僅包括網(wǎng)絡(luò)模型本身(如卷積神經(jīng)網(wǎng)絡(luò)、自編碼、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、注意力機(jī)制等深度學(xué)習(xí)模型)，還包括背后的機(jī)理，以及提升算法有效性、可行性和在線處理的優(yōu)化方法。

模型的優(yōu)化方法以傳統(tǒng)的梯度為基礎(chǔ)體系，目前應(yīng)用最多的是以全局達(dá)爾文、局部拉馬克為首的啟發(fā)式算法。啟發(fā)式算法面臨著隨機(jī)、正交、收斂，數(shù)據(jù)匹配的增廣、領(lǐng)域自適應(yīng)處理、歸一化等問題。

深度學(xué)習(xí)蓬勃發(fā)展，但也面臨諸多難題，包括其自身理論或技術(shù)中的固有缺陷(非線性、小樣本、噪聲等問題)，以及現(xiàn)實(shí)人工智能問題面臨開放的變化環(huán)境。解決這些瓶頸問題，首先，需要研究問題的闡述方法，來解決特征和決策間的關(guān)系和解釋的優(yōu)先級問題。此外，需要解決認(rèn)知上的缺陷，即概念的抽象、自動學(xué)習(xí)、漸近學(xué)習(xí)、直覺和遺忘等。最后需要攻克收斂的一致性、穩(wěn)定性、梯度駐點(diǎn)屬性等數(shù)學(xué)問題。

1) 難題 1：可解釋性

目前尚無針對可解釋性的系統(tǒng)化理論和解決工具，對其研究可分成3類：在建模之前對數(shù)據(jù)的分布特性進(jìn)行理解和闡述；通過建立規(guī)則的方式來實(shí)現(xiàn)對模型可解釋性的探索；在建模之后，對模型的動作和功能(包括模型的生物機(jī)理和物理機(jī)理)進(jìn)行有效、系統(tǒng)地研究和解釋。

2) 難題 2：不穩(wěn)定性

在不穩(wěn)定梯度的問題上，梯度消失和過擬合問題困擾人工智能算法已久。通常的解決方式是制定損失函數(shù)和范數(shù)，但該問題并沒有因此而徹底解決。神經(jīng)網(wǎng)絡(luò)存在長時(shí)記憶和短時(shí)記憶，因此它也存在著災(zāi)難性遺忘的問題。這些災(zāi)難性遺忘的理論表征、學(xué)習(xí)方法、選擇性遺忘和動力學(xué)空間的設(shè)計(jì)也是一個(gè)重要的課題。

3) 難題 3：安全性問題

人們所設(shè)計(jì)和部署的神經(jīng)網(wǎng)絡(luò)模型，需要在很復(fù)雜且有人類參與的環(huán)境中運(yùn)行和工作，這種開放和動態(tài)的環(huán)境中可能存在多種攻擊(黑盒、白盒、灰箱)，其安全性是一大問題。因此，神經(jīng)網(wǎng)絡(luò)在對抗攻擊環(huán)境中的自我防御，也是一項(xiàng)重要的課題。

4) 難題 4：小樣本學(xué)習(xí)

算法的效益比(即部署的代價(jià))是一項(xiàng)在部署前要考慮的重要問題。我們希望設(shè)計(jì)一種綠色、資源可優(yōu)化的軟硬件環(huán)境，并希望算法能夠利用稀疏化方法，使其輕量化。因此，利用關(guān)鍵樣本和小樣本的學(xué)習(xí)就顯得尤為關(guān)鍵。

小樣本學(xué)習(xí)所面臨的問題可以分為模型、度量和優(yōu)化3個(gè)方面：模型的問題在于如何利用稀疏性、選擇性和可變更新來建立穩(wěn)定的模型。度量的問題在于如何用對實(shí)際的數(shù)據(jù)集因地制宜的設(shè)計(jì)度量方法，從而使網(wǎng)絡(luò)學(xué)習(xí)到最佳參數(shù)；優(yōu)化的問題在于通過調(diào)整優(yōu)化方法來完成海量小樣本的分類、回歸任務(wù)。

NASH是由肝臟中過多的脂質(zhì)積聚引起的慢性肝損傷和炎癥的病癥。有人將NASH看作整個(gè)NAFLD疾病進(jìn)展的中間環(huán)節(jié)，因?yàn)槠浼扔兄咀冃院脱装Y，亦有肝纖維化和硬化所需要的膠原基質(zhì)沉積。NASH的組織學(xué)診斷標(biāo)準(zhǔn)包括脂肪變性，肝細(xì)胞氣球樣變和小葉炎癥[14]。肝細(xì)胞氣球樣變是指肝細(xì)胞增大、腫脹、細(xì)胞質(zhì)稀疏，具有網(wǎng)狀外觀或含有Mallory-Denk體。小葉炎性通常由淋巴細(xì)胞、巨噬細(xì)胞、嗜酸性粒細(xì)胞和中性粒細(xì)胞組成。門靜脈炎癥在NASH病人中有不同程度地發(fā)生，疾病嚴(yán)重程度與活組織檢查評分的嚴(yán)重程度和IR的血清學(xué)特征相關(guān)。

此外，還有一些其他的瓶頸問題有待解決，深度學(xué)習(xí)的成功嚴(yán)重依賴于數(shù)據(jù)集，所謂“成也數(shù)據(jù)，難題也在數(shù)據(jù)”。因此，高質(zhì)量數(shù)據(jù)的尋找和收集，一致性決策方法的制定是其根本癥結(jié)。而如何解決模型坍塌問題、特征同變性問題、不平衡問題、安全性問題、局部最小值問題，則都是困擾深度學(xué)習(xí)發(fā)展的瓶頸。為解決上述問題，認(rèn)知建模應(yīng)運(yùn)而生。

2 認(rèn)知建模

2.1 類腦感知

神經(jīng)網(wǎng)絡(luò)源于腦神經(jīng)的計(jì)算，但真實(shí)的生物大腦中并不是用簡單的計(jì)算來實(shí)現(xiàn)大腦認(rèn)知的。類腦結(jié)構(gòu)中所有的建模均具有稀疏性、學(xué)習(xí)性、選擇性和方向性。然而，當(dāng)前的深度學(xué)習(xí)技術(shù)僅利用并行輸入、輸出和海量神經(jīng)元來解決所遇到的問題，并未充分考慮這些自然的生物特性。這是遺憾，也是機(jī)遇。

可以說，類腦感知和腦認(rèn)知的生物學(xué)基礎(chǔ)，為實(shí)現(xiàn)高效準(zhǔn)確的復(fù)雜感知和解譯提供新的思路，即感、知、用。從宏觀上來說，神經(jīng)網(wǎng)絡(luò)模型需要首先對人類的認(rèn)知特征進(jìn)行建模，結(jié)合對深層結(jié)構(gòu)、多源綜合的宏觀模擬，神經(jīng)元稀疏認(rèn)知，方向選擇的微觀模擬，以及神經(jīng)元間顯著注意、側(cè)抑制等介觀模擬信息，設(shè)計(jì)具有稀疏性、選擇注意、方向性等特點(diǎn)的單元，構(gòu)建新型深度學(xué)習(xí)模型。通過認(rèn)知特性的建模提升對復(fù)雜數(shù)據(jù)的表征、處理與信息提取的能力?？偟膩碚f，認(rèn)知建模就是對人腦認(rèn)知過程中的微觀、介觀、宏觀特性進(jìn)行分析與模擬。

2.2 相關(guān)工作

1) 類腦稀疏性

在認(rèn)知建模和稀疏性方面的研究工作有：

① 模擬基于生物視網(wǎng)膜機(jī)理的高效場景信息稀疏學(xué)習(xí)，初級視皮層各類神經(jīng)元動態(tài)信息加工與稀疏計(jì)算，以及中/高級視覺皮層神經(jīng)元特性的稀疏識別特點(diǎn)，發(fā)展稀疏認(rèn)知學(xué)習(xí)、計(jì)算與識別的新范式。

② 將稀疏性表征、深度學(xué)習(xí)和數(shù)據(jù)隨機(jī)性特征結(jié)合，提出多種神經(jīng)網(wǎng)絡(luò)模型，該工作有益于調(diào)參，有益于訓(xùn)練技巧和性能的提升。

③ 研究深度學(xué)習(xí)和各類傳統(tǒng)機(jī)器學(xué)習(xí)模型之間的內(nèi)在關(guān)系，以期理解深度學(xué)習(xí)的工作原理，構(gòu)建更加強(qiáng)勁、魯棒的理論架構(gòu)。

④ 研究激活函數(shù)的逼近，分類器的設(shè)計(jì)以及隨機(jī)特性的處理問題。提出了結(jié)構(gòu)的處理，稀疏的正則化，連接結(jié)構(gòu)的剪枝，低秩近似和稀疏自編碼模型。

2) 類腦學(xué)習(xí)性

研究發(fā)現(xiàn)人類能夠從少量的數(shù)據(jù)中學(xué)到一般化的知識，也就是具有“抽象知識”的學(xué)習(xí)能力。我們希望能將這種特性在神經(jīng)網(wǎng)絡(luò)中表示出來，在類腦學(xué)習(xí)性和深度學(xué)習(xí)的結(jié)合方面研究工作主要有：

① 將極化SAR數(shù)據(jù)的Wishart分布特性和DBA結(jié)合起來，同時(shí)利用數(shù)據(jù)局部空間信息編碼的特性，建立快速的極化SAR分類模型，其核心是物理的機(jī)理和深度學(xué)習(xí)的模型的結(jié)合，實(shí)現(xiàn)效果良好。

② 結(jié)合堆棧和模型，將物理特性結(jié)合到深度學(xué)習(xí)的并行處理模型當(dāng)中，提出了一種速度快、自動化程度高、魯棒性好的深度學(xué)習(xí)快速模型，通過對目標(biāo)數(shù)據(jù)的自動高層語意的特征提取，實(shí)現(xiàn)了自動、高效和精準(zhǔn)的分類。

3) 類腦的選擇性

研究表明視覺信息的加工具有顯著的注意力機(jī)制。注意力是人類認(rèn)知功能的重要組成部分。人類在面對海量信息時(shí)，可以在關(guān)注一些信息的同時(shí)，選擇性忽略部分信息。人腦中的注意機(jī)制建模會增強(qiáng)概念學(xué)習(xí)和認(rèn)知學(xué)習(xí)的能力。計(jì)算機(jī)視覺領(lǐng)域的注意力機(jī)制和大腦的信號處理機(jī)制也是類似的。

4) 類腦的方向性

研究表明生物大腦中存在能感知方向與位置的方向角和傾斜角的細(xì)胞，而在人工智能計(jì)算機(jī)視覺領(lǐng)域中，實(shí)際處理的圖像和視頻信息也都有方向和方位的變化性信息，它和人腦的背景相同。

在類腦方向性和深度學(xué)習(xí)的結(jié)合方面研究工作主要有：

① 對幾何結(jié)構(gòu)進(jìn)行建模，設(shè)計(jì)具備方向性的多尺度張量濾波器，這項(xiàng)工作在有關(guān)產(chǎn)品中表現(xiàn)出很好的效果。

② 依據(jù)多尺度幾何理論，建立了新一代可分解重構(gòu)的深度學(xué)習(xí)理論。該理論不僅能構(gòu)建層級的差分特征，也能使不同層級抽象層次的差分特征形成一種新的信號表示，成為一種新的深度分解的重構(gòu)模型。

③ 將深度Contourlet的方向性、逼近能力和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，形成新的模型，達(dá)到較好的實(shí)驗(yàn)效果；將Rigelet網(wǎng)絡(luò)與斑點(diǎn)及波正則化相結(jié)合，在SAR圖像的分類場景中達(dá)到了極佳結(jié)果；對突觸結(jié)構(gòu)進(jìn)行模型研究，期望將其記憶和存儲等功能充分利用，目前研究結(jié)果包括長時(shí)程增強(qiáng)和抑制，它們都是現(xiàn)有工作中鮮有體現(xiàn)的。

3 自動學(xué)習(xí)

為了有效而高效地處理海量的數(shù)據(jù)，后深度學(xué)習(xí)時(shí)代的另一個(gè)研究方向是數(shù)據(jù)的自動學(xué)習(xí)和處理。

學(xué)習(xí)模式的演化經(jīng)歷了數(shù)十年的發(fā)展：從1960年的淺層神經(jīng)網(wǎng)絡(luò)，到20世紀(jì)70年代的反向傳播的發(fā)現(xiàn)，到20世紀(jì)80年代的卷積神經(jīng)網(wǎng)絡(luò)，再到1990—2000年的無監(jiān)督、監(jiān)督深度學(xué)習(xí)的卷土重來，直到現(xiàn)在的網(wǎng)絡(luò)模型?；仡櫾撗莼瘹v程我們發(fā)現(xiàn)，應(yīng)該更加努力地研究自動深度學(xué)習(xí)。

實(shí)現(xiàn)自動學(xué)習(xí)的難點(diǎn)在于，我們要在特征工程、特征學(xué)習(xí)、感知+決策和環(huán)境適應(yīng)的基礎(chǔ)上，讓機(jī)器能夠?qū)W會學(xué)習(xí)，學(xué)會適應(yīng)環(huán)境，學(xué)會感知決策。不僅要讓機(jī)器能夠生成對抗、架構(gòu)搜索和遷移學(xué)習(xí)，更要讓模型能夠自動學(xué)習(xí)，從結(jié)構(gòu)上進(jìn)行新的探索。

自動學(xué)習(xí)在自動確定網(wǎng)絡(luò)結(jié)構(gòu)超參數(shù)上遇到了相當(dāng)大的問題。很多研究人員都陷入了超參工程這一領(lǐng)域中，但這項(xiàng)工作并無太多的科學(xué)思考。神經(jīng)網(wǎng)絡(luò)的架構(gòu)搜索，是解放人力的一種新途徑。當(dāng)務(wù)之急是如何針對需要解決的問題搜索到最佳的結(jié)構(gòu)。

對于自適應(yīng)神經(jīng)樹模型，我們采用了神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的方法進(jìn)行組建。此工作最早是由UCL、帝國理工學(xué)院和微軟的研究人員提出的，他們提出了一種雛形的自適應(yīng)神經(jīng)樹模型ANT，它依賴于各種數(shù)據(jù)的模式。那么對于復(fù)雜、動態(tài)的數(shù)據(jù)，如何設(shè)計(jì)一種自適應(yīng)、快速、可微分、系統(tǒng)可通過BP進(jìn)行訓(xùn)練的訓(xùn)練算法是一項(xiàng)挑戰(zhàn)。

自動學(xué)習(xí)領(lǐng)域另一個(gè)研究熱點(diǎn)是概率生成的確定性推理。在模型學(xué)習(xí)的過程中，很多時(shí)候需要“靈感”。記憶和學(xué)習(xí)永遠(yuǎn)是有效的、可逆的。這不僅是矛盾，更是矛盾的兩面體。為了在模型學(xué)習(xí)的過程中利用這種關(guān)系，對于函數(shù)逼近論下的架構(gòu)搜索，我們提出深度泰勒分解網(wǎng)絡(luò)來解決求導(dǎo)難的問題，其采用逐層拆解的方法來解決深度網(wǎng)絡(luò)過于復(fù)雜從而無法求導(dǎo)的問題。

4 漸近演化

后深度學(xué)習(xí)時(shí)代面臨的第3個(gè)研究領(lǐng)域是“漸近演化”。 從認(rèn)知建模、自動學(xué)習(xí)，到漸近演化，不僅要對場景和設(shè)備的噪聲、非線性變換等脆弱問題進(jìn)行定位，更要解決面對海量、小樣本的數(shù)據(jù)的復(fù)雜性所產(chǎn)生的問題。

漸近演化是受到人工智能、生物智能和計(jì)算智能的啟發(fā)而提出的。我們希望網(wǎng)絡(luò)能夠進(jìn)行充分的感知、全面的認(rèn)知，進(jìn)而進(jìn)行感知和認(rèn)知協(xié)同發(fā)展。漸近演化的基本觀點(diǎn)是進(jìn)行動態(tài)進(jìn)化優(yōu)化、學(xué)習(xí)時(shí)刻之間的相似性，最終進(jìn)行領(lǐng)域適應(yīng)的學(xué)習(xí)。也就是將現(xiàn)在以梯度學(xué)習(xí)為基礎(chǔ)的機(jī)器學(xué)習(xí)算法，和演化計(jì)算結(jié)合起來構(gòu)造高效的算法。

人腦的感知和認(rèn)知是進(jìn)化和優(yōu)化的核心。其中包括權(quán)重優(yōu)化、結(jié)構(gòu)優(yōu)化、稀疏網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)剪枝方法。它們都依賴于傳統(tǒng)梯度算法和演化計(jì)算的結(jié)合。因此，要在網(wǎng)絡(luò)模型和學(xué)習(xí)算法的結(jié)合上考慮協(xié)同進(jìn)化的優(yōu)化。這是需要考慮的重要問題之一。我們也將深度學(xué)習(xí)算法部署到時(shí)FPGA系統(tǒng)當(dāng)中，并且取得了非常好的效果。

回顧人工智能的源頭、基礎(chǔ)和創(chuàng)新，要突破人工智能發(fā)展的瓶頸，我們要將生物機(jī)理、物化機(jī)理、數(shù)學(xué)機(jī)理、算法設(shè)計(jì)和硬件環(huán)境結(jié)合起來，實(shí)現(xiàn)從腦科學(xué)到認(rèn)知計(jì)算，最終到人工智能的良性閉環(huán)。深度學(xué)習(xí)和人工智能的發(fā)展也經(jīng)歷了類似的過程。腦科學(xué)的諾貝爾獎、人工智能的圖靈獎和認(rèn)知科學(xué)的諾貝爾獎的重要發(fā)展，都是人工智能發(fā)展的基礎(chǔ)。因此，腦科學(xué)、人工智能和認(rèn)知科學(xué)的有機(jī)結(jié)合是人工智能下一階段發(fā)展的重要方向。

從類腦感知到認(rèn)知的人工智能，要求我們對事情不僅要進(jìn)行感知，更要進(jìn)行認(rèn)知，而且需要學(xué)會思考、決策以及行動。這涉及心理學(xué)、哲學(xué)、語言學(xué)、人類學(xué)、人工智能和神經(jīng)科學(xué)等多種學(xué)科。所以，類腦感知與認(rèn)知的研究難題，需要多學(xué)科專家共同努力、深度合作去解決。