余肇飛，劉健*，賈杉杉，張祎晨，鄭雅菁，田永鴻，黃鐵軍

1. 引言

精準(zhǔn)醫(yī)學(xué)這一概念，多年以來(lái)一直都在繼續(xù)發(fā)展完善。這一術(shù)語(yǔ)通常是指，為患者量身定制醫(yī)療服務(wù)。近年來(lái)，人工智能技術(shù)所取得的進(jìn)步，包括硬件、軟件和算法，可以讓醫(yī)療設(shè)備或醫(yī)療服務(wù)與患者之間的溝通更為順暢，以此進(jìn)行的設(shè)計(jì)和調(diào)整，使得針對(duì)每個(gè)患者的醫(yī)療過(guò)程變得越來(lái)越精準(zhǔn)。

神經(jīng)假體是一種精準(zhǔn)的醫(yī)療設(shè)備，它提供了傳統(tǒng)藥理學(xué)治療之外的另一種治療手段。神經(jīng)假體通常與大腦神經(jīng)活動(dòng)，特別是與神經(jīng)元脈沖發(fā)生直接相互作用[1–9]。它由一系列裝置組成，可以替代身體或大腦的一部分，如受損的運(yùn)動(dòng)區(qū)域、感覺(jué)區(qū)域或認(rèn)知區(qū)域。大腦作為中心樞紐，可以控制和交換運(yùn)動(dòng)、感覺(jué)和認(rèn)知行為所需的信息，因此，為了提升神經(jīng)假體的性能，我們需要更好地分析神經(jīng)假體所使用的神經(jīng)元信號(hào)。除了開(kāi)發(fā)神經(jīng)假體硬件外，發(fā)展更好的算法也是提高神經(jīng)假體性能的核心[6,10,11]。

人們對(duì)運(yùn)動(dòng)神經(jīng)假體的研究已有很長(zhǎng)的歷史，最新的技術(shù)已經(jīng)能夠很好地記錄并使用大腦皮層神經(jīng)元的脈沖信號(hào)來(lái)控制神經(jīng)假體[6]。人工耳蝸是最廣泛使用的感覺(jué)神經(jīng)假體，盡管在很多方面仍存在許多問(wèn)題[11,12]，例如，如何提高其在嘈雜環(huán)境中的性能，如何提高其對(duì)下游聽(tīng)覺(jué)皮層神經(jīng)元活動(dòng)的影響，但是它們?cè)诮鉀Q聽(tīng)力受損方面，已經(jīng)表現(xiàn)得相當(dāng)出色。在算法研究方面，針對(duì)人工耳蝸，也已經(jīng)開(kāi)展了很多算法模型[11]。與此相比，盡管有若干種視網(wǎng)膜神經(jīng)假體已用于臨床[13,14]，但是它們?cè)诨謴?fù)視力方面的表現(xiàn)則差強(qiáng)人意，關(guān)于視網(wǎng)膜神經(jīng)假體的算法研究也要少得多。

視網(wǎng)膜由感光細(xì)胞、雙極細(xì)胞和神經(jīng)節(jié)細(xì)胞3層激發(fā)神經(jīng)元組成，它們的活動(dòng)受到周?chē)种菩运郊?xì)胞與無(wú)長(zhǎng)突細(xì)胞調(diào)制。感光細(xì)胞接收輸入的光信號(hào)，這些信號(hào)將自然環(huán)境的視覺(jué)信息編碼，并將它們轉(zhuǎn)化為由水平細(xì)胞調(diào)制的電活動(dòng)。接著，電活動(dòng)被送到雙極細(xì)胞和無(wú)長(zhǎng)突細(xì)胞進(jìn)行進(jìn)一步處理。最后，所有的視覺(jué)信號(hào)都到達(dá)視網(wǎng)膜的輸出端神經(jīng)節(jié)細(xì)胞。它們作為視網(wǎng)膜唯一的輸出神經(jīng)元，會(huì)產(chǎn)生一系列的動(dòng)作電位或脈沖，這些脈沖通過(guò)視神經(jīng)傳送到下游腦區(qū)。因此，論到根本，無(wú)論在空間上還是在時(shí)間上，所有我們所處環(huán)境的視覺(jué)信息，都被編碼為神經(jīng)節(jié)細(xì)胞脈沖信號(hào)的時(shí)空模式。

很多種眼病都屬于感光細(xì)胞的神經(jīng)退化性疾病，然而視網(wǎng)膜的輸出細(xì)胞——神經(jīng)節(jié)細(xì)胞仍然是健康細(xì)胞。治療這類(lèi)疾病的一種方法是開(kāi)發(fā)一款先進(jìn)的視網(wǎng)膜假體，用一系列電極直接刺激神經(jīng)節(jié)細(xì)胞。人們對(duì)視網(wǎng)膜神經(jīng)假體的研究歷史相對(duì)較長(zhǎng)[15]。然而，研究者付出的大量努力都集中在視網(wǎng)膜神經(jīng)假體的硬件材料設(shè)計(jì)方面[13–18]。近年來(lái)，有研究者認(rèn)為采用更好的神經(jīng)編碼算法可以提升視網(wǎng)膜神經(jīng)假體的性能[10]。該研究表明，通過(guò)增加一個(gè)編碼器，將輸入圖像轉(zhuǎn)換為視網(wǎng)膜神經(jīng)節(jié)細(xì)胞使用的脈沖編碼，然后用這些脈沖編碼來(lái)驅(qū)動(dòng)硬件傳感器，如電極、光遺傳學(xué)刺激器或視覺(jué)恢復(fù)相關(guān)的其他組件，可以顯著提升視覺(jué)場(chǎng)景的重建。

因此，我們需要使用更好的計(jì)算模型來(lái)提升視網(wǎng)膜神經(jīng)假體的性能。與其他刺激信號(hào)相對(duì)簡(jiǎn)單的神經(jīng)假體相比，視網(wǎng)膜神經(jīng)假體在空間和時(shí)間上，需要處理具有高階相關(guān)性的動(dòng)態(tài)視覺(jué)場(chǎng)景。目前而言，導(dǎo)致視網(wǎng)膜神經(jīng)假體性能低下的主要原因之一，是沒(méi)有明確理解神經(jīng)節(jié)細(xì)胞如何對(duì)豐富的視覺(jué)場(chǎng)景進(jìn)行編碼。在此方面，我們已有的大部分知識(shí)，都是獲取自簡(jiǎn)單的人造刺激實(shí)驗(yàn)，如白噪聲圖像、條形圖和光柵。我們目前仍然不清楚，視網(wǎng)膜如何使用其神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)處理復(fù)雜的自然圖像。近年來(lái)，人工智能得了顯著進(jìn)展，有了更為先進(jìn)的分析技術(shù)來(lái)處理復(fù)雜視覺(jué)場(chǎng)景，包括自然圖像和視頻。因此，現(xiàn)在我們有能力開(kāi)發(fā)新的功能型人工智能模型，利用它們分析視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的脈沖信號(hào)，來(lái)研究脈沖信號(hào)如何對(duì)自然場(chǎng)景進(jìn)行編碼和解碼。

在本文中，我們回顧了這一領(lǐng)域近期取得的一些進(jìn)展。視覺(jué)編碼的研究可以大致分為兩個(gè)流派。第一個(gè)更為傳統(tǒng)的流派是基于特征的建模方法，在這種方法中，模型的視覺(jué)特征或?yàn)V波器盡量與視網(wǎng)膜的生物物理特性，如感受野，保持一致。第二個(gè)相對(duì)新穎的流派是基于采樣的建模方法，在這種方法中，視覺(jué)場(chǎng)景的統(tǒng)計(jì)數(shù)據(jù)，如像素，是用概率模型來(lái)表示的。需要注意的是，這兩種方法并不是完全獨(dú)立的；事實(shí)上，隨著最近硬件和算法技術(shù)的進(jìn)步，它們之間的聯(lián)系越來(lái)越緊密。在本文中，我們將回顧這兩種途徑，考察其利用神經(jīng)脈沖分析視覺(jué)場(chǎng)景的核心思想。我們認(rèn)為，對(duì)于促進(jìn)下一代視網(wǎng)膜神經(jīng)假體的發(fā)展，計(jì)算建模將起著至關(guān)重要的作用。

本文結(jié)構(gòu)如下：第2節(jié)介紹了視網(wǎng)膜的生物結(jié)構(gòu)，側(cè)重于其內(nèi)部神經(jīng)元環(huán)路。我們認(rèn)為，相比于視網(wǎng)膜單個(gè)細(xì)胞的動(dòng)力學(xué)，視網(wǎng)膜環(huán)路可以進(jìn)行更為豐富的計(jì)算。在第3節(jié)中，我們認(rèn)為，視網(wǎng)膜并非一個(gè)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)高度復(fù)雜，可以與腦皮層的某些方面相媲美。視網(wǎng)膜具有類(lèi)似于腦皮層的網(wǎng)絡(luò)模塊，用這些模塊分別進(jìn)行特定計(jì)算，提取特定的視覺(jué)特征。我們概述了3種模塊，分別為前饋、循環(huán)和贏家通吃（winner-take-all,WTA）的網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)于每一種，我們探討了相關(guān)證據(jù)和最新研究結(jié)果。

第4節(jié)討論了基于特征的建模方法，并對(duì)基于視網(wǎng)膜特征提取視覺(jué)場(chǎng)景的編碼和解碼模型進(jìn)行了綜述。對(duì)于編碼，我們首先總結(jié)了生物物理模型，這些模型可以直接分析和擬合神經(jīng)元脈沖信號(hào)，從而確定某些神經(jīng)元的特性，如神經(jīng)元的感受野。然后，我們回顧了一些基于人工神經(jīng)網(wǎng)絡(luò)（artificial neural network, ANN）的編碼模型，它們使用最先進(jìn)的機(jī)器學(xué)習(xí)方法來(lái)處理復(fù)雜的自然場(chǎng)景。然而，對(duì)于解碼，則有必要依賴(lài)于統(tǒng)計(jì)和機(jī)器學(xué)習(xí)模型，目的是用神經(jīng)脈沖重建視覺(jué)場(chǎng)景。我們回顧了解碼器模型，重點(diǎn)是討論如何使用它們更好地提升視網(wǎng)膜神經(jīng)假體處理靜態(tài)圖像及動(dòng)態(tài)視頻的性能。

第5節(jié)討論了基于抽樣的建模方法。我們概述了視網(wǎng)膜環(huán)路的某些網(wǎng)絡(luò)結(jié)構(gòu)特性，以及利用這些環(huán)路來(lái)構(gòu)建概率圖模型（probabilistic graph model, PGM）和脈沖神經(jīng)元網(wǎng)絡(luò)（spiking neuronal network, SNN）模型，從而形成不同的功能模型，來(lái)模擬相關(guān)視網(wǎng)膜進(jìn)行的視覺(jué)計(jì)算。我們首先介紹了脈沖神經(jīng)計(jì)算的基礎(chǔ)，并從采樣的角度討論了神經(jīng)脈沖和SNN的建?？蚣?。然后，我們認(rèn)為，視網(wǎng)膜計(jì)算的研究需要超越神經(jīng)元和神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)的經(jīng)典描述，將概率推理考慮在內(nèi)。我們回顧了關(guān)于用SNN實(shí)現(xiàn)概率推理的最新研究結(jié)果。盡管這些方法傳統(tǒng)上用于視覺(jué)皮層的研究，但是我們將展示如何使用它們進(jìn)行視網(wǎng)膜計(jì)算建模。最后一節(jié)討論了未來(lái)可能的研究方向，并總結(jié)了全文。

2. 視網(wǎng)膜神經(jīng)環(huán)路的視覺(jué)計(jì)算

圖1展示了視網(wǎng)膜神經(jīng)環(huán)路的典型結(jié)構(gòu)。粗略地講，視網(wǎng)膜是一個(gè)由幾種神經(jīng)元組成的三層網(wǎng)絡(luò)。感光細(xì)胞根據(jù)視覺(jué)場(chǎng)景的信息流，將具有一系列強(qiáng)度（從昏暗到明亮）和顏色（從紅色、綠色到藍(lán)色）的光轉(zhuǎn)化為電信號(hào)，然后由抑制性水平細(xì)胞進(jìn)行調(diào)節(jié)。接下來(lái)，這些信號(hào)被傳遞到興奮性雙極細(xì)胞進(jìn)行復(fù)雜計(jì)算。雙極細(xì)胞的輸出電位傳統(tǒng)上被視為分級(jí)電位；然而，最近的實(shí)驗(yàn)證據(jù)表明雙極細(xì)胞可以產(chǎn)生快速動(dòng)作電位及脈沖事件[19]。然后抑制性無(wú)長(zhǎng)突細(xì)胞以不同的方式調(diào)節(jié)這些輸出，以產(chǎn)生更加有效、具體和多樣化的計(jì)算[20]。在視網(wǎng)膜的最終階段，信號(hào)傳遞到神經(jīng)節(jié)細(xì)胞進(jìn)行最終處理。最后，神經(jīng)節(jié)細(xì)胞將它們的脈沖發(fā)送到丘腦和皮層，進(jìn)行更高層次的認(rèn)知功能計(jì)算。

視網(wǎng)膜中，每一種神經(jīng)元的形態(tài)都非常豐富；例如，有研究認(rèn)為，小鼠視網(wǎng)膜中大約有14種雙極細(xì)胞[21,22]、40種無(wú)長(zhǎng)突細(xì)胞[23]和30種神經(jīng)節(jié)細(xì)胞[24]。除了神經(jīng)元細(xì)胞之外，神經(jīng)元之間的連接也是神經(jīng)元環(huán)路的獨(dú)特之處。視網(wǎng)膜神經(jīng)元之間的連接通常是由各種類(lèi)型的化學(xué)突觸形成的。然而，在不同類(lèi)型的細(xì)胞之間，以及同一類(lèi)型的細(xì)胞之間，都有大量的電突觸連接或縫隙連接[25–28]。這些縫隙連接的功能仍是研究熱點(diǎn)[25]，這里，我們認(rèn)為，縫隙連接具有創(chuàng)建循環(huán)連接的功能性作用，并且能夠增強(qiáng)視網(wǎng)膜的視覺(jué)計(jì)算能力。這一概念將在后面的章節(jié)中討論。

在視網(wǎng)膜研究領(lǐng)域，大多數(shù)研究都基于傳統(tǒng)的觀(guān)點(diǎn)，認(rèn)為視網(wǎng)膜的神經(jīng)元具有靜態(tài)感受野（receptive field, RF），其作為時(shí)空濾波器可以提取視覺(jué)場(chǎng)景中的局部特征。然而我們知道，視網(wǎng)膜在信息處理的過(guò)程中有若干層次的復(fù)雜性，即從感光細(xì)胞到雙極細(xì)胞再到神經(jīng)節(jié)細(xì)胞。此外，抑制性水平細(xì)胞和無(wú)長(zhǎng)突細(xì)胞的調(diào)節(jié)功能尚不清楚[20,29]。唯一一個(gè)理解相對(duì)透徹的例子，可能是視網(wǎng)膜的如何進(jìn)行方向選擇性計(jì)算[30–33]。

圖1. 視網(wǎng)膜神經(jīng)環(huán)路圖示。視覺(jué)場(chǎng)景在第一層由感光細(xì)胞轉(zhuǎn)換，其中視桿細(xì)胞編碼弱光，視錐細(xì)胞編碼顏色。在被水平細(xì)胞調(diào)制后，信號(hào)被發(fā)送到第二層雙極細(xì)胞。輸出結(jié)果被發(fā)送到第三層進(jìn)行進(jìn)一步處理，該層由無(wú)長(zhǎng)突細(xì)胞和神經(jīng)節(jié)細(xì)胞組成。視網(wǎng)膜的最終信號(hào)來(lái)自神經(jīng)節(jié)細(xì)胞的脈沖，這些脈沖被傳遞到腦皮層。除了細(xì)胞之間的化學(xué)突觸外，不同類(lèi)型和相同類(lèi)型的細(xì)胞（如神經(jīng)節(jié)-神經(jīng)節(jié)細(xì)胞）之間還存在大量的縫隙連接。

視網(wǎng)膜神經(jīng)節(jié)細(xì)胞是視網(wǎng)膜的唯一輸出，然而，它們的活動(dòng)與視網(wǎng)膜的其他部分也是緊密耦合且高度相關(guān)。這些相互作用不僅使視網(wǎng)膜環(huán)路結(jié)構(gòu)復(fù)雜，而且使視覺(jué)處理的計(jì)算更加多樣化。因此，視網(wǎng)膜應(yīng)該比科學(xué)家所認(rèn)為的“更聰明”[34]。這些觀(guān)察使得我們重新思考視網(wǎng)膜的功能和結(jié)構(gòu)特性。鑒于視網(wǎng)膜中神經(jīng)元和神經(jīng)環(huán)路的復(fù)雜性，我們認(rèn)為，應(yīng)該以一種新的方式來(lái)理解視網(wǎng)膜所進(jìn)行的視覺(jué)計(jì)算。傳統(tǒng)觀(guān)點(diǎn)認(rèn)為視網(wǎng)膜就像前饋網(wǎng)絡(luò)一樣傳遞信息，但是我們則認(rèn)識(shí)，與腦皮層一樣，視網(wǎng)膜可以形成側(cè)抑制和循環(huán)連接（如縫隙連接），因此視網(wǎng)膜就像視覺(jué)皮層處理視覺(jué)那樣[35–37]，可以利用各種神經(jīng)網(wǎng)絡(luò)模塊，提取視覺(jué)場(chǎng)景的不同特征，形成特定的計(jì)算。

要注意的是，與視覺(jué)皮層相比，視網(wǎng)膜在視覺(jué)信息處理中的計(jì)算和功能，近些年來(lái)才有了較為詳細(xì)的理解。如今，視網(wǎng)膜神經(jīng)元和神經(jīng)環(huán)路對(duì)視覺(jué)信息的計(jì)算，正在從不同層次上得到深入；更多細(xì)節(jié)請(qǐng)參見(jiàn)最近關(guān)于視網(wǎng)膜神經(jīng)科學(xué)進(jìn)展的綜述[20,21,25–29,34]。

3. 視網(wǎng)膜的計(jì)算框架

從生物學(xué)的角度來(lái)看，視網(wǎng)膜環(huán)路的不同神經(jīng)科學(xué)實(shí)驗(yàn)眾多繁雜，要統(tǒng)一這些實(shí)驗(yàn)結(jié)論似乎很困難[38]。然而，我們認(rèn)為，有必要組合多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模塊，對(duì)視網(wǎng)膜環(huán)路進(jìn)行計(jì)算建模。這樣一個(gè)尚在萌芽的計(jì)算框架，可以更好地利用近年來(lái)出現(xiàn)的機(jī)器學(xué)習(xí)技術(shù)，從而有助于我們理解視覺(jué)計(jì)算[39]。如圖1所示，視網(wǎng)膜神經(jīng)環(huán)路的全局看來(lái)似乎相當(dāng)復(fù)雜。然而，在提取了網(wǎng)絡(luò)結(jié)構(gòu)的某些特征后，簡(jiǎn)單的網(wǎng)絡(luò)模塊就呈現(xiàn)了出來(lái)。在這里，如圖2所示，我們僅關(guān)注3種類(lèi)型的網(wǎng)絡(luò)結(jié)構(gòu)模塊，即前饋網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和WTA網(wǎng)絡(luò)，并假設(shè)這些模塊在視網(wǎng)膜的視覺(jué)計(jì)算中起著不同的作用。然而，視網(wǎng)膜不僅僅是這3種網(wǎng)絡(luò)模塊的混合體。相反，它是一個(gè)由多種類(lèi)型網(wǎng)絡(luò)模塊組成的超環(huán)路[38]。目前人們還不清楚如何更有效地讓這些不同的網(wǎng)絡(luò)模塊共同工作來(lái)進(jìn)行視覺(jué)計(jì)算，但是這種超環(huán)路為潛在的視網(wǎng)膜計(jì)算統(tǒng)一框架提供了生物學(xué)基礎(chǔ)。隨著實(shí)驗(yàn)和計(jì)算技術(shù)的發(fā)展，可以從這個(gè)超環(huán)路中提取更多的計(jì)算特征。

3.1. 前饋網(wǎng)絡(luò)

如圖2（a）、（b）所示，前饋網(wǎng)絡(luò)是視網(wǎng)膜中視覺(jué)信息流方向的經(jīng)典視圖。光的前饋信息流通過(guò)3種主要的細(xì)胞通過(guò)視網(wǎng)膜：感光細(xì)胞、雙極細(xì)胞和神經(jīng)節(jié)細(xì)胞。為了簡(jiǎn)單起見(jiàn)，這里不考慮其他兩種起調(diào)節(jié)作用的抑制性細(xì)胞。這種觀(guān)點(diǎn)的生物學(xué)基礎(chǔ)可以在視網(wǎng)膜中央凹中看到，在中央凹中，興奮性細(xì)胞起主要作用，幾乎沒(méi)有抑制作用[40]。中央凹中有直接連接過(guò)程，從感光體到雙極細(xì)胞，再作為輸出到神經(jīng)節(jié)細(xì)胞。

近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展證明了前饋網(wǎng)絡(luò)的優(yōu)勢(shì)。特別是人們?cè)贑NN的框架中取得了突破[39]。如圖 2（c）所示，一個(gè)簡(jiǎn)單的3層CNN就像在視網(wǎng)膜中一樣，其中卷積濾波器起著視網(wǎng)膜細(xì)胞感受野的作用。視覺(jué)輸入的層級(jí)處理是通過(guò)視網(wǎng)膜中每個(gè)神經(jīng)元的感受野來(lái)計(jì)算的。上一層的計(jì)算結(jié)果池化傳遞到下一層的神經(jīng)元。最近的研究強(qiáng)調(diào)了CNN結(jié)構(gòu)和視網(wǎng)膜神經(jīng)環(huán)路之間的相似性[41,42]，這將在后面部分進(jìn)行討論。

3.2. 循環(huán)網(wǎng)絡(luò)

循環(huán)網(wǎng)絡(luò)的動(dòng)力學(xué)[43–45]，以及豐富的突觸動(dòng)力學(xué)和可塑性[46,47]，對(duì)于理解大腦功能非常重要。在這里，我們認(rèn)為循環(huán)連接對(duì)于視網(wǎng)膜也很重要。如圖2（a）所示，視網(wǎng)膜中的循環(huán)連接主要由大量的縫隙連接產(chǎn)生。與化學(xué)突觸不同，縫隙連接是雙向或?qū)ΨQ(chēng)的。對(duì)于視網(wǎng)膜所有類(lèi)型的細(xì)胞，同一類(lèi)型細(xì)胞之間和不同類(lèi)型細(xì)胞之間，都有縫隙連接使相鄰細(xì)胞之間形成短連接。然而，這些縫隙連接的功能仍待討論[25]。

從計(jì)算的角度來(lái)看，由縫隙連接形成的循環(huán)連接，如圖2（b）、（c）所示，可以使視網(wǎng)膜環(huán)路類(lèi)似于無(wú)向MRF的PGM。通過(guò)將圖論與概率論相結(jié)合，PGM為多元統(tǒng)計(jì)建模提供了強(qiáng)大的理論框架[48]。PGM已廣泛用于計(jì)算機(jī)視覺(jué)和計(jì)算神經(jīng)科學(xué)研究。與MRF相比，還有另一種PGM，稱(chēng)為貝葉斯網(wǎng)絡(luò)，其中節(jié)點(diǎn)之間的連接具有方向性。圖2（c）所示是一種貝葉斯網(wǎng)絡(luò)，被稱(chēng)為HMM。近年來(lái)，人們做出了很多努力構(gòu)建SNN來(lái)實(shí)現(xiàn)這些PGM計(jì)算。這些研究利用機(jī)器模型PGM來(lái)理解大腦中觀(guān)察到的神經(jīng)活動(dòng)，從而啟發(fā)了視網(wǎng)膜的視覺(jué)計(jì)算模型的建立。

3.3. WTA 網(wǎng)絡(luò)

最后，我們認(rèn)為視網(wǎng)膜環(huán)路有WTA模塊的網(wǎng)絡(luò)結(jié)構(gòu)。在腦皮層中，WTA環(huán)路是一種強(qiáng)大的網(wǎng)絡(luò)計(jì)算模塊，可實(shí)現(xiàn)歸一化[49]、視覺(jué)注意力[50]、分類(lèi)[51]等計(jì)算功能[52]。

圖2. 不同的計(jì)算網(wǎng)絡(luò)模塊圖示。（a）視網(wǎng)膜環(huán)路可以提取不同的網(wǎng)絡(luò)模塊，如前饋網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和WTA網(wǎng)絡(luò)。（b）用于建模的不同類(lèi)型神經(jīng)網(wǎng)絡(luò)的抽象模型。刺激首先由輸入神經(jīng)元的活動(dòng)表示，然后傳入興奮性和（或）抑制性神經(jīng)元網(wǎng)絡(luò)對(duì)其進(jìn)行計(jì)算。不同顏色表示相同的模塊。（c）用于抽象計(jì)算的典型ANN，如卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）、馬爾可夫隨機(jī)場(chǎng)（Markov random field, MRF）和隱馬爾可夫模型（hidden Markov model, HMM）。需要注意，人工神經(jīng)網(wǎng)絡(luò)可以使用一種或混合的計(jì)算網(wǎng)絡(luò)模塊，如（b）圖所示。在MRF中，xi是由WTA環(huán)路表示的單個(gè)變量。在HMM中，xi是由WTA環(huán)路中輸入神經(jīng)元表示的觀(guān)察變量，yi是WTA環(huán)路中興奮神經(jīng)元表示的隱變量。

兩種抑制性神經(jīng)元位于視網(wǎng)膜的前兩層。水平細(xì)胞調(diào)控感光細(xì)胞，將光信號(hào)傳遞給雙極細(xì)胞，而無(wú)長(zhǎng)突細(xì)胞則調(diào)節(jié)雙極細(xì)胞末端和神經(jīng)節(jié)細(xì)胞樹(shù)突之間的信號(hào)。這兩種類(lèi)型的細(xì)胞都有一類(lèi)寬視野多軸突的特定亞型，它們的結(jié)構(gòu)特性會(huì)將動(dòng)作電位的信號(hào)大范圍散布（大于1 mm）[38]。從計(jì)算的角度來(lái)看，視網(wǎng)膜的這種超環(huán)路特征起著與WTA網(wǎng)絡(luò)模塊相似的作用。最近的研究表明，可以通過(guò)WTA環(huán)路的網(wǎng)絡(luò)模塊來(lái)實(shí)現(xiàn)MRF算法，這表明WTA可能是視覺(jué)計(jì)算中概率推理的最小計(jì)算單位[53]。

3.4.網(wǎng)絡(luò)模塊構(gòu)成的多類(lèi)型計(jì)算

以上我們簡(jiǎn)要回顧了視網(wǎng)膜環(huán)路，指出了3個(gè)基本的神經(jīng)網(wǎng)絡(luò)模塊，從而利用這些模塊充當(dāng)視網(wǎng)膜進(jìn)行復(fù)雜計(jì)算的基本單元。然而，皮層微環(huán)路的研究提出了更多類(lèi)型的網(wǎng)絡(luò)模塊[37]，這些模塊也可以作為視網(wǎng)膜超環(huán)路的一部分參與視網(wǎng)膜計(jì)算[38]。將視網(wǎng)膜視為超環(huán)路，可以讓很多皮層視覺(jué)處理的方法用到視網(wǎng)膜計(jì)算的研究中，從而跳出傳統(tǒng)視網(wǎng)膜的研究思路，實(shí)現(xiàn)更為豐富的動(dòng)態(tài)特性計(jì)算[34]。特別需要指出的是，研究者已經(jīng)發(fā)現(xiàn)某些視覺(jué)功能是由視網(wǎng)膜中某些類(lèi)型的網(wǎng)絡(luò)模塊實(shí)現(xiàn)的，詳情參見(jiàn)文獻(xiàn)[34]。

人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的最新進(jìn)展形成了計(jì)算視覺(jué)領(lǐng)域的許多突破。例如，深層CNN可以模擬從視網(wǎng)膜到皮質(zhì)下顳部的視覺(jué)計(jì)算過(guò)程[54]。這些基于特征的模型利用感受野的優(yōu)勢(shì)來(lái)捕獲視覺(jué)特征。但是，CNN模型在視覺(jué)計(jì)算方面有一些缺點(diǎn)。例如，CNN架構(gòu)在很大程度上缺乏設(shè)計(jì)原理，這個(gè)缺點(diǎn)可以通過(guò)利用包括視網(wǎng)膜在內(nèi)的大腦生物神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)知識(shí)來(lái)完善[55]。

另一方面，有研究者認(rèn)為，為了理解視覺(jué)計(jì)算，需要一個(gè)層級(jí)貝葉斯推理框架[56]。使用這種基于采樣的建模方法時(shí)，不同類(lèi)型的網(wǎng)絡(luò)模塊可以實(shí)現(xiàn)特定的計(jì)算功能[57]，從而使得視覺(jué)的統(tǒng)計(jì)計(jì)算可以通過(guò)各種類(lèi)型的概率模型來(lái)實(shí)現(xiàn)。貝葉斯模型中的這些計(jì)算技術(shù)已經(jīng)用于視覺(jué)皮層和視網(wǎng)膜的視覺(jué)處理[56]。

但是，這兩種方法不是完全分離的。實(shí)際上，它們之間存在密切的聯(lián)系[55]。我們將在以下各節(jié)中，使用視網(wǎng)膜作為模型系統(tǒng)來(lái)解釋這些方法：第4節(jié)將討論基于特征的方法，第5節(jié)將討論基于采樣的方法。

4. 視網(wǎng)膜的編碼和解碼模型

神經(jīng)如何編碼信息是系統(tǒng)神經(jīng)科學(xué)的核心問(wèn)題之一[58–60]。特別是針對(duì)視覺(jué)編碼，首先有必要理解視覺(jué)場(chǎng)景如何被表征為神經(jīng)脈沖活動(dòng)，然后也需要理解如何解碼神經(jīng)元脈沖活動(dòng)以還原給定的視覺(jué)信息。視網(wǎng)膜是研究這些問(wèn)題的一個(gè)有效系統(tǒng)。

4.1. 生物物理編碼模型

為了理解視網(wǎng)膜的編碼原理，研究者已經(jīng)根據(jù)視網(wǎng)膜中神經(jīng)元和神經(jīng)元環(huán)路的生物物理特性發(fā)展了幾種模型，參見(jiàn)最近的綜述[61]。在這里，我們簡(jiǎn)要回顧一下這些方法。

研究視網(wǎng)膜神經(jīng)元計(jì)算的起點(diǎn)是找到神經(jīng)元的RF。實(shí)驗(yàn)中獲得神經(jīng)元RF的經(jīng)典方法，是固定某個(gè)細(xì)胞的位置，然后改變刺激光斑的大小，從而獲得一個(gè)中央激發(fā)而周?chē)种频母咚篂V波器作為RF結(jié)構(gòu)。后來(lái)，研究者使用多電極陣列，發(fā)展了一種更為系統(tǒng)的實(shí)驗(yàn)方法來(lái)記錄一個(gè)包含了很多視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的群體。通過(guò)此方法，我們可以使用各種類(lèi)型的圖像來(lái)操縱光刺激，這些刺激包括簡(jiǎn)單的條形、斑點(diǎn)、光柵、白噪聲以及可控的復(fù)雜圖像和視頻。這個(gè)方法的優(yōu)勢(shì)是可以同時(shí)記錄很多細(xì)胞，得到單個(gè)神經(jīng)元精度的脈沖序列。當(dāng)利用白噪聲作為刺激時(shí)，使用一種簡(jiǎn)單的被稱(chēng)為脈沖觸發(fā)平均（spike-triggered average, STA）[62]的反向相關(guān)方法，可獲取神經(jīng)節(jié)細(xì)胞的RF。STA擴(kuò)展到協(xié)方差分析，被稱(chēng)為脈沖觸發(fā)協(xié)方差分析，是分析視網(wǎng)膜神經(jīng)元二階動(dòng)力學(xué)的有力工具之一[63,64]。

基于神經(jīng)元的感受野，利用線(xiàn)性-非線(xiàn)性（linear–nonlinear, LN）模型可以簡(jiǎn)單而有效地模擬光信息的層級(jí)處理過(guò)程。LN模型分為兩個(gè)階段[65,66]。第一階段是線(xiàn)性時(shí)空濾波器，代表細(xì)胞的敏感區(qū)域，即感受野。第二階段是非線(xiàn)性變換，將線(xiàn)性濾波器的輸出轉(zhuǎn)換為脈沖發(fā)放頻率。LN模型的這兩個(gè)屬性，都可以很容易地從白噪聲刺激所激發(fā)的脈沖信號(hào)中計(jì)算出來(lái)[64]。當(dāng)處理的是復(fù)雜的刺激信號(hào)而不是白噪聲時(shí)，利用足夠的數(shù)據(jù)，可以使用其他方法（如極大似然估計(jì)[65]和最大信息[67]）計(jì)算LN模型的組成。

迄今為止，為了完善LN模型的構(gòu)建，使LN模型計(jì)算功能更強(qiáng)大，研究者已經(jīng)開(kāi)發(fā)出幾種改進(jìn)模型。這些模型包括：LN泊松模型[63]（在非線(xiàn)性變換之后，使用泊松過(guò)程來(lái)生成脈沖序列）和廣義線(xiàn)性模型[68]（其中包括了幾個(gè)其他模型組件，如用于刻畫(huà)脈沖適應(yīng)動(dòng)力學(xué)的歷史濾波器和用于刻畫(huà)相近神經(jīng)元影響的耦合濾波器）。最近，研究者開(kāi)始側(cè)重發(fā)展具有子單元成分的模型來(lái)模擬上游神經(jīng)元的非線(xiàn)性特征。例如，非線(xiàn)性輸入模型[69]，其中包括一些子單元非線(xiàn)性濾波器，并假設(shè)神經(jīng)元的輸入是相關(guān)的；脈沖觸發(fā)協(xié)方差模型[64,70,71]，利用特征向量分析法對(duì)脈沖觸發(fā)的刺激系綜進(jìn)行協(xié)方差分析，以獲得一系列RF的子單元濾波器；兩層LN網(wǎng)絡(luò)模型[72]，通過(guò)兩層LN模型實(shí)現(xiàn)層級(jí)過(guò)程；以及脈沖觸發(fā)的非負(fù)矩陣分解（spike-triggered non-negative matrix factorization, STNMF）模型[73]，該方法松弛了脈沖觸發(fā)協(xié)方差中使用的正交性約束，從而獲得一組非正交的子單元濾波器，這些子單元在實(shí)驗(yàn)中被驗(yàn)證為視網(wǎng)膜中的雙極性細(xì)胞。進(jìn)一步研究表明，STNMF可以獲取上游雙極細(xì)胞的各種生物物理特性，包括空間RF、時(shí)間濾波器、非線(xiàn)性和從雙極細(xì)胞到神經(jīng)節(jié)細(xì)胞的突觸連接特性。另外，該方法也可以將雙極細(xì)胞產(chǎn)生的脈沖信號(hào)子集，從神經(jīng)節(jié)細(xì)胞的整個(gè)脈沖信號(hào)中分離開(kāi)來(lái)[74]。

4.2. 基于ANN 的編碼模型

近年來(lái)，研究者在ANN的使用方面（如深層CNN和PGM）已經(jīng)取得了突破，可以完成許多與視覺(jué)信息相關(guān)的實(shí)際任務(wù)[39]。例如，對(duì)于收集好的且用特定標(biāo)簽標(biāo)記好的大量視覺(jué)圖像，ANN在對(duì)象識(shí)別和分類(lèi)方面的性能要優(yōu)于人類(lèi)水平[39]。各種用于可視化CNN學(xué)習(xí)的圖像特征技術(shù)已經(jīng)被開(kāi)發(fā)出來(lái)。但是，CNN對(duì)于處理復(fù)雜自然圖像端到端的獲取方式，讓人們很難用這種方法來(lái)解釋底層的網(wǎng)絡(luò)結(jié)構(gòu)組成[75,76]。

受神經(jīng)科學(xué)實(shí)驗(yàn)觀(guān)察的啟發(fā)[55,77]，典型的深層CNN具有多層的分層結(jié)構(gòu)[78]。在這些層中，有些具有一組卷積濾波器，每個(gè)卷積濾波器都用作特征檢測(cè)器，來(lái)提取圖像的重要特征[79,80]。因此，經(jīng)過(guò)大量圖像訓(xùn)練后，這些卷積濾鏡可以起到與視網(wǎng)膜和其他視覺(jué)系統(tǒng)中的神經(jīng)元相同的功能作用，從而對(duì)自然圖像的復(fù)雜統(tǒng)計(jì)特性進(jìn)行編碼[59]。這些濾波器的形狀稀疏且局部化，類(lèi)似于視覺(jué)神經(jīng)元的RF。

因此，研究者認(rèn)為，可以使用類(lèi)似的基于ANN的方法來(lái)研究神經(jīng)科學(xué)中神經(jīng)元編碼的核心問(wèn)題[54,81]。特別是，對(duì)于視覺(jué)編碼來(lái)說(shuō)，人們普遍認(rèn)為，大腦的腹側(cè)視覺(jué)途徑是從視網(wǎng)膜開(kāi)始，然后穿過(guò)外側(cè)膝狀核和分層的視覺(jué)皮層最終到達(dá)皮質(zhì)下顳部。該視覺(jué)途徑被認(rèn)為是識(shí)別視覺(jué)對(duì)象“是什么”的路徑。研究者發(fā)現(xiàn)，用CNN對(duì)猴子下顳葉皮層神經(jīng)元的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行建模時(shí)，可以很好地預(yù)測(cè)神經(jīng)元的響應(yīng)[54,82–84]。因此，可以認(rèn)為，大腦中視覺(jué)處理的生物學(xué)結(jié)構(gòu)與CNN中使用的網(wǎng)絡(luò)結(jié)構(gòu)具有一定關(guān)系。然而，從視網(wǎng)膜到顳下皮層的通路很復(fù)雜，因此解釋這種關(guān)系并不簡(jiǎn)單[54]。一種可能的更簡(jiǎn)單的方法，是使用CNN對(duì)大腦的早期視覺(jué)系統(tǒng)（尤其是視網(wǎng)膜）建模，如上所述，大腦的早期視覺(jué)系統(tǒng)的神經(jīng)元環(huán)路相對(duì)簡(jiǎn)單。

實(shí)際上，一些研究已經(jīng)使用CNN及其變體來(lái)模擬早期視覺(jué)系統(tǒng)，如視網(wǎng)膜[41,42,85–87]、視覺(jué)皮層區(qū)域V1 [88–92]和V2 [93]。這些研究大多數(shù)是基于這樣的假設(shè)，即可以通過(guò)使用前饋或循環(huán)神經(jīng)網(wǎng)絡(luò)（或兩者）來(lái)實(shí)現(xiàn)預(yù)測(cè)神經(jīng)元反應(yīng)。與傳統(tǒng)的LN模型[71]相比，這些新方法增加了系統(tǒng)識(shí)別的復(fù)雜度。其中一些研究還詳細(xì)檢查網(wǎng)絡(luò)組成部分，試圖確定這些CNN組成部分[41,42,92]是否和怎樣類(lèi)似于神經(jīng)元網(wǎng)絡(luò)的生物學(xué)結(jié)構(gòu)。

圖3 [41,74,85]展示了用于視網(wǎng)膜CNN建模方法的典型設(shè)置。為了了解視網(wǎng)膜環(huán)路感受野的精細(xì)結(jié)構(gòu)，重要的是要了解CNN所獲取的濾波器。與使用群體視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的研究相反[42,92,94]，該模型可以將復(fù)雜的視網(wǎng)膜環(huán)路簡(jiǎn)化為簡(jiǎn)單的網(wǎng)絡(luò)模型，如圖3（a）所示。這使得在視網(wǎng)膜單細(xì)胞層面上完善網(wǎng)絡(luò)結(jié)構(gòu)的模型更為容易。實(shí)際上，研究已經(jīng)發(fā)現(xiàn)CNN可以學(xué)習(xí)調(diào)整其內(nèi)部結(jié)構(gòu)成分以匹配視網(wǎng)膜的生物神經(jīng)元[42,85]，如圖3（d）所示。

鑒于視網(wǎng)膜具有相對(duì)清晰和簡(jiǎn)單的環(huán)路，并且眼睛（幾乎）沒(méi)有來(lái)自腦皮層的反饋連接，因此可以合理地將該系統(tǒng)建模為前饋神經(jīng)網(wǎng)絡(luò)，這類(lèi)似于CNN的原理。可以肯定的是，抑制性神經(jīng)元（如水平細(xì)胞和無(wú)長(zhǎng)突細(xì)胞）在視網(wǎng)膜功能中發(fā)揮作用。從這個(gè)意義上講，更為理想的神經(jīng)網(wǎng)絡(luò)模型需要包含側(cè)抑制和（或）循環(huán)單元 [86,94]。

圖3. 使用CNN方法通過(guò)簡(jiǎn)化的生物物理模型對(duì)視覺(jué)場(chǎng)景進(jìn)行編碼。（a）將視網(wǎng)膜環(huán)路簡(jiǎn)化為生物物理模型：前饋（頂部）網(wǎng)絡(luò)表示為視網(wǎng)膜環(huán)路的一部分，它接收進(jìn)入的視覺(jué)場(chǎng)景并從神經(jīng)節(jié)細(xì)胞發(fā)出脈沖；（中部）一個(gè)具有單個(gè)神經(jīng)節(jié)細(xì)胞和5個(gè)雙極細(xì)胞的小網(wǎng)絡(luò)；（底部）代表5個(gè)雙極細(xì)胞子單元的生物物理模型，每個(gè)子單元都有一個(gè)線(xiàn)性濾波器作為RF，并且具有一個(gè)非線(xiàn)性。5個(gè)子單元的輸出通過(guò)另一個(gè)非線(xiàn)性進(jìn)行合并和校正?？梢詫?duì)最終輸出進(jìn)行采樣得到脈沖序列。（b）訓(xùn)練CNN模型，其圖像作為輸入，脈沖作為輸出。這里有兩個(gè)卷積層和一個(gè)密集層。（c）訓(xùn)練后，CNN模型顯示出與神經(jīng)節(jié)細(xì)胞生物物理模型相同的感受野。（d）訓(xùn)練后的卷積濾波器類(lèi)似于（a）部分中雙極細(xì)胞的RF。（a）轉(zhuǎn)載自文獻(xiàn)[74]，（b）～（d）摘自文獻(xiàn)[41,85]。

4.3. 從視網(wǎng)膜脈沖解碼視覺(jué)場(chǎng)景

對(duì)于視網(wǎng)膜神經(jīng)假體，理想的編碼器模型能夠針對(duì)給定的視覺(jué)場(chǎng)景向電極提供精確的刺激。為了實(shí)現(xiàn)這一點(diǎn)，有必要找到一種理想的解碼器模型，從而可以根據(jù)神經(jīng)元響應(yīng)讀出并重建視覺(jué)場(chǎng)景的刺激。

多年來(lái)一直有通過(guò)算法重建視覺(jué)場(chǎng)景的研究。相關(guān)的神經(jīng)信號(hào)包括人腦功能磁共振成像（functional magnetic resonance imaging, fMRI）信號(hào)[95–98]、視網(wǎng)膜[99–102]和外側(cè)膝狀核[103]的神經(jīng)元脈沖，以及V1中的神經(jīng)元鈣成像數(shù)據(jù)[104]。然而，對(duì)于自然場(chǎng)景，無(wú)論是靜態(tài)自然圖像還是動(dòng)態(tài)視頻，當(dāng)前方法的解碼性能都相當(dāng)?shù)?。從fMRI數(shù)據(jù)中重建視頻的示例可以參見(jiàn)文獻(xiàn)[97]。

對(duì)于視網(wǎng)膜神經(jīng)假體，人們希望通過(guò)使用神經(jīng)節(jié)細(xì)胞的脈沖響應(yīng)來(lái)解碼視覺(jué)場(chǎng)景。最新的研究顯示，利用模擬的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞，并且當(dāng)細(xì)胞數(shù)量足夠多時(shí)，可以對(duì)視覺(jué)場(chǎng)景進(jìn)行解碼[100]。但是，當(dāng)時(shí)尚不清楚是否有可能使用實(shí)驗(yàn)數(shù)據(jù)來(lái)實(shí)現(xiàn)這一目標(biāo)。這種解碼方法可以被稱(chēng)為脈沖圖像解碼器，它演示了從神經(jīng)元脈沖到視覺(jué)場(chǎng)景的端到端訓(xùn)練過(guò)程。

我們近期使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型開(kāi)發(fā)了這種解碼器。相比之前的研究，我們的解碼器利用同時(shí)記錄的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞群體的脈沖序列，可以重建真實(shí)的視覺(jué)場(chǎng)景（包括靜態(tài)圖像和動(dòng)態(tài)視頻），并且具有更好的圖像分辨率[105]。

脈沖圖像解碼器的工作流程如圖4所示[105,106]。實(shí)驗(yàn)者使用多電極陣列可以同時(shí)記錄大量的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞，并提取其脈沖。接下來(lái)，使用脈沖圖像轉(zhuǎn)換器將每個(gè)神經(jīng)節(jié)細(xì)胞的脈沖映射到像素量級(jí)的圖像。之后，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，這里是自動(dòng)編碼器，將基于脈沖的圖像轉(zhuǎn)換為原始刺激圖像。本質(zhì)上，這種方法包含兩個(gè)階段：脈沖到圖像轉(zhuǎn)換和圖像到圖像自動(dòng)編碼。先前的大多數(shù)研究都集中在第一階段，其通過(guò)統(tǒng)計(jì)模型和（或）基于ANN的模型以線(xiàn)性或非線(xiàn)性方式來(lái)優(yōu)化傳統(tǒng)解碼器[95–103]。最近的研究將CNN自動(dòng)編碼器單獨(dú)訓(xùn)練以提高圖像質(zhì)量[100]。然而我們發(fā)現(xiàn)，通過(guò)端到端的訓(xùn)練過(guò)程，包括脈沖到圖像轉(zhuǎn)換和圖像到圖像自動(dòng)編碼兩個(gè)階段，可以取得更好的效果。當(dāng)然這里并不排除其他可能性，使用其他類(lèi)型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，來(lái)對(duì)這兩個(gè)階段中使用的網(wǎng)絡(luò)詳細(xì)架構(gòu)進(jìn)行優(yōu)化，也可能達(dá)到更高的性能。

5. 使用SNN 和PGM 對(duì)視網(wǎng)膜建模

SNN被視為第三代ANN模型。就像大腦一樣，它們使用神經(jīng)元脈沖進(jìn)行計(jì)算[107]。除了神經(jīng)元和突觸狀態(tài)外，SNN中還考慮了脈沖時(shí)間的重要性。研究表明，在相同神經(jīng)元數(shù)量的情況下，SNN比其他ANN在計(jì)算方面更強(qiáng)大[107]。近年來(lái)，SNN在許多領(lǐng)域都得到了廣泛的研究[108–110]。特別是最近的研究表明，SNN可以與多層的深層架構(gòu)結(jié)合使用，以獲得與ANN相似或更好的性能[111–115]。SNN的脈沖特征對(duì)于下一代神經(jīng)形態(tài)計(jì)算機(jī)芯片尤為重要[116,117]。

圖4. 從神經(jīng)元脈沖解碼視覺(jué)場(chǎng)景。（頂部）解碼視覺(jué)場(chǎng)景的工作流程。在這里，一個(gè)蠑螈游泳的視頻被呈現(xiàn)給蠑螈的視網(wǎng)膜，以激發(fā)神經(jīng)節(jié)細(xì)胞的一系列脈沖。這些脈沖序列被用于訓(xùn)練脈沖圖像解碼器，以重建相同的刺激視頻。神經(jīng)節(jié)細(xì)胞的RF被映射到圖像上。每個(gè)彩色圓圈是感受野的輪廓。（底部）脈沖圖像解碼器是具有兩個(gè)階段的端到端解碼器：脈沖到圖像轉(zhuǎn)換，用于將大量的脈沖映射到像素量級(jí)的初始圖像；以及圖像到圖像自動(dòng)編碼，可將每個(gè)像素映射到所需圖像中的目標(biāo)像素。請(qǐng)注意，這里的脈沖圖像解碼器沒(méi)有獨(dú)特的架構(gòu)，人們可以采用其他最新模型對(duì)其優(yōu)化。初始圖像的確定形狀取決于用于訓(xùn)練的損失函數(shù)。解碼過(guò)程的詳細(xì)信息參見(jiàn)文獻(xiàn)[105]。此圖中顯示的數(shù)據(jù)可在線(xiàn)獲取[106]。

單個(gè)神經(jīng)元的計(jì)算能力是有限的。但是，當(dāng)連接大量神經(jīng)元形成網(wǎng)絡(luò)時(shí)，可以極大地?cái)U(kuò)展連接神經(jīng)元的計(jì)算能力。利用圖論語(yǔ)言[118]，SNN可以表示為圖G=(V,E)，其中，V代表神經(jīng)元集合，E∪V×V代表突觸集合。鑒于圖和神經(jīng)網(wǎng)絡(luò)之間的這種等價(jià)性，近年來(lái)人們深入研究了PGM方法。經(jīng)典的ANN和SNN模型，就像Hodgkin-Huxley模型所揭示的那樣[119]，都利用確定性動(dòng)力學(xué)系統(tǒng)進(jìn)行建模。然而，與這種觀(guān)點(diǎn)不同，大腦中使用的計(jì)算原理也可以利用PGM描述。

越來(lái)越多的神經(jīng)科學(xué)證據(jù)表明，人類(lèi)和猴子（以及其他動(dòng)物）也可以表示概率，實(shí)現(xiàn)概率計(jì)算[120–122]；因此，概率大腦的觀(guān)點(diǎn)越來(lái)越被認(rèn)可[123]。研究者認(rèn)為，可以在神經(jīng)環(huán)路層面上，利用由脈沖神經(jīng)元組成的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)概率推理[123]。越來(lái)越多的研究興趣著重于結(jié)合SNN和概率計(jì)算，以便人們既了解腦計(jì)算的原理，又能利用這些腦啟發(fā)的原理解決實(shí)際問(wèn)題。

在PGM框架中研究的概率推理，傳統(tǒng)上是概率論和圖論的組合模型。PGM的核心思想是利用圖來(lái)表示一組變量之間的聯(lián)合分布，其中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)變量，每個(gè)邊對(duì)應(yīng)兩個(gè)變量之間的概率交互。利用圖結(jié)構(gòu)的優(yōu)勢(shì)，可以將高維空間上的復(fù)雜分布，分解為低維局部勢(shì)函數(shù)的乘積。PGM可以分為有向圖形模型（如貝葉斯網(wǎng)絡(luò)）和無(wú)向圖形模型（如MRF）。貝葉斯網(wǎng)絡(luò)可以表示變量之間的因果關(guān)系，因此通常被用于建模認(rèn)知和感知過(guò)程，而MRF可以通過(guò)局部勢(shì)函數(shù)的乘積來(lái)表示聯(lián)合分布。

通過(guò)SNN實(shí)現(xiàn)PGM，是為了解釋神經(jīng)元脈沖如何實(shí)現(xiàn)概率推理。SNN的推理包括兩個(gè)主要問(wèn)題，分別是概率編碼和概率推理：①如何利用單細(xì)胞或細(xì)胞群體的神經(jīng)活動(dòng)（如膜電位和脈沖）編碼概率分布？②如何利用脈沖神經(jīng)元網(wǎng)絡(luò)動(dòng)力學(xué)逼近概率推理？

概率編碼是概率推理的前提。根據(jù)概率的表達(dá)方式，概率編碼可分為3種基本類(lèi)型：①編碼每個(gè)狀態(tài)下每個(gè)變量，如概率編碼[124]、對(duì)數(shù)概率編碼[125,126]和對(duì)數(shù)-似然比編碼[127,128]；②編碼分布的參數(shù)，如利用神經(jīng)元的動(dòng)態(tài)變化特性進(jìn)行概率群體編碼[129–131]（即對(duì)恒定刺激作出響應(yīng)的神經(jīng)活動(dòng)具有較大的變異性，這表明活動(dòng)神經(jīng)元群體可以自動(dòng)編碼分布）；③編碼一個(gè)分布的采樣過(guò)程來(lái)描述神經(jīng)活動(dòng)[132,133]，如許多實(shí)驗(yàn)顯示的那樣[134–137]。

根據(jù)這些編碼原理，可以采用不同的方法對(duì)神經(jīng)網(wǎng)絡(luò)構(gòu)建推理過(guò)程：①利用神經(jīng)動(dòng)力學(xué)方程與某些PGM在時(shí)間過(guò)程中推理方程的相似性，來(lái)進(jìn)行推理[125,126,128,138–140]，該方法主要適用于小規(guī)模SNN；②利用神經(jīng)變分近似進(jìn)行推理，這適合直接描述大規(guī)模SNN的動(dòng)力學(xué)[53,56,141–148]；③利用概率群體編碼和一些符合神經(jīng)元特性的操作來(lái)進(jìn)行推理，包括求和、乘法、線(xiàn)性組合和歸一化[149–153]；④利用神經(jīng)元在時(shí)域上的特性來(lái)采樣推理，其中，噪聲（如實(shí)驗(yàn)觀(guān)察中發(fā)現(xiàn)的隨機(jī)神經(jīng)響應(yīng)[154,155]）是神經(jīng)采樣和推理的關(guān)鍵[156–160]。同樣，可以通過(guò)使用大量神經(jīng)元同時(shí)從分布中進(jìn)行采樣[153,161–163]，因?yàn)橐呀?jīng)發(fā)現(xiàn)大腦某些區(qū)域的神經(jīng)元群體狀態(tài)遵循特定的分布[164,165]。

上面的研究大多以抽象的方式，來(lái)模擬包括視覺(jué)皮層在內(nèi)的皮層神經(jīng)計(jì)算。我們認(rèn)為，可以將這些計(jì)算技術(shù)用于研究視網(wǎng)膜計(jì)算。圖5 [53,166,167]顯示了用于視網(wǎng)膜的一些示例，其中通過(guò)縫隙連接[圖5（a）]的感光細(xì)胞網(wǎng)絡(luò)，與MRF模型[圖5（b）]在網(wǎng)絡(luò)層面上具有相似性，可以由包含WTA微電路模塊的脈沖神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)MRF [圖5（b）]。如圖2所示，大量的縫隙連接讓視網(wǎng)膜神經(jīng)元之間形成循環(huán)連接。最近的一項(xiàng)研究表明，如圖5（c）所示，帶有縫隙連接的棒狀感光細(xì)胞網(wǎng)絡(luò)可以對(duì)圖像去噪，而附加CNN可以進(jìn)一步增強(qiáng)圖像的質(zhì)量。與其他傳統(tǒng)的CNN相比，這種包含感光細(xì)胞的CNN可以實(shí)現(xiàn)更好的降噪性能[166]。同樣，PGM已用于降噪圖像[168]。研究表明可以由SNN進(jìn)行PGM各種類(lèi)型的計(jì)算[53,163,169–172]，因此，如圖5（d）所示，當(dāng)使用SNN進(jìn)行去噪時(shí)，可以實(shí)現(xiàn)類(lèi)似的性能[167]。

PGM在視覺(jué)編碼方面得到了廣泛的研究和應(yīng)用，但主要用于對(duì)皮層神經(jīng)進(jìn)行建模[56]。在此，本文討論的這些結(jié)果表明，人們可以構(gòu)建一個(gè)系統(tǒng)框架中來(lái)研究視網(wǎng)膜中的視覺(jué)計(jì)算，這個(gè)框架包括經(jīng)典的PGM、特殊的包含縫隙連接的視網(wǎng)膜環(huán)路結(jié)構(gòu)，以及最近利用SNN在實(shí)現(xiàn)PGM算法方面的努力。對(duì)于深入此框架的未來(lái)工作，需要從視網(wǎng)膜豐富的網(wǎng)絡(luò)結(jié)構(gòu)中獲得更多啟發(fā)，其中包括循環(huán)神經(jīng)網(wǎng)絡(luò)、WTA網(wǎng)膜和前饋神經(jīng)網(wǎng)絡(luò)，以及皮質(zhì)微環(huán)路中其他普遍存在的模塊[37]。

6. 討論

圖5. 用視網(wǎng)膜感光細(xì)胞、PGM和脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)降噪計(jì)算。（a）縫隙連接形成的桿狀感光細(xì)胞網(wǎng)絡(luò)。（b）由WTA子單元形成的脈沖神經(jīng)元網(wǎng)絡(luò)，以及相應(yīng)的MRF表示圖。MRF的每個(gè)變量都由一個(gè)WTA網(wǎng)絡(luò)模塊表示。（c）可以通過(guò)感光細(xì)胞網(wǎng)絡(luò)對(duì)有噪圖像進(jìn)行消噪，然后通過(guò)CNN對(duì)其進(jìn)行增強(qiáng)。（d）有噪圖像可以通過(guò)循環(huán)脈沖神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)的MRF進(jìn)行噪點(diǎn)處理而無(wú)需增強(qiáng)。（a）和（c）引自文獻(xiàn)[166]，（b）引自文獻(xiàn)[53]，（d）引自文獻(xiàn)[167]。在（b）和（d）所示的MRF模型中，xi是由WTA表示的變量。

在精準(zhǔn)醫(yī)學(xué)的框架內(nèi)，神經(jīng)假體是很有前途的醫(yī)療設(shè)備。由于它們直接與每個(gè)患者的大腦進(jìn)行交互，因此發(fā)展神經(jīng)假體，除了更好的硬件設(shè)計(jì)之外，還需要更好的神經(jīng)元信號(hào)計(jì)算算法。提高視網(wǎng)膜神經(jīng)假體的計(jì)算能力，主要困難在于需要解決復(fù)雜的時(shí)空視覺(jué)場(chǎng)景。對(duì)于其他神經(jīng)假體，傳入的信號(hào)在低維空間，例如，手臂或腿在三維空間中的運(yùn)動(dòng)軌跡，或者在一維頻率空間中的聽(tīng)覺(jué)信號(hào)。然而視覺(jué)場(chǎng)景非常復(fù)雜，并且以時(shí)空方式包含信息。近年來(lái)，計(jì)算機(jī)視覺(jué)的發(fā)展使得對(duì)這些復(fù)雜自然場(chǎng)景的分析取得了突破，人工智能也因此達(dá)到前所未有的高度。

鑒于神經(jīng)科學(xué)領(lǐng)域取得的實(shí)驗(yàn)進(jìn)展，同時(shí)記錄大量的神經(jīng)元現(xiàn)在成為可能。特別是在視網(wǎng)膜上，當(dāng)視網(wǎng)膜施加控制良好的視覺(jué)場(chǎng)景刺激時(shí)，如圖像和視頻，數(shù)以百計(jì)的視網(wǎng)膜神經(jīng)節(jié)細(xì)胞產(chǎn)生的脈沖位序列可以被記錄下來(lái)[173]。最新的技術(shù)可以同時(shí)記錄數(shù)千個(gè)神經(jīng)元[174–176]。該技術(shù)通過(guò)使用足夠的脈沖來(lái)實(shí)現(xiàn)高分辨率，開(kāi)辟了研究視覺(jué)場(chǎng)景的編碼和解碼方法。

植入電極是目前最常見(jiàn)的視網(wǎng)膜神經(jīng)假體方法，并已在臨床中使用。但是，在這種視網(wǎng)膜假體中嵌入的計(jì)算模型非常有限[10,13,177]。將編碼器嵌入視網(wǎng)膜假體中，可以處理傳入的視覺(jué)場(chǎng)景，從而更好地激發(fā)神經(jīng)節(jié)細(xì)胞[10,13]。使用解碼模型的好處，是可以驗(yàn)證下游目標(biāo)神經(jīng)元產(chǎn)生的脈沖模式。理想情況下，電刺激應(yīng)該能夠獲得與假體中的視網(wǎng)膜神經(jīng)活動(dòng)的期望模式接近的結(jié)果。比較脈沖模式之間相似性，無(wú)論是一般神經(jīng)編碼研究[178,179]，還是針對(duì)視網(wǎng)膜假體[180]，傳統(tǒng)方法著重于如何計(jì)算兩個(gè)脈沖序列之間的距離。另一種方法是在神經(jīng)假體中使用解碼模型獲得更好的性能[10,100,181]。其他神經(jīng)假體可以使用閉環(huán)設(shè)備解碼神經(jīng)信號(hào)以控制刺激，因此，視網(wǎng)膜假體傳遞的信號(hào)應(yīng)該能夠重建原始刺激，即投射到視網(wǎng)膜上的動(dòng)態(tài)視覺(jué)場(chǎng)景，從而有可能使用解碼模型，從視網(wǎng)膜神經(jīng)節(jié)細(xì)胞產(chǎn)生的脈沖模式中重建這種視覺(jué)場(chǎng)景[10,100]。更好的且可調(diào)節(jié)的神經(jīng)假體，應(yīng)該使用解碼模型直接測(cè)量脈沖模式的精度，控制由視網(wǎng)膜神經(jīng)假體產(chǎn)生的電刺激模式。

在本文中，我們僅重點(diǎn)討論了嵌入式電極的視網(wǎng)膜神經(jīng)假體的計(jì)算模型問(wèn)題。當(dāng)然，作為工程系統(tǒng)的視網(wǎng)膜神經(jīng)假體，仍然存在許多并存的難題，例如，對(duì)高級(jí)材料的需求、電源設(shè)計(jì)、通信效率以及其他相關(guān)的硬件問(wèn)題；這些問(wèn)題已在許多很好的綜述中都有涉及[13,15,16,18]。應(yīng)當(dāng)注意的是，還存在其他不同類(lèi)型的視覺(jué)植入設(shè)備，包括光遺傳學(xué)和化學(xué)光控開(kāi)關(guān)的視網(wǎng)膜刺激植入設(shè)備，以及在視網(wǎng)膜以外的大腦其他視覺(jué)部位的植入設(shè)備。本文提出的計(jì)算問(wèn)題也與這些視覺(jué)假體有關(guān)。除人工視覺(jué)植入設(shè)備外，另一研究方向是通過(guò)對(duì)干細(xì)胞的生物操作，如誘導(dǎo)性多能干細(xì)胞，對(duì)視網(wǎng)膜進(jìn)行修復(fù)[182–184]。對(duì)于這些情況，更為相關(guān)的是了解生物神經(jīng)元和神經(jīng)環(huán)路的編碼視覺(jué)場(chǎng)景的計(jì)算機(jī)制。人們可能需要付出更多的努力，才能將視網(wǎng)膜中發(fā)現(xiàn)的生物學(xué)原理納入潛在解碼模型中[34]。

鑒于實(shí)驗(yàn)神經(jīng)科學(xué)和假體工程技術(shù)的這些進(jìn)步，現(xiàn)在是時(shí)候通過(guò)使用視網(wǎng)膜脈沖數(shù)據(jù)和基于ANN的模型來(lái)提高我們對(duì)視覺(jué)計(jì)算的理解，從而獲得更好的計(jì)算算法來(lái)提高視網(wǎng)膜神經(jīng)假體的性能。在本文中，我們回顧了用于視覺(jué)計(jì)算的新型人工智能模型方面取得的一些最新進(jìn)展?；谔卣鞯慕７椒?，如深層CNN，在分析復(fù)雜的視覺(jué)場(chǎng)景方面取得了顯著進(jìn)展。對(duì)于某些特定的視覺(jué)任務(wù)，這些模型可以勝過(guò)人類(lèi)[39]。然而，對(duì)于訓(xùn)練好的模型，不同任務(wù)之間的轉(zhuǎn)換效率、泛化能力以及適應(yīng)或轉(zhuǎn)移學(xué)習(xí)的水平，仍遠(yuǎn)低于人類(lèi)的表現(xiàn)水平[55]。利用神經(jīng)元脈沖進(jìn)行采樣建模已成為一種新方法[57]，它可以更好地利用大腦神經(jīng)系統(tǒng)中的多種特性，如單個(gè)神經(jīng)元和突觸水平的噪聲[52,157,160]。采樣模型具有利用像素表示視覺(jué)場(chǎng)景的優(yōu)點(diǎn)，可以方便地用于各種類(lèi)型的視覺(jué)計(jì)算[168]，但是，采樣模型中使用的學(xué)習(xí)算法的效率仍然遠(yuǎn)遠(yuǎn)低于大腦神經(jīng)系統(tǒng)的靈活性[185]。因此，將這兩種方法結(jié)合，同時(shí)利用特征和采樣的優(yōu)點(diǎn)，進(jìn)行視覺(jué)計(jì)算。為此，需要將視網(wǎng)膜視為一個(gè)混合神經(jīng)網(wǎng)絡(luò)，在這個(gè)神經(jīng)網(wǎng)絡(luò)中，視覺(jué)計(jì)算可以由不同的功能網(wǎng)絡(luò)模塊來(lái)完成。需要做更多的進(jìn)一步工作，來(lái)將各種網(wǎng)絡(luò)模塊組合成一個(gè)混合網(wǎng)絡(luò)，然后利用這個(gè)混合網(wǎng)絡(luò)提取、處理和計(jì)算不同的視覺(jué)信息。這樣的混合合作或超網(wǎng)絡(luò)只是最近才被開(kāi)始研究；特別是WTA網(wǎng)絡(luò)可以作為一個(gè)更復(fù)雜的超環(huán)路網(wǎng)絡(luò)模型中的功能模塊，用于各種類(lèi)型的計(jì)算[52,53,110,186]。我們認(rèn)為，該研究方向上將會(huì)有更多的研究值得開(kāi)展。

本文所描述的建?？蚣?，并不局限于視網(wǎng)膜上的應(yīng)用；它也可以應(yīng)用于大腦中的其他視覺(jué)系統(tǒng)，以及其他人工視覺(jué)系統(tǒng)。這些算法的主要特點(diǎn)是利用了神經(jīng)元脈沖。人工智能計(jì)算的最新進(jìn)展之一，是設(shè)計(jì)下一代神經(jīng)形態(tài)芯片和設(shè)備，這其中的數(shù)據(jù)格式是脈沖或事件[187–191]。因此，這些算法也可以應(yīng)用于帶有脈沖或事件信號(hào)的神經(jīng)形態(tài)視覺(jué)相機(jī)。這些視網(wǎng)膜計(jì)算模型可用于模擬一系列脈沖，以便對(duì)任何給定的視覺(jué)場(chǎng)景進(jìn)行編碼和解碼，包括靜態(tài)自然圖像、動(dòng)態(tài)視頻，甚至是由基于圖像幀的標(biāo)準(zhǔn)相機(jī)捕獲的實(shí)時(shí)視頻[105]。將神經(jīng)形態(tài)硬件與事件/脈沖計(jì)算算法相結(jié)合，這種思路并不僅僅局限于視網(wǎng)膜神經(jīng)假體，也可以為下一代計(jì)算視覺(jué)開(kāi)發(fā)出一種更好的人工視覺(jué)系統(tǒng)，因此，我們認(rèn)為，人工智能、計(jì)算機(jī)視覺(jué)、神經(jīng)形態(tài)計(jì)算、神經(jīng)科學(xué)、生物工程和醫(yī)學(xué)之間的相互交叉，可以增進(jìn)對(duì)大腦的理解，促進(jìn)開(kāi)發(fā)下一代視網(wǎng)膜神經(jīng)假體等這類(lèi)人工視覺(jué)系統(tǒng)。這里討論的人工眼的視覺(jué)計(jì)算算法，包括編碼和解碼視覺(jué)場(chǎng)景的模型，對(duì)于這種多科學(xué)交叉的系統(tǒng)方法將尤其重要。

致謝

本工作得到了中國(guó)國(guó)家基礎(chǔ)研究計(jì)劃（2015CB351806）、 國(guó) 家 自 然 科 學(xué) 基 金（61806011、61825101、61425025和U1611461）、 國(guó) 家 博 士 后創(chuàng)新計(jì)劃（BX20180005）、中國(guó)博士后科學(xué)基金（2018M630036）、北京市科學(xué)技術(shù)委員會(huì)國(guó)際人才交流計(jì)劃（Z181100001018026）、之江實(shí)驗(yàn)室（2019KC0AB03和2019KC0AD02）和英國(guó)皇家學(xué)會(huì)牛頓高級(jí)研究學(xué)者基金（NAF-R1-191082）的支持。

Compliance with ethics guidelines

Zhaofei Yu, Jian K. Liu, Shanshan Jia, Yichen Zhang,Yajing Zheng, Yonghong Tian, and Tiejun Huang declare that they have no conflict of interest or financial conflicts to disclose.