張賢坤，陶健偉，董 梅，袁 菁

(天津科技大學人工智能學院，天津 300457)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在目標檢測和圖片分類領(lǐng)域中取得了巨大成功，廣泛應(yīng)用于計算機視覺領(lǐng)域[1-4].CNN可以通過最大池化和一系列卷積操作簡化計算，將低維的具體特征組合成高維的抽象特征，逐步增強每層神經(jīng)元的感受野，提高模型的特征提取能力.但是，CNN的池化操作會損失局部區(qū)域內(nèi)一些重要的屬性信息(如紋理和位置等)，因此無法高效地建立特征間的空間位置關(guān)系.當改變特征的位置信息時，網(wǎng)絡(luò)的識別能力就會變差，無法從根本上解決特征間的空間位置關(guān)系.

為了解決上述問題，Hinton等[5]提出膠囊的概念.相較于傳統(tǒng)的CNN都是用標量神經(jīng)元表示特征，膠囊則采用向量形式表示圖片中的實體特征，因此也被稱為膠囊向量，用以對特征屬性例如紋理、色彩、速度、位置等進行封裝和編碼.膠囊向量涵蓋眾多屬性信息，且具有大小和方向，這使膠囊網(wǎng)絡(luò)能夠擬合復(fù)雜的數(shù)據(jù)特征.在路由過程中，低級膠囊將其輸出結(jié)果發(fā)送至對該輸出結(jié)果表示認同的高級膠囊， 并通過迭代機制更新自身狀態(tài)，這使膠囊能更好地保存并更新特征的位置與屬性信息.膠囊網(wǎng)絡(luò)建立了特征間的位置關(guān)系，這一特性使它在小型數(shù)據(jù)集上對于目標位置和角度的變化比具有相似結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)更具有魯棒性.

Sabour等[6]在2017年提出了一種基于膠囊向量和動態(tài)路由算法的膠囊網(wǎng)絡(luò)(dynamic routing capsule network，DR-CapsNet).該網(wǎng)絡(luò)包含2層卷積層和1層全連接層，其中第1層卷積層使用卷積操作對輸入圖像進行特征提取，第2層卷積層(初始膠囊層)將特征圖編碼成固定維度的膠囊向量，而全連接層輸出高級膠囊用以分類圖片.動態(tài)路由算法嵌入在初始膠囊層和全連接層之間，將低級膠囊由姿態(tài)矩陣所獲取的輸出送入對輸出結(jié)果表示確定的高級膠囊，但路由算法有復(fù)雜的迭代機制，當輸入空間維度較大時，模型會面臨巨大的計算負擔.為了解決這個問題，Hinton等[7]提出了最大期望(expectation-maximization，EM)算法，用膠囊矩陣代替膠囊向量，且在路由階段交替使用步驟E和步驟M更新高級膠囊的狀態(tài)，使膠囊網(wǎng)絡(luò)的泛化性和魯棒性更強，但隨之導致模型的復(fù)雜度高、參數(shù)量大.Choi等[8]用一種注意力機制取代動態(tài)路由算法和最大期望算法中路由系數(shù)的更新過程，在減少模型參數(shù)量和復(fù)雜度的同時，能夠顯著提升模型的分類準確率和魯棒性能.

上述工作中，大多數(shù)僅對膠囊層的結(jié)構(gòu)或者路由機制進行優(yōu)化，而本研究關(guān)注的是初始膠囊層的膠囊生成階段，以獲取多尺度的屬性特征，從而提升膠囊對于圖片特征的提取能力.研究[9-11]表明，多尺度特征提取作為一種即插即用的特征重構(gòu)模塊，已廣泛應(yīng)用于各類視覺任務(wù)和自然語言處理任務(wù)中.多尺度特征提取模塊可代替一般的卷積模塊和單尺度特征模塊，作為網(wǎng)絡(luò)模型的一種基本架構(gòu)[3,12]，為特征提取和重構(gòu)提供了一種多尺度、多層次的選擇.Szegedy等[13]通過實驗表明，多尺度特征提取模塊能夠?qū)⑻崛〉降牟煌叨鹊奶卣餍畔⑦M行融合，使模型在分類準確率上優(yōu)于單尺度特征模塊.

在自路由膠囊網(wǎng)絡(luò)[14](self-routing capsule network，SR-CapsNet)的基礎(chǔ)上，本文提出了多尺度自路由膠囊網(wǎng)絡(luò)(multi-scale self-routing capsule network，MSSR-CapsNet)，充分利用多尺度特征模塊強大的特征重構(gòu)能力和自路由膠囊網(wǎng)絡(luò)的自路由機制.多尺度特征提取模塊有助于捕獲圖片中不同尺度的特征變化，而自路由算法能以極少的計算成本和模型參數(shù)路由不同尺度的低級膠囊，兩者結(jié)合實現(xiàn)特征提取和重構(gòu)，從而提升模型的分類準確率和魯棒性.在SVHH、CIFAR-10和CIFAR-100數(shù)據(jù)集上進行實驗，與其他膠囊網(wǎng)絡(luò)相比，MSSR-CapsNet在性能上有明顯提升，達到了較高的分類準確率.

1 自路由膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)作為CNN的一種變體，克服了CNN不具備旋轉(zhuǎn)不變性的缺陷.當輸入特征的空間位置發(fā)生變化時，膠囊網(wǎng)絡(luò)能利用姿態(tài)矩陣編碼低層特征和高層特征間的位置關(guān)系和其他屬性關(guān)系，使模型對于仿射變化和對抗攻擊更具有魯棒性[15].但是，膠囊網(wǎng)絡(luò)也存在以下不足：首先該網(wǎng)絡(luò)僅包含2層卷積層和1層全連接層，難以提取復(fù)雜的圖像特征[16]；其次在路由階段[6-7]需執(zhí)行復(fù)雜的迭代機制，其計算開銷遠大于卷積神經(jīng)網(wǎng)絡(luò).為了進一步提升膠囊網(wǎng)絡(luò)的性能，通常采用以下改進策略：第一，提升初始膠囊層對特征的建模能力，又稱優(yōu)化膠囊法；第二，改進路由算法，減少網(wǎng)絡(luò)參數(shù)，即優(yōu)化路由法.優(yōu)化膠囊法的目的是提取對任務(wù)更有利的膠囊，通過改進膠囊網(wǎng)絡(luò)，使其更適用于某項學習任務(wù).其作用主要為減少動態(tài)路由算法的計算負擔，針對特定任務(wù)提升模型的性能.優(yōu)化路由法主要是為了能夠減少模型的參數(shù)量，通過數(shù)學方法改進動態(tài)路由算法，可能會使局部模型的性能降低，但是影響相對較小.

SR-CapsNet[14]改進了路由系數(shù)的生成策略，提出了一種有監(jiān)督、非迭代的自路由(self-routing，SR)算法，與其他膠囊網(wǎng)絡(luò)相比[6-7]，計算效率和分類準確率更高.如圖1所示，在SR-CapsNet中，每個L層膠囊無需利用迭代機制協(xié)調(diào)自身和L＋1層膠囊間的連接概率，巧妙地引入了一個可訓練的路由權(quán)重矩陣Wroute與對應(yīng)的膠囊ui相乘作為L層膠囊i連接到 L＋1層膠囊j的概率.

圖1 自路由算法 Fig.1 Self-routing algorithm

其中：iu為L層膠囊，softmax為非線性激活函數(shù).

對初始特征圖iU進行標量化，即采用reshape操作獲取激活標量ia，ia反映了L層膠囊的激活概率值；然后將連接概率和L層膠囊的激活標量ia相乘用于產(chǎn)生L＋1層膠囊激活標量ja，進而更新 L＋1層膠囊.

其中：Ωl為L層膠囊數(shù)量，最后進入L＋1層膠囊生成環(huán)節(jié).首先引入了一個可訓練的姿態(tài)權(quán)重矩陣Wpose與L層膠囊ui相乘作為L＋1層的預(yù)測膠囊ui|j，然后將預(yù)測膠囊 ui|j與激活標量 aj作用，進而更新L＋1層膠囊.

自路由膠囊網(wǎng)絡(luò)去除了路由算法過程中復(fù)雜的迭代機制，僅利用一個可學習路由權(quán)重矩陣編碼低級特征和高級特征的空間和屬性關(guān)系，在提高膠囊網(wǎng)絡(luò)性能的同時，能顯著降低模型的參數(shù)量和計算量，但存在以下缺陷：

(1)如圖1所示，SR-CapsNet采用的是單分支膠 囊結(jié)構(gòu)，對于圖片中實體特征的提取能力不夠，難以捕獲多尺度特征變化.

(2)圖1中僅通過1層自路由算法難以很好地編碼低級特征和高級特征間的信息轉(zhuǎn)換.這是因為圖像的特征往往復(fù)雜而又多級，例如特征由低到高分別是線條、嘴巴、人臉，且高級特征需要多方面融合不同位置和屬性的低級特征以更新自身的狀態(tài).

2 自路由膠囊網(wǎng)絡(luò)的改進與優(yōu)化

多尺度自路由(multi-scale self-routing，MSSR)算法的整體結(jié)構(gòu)如圖2所示，針對SR算法的不足進行了如下改進：

圖2 多尺度自路由算法的整體結(jié)構(gòu) Fig.2 Overview structure of MSSR algorithm

(1)采用多分支膠囊結(jié)構(gòu)，在不同膠囊分支上生成不同維度的膠囊向量表征實體信息.較之SRCapsNet采用的單分支膠囊結(jié)構(gòu)而言，增強了模型的特征提取能力，有利于路由算法生成多尺度路由信息.

(2)在模型融合階段，采用膠囊注意力機制獲取全局和局部的路由特征，用以高效融合不同膠囊分支所產(chǎn)生的路由系數(shù).該膠囊注意力具有可以針對每個膠囊分支的路由系數(shù)自適應(yīng)分配權(quán)重的優(yōu)勢，能夠產(chǎn)生更精確的連接概率.

2.1 多尺度自路由膠囊網(wǎng)絡(luò)

文獻[14]提出的架構(gòu)在SVHN和CIFAR-10數(shù)據(jù)集上的表現(xiàn)結(jié)果尚可，但在CIFAR-100這種包含復(fù)雜特征和對象的數(shù)據(jù)集上獲取的分類準確率則低于預(yù)期.這是因為SVHN和CIFAR-10數(shù)據(jù)集本身就是輕量級數(shù)據(jù)集，包含的類別數(shù)和特征并不復(fù)雜，模型能夠很容易地提取出邊緣和紋理特征用于圖片分類，而CIFAR-100數(shù)據(jù)集涵蓋的特征較為復(fù)雜，對模型提出了進一步要求，需要對特征進行高層次理解和多尺度建模.因此，本課題組提出一種新型的多尺度膠囊網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示，從左到右分別為特征映射層、多分支膠囊層、高級膠囊層.

圖3 多尺度自路由膠囊網(wǎng)絡(luò)的結(jié)構(gòu) Fig.3 Structure of MSSR-CapsNet

MSSR-CapsNet將初始膠囊層改為多分支膠囊層，在每個膠囊分支上生成具有不同膠囊維度的膠囊向量.經(jīng)過特征映射層和多尺度膠囊層對原始圖片進行特征提取和膠囊生成，并通過擠壓函數(shù)(squash function)對每個向量神經(jīng)元進行方向不變的尺度壓縮，使向量模長被壓縮到0～1，用于表示該向量神經(jīng)元被激活的概率.在每個膠囊分支上，通過自路由算法，由低級膠囊通過路由權(quán)重矩陣routeW 對高級膠囊進行位置預(yù)測，最后通過膠囊注意力機制高效融合不同分支的預(yù)測結(jié)果，選擇性地激活高級膠囊.

以CIFAR-10數(shù)據(jù)集為例，模型的前饋傳遞過程如下：圖片的大小為32像素×32像素，首先經(jīng)過特征映射層的線性和非線性變換提取出512張4像 素×4像素大小的初始特征圖U.然后多分支膠囊層對這些初始特征圖進行向量化處理，即每個膠囊分支(在本文中默認的膠囊分支數(shù)為4)采用不同大小的512組卷積核.前3個膠囊分支每組卷積核中分別包含1×1、3×3和5×5大小的卷積核，對特征圖以步長為1和填充為0、1、2進行深度卷積.最后一個分支上每組中包含3×3和5×5大小的卷積核代替7×7大小的卷積核，用來對特征圖進行深度卷積，之后所有膠囊分支都采用1×1大小的卷積核在特征圖通道層面上進行點卷積.最后采用ReLU激活函數(shù)，得到不同尺度的底層特征，即為1×16、1×32、1×64和1×128大小的膠囊，具體結(jié)構(gòu)如圖4所示.

圖4 多分支膠囊示意圖 Fig.4 Schematic diagram of multiply branches capsule

其中：ai為L層膠囊的激活標量，uj為L＋1層膠囊.

2.2 膠囊注意力機制

本文提出一種新穎的膠囊注意力機制，用以控制路由系數(shù)間的信息流動.動態(tài)調(diào)整每個膠囊的路由系數(shù)值，為每個路由系數(shù)自適應(yīng)分配權(quán)重，用以突出重要的低級特征，而忽略無關(guān)或影響程度較小的低級 特征.

其中：C為融合后總的路由系數(shù).

接下來進入膠囊注意力環(huán)節(jié)，沿著高級膠囊維度N對C進行全局平均池化操作，收集后計算全局路由信息統(tǒng)計值(S).具體來說，S中第m個元素值的計算是通過在高級膠囊維度N上對C進行壓縮操作.

其中：Sm為路由信息統(tǒng)計值.

其中?表示ReLU激活函數(shù).在獲得全局路由信息統(tǒng)計值W和局部路由信息統(tǒng)計值Z的基礎(chǔ)上，膠囊注意力機制的最終輸出為

其中： ()MC表示膠囊注意力機制產(chǎn)生的膠囊注意力權(quán)重，⊕表示逐元素相加(element-wise summation)，?表示逐元素相乘(element-wise product).

3 實驗評估

3.1 實驗設(shè)置

3.1.1 數(shù)據(jù)集

腕表表殼采用玫瑰金材質(zhì)打造，呈現(xiàn)出類似蛇頭造型。蛇頭兩側(cè)輪廓鑲嵌38顆鉆石，而表冠裝飾一顆凸形蛋面切割粉紅碧璽。帶有精細璣鏤紋飾的黑色蛋白石表盤配以玫瑰金時標，傳遞優(yōu)雅氣韻。

在實驗中采用SVHN數(shù)據(jù)集、CIFAR-10數(shù)據(jù)集和CIFAR-100數(shù)據(jù)集(圖5).

圖5 數(shù)據(jù)集展示 Fig.5 Overview of datasets

SVHN數(shù)據(jù)集中的圖片為街景門牌號數(shù)字0～9，其風格與MINST數(shù)據(jù)集相似.圖片的裁剪尺度都很小，卻包含了更復(fù)雜的背景特征，每張圖片的大小為32像素×32像素，共有99289張圖片，其中73257張圖片為訓練集，26032張圖片為測試集.CIFAR-10數(shù)據(jù)集是色彩豐富的自然圖片，由10個不同類別的物體構(gòu)成，總共有60000張圖片，其中50000張圖片為訓練集，而剩余的10000張為測試集.訓練集中每個類別涵蓋的圖片數(shù)量相同，均為6000張，圖片大小均為32像素×32像素，該數(shù)據(jù)集包含的特征較為復(fù)雜，分類難度更大.CIFAR-100數(shù)據(jù)集較之CIFAR-10數(shù)據(jù)集而言，包含的類別數(shù)更多，由100個不同種類的物體構(gòu)成，總共有60000張三通道的彩色圖片，其中50000張圖片為訓練集，10000張圖片為測試集，且每個類別的圖片都被劃分為500張訓練圖片和100張測試圖片，圖片大小均為32像素×32像素.CIFAR-100數(shù)據(jù)集中的100個類分別分為20個超類，每個圖片都帶有一個自身標簽和一個超類標簽.該數(shù)據(jù)集包含的特征更為復(fù)雜，分類難度更大.

3.1.2 數(shù)據(jù)增強

SR-CapsNet已經(jīng)在SVHN數(shù)據(jù)集上取得了優(yōu)異的性能表現(xiàn)，但是在CIFAR-10和CIFAR-100這些較為復(fù)雜的數(shù)據(jù)集下，并未取得較好的分類準確率.為了提高模型的分類準確率和泛化能力，本文采取了一些數(shù)據(jù)增強方法，比如隨機裁剪、隨機水平翻轉(zhuǎn)和歸一化.

3.1.3 評價指標

為了精確衡量MSSR-CapsNet的分類準確率，采用準確率作為評價指標.

其中：TP代表分類正確的樣本數(shù)，F(xiàn)P代表分類錯誤的樣本數(shù).

3.1.4 訓練部署及訓練策略

實驗環(huán)境是基于Ubuntu16.04系統(tǒng)，所使用的硬件環(huán)境：NVIDIA GeForc RTX3080 10GB顯卡，1TB內(nèi)存(RAM)，Intel Xeon E5-2650 v3處理器.使用PyTorch深度學習框架對MSSR-CapsNet進行構(gòu)建和測試.在訓練期間，將batch size設(shè)置為64，優(yōu)化器采用Adam，使用余弦退火算法在訓練期間不斷調(diào)整學習率，初始學習率為0.1，截止學習率為0.001，每訓練100個epoch將學習率降低為原來的0.1，訓練350個epoch.

3.2 實驗結(jié)果

3.2.1 數(shù)據(jù)集測試結(jié)果

從分類結(jié)果和準確率這兩個方面衡量模型的性能表現(xiàn)，統(tǒng)計MSSR-CapsNet在不同數(shù)據(jù)集上的分類結(jié)果和準確率.不同膠囊網(wǎng)絡(luò)的分類結(jié)果對比見表1.由表1可知：MSSR-CapsNet在SVHN數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集上已經(jīng)取得了優(yōu)異的性能表現(xiàn)，測試準確率均高于90%；在最為復(fù)雜的CIFAR-100數(shù)據(jù)集上的測試準確率也達到了63.84%，在同層次下已達到較高水準.

表1 不同膠囊網(wǎng)絡(luò)的分類結(jié)果對比 Tab.1 Comparison of classification results of different CapsNets

實驗證明MSSR-CapsNet能捕獲圖片中不同尺度的特征信息，并且可以選擇性地篩選出重要的低級特征，即使針對最復(fù)雜的CIFAR-100數(shù)據(jù)集，模型也能進行有效的特征提取和噪聲過濾.因此，MSSRCapsNet可以在SVHN、CIFAR-10和CIFAR-100數(shù)據(jù)集上得到很好的分類準確率.

3.2.2 消融實驗

為了驗證MSSR-CapsNet模型的優(yōu)勢，對多分支膠囊結(jié)構(gòu)、膠囊注意力機制和兩者相融的情況進行相關(guān)實驗.將不同結(jié)構(gòu)的多分支膠囊網(wǎng)絡(luò)嵌入膠囊網(wǎng)絡(luò)的膠囊生成階段進行實驗，結(jié)果見表2.以多分支膠囊結(jié)構(gòu)為基本單元構(gòu)建多分支膠囊網(wǎng)絡(luò)，當膠囊分支數(shù)(branches)為0～4時，通過增加膠囊分支的數(shù)量可以使模型有更好的特征提取能力，增強對數(shù)據(jù)的表征；當膠囊分支數(shù)增加到5時，隨著模型參數(shù)的增加開始出現(xiàn)過擬合現(xiàn)象，導致分類準確率下降.考慮到膠囊注意力機制會選擇性地篩選出重要的路由信息而忽略無關(guān)的路由信息，降低模型參數(shù)冗余的同時提升分類準確率，所以在模型中加入了注意力操作(Attention).因此，最終確定多分支自路由膠囊網(wǎng)絡(luò)結(jié)構(gòu)為4分支膠囊數(shù)加1次膠囊注意力操作.

表2 不同分支結(jié)構(gòu)的膠囊網(wǎng)絡(luò)對比結(jié)果 Tab.2 Comparison results of capsule network with different branches

為了驗證多分支膠囊網(wǎng)絡(luò)和膠囊注意力的有效性，進行了消融實驗(表3).

表3 網(wǎng)絡(luò)結(jié)構(gòu)消融實驗結(jié)果 Tab.3 Experiment results of network structure ablation

由表3可知：將膠囊注意力機制應(yīng)用于路由系數(shù)的融合階段，可以提供精確的位置預(yù)測，提高模型的分類準確率；對膠囊進行多尺度表示能有效捕獲不同尺度的實體特征，并提升模型的性能.

3.2.3 超參數(shù)選取實驗

考慮到超參數(shù)D為全連接層之間的縮放維度，若選取過大會使模型參數(shù)劇增，增加計算負擔，因此以奇數(shù)序列的方式依次遞增D值.超參數(shù)R為低級膠囊縮放因子，模型參數(shù)量與該值成反比，且膠囊維度的初始值為16，因此本文選取16為初始值可以兼容維度變化，然后以2的倍率依次增加R值，以此探索最佳R和D的取值，消融實驗結(jié)果如圖6所示.

圖6 消融實驗對比 Fig.6 Comparison of ablation experiments

當D增加到5時，隨著模型參數(shù)的增加，各膠囊分支間的信息交互變得冗余，導致準確率下降.當R增加到64時，隨著模型參數(shù)的減少導致膠囊注意力機制難以編碼重要的特征信息，導致準確率下降.因此，超參數(shù)D和R分別取5和32，模型將取得最佳分類準確率.

3.2.4 訓練結(jié)果對比

膠囊網(wǎng)絡(luò)中的經(jīng)典方法分別為DR-CapsNet[6]和 EM-CapsNet[7]，因此本文方法先與其進行對比，然后與目前最新的膠囊網(wǎng)絡(luò)SR-CapsNet[14]、Deeper-CapsNet(deeper capsule network)[20]和 Efficient-CapsNet(efficient capsule network)[15]在不同數(shù)據(jù)集上進行對比，不同路由方法的分類準確率、參數(shù)量和每秒所執(zhí)行的浮點運算次數(shù)(floating-point operations per second，F(xiàn)LOPs)見表4.

表4 不同路由方法的分類準確率和參數(shù)量 Tab.4 Classification accuracy and parameter amount of different routing methods

MSSR-CapsNet在SVHN數(shù)據(jù)集上的分類準確率與上述其他方法幾乎持平，但是在較為復(fù)雜的CIFAR-10和CIFAR-100數(shù)據(jù)集上優(yōu)于其他方法，尤其是在CIFAR-100數(shù)據(jù)集上，比傳統(tǒng)的SR-CapsNet提高了3.64%.在模型參數(shù)和計算量上，MSSRCapsNet引入了多分支膠囊結(jié)構(gòu)和注意力機制，導致模型參數(shù)量和計算量有了輕微提升，但與準確率提升的幅度相比，參數(shù)量可以忽略不計.這說明引入多分支膠囊結(jié)構(gòu)和膠囊注意力機制所形成的多尺度特征融合能切實提升膠囊網(wǎng)絡(luò)應(yīng)對復(fù)雜數(shù)據(jù)集的能力.

4 結(jié) 語

在SR-CapsNet的基礎(chǔ)上，提出一種新的多分支膠囊網(wǎng)絡(luò)MSSR-CapsNet.該網(wǎng)絡(luò)融合了對全局和局部路由信息提取能力更強的膠囊注意力機制，在融合不同尺度路由信息時，能夠選擇性地突出重要的特征信息而忽略無關(guān)的特征信息.在多分支膠囊網(wǎng)絡(luò)中，每個分支的膠囊維數(shù)都是可變的，能高效建模不同尺度的特征變化，提高模型的特征提取能力.為了驗證MSSR-CapsNet的性能表現(xiàn)，分別在SVHN數(shù)據(jù)集、CIFAR-10數(shù)據(jù)集和CIFAR-100數(shù)據(jù)集上進行實驗，與傳統(tǒng)的膠囊網(wǎng)絡(luò)相比，模型的準確率分別達到了97.46%、91.22%和63.84%，顯著提高了模型在CIFAR-100這種復(fù)雜數(shù)據(jù)集上分類能力.但是，目前模型采用的膠囊注意力機制在融合上還不是十分完美，會有細節(jié)上的誤差，分類精度還有提升空間，在未來的工作中將會對現(xiàn)有的網(wǎng)絡(luò)進行進一步改進，爭取更好的性能提升.