李振亮，李波

（1.西安交通大學 電子與信息學部，西安 710049；2.西安交通大學 計算機教學實驗中心，西安 710049）

0 引言

卷積神經網絡（Convolutional Neural Network，CNN）因在特征提取上的出色能力，在圖像分類［1-4］、目標檢測［5-6］、目標跟蹤［7］、語義分割［8］等計算機視覺領域得到廣泛使用。大量研究致力于通過堆疊卷積層和全連接層以提升模型對復雜數據的擬合能力，從而提高模型在不同任務上的性能。如Krizhevsky等［1］在2012 年提出 了AlexNet，并在同年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）競賽［9］上奪得冠軍，之后陸續(xù)有研究者提出了VGG（Visual Geometry Group）［2］、殘差網絡（Residual Network，ResNet）［3］、MobileNets［4］等眾多優(yōu)秀的卷積神經網絡模型。

本文對卷積核參數張量進行矩陣分解，變相增加訓練期間卷積神經網絡的線性層深度，改善梯度下降的優(yōu)化過程，在訓練完成后將額外的線性參數收縮至卷積核內，形成“過參數化（overparameterization）”。本文中的“過參數化”并不是指網絡模型的參數量相對于訓練所用數據集來說顯得過多［10］，而是表示一種在神經網絡中連續(xù)的線性層可以被各種方法收縮為較少參數的線性層的現(xiàn)象［11］。

用簡化QR分解（QR decomposition）［12］和奇異 值分解（Singular Value Decomposition，SVD）［13］的分解策略對多個常見的卷積神經網絡模型進行改進實驗，實驗結果表明，本文提出的改進方法可以在基本不增加推理計算開銷的情況下提升模型的分類性能。

1 相關工作

在卷積算法被應用到眾多計算機視覺任務的同時，也出現(xiàn)了很多對卷積結構本身的改進策略，常見的改進策略有如下幾個方向。

1）多分支的卷積網絡結構。卷積按照固定的滑動窗口進行特征提取時，難以匹配不同尺度的圖像，而且過深的網絡容易丟失一些特征信息，因此加入多分支的結構對不同時間和大小的圖像特征進行融合。文獻［14］中引入了基于門機制的變換門（transform gate）和進位門（carry gate）分支，讓數百層的深層網絡也可以用隨機梯度和各種激活函數直接進行訓練，后來的ResNet［3］同樣采用了這一思想，用殘差連接解決深層網絡導致的梯度消失和梯度爆炸等問題。文獻［15］中提出了一種多分支卷積模塊，模塊的不同分支采用不同大小的卷積核，將多種感受野提取出的特征拼接融合，增加網絡對不同尺度的適應性；同時為了降低多分支結構帶來的額外計算量，在分支結構中加入了1×1 卷積層進行特征降維。

2）深度卷積、分組卷積等構成的輕量化結構。卷積計算在通道和空間維度上存在一定的冗余計算，因此將標準卷積替換為不同形式的稀疏連接的卷積變體，可以在幾乎不損失精度的情況下降低計算開銷和參數量。AlexNet［1］最早采用分組卷積以便于將模型用于更多的圖形處理器（Graphics Processing Unit，GPU），分組卷積的計算量和參數量也會隨分組數量的減少等比減少；ShuffleNet［16］用逐點卷積降低計算量，然后用通道混洗操作保證不同組特征之間的信息交流；MobileNets［4］采用由深度卷積、逐點卷積組成的深度可分離卷積構建網絡，并引入兩個超參數直接控制分辨率和網絡的寬度，根據具體任務在分類精度和模型大小之間尋找平衡。

3）動態(tài)卷積網絡結構。神經元科學界的研究發(fā)現(xiàn)，視覺皮層神經元的感受野大小可以通過刺激進行調節(jié)，而標準卷積計算采用的固定感受野難以表達這種關系，因此有研究致力于通過動態(tài)的卷積結構提供更大的自由度。文獻［17］中提出了一種沒有固定形狀感受野的卷積單元，給每個突觸單元增加兩個表示水平移動和垂直移動的變量，用插值法獲取對應位置的像素值，使網絡在訓練時可以自主學習和改變卷積核的形狀，為卷積結構提供了更大的自由度；文獻［18］中設計了一個稱為Selective Kernel unit 的卷積模塊，提供具有不同卷積核大小的多個分支，使用Softmax 注意力機制讓網絡學習不同分支的選擇權重，并根據選擇權重動態(tài)調整卷積的整體感受野。

本文提出的改進方法將卷積核參數進行矩陣分解形成過參數化，以改善神經網絡梯度下降的優(yōu)化過程。過參數化的近期研究主要探索了線性網絡模型中的過參數化對優(yōu)化過程的影響。文獻［11］中證明了在線性網絡中，過參數化與動量和自適應學習率的加速效果是類似的，過參數化策略增加的線性參數提供了一種預處理模式，促進反向傳播沿之前已經采取的方向運動，可被視為加速的一種形式；文獻［19］中研究了過參數化的兩層線性模型中梯度流的隱式加速問題，證明了過參數化的收斂速度與數據矩陣的特征值相關，且不平衡的初始化能夠獲得更高的加速度。

另外，文獻［20］中將深度卷積和標準卷積組合到了單個卷積層中構成過參數化，并通過實驗證明了僅用這種過參數化的卷積替換標準卷積，就可以提高模型在眾多計算機視覺任務上的性能。本文則更進一步探索了卷積層的過參數化方法，將單次卷積計算表達為全連接層，采用全連接網絡通過增加參數矩陣以疊加線性層的方法，對卷積核參數直接用矩陣分解的方式得到多個相乘的參數矩陣，以便更加靈活地進行線性參數的擴增。

2 卷積核參數的矩陣分解

圖1 展示了標準卷積層中的單次卷積操作。設輸入特征圖的通道數為c，每張?zhí)卣鲌D上滑動窗口區(qū)域在空間維度上的長和寬分別為e和f，卷積核個數和輸出特征圖的通道數為d，卷積核參數張量S∈Rc×e×f×d，滑動窗口區(qū)域的特征張量P∈Rc×e×f，單次卷積的輸出向量r∈Rd。

圖1 單次卷積計算示意圖Fig.1 Schematic diagram of single convolution calculation

對于單次的卷積計算而言，滑動窗口區(qū)域的總特征值數量為c×e×f，卷積核總參數量（忽略卷積核的偏置參數）為c×e×f×d，滑動窗口區(qū)域的特征張量P在經過卷積之后得到一個長度為d的輸出向量r，r中的第i個元素ri表示如下：

將特征圖的滑動區(qū)域特征張量P轉換為一維向量p∈Rc×e×f，對應的 卷積核 參數張量S轉換為 二維矩陣C∈Rd×(c×e×f)，則圖1 中的卷積操作可表示為圖2 中的矩陣乘法形式，對于輸出向量r有：

圖2 單次卷積計算的矩陣乘法形式Fig.2 Matrix multiplication form of single convolution calculation

全連接層實際上也可以表達為式（2）中的矩陣乘法形式，如圖3 所示，設上一層的單元數為g=c×e×f，當前全連接層單元數為d，權重參數的矩陣為W∈Rd×（c×e×f），則有：

圖3 全連接層示意圖Fig.3 Schematic diagram of fully connected layer

其中：ai表示當前全連接層的第i個單元的輸出，xj表示上一層第j個單元的輸出，bi表示當前全連接層的第i個單元對應的偏置參數。

在忽略偏置參數的情況下，矩陣W與式（2）中的矩陣C一致，即單次卷積操作的矩陣乘法形式與全連接操作在計算上等效，二者本質上都是對輸入特征的線性運算。對于更多滑動窗口區(qū)域的卷積操作也存在這種轉換關系，在形式上依然是卷積操作，但是本文將其看作類似全連接的線性操作。

文獻［11］的研究表明多層線性神經網絡可以表示為對應的多個參數矩陣的乘積，深度為N的多層線性網絡的訓練損失值和深度為1 的網絡訓練損失值之間的區(qū)別在于多個參數矩陣的乘積和單個參數矩陣之間的相互替換。考慮到單次卷積操作與全連接的相似性，本文提出采用矩陣分解的方式將原本的卷積核參數轉換為多個參數矩陣的乘積，以便直接獲取額外的參數矩陣而不影響卷積核參數的初始化狀態(tài)，這些增加的額外參數矩陣等效于增加了更多線性層；同時這種乘積的形式讓額外的線性參數能夠隨時收縮到標準卷積核內，不會降低模型的推理速度，具有很好的靈活性。

在對卷積核參數矩陣進行矩陣分解之前，首先對其進行維度變換操作。如圖4 所示，將單張?zhí)卣鲌D的滑動窗口局域聚合為一個維度，長度為e×f，輸入通道和輸出通道聚合為另一個維度，長度為c×d，令n=e×f，m=c×d，得到m行n列的參數矩陣A。矩陣A的每行參數保存了固定區(qū)域的特征在空間維度的線性變換的信息，每列參數則保存了對特征圖的單個像素位置在通道維度的線性變換的信息。在本文對卷積層的改進實驗中，c和d的乘積通常大于e×f，即m＞n，因此將矩陣C轉為矩陣A再進行矩陣分解可以在一定程度上減少分解帶來的額外參數量。

非方陣矩陣的常見矩陣分解方法有LU 分解（LU factorization）、秩分解（rank factorization）、QR分解（QR decomposition）、插值分解（interpolative decomposition）、奇異值分解（SVD）等。對于本文提出的過參數化策略，矩陣分解主要是為了把卷積核參數矩陣分解為多個矩陣相乘的形式，不同矩陣分解方法的區(qū)別僅在于分解出矩陣的行列數以及初始值，而不直接涉及矩陣分解在線性方程組或者向量空間中的更多實際作用。卷積核參數矩陣行列數在較深的網絡層數中可達上萬乃至上十萬，直接進行上述矩陣分解容易造成較大延時，嚴重拖慢訓練進度，一些分解方法還會占用大量的內存（最大可超過64 GB），實用性不強。本文選擇了計算開銷較小的簡化QR 分解和SVD 作為最終的矩陣分解策略進行實驗。

圖4 中的卷積參數矩陣A有m行、n列，考慮到實際卷積層中輸入通道數和輸出通道數的乘積一般遠大于滑動窗口長和寬的乘積，且卷積核參數矩陣在初始化之后通常為列滿秩（如果未得到列滿秩初始矩陣，則重新進行初始化），因此可設m＞n，矩陣的秩rrank=n，對其進行QR 分解得：

圖4 卷積核參數矩陣的過參數化Fig.4 Overparameterization of convolution kernel parameter matrix

其中：Q是一個m×m的酉矩陣；R是一個m×n的上三角矩陣；且R的底部m-n行元素均為0。因此可將矩陣A進一步分解為：

其中：Q1R1即矩陣A的簡化QR 分解形式，Q1是m×n的矩陣，R1是n×n的矩陣；Q2是m×(m-n)的矩陣。與完整的QR分解相比，簡化QR 分解得到的額外參數量減少了(m×m-n×n)個。

對參數矩陣A進行SVD 則可以得到三個參數矩陣：

其中：U是一個m×m的方陣，由可以張成（span）矩陣A的列空間的ro個正交列和可以張成矩陣A的左零空間的m-ro個正交列組成；Σ是一個m×n的矩陣，除了對角線其他元素均為0；V是一個n×n的方陣，由可以張成矩陣A的行空間的ro個正交列和可以張成矩陣A的零空間的n-ro個正交列組成。

簡化SVD 同樣可得到三個類似的參數矩陣：

其中：USVD是m×ro的矩陣，與矩陣U相比移除了可以張成矩陣A的左零空間的m-ro個正交列；ΣSVD是ro×ro的矩陣，它的對角線元素依然是奇異值，相比矩陣Σ移除了在行和列填充的0 值；VSVD是ro×ro的矩陣，相比矩陣V移除了可以張成矩陣A的零空間的n-ro個正交列?？紤]到卷積核參數矩陣的初始化一般為列滿秩，即ro=n，對于每個參數矩陣來說，簡化SVD 得到的額外參數量約比完整的奇異值分解減少了(m×m-n×n)個。

實際上，本文涉及到的網絡模型中大部分卷積核的尺寸是3×3，對應參數矩陣A的列數n等于9，每個卷積核的簡化QR 分解增加81 個額外參數，簡化SVD 增加162 個額外參數，與整個卷積核的參數量相比增加幅度很小。

矩陣分解對整個模型參數量和體積的影響同樣很小。以VGG11 模型為例，改進前VGG11 的參數量為29 161 473，模型體積約為113 933.57 KB；用簡化QR 分解改進后模型參數量為29 162 769，模型體積約為113 936.10 KB；用簡化奇異值分解改進后模型參數量為29 162 121，模型體積約為113 938.63 KB。兩種分解方式改進后的模型體積增加幅度均小于萬分之一，對GPU 增加的壓力可忽略不計。

3 實驗與結果分析

3.1 實驗配置

矩陣分解策略對卷積層的具體改進之處是在原標準卷積層中增加矩陣分解后的線性參數，同時訓練和部署兩種不同的形態(tài)，訓練形態(tài)的模型用矩陣分解后的參數進行卷積計算，部署形態(tài)的模型用原卷積核參數進行卷積計算，同時添加在兩種狀態(tài)間切換的函數。對網絡模型的改進是用增加了矩陣分解策略的卷積層直接替換原標準卷積層。

改進后模型的訓練流程如圖5 所示，i表示當前迭代次數，從0 開始計數，epoch表示最大迭代次數。初始化網絡模型后對卷積層的權重參數分解得到參數矩陣。在訓練過程中，卷積層的前向傳播不再用原來的權重參數，而是將分解得到的參數矩陣相乘并重整為卷積層權重參數形式后進行卷積計算；優(yōu)化器也不再更新原來的權重參數，直到訓練完成，把模型卷積層中分解的矩陣相乘并重整形狀后賦值給原來的權重，并把訓練模型中除了分解矩陣參數之外的所有參數拷貝至改進前的網絡模型中，保存模型以便后續(xù)推理使用。

圖5 改進后的模型的訓練流程Fig.5 Flowchart of improved model training

通過矩陣分解的方法改進卷積層是一種輕量級的策略，可以無縫集成到任意使用了卷積層的網絡模型中，同時基本不增加推理期間的開銷。

實驗選擇的簡化QR 分解和SVD 兩種分解策略都有多種實現(xiàn)算法。因為自主實現(xiàn)的方法難以對具體的硬件和平臺適配優(yōu)化，所以對兩種分解均采用了pytorch 框架提供的相關函數，底層是Magma 函數庫［21］在GPU 上優(yōu)化后的實現(xiàn)。

本文實驗所用CPU 為Intel i7-10875H，GPU 為GTX3060-Laptop。為了保證網絡模型的性能改變都是由矩陣分解的改進帶來的，本文的實驗默認采用相同的超參數設置，只將原網絡模型中的標準卷積層替換為矩陣分解改進后的卷積層而無其他任何更改，其中卷積核的權重參數采用Kaiminguniform 初始化［22］，偏置參數采用均勻分布初始化策略，與pytorch 中的標準卷積層的默認初始化策略保持一致。訓練的損失函數為交叉熵損失函數，用隨機梯度下降（Stochastic Gradient Descent，SGD）方法進行優(yōu)化，對偏置參數和權重參數采用不同的更新策略，偏置參數與權重參數的SGD 優(yōu)化器學習率都為0.002，L2 正則化的權重衰減系數為0.001，動量因子為0.9。

3.2 改進效果實驗

為了驗證簡化QR 分解和簡化SVD 形成的過參數化對CNN 的改進效果，本文在CIFAR-10（Canadian Institute For Advanced Research 10 classes）數據集上對VGG11、VGG13、VGG16、VGG19、ResNet18、ResNet34、ResNet50 等常見卷積神經網絡模型進行相關實驗。CIFAR-10 數據集包含10 個不同物體類別的60 000 張32×32 的彩色圖片，將其中的50 000 張作為訓練集，10 000 張作為驗證集。

對VGG 和ResNet 的各個網絡模型都進行150 個迭代周期的實驗，統(tǒng)計應用了不同分解策略的模型在驗證集上的最高分類準確率、訓練過程的總時長以及對驗證集的10 000 張圖片進行預測推理的總時長，實驗結果如表1 和表2 所示，其中TQRD（Thin QR Decomposition）表示模型應用了簡化QR分解策略，RSVD（Reduced Singular Value Decomposition）表示模型應用了簡化SVD 策略。

表1 在VGG模型上的改進效果對比Tab.1 Improvement effect comparison on VGG models

從表1 中可以看出，在應用了簡化QR 分解和簡化SVD之后，各個模型的分類準確率均有提升。對于常規(guī)堆疊的VGG 模型來說，VGG13 的準確率最高，而簡化QR 分解策略在VGG11 模型上的改進效果最好，相較于VGG11，VGG11+TQRD 的分類準確率提升了1.84 個百分點。

對于加入了多分支殘差模塊的ResNet 來說，矩陣分解也同樣能為其帶來性能提升。如表2 所示，ResNet34 模型使用簡化QR 分解改進后效果最好，分類準確率提升了1.61 個百分點。而對于較深層的ResNet50 模型，在實際改進中發(fā)現(xiàn)如果對全部卷積操作都進行矩陣分解，反而容易引起性能下降，原因可能是ResNet50 對于CIFAR-10 數據集的分類任務來說深度過大，網絡本身的參數已經有大量冗余，此時再通過矩陣分解增加線性層深度也難以帶來好的效果。因此實際上僅對ResNet50 的一部分模塊的卷積計算進行了改進，其他模塊依然采用標準卷積核。表2 中ResNet50a 表示對ResNet50 的C1 模塊中的卷積計算進行了改進，ResNet50b 表示對ResNet50 的C1 和C2 模塊進行了改進。從實驗結果可以看出，即使只對部分卷積模塊進行矩陣分解，也能在一定程度上提升模型的分類準確率。

表2 在ResNet模型上的改進效果對比Tab.2 Improved effects comparison on ResNet models

表1 和表2 也展示了應用不同分解策略之后模型在訓練和推理期間的總用時。除了ResNet50 之外，其他模型的訓練時長均有一定增長，應用QR 分解后模型的訓練時長相比改進前平均增加了8%左右，應用簡化SVD 后模型的訓練時長相較于改進前平均增加了13%左右。而ResNet50a 和ResNet50b 因為只對少部分模塊進行了矩陣分解，并未增加太多額外參數，因此過參數化對整體訓練時長的影響不大，推理時長沒有明顯增加，因為在推理時額外參數已經收縮至標準卷積核，實際的前向傳播都是采用模型的標準卷積，不會因為過參數化而增加額外的計算開銷。

3.3 對不同模塊改進的對比實驗

為了測試對模型中不同的卷積層模塊組合改進后的效果，對VGG11 模型的5 個卷積模塊進行了對照實驗，實驗結果如表3 所示。

表3 VGG11不同模塊的準確率對比 單位：%Tab.3 Accuracy comparison of different modules in VGG11 unit：%

首先對5 個卷積模塊分別單獨應用了矩陣分解策略，可以看到對結果影響最大的是C1 模塊，分類準確率分別提升了1.25 和1.23 個百分點，準確率相較于其他單獨改進的模塊更高，而對C5 模塊單獨應用矩陣分解策略均出現(xiàn)了準確率的下降。兩個模塊除了在網絡模型中的位置不同之外，最明顯的差別是卷積核參數的數量，C1 模塊只有一個輸出通道為64 的卷積層，C5 模塊則有兩個輸出通道數為512 的卷積層，后者的參數量是前者的2 000 多倍，而通過兩種矩陣分解增加的參數只跟卷積核大小有關，因此額外的線性參數在C5 模塊中的占比要遠小于C1 模塊，在反向傳播的時候對整體性能的影響也就會更小。

另外，簡化QR 分解對VGG11 相同模塊改進之后的分類準確率普遍比簡化SVD 高，而它的額外參數量要少于后者，說明通過矩陣分解得到的參數量并不是越多越好，更多的參數量也意味著梯度更難往前傳播，反而可能會降低網絡的整體性能。

3.4 對不同數據集的泛化實驗

為了防止單個數據集上的實驗結果存在偶然性，本文在Fashion-MNIST（Fashion-Modified National Institute of Standards and Technology dataset）、EMNIST Balanced（an Extension of Modified National Institute of Standards and Technology dataset，Balanced）、CIFAR-100 等3 個數據集上對VGG11 和ResNet18 模型做進一步的泛化實驗。其中Fashion-MNIST 包含10 個不同物體類別的70 000 張28×28 的灰度圖片，將其中的60 000 張作為訓練集，10 000 張作為驗證集；EMNIST Balanced 包含47 個不同類別的131 600 張28×28 的灰度圖片，將其中的 112 800 張作為訓練集，18 800 張作為驗證集；CIFAR-100 包含100 個不同物體類別的60 000 張32×32 的彩色圖片，將其中的 50 000 張作為訓練集，10 000 張作為驗證集。

實驗的超參數設置與之前的實驗保持一致，除了更換數據集之外不做其他任何調整，記錄訓練150 個迭代周期之后模型在驗證集上的分類準確率。實驗結果如表4 所示，Baseline 代表沒有進行改進的網絡模型，改進后的VGG11 和ResNet18 模型在3 個數據集上都有不同程度的精度提升，展現(xiàn)出一定的規(guī)律性，說明本文提出的方法在其他的圖像分類數據集上同樣可以達到改進效果，排除了單個數據集的偶然性因素對實驗結果的影響。

表4 在不同數據集上的分類準確率對比 單位：%Tab.4 Classification accuracy comparison on different datasets unit：%

3.5 不同初始化方式的對比實驗

上述實驗中對卷積層的權重參數的初始化策略都默認Kaiming-uniform 初始化，為了測試其他初始化方式對改進效果的影響，本文在CIFAR-10 上用卷積層中常用的正態(tài)分布初始化和正交矩陣初始化［23］進行了200 個迭代周期的進一步實驗，正態(tài)分布初始化的均值設置為0，標準差std的設置如式（8）所示，正交矩陣初始化的gain參數設置為1。

實驗結果如圖6 所示，其中VGG11 表示改進前的VGG11模型，VGG11-TQRD 表示用簡化QR 分解改進的VGG11 模型，VGG11-RSVD 表示用簡化SVD 改進的VGG11 模型。從圖6 中可以看出，采用了兩種初始化方式的VGG11 模型在應用了矩陣分解之后，都更快地達到了較高的準確率，且最終收斂到了更好的局部最優(yōu)。實驗結果表明，即使采用不同的初始化方式，矩陣分解方法對于卷積神經網絡的改進也仍然是有效的。

圖6 不同初始化方式的分類準確率對比Fig.6 Classification accuracy comparison with different initialization methods

4 結語

本文提出了一種用矩陣分解對卷積神經網絡進行過參數化的方法，可以在基本不增加推理期間計算開銷的情況下提升卷積模型的分類性能。通過實驗分析驗證了用矩陣分解方式直接增加額外線性參數的有效性，可為后續(xù)相關研究提供新的探索思路。通過對常見卷積神經網絡的實驗，得到了如下結論：

1）對初始化后的卷積核參數張量進行簡化QR 分解或者簡化SVD，在一定條件下可以改善卷積神經網絡的優(yōu)化過程并提升其分類性能。

2）矩陣分解得到的額外矩陣并不是越多越好，額外線性層的深度過深可能會對梯度的反向傳播帶來不利影響。

3）對參數較少的卷積模塊的過參數化改進可能會比對參數較多的卷積模塊的改進帶來更大的性能提升。

對卷積計算的矩陣分解改進策略有較大的探索空間，如不同的初始化方式、不同的分解策略、在訓練期間的不同時間進行分解等都會對改進結果產生影響，過參數化在目標檢測、語義分割等其他視覺任務的效果也有待進一步探索。

另外，當前過參數化的研究大多停留在較淺層的線性模型，對于過參數化在包含卷積層的深層網絡中產生的增益效果仍缺少更加具有普適性的數學分析和證明，嘗試從理論上解釋由矩陣分解得到的這些額外參數在梯度傳播過程中的作用也是一個比較有意義的研究方向。