宋 巍，師麗彪，耿立佳，馬振玲*，杜艷玲

（1.上海海洋大學 信息學院，上海 201306；2.國家海洋局 東海標準計量中心，上海 201306）

1 引 言

廣角鏡頭由于其寬闊的視野，被廣泛應(yīng)用于各種計算機視覺任務(wù)中，包括深度估計［1］、視頻監(jiān)控［2］、物體檢測與識別［3］等。然而廣角鏡頭大多數(shù)存在鏡頭畸變，影響目標測量與特征提取精度。因此，圖像幾何畸變校正是許多計算機視覺應(yīng)用的關(guān)鍵預(yù)處理步驟。

相機標定法［4-6］是最常用的圖像畸變校正方法，該方法可以借助特定的標定板來求解相機的內(nèi)參數(shù)、外參數(shù)和畸變參數(shù)，也可以基于圖像的幾何特征建立約束條件進行求解。Sun 等人［7］提出了基于兩條正交平行線消失點優(yōu)化的校正方法。Workman 等人［8］估計了單幅圖像中的地平線。文獻［9］利用雙正交消失點優(yōu)化方法結(jié)合直線在畸變校正后也應(yīng)為直線的特性來完成相機標定工作。這類方法需要事先已知相機鏡頭畸變類型，并能用數(shù)學模型進行描述，然而現(xiàn)在傳感器類型眾多，成像環(huán)境復(fù)雜，圖像畸變類型復(fù)雜，很難用固定的數(shù)學模型對畸變進行描述，因此該校正方法的適用性受到限制。

隨著深度學習技術(shù)在計算機視覺方向的快速發(fā)展，該技術(shù)也逐漸被學者應(yīng)用到圖像的幾何畸變校正工作上。早期使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）進行徑向畸變校正的相關(guān)工作是2016年由Rong等人［10］提出的。該方法基于單參數(shù)模型［11］，將一個固定范圍的畸變參數(shù)離散為400 種類別，并以此為基礎(chǔ)生成訓練數(shù)據(jù)集，將畸變校正任務(wù)轉(zhuǎn)變?yōu)榛儏?shù)分類任務(wù)。文獻［12］也是基于畸變參數(shù)分類的思想，使用具有自校準運動恢復(fù)結(jié)構(gòu)（Structure From Motion，SFM）重建圖像序列來獲得相機的畸變參數(shù)和二者的函數(shù)關(guān)系來簡化畸變模型，利用CNN 網(wǎng)絡(luò)提取徑向畸變的特征，最后將兩個畸變參數(shù)預(yù)測問題轉(zhuǎn)為單個參數(shù)的分類問題。2019 年，Liao 等人［13］提出了一個畸變校正生成對抗網(wǎng)絡(luò)，這是首個采用端到端對抗網(wǎng)絡(luò)來學習兩幅圖像之間的結(jié)構(gòu)差異然后進行畸變校正的方法，該方法與Rong 等人方法［10］對比實現(xiàn)了無標簽訓練。2019 年，Li［14］提 出了一種校正框架實現(xiàn)盲幾何畸變校正，同時提供了一種幾何畸變數(shù)據(jù)集的構(gòu)建方法。該方法中使用CNN 來學習校正圖像和畸變圖像之間像素坐標位移的變化，將圖像的校正工作轉(zhuǎn)為像素坐標位移變化的預(yù)測。2020 年，文獻［15］基于單參數(shù)模型提出了一種新的模型，構(gòu)建了徑向畸變合成層和校正層（Radial Distortion Synthesis and Correction layers，RDS&RDC），該方法數(shù)據(jù)的合成和校正速度得到了提升。2021 年，文獻［16］設(shè)計了一個多層次的校正流程，將校正任務(wù)分解為結(jié)構(gòu)恢復(fù)、語義嵌入和紋理渲染3 個層次，使用分層結(jié)構(gòu)實現(xiàn)漸進式校正圖像并取得了較好的結(jié)果。文獻［17］提出了一種將圖像校正問題映射為從圖像中學習序數(shù)畸變的方法，序數(shù)畸變表示了圖像中像素的畸變程度，它從圖像中心點向外依次增加。目前基于深度學習的圖像幾何畸變校正方法大多針對單一畸變類型，而相機獲取的影像包含徑向畸變、切向畸變等多種混合畸變，因此當前方法在解決混合畸變校正時存在明顯局限性。

針對傳統(tǒng)校正方法依賴畸變數(shù)學模型適用性較差和深度學習方法在校正混合畸變存在局限性的問題，本文提出了一種結(jié)合空間注意力機制與U-Net 網(wǎng)絡(luò)來校正混合畸變的方法。本文綜合考慮圖像徑向和切向混合畸變構(gòu)建了畸變圖像數(shù)據(jù)集，使用畸變圖像和無畸變圖像之間的像素坐標位移變化來表示畸變，將校正問題轉(zhuǎn)為預(yù)測畸變圖像的逐像素坐標位移變化。利用U-Net 編解碼器結(jié)構(gòu)網(wǎng)絡(luò)來學習畸變圖像的多尺度特征及重建畸變圖像坐標位移圖，同時引入空間注意力機制來響應(yīng)畸變圖像中不同位置畸變程度的影響，設(shè)計了坐標差損失和圖像重采樣損失兩種損失函數(shù)來提高校正精度。與最新基于深度學習的畸變校正方法的對比實驗表明，本方法的校正效果最優(yōu)，圖像校正坐標向量的平均絕對誤差約為0.251 9，主觀評價的評分為4.597。

2 數(shù)據(jù)集構(gòu)建

2.1 混合畸變模型

攝像機成像的基本原理是針孔相機模型，但是由于相機的制造精度和組裝工藝等的偏差會引入畸變，導(dǎo)致圖像的成像模型不滿足針孔相機模型，因此需要考慮成像幾何畸變問題。大多數(shù)透鏡的畸變主要由徑向畸變和切向畸變構(gòu)成［18］。徑向畸變是圖像像素點以畸變中心為中心點，沿著徑向產(chǎn)生的位置偏差；切向畸變由透鏡本身與相機傳感器平面不平行引起。在物理坐標系下，實際像點p(x，y)與理想無畸變像點的數(shù)學關(guān)系表述為：

式中：r2=x2+y2，k1、k2、k3是徑向畸變系數(shù)，p1、p2是切向畸變系數(shù)。徑向畸變與切向畸變?yōu)閞的多項式表達式，根據(jù)林德曼-魏爾斯特拉斯定理，任何函數(shù)（混合畸變）都可以由多項式擬合得到［19］，因此，本文選擇徑向畸變和切向畸變的多項式數(shù)學表達式來描述混合畸變。

2.2 圖像數(shù)據(jù)集選擇

為了訓練本文網(wǎng)絡(luò)來完成幾何畸變校正工作，需要準備大量的數(shù)據(jù)集作為預(yù)備數(shù)據(jù)集。目前基于深度學習的方法對畸變圖像校正的研究工作中，數(shù)據(jù)集都是單一的徑向畸變而且畸變圖像的分辨率較小，多為256 pixel×256 pixel，會損失掉畸變程度較大的圖像邊緣信息。考慮到包含徑向畸變的圖像，其畸變距離圖像中心越遠畸變程度越大，因此為了保留較多的畸變特征需要生成較大分辨率的畸變圖像。

首先需要選擇圖像數(shù)據(jù)源?；谏鲜隹紤]，本文選擇了place365 圖像數(shù)據(jù)集［20］，并將數(shù)據(jù)集中的圖像裁剪為512 pixel×512 pixel 的大小。對于具有明顯的幾何結(jié)構(gòu)的圖像，如直線、弧線、地平線等，可以提供大量的幾何信息供網(wǎng)絡(luò)學習，因此我們進一步對此類圖像進行了篩選，利用霍夫變換篩選出來具有明顯直線結(jié)構(gòu)的圖像，篩選條件定義為：

式中：C為圖像的分辨率大小，l表示檢測的直線長度，α為最短直線段的長度。本文中指定α=80，約為圖像分辨率的1/6；λ為數(shù)據(jù)集的選擇因子，該值由源數(shù)據(jù)集圖像數(shù)量和需求數(shù)據(jù)集圖像數(shù)量來確定，值越大篩選的圖像直線越多，相應(yīng)地篩選出的圖像數(shù)量越少，最終選擇λ=4 篩選了1 800 張圖像作為數(shù)據(jù)集。

其次，基于傳統(tǒng)相機標定的思想，棋盤格圖像可以為圖像幾何畸變校正提供最顯著的幾何特征，因此本文通過設(shè)定不同的方格大小和圖像的旋轉(zhuǎn)角度來多樣化棋盤格的特征，生成1 800 張棋盤格圖像（512 pixel×512 pixel）擴充數(shù)據(jù)集。

2.3 數(shù)據(jù)集生成

不同于Li［14］基于單參數(shù)畸變模型的徑向畸變數(shù)據(jù)集構(gòu)建方法，本文提供了一種混合畸變類型的數(shù)據(jù)集構(gòu)建方法。由公式（1）可知，本文使用的畸變模型包含兩種畸變類型，該模型對于徑向畸變的描述由多個畸變參數(shù)k來確定，而且還可以通過添加切向分量來擴展以處理非徑向?qū)ΨQ的畸變，而單參數(shù)模型僅只能描述徑向?qū)ΨQ的畸變。數(shù)據(jù)集的具體構(gòu)建流程如下：

首先，對GoPro 相機的不同模式進行相機標定工作，獲取4 種不同的相機內(nèi)參數(shù)fx、fy、cx、cy和畸變參數(shù)k1、k2、k3、p1、p2，詳細參數(shù)如表1 所示。然后，依據(jù)公式（1）中坐標的映射關(guān)系生成混合畸變圖像（512 pixel×512 pixel）數(shù)據(jù)集I和其對應(yīng)的坐標差數(shù)據(jù)集V，坐標差數(shù)據(jù)集V記錄了在像素坐標系下畸變圖像中的像素點p(x，y)與其相對應(yīng)的無畸變的圖像中的像素點的差值。由于生成的畸變圖像在邊緣存在黑邊，且考慮盡量保留遠離圖像中心的信息，因此在圖像中心裁剪出352 pixel×352 pixel 大小的圖像和坐標差向量作為最終的數(shù)據(jù)集，最終生成畸變圖像14 400 張，其中12 000 張用于訓練模型，2 400 張用于測試模型。合成數(shù)據(jù)集的部分圖像如圖1 所示。

圖1 合成數(shù)據(jù)集的部分圖像Fig.1 Part of the images in the synthetic dataset

表1 相機內(nèi)參數(shù)與畸變參數(shù)Tab.1 Camera inner parameters and distortion parameters

3 實驗方法

本文設(shè)計的畸變校正網(wǎng)絡(luò)架構(gòu)如圖2 所示。圖中（a）為輸入畸變圖像，（b）是U-net 主干網(wǎng)絡(luò)，（c1）是模型預(yù)測的坐標差矩陣，（c2）是坐標差矩陣的標簽，（d1）是模型校正后的圖像，（d2）是圖像的標簽。本文使用U-Net［21］作為主干網(wǎng)絡(luò)模型來提取圖像的特征，并讓網(wǎng)絡(luò)學習從畸變圖像域到校正坐標域的映射。校正坐標域與輸入的畸變圖像具有相同大小的二維向量，通過預(yù)測的校正坐標域向量進行圖像重采樣來獲得校正后的圖像。校正坐標域的預(yù)測值和校正圖像的精度相關(guān)，因此本文重點設(shè)計了損失函數(shù)來提高模型的預(yù)測精度。

圖2 網(wǎng)絡(luò)架構(gòu)Fig.2 Network architecture

3.1 U-Net 主干網(wǎng)絡(luò)

U-Net［21］網(wǎng)絡(luò)最初由Ronneberger 在2015 年發(fā)表，應(yīng)用在醫(yī)學圖像分割領(lǐng)域中并取得了良好的分割效果。該網(wǎng)絡(luò)基于Encoder-Decoder 結(jié)構(gòu)，是一種U 形對稱結(jié)構(gòu)，主要結(jié)構(gòu)包括下采樣、上采樣和跳躍連接。在網(wǎng)絡(luò)的下采樣部分，對圖像進行編碼，由尺寸為3×3 的卷積層、ReLU 函數(shù)和尺寸為2×2 的池化層構(gòu)成，對輸入的圖像進行4 次下采樣操作，每次下采樣操作后特征圖的尺寸下降，同時通道數(shù)翻倍。在網(wǎng)絡(luò)的上采樣部分，對圖像進行解碼，通過4 次尺寸為2×2 的反卷積層實現(xiàn)上采樣，擴大特征圖尺寸，恢復(fù)到輸入圖像尺寸大小。網(wǎng)絡(luò)的跳躍連接結(jié)構(gòu)將解碼層中的高層特征和編碼層中的低層特征進行融合、抽象特征與細節(jié)特征進行融合，實現(xiàn)了多尺度特征融合，使得捕獲的特征圖既包含全局信息，又包含局部信息，提高了特征的表現(xiàn)力。

選擇U-Net 網(wǎng)絡(luò)可以更好地提取畸變圖像的特征，且模型的訓練速度也得到了提升。將一張三通道的畸變圖像輸入到網(wǎng)絡(luò)，經(jīng)過模型的學習輸出一個具有和輸入圖像相同尺寸大小的二維坐標差向量。

3.2 空間注意力機制

在畸變圖像中，畸變程度由中心向圖像四周逐漸擴大，因此本文在編碼器網(wǎng)絡(luò)輸出層加入了空間注意力機制（Spatial Attention，SA）［22］，既保證了主干網(wǎng)絡(luò)充分提取圖像的特征，又從空間維度細化了提取到的特征圖?？臻g注意力模塊如圖3 所示，將輸入的特征圖在每一個特征點的通道上取最大值和平均值，將結(jié)果堆疊，再通過一個卷積核為7×7 大小的卷積層得到通道數(shù)為1 的特征圖，然后將該特征圖通過sigmoid 函數(shù)后與輸入特征圖相乘得到輸出特征圖。其具體計算公式如式（3）所示：

圖3 空間注意力模塊結(jié)構(gòu)Fig.3 Structure of the spatial attention module

式中：I代表輸入特征圖，O代表輸出特征圖，f7(· )表示卷積核為7×7 的卷積運算，cat 表示堆疊操作，δ是Sigmoid 函數(shù)。

3.3 坐標差損失

在Li［14］的方法中，損失函數(shù)（Endpoint Error，EPE）表示為預(yù)測的坐標差向量與真值之間的歐氏距離，網(wǎng)絡(luò)估計的坐標差向量Vpred是對畸變圖像的逐個像素進行預(yù)測，表示了畸變圖像的像素應(yīng)該如何移動到原始無畸變圖像中對應(yīng)的像素。本文首先使用平均絕對誤差（Mean Absolute Error，MAE）作為損失函數(shù)，表示預(yù)測的坐標差向量Vpred與真值Vgt之間的平均絕對誤差，其定義為：

式中，n為坐標差向量元素總數(shù)。

經(jīng)過對預(yù)測坐標差向量分析，發(fā)現(xiàn)預(yù)測向量呈現(xiàn)出偏離中心越遠預(yù)測誤差越大的特征，因此我們設(shè)計了權(quán)重向量M來優(yōu)化上述損失函數(shù)，使得網(wǎng)絡(luò)能夠提高對坐標差向量邊緣的預(yù)測精度。以坐標差向量對應(yīng)的真值向量Vpred的逐像素點到坐標（0，0）的歐氏距離作為權(quán)重指標，將歐式距離歸一化后得到權(quán)重向量M，M具有和預(yù)測坐標差向量Vpred相同的形狀，其定義由公式（5）給出：

式中，G是歸一化函數(shù)。

最終，坐標差損失函數(shù)定義為：

式中：n為坐標差向量元素總數(shù)，M為權(quán)重向量。

3.4 重采樣損失

最終的校正圖像由預(yù)測的坐標差向量對畸變圖像進行重采樣得到。為了進一步提高校正效果，本文設(shè)計了一個圖像重采樣損失函數(shù)L2，表示由預(yù)測坐標差向量重采樣后得到的校正圖像Ipred與無畸變圖像Igt之間的逐像素點的歐式距離。將其定義為：

式中，n表示像素點的個數(shù)。

最終本文的損失函數(shù)定義為：

其中：權(quán)重μ在坐標差預(yù)測和重采樣損失之間提供了權(quán)衡，本文中μ=0.5。

4 實驗結(jié)果與分析

4.1 實驗環(huán)境與參數(shù)設(shè)置

本文實驗在Tesla-P100 GPU 上進行，選用Pytorch 深度學習框架進行算法實現(xiàn)，運行環(huán)境為Python3.6、Pytorch1.8、cuda10.1。批尺寸（Batch size）的值為24，優(yōu)化器使用Adam（Adaptive Moment Estimation），學習率設(shè)定為1×10-4，共迭代200 epoch 后收斂。

4.2 評價指標

本文采用3 個評價指標。第一個指標定義為網(wǎng)絡(luò)預(yù)測的坐標差向量Vpred與真值Vgt之間的平均絕對誤差，該指標直接反應(yīng)了模型的預(yù)測精度。該值越接近于0 表明網(wǎng)絡(luò)預(yù)測的坐標差向量精度越高，相應(yīng)地重采樣生成的圖像校正效果越好。其他兩個指標沿用了圖像校正研究常用的評價指標［23-24］，這兩種指標反應(yīng)了校正后圖像的質(zhì)量以及校正精度；峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（Structural Similarity，SSIM）。PSNR 值高于20 dB 圖像質(zhì)量才能被接受，該值越大，表明圖像失真越少。SSIM值的范圍為0～1，值越大代表校正后的圖像質(zhì)量越接近原圖。

4.3 與其他方法的對比

為了驗證本文方法的有效性，對比了兩種最新基于深 度學習 的Li［14］和Hosono［25］的幾何 畸變圖像校正方法以及3 種采用不同主干網(wǎng)絡(luò)U-Net［20］、PSPNet［26］、DeepLabV3+［27］的模型。

雖然近年來有多種基于深度學習的幾何畸變圖像校正方法被陸續(xù)提出，但由于沒有公開代碼不便進行對比。因此，本文選擇了有公開代碼的Li［14］（2019 年）和Hosono［23］（2021 年）的方法，并使用本文構(gòu)建的數(shù)據(jù)集對其進行了訓練和測試。Li提出的盲目校正多類型幾何畸變的方法采用了編解碼網(wǎng)絡(luò)來學習畸變圖像的特征，以預(yù)測的坐標差向量與真值之間的歐氏距離作為損失函數(shù)，通過預(yù)測的坐標差向量來重采樣畸變圖像實現(xiàn)校正。Hosono 的方法以VGG 網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建了畸變參數(shù)評估網(wǎng)絡(luò)模型來預(yù)測畸變圖像的畸變參數(shù)進而實現(xiàn)校正，利用扭曲的直線校正后仍為直線的特性提出了線條重構(gòu)誤差損失來提高網(wǎng)絡(luò)的預(yù)測精度。這兩種方法有一定的代表性。

此外，考慮到主干網(wǎng)絡(luò)結(jié)構(gòu)對性能的影響，在本文輸入、輸出及損失函數(shù)不變的前提下，替換主干網(wǎng)絡(luò)后進行訓練和測試。對比的主干網(wǎng)絡(luò)包括在細粒度特征學習方面表現(xiàn)優(yōu)秀的PSPNet、DeepLabV3+網(wǎng)絡(luò)以及本文選擇的基礎(chǔ)網(wǎng)絡(luò)UNet。PSPNet 通過整合全局上下文信息的金字塔池化模塊增強了多尺度信息的融合，減小了局部和全局的損失。DeepLabV3+通過引入空洞卷積，在不損失信息的情況下，加大了感受野，讓每個卷積輸出都包含較大范圍的信息。

4.3.1 定量數(shù)據(jù)分析

使用本文方法所提出的數(shù)據(jù)集，從測試集中選取了2 400張圖像進行了幾何畸變校正實驗。根據(jù)3 個評價指標MAE、PSNR 和SSIM 來定量地評價不同方法的校正效果，結(jié)果如表2 所示。

表2 不同方法在測試數(shù)據(jù)集上的評價結(jié)果Tab.2 Evaluation results of different methods on the test dataset

表2 的定量結(jié)果表明，本文方法在預(yù)測坐標差向量的精度、圖像校正和結(jié)構(gòu)恢復(fù)方面都優(yōu)于其他方法，在定量評估中取得了最高分。原因有：（1）U-Net 網(wǎng)絡(luò)相比于其他網(wǎng)絡(luò)模型可以更好地提取畸變圖像的幾何特征，提高網(wǎng)絡(luò)的學習能力；（2）空間注意力機制的應(yīng)用進一步輔助U-Net網(wǎng)絡(luò)學習圖像的空間信息；（3）兩種損失函數(shù)增強了網(wǎng)絡(luò)的預(yù)測精度。

4.3.2 主觀評價分析

為了進一步驗證本文方法的校正效果，根據(jù)雙激勵損傷尺度（Double Stimulus Impairment Scale，DSIS）圖像質(zhì)量主觀評價方法［28］設(shè)計了針對圖像校正的主觀評價實驗，具體過程如下：

（1）數(shù)據(jù)準備。從測試數(shù)據(jù)集中按照4 種畸變類型，每類隨機選擇2 張棋盤格圖像和3 張普通圖像，共20 張畸變圖像，然后選擇對應(yīng)的標簽圖像作為主觀評價中的參考圖像。將這20 張圖像分別采用表2 中所提及的6 種方法進行校正，得到校正圖像。以參考圖像和每張校正圖像為一組進行測試，共形成120 組測試圖像對。

（2）評級劃分。參考DSIS中的評級方法，采用5級評分制（1～5分）表示校正圖像相對于參考圖像的質(zhì)量損失程度，具體等級劃分說明如表3所示。

表3 評分等級說明Tab.3 Description of the grading scale

（3）評價實施。邀請20 位在校研究生參與實驗，其中女生8人，男生12人，且都沒有圖像畸變校正相關(guān)背景。在開始實驗之前，為受試者做一個簡短的培訓，說明評分細則，然后進行3 組測試實驗，熟悉測試實驗流程（測試實驗不記入正式實驗結(jié)果）。每位受試者觀察一對測試組合（參考圖像與根據(jù)所使用方法編號后的校正圖像）并進行評分。

（4）評價結(jié)果。經(jīng)相關(guān)性分析，將相關(guān)性系數(shù)小于0.75 的2 組數(shù)據(jù)剔除掉，接受18 位受試者的主觀評價數(shù)據(jù)。計算這18 位受試者的平均意見得分（Mean Opinion Score，MOS）和方差（Variance），如表4所示。主觀評價結(jié)果表明，本文方法的MOS分值最高且方差最低，說明方法的校正效果最佳且較為穩(wěn)定。同時，經(jīng)過T-test 的成對統(tǒng)計檢驗，本文方法的主觀評價分數(shù)均顯著高于其他方法（p<0.05）。

表4 不同方法主觀評價分數(shù)Tab.4 Subjective evaluation scores of different methods

圖4 給出了部分測試樣例。在圖4 中可以直觀地看到本文方法在普通圖像和棋盤格圖像都取得了良好的校正效果，且畸變程度較大的圖像邊緣部分也得到了較好的校正。Hosono 方法對于測試圖像整體校正效果較差，而且校正后的圖像像素不平滑。其他方法對棋盤格圖像都有較好的校正效果，對于普通圖像，Li方法、PSPNet網(wǎng)絡(luò)、U-Net 網(wǎng)絡(luò)在圖像的邊緣校正效果明顯下降，而DeepLabV3+網(wǎng)絡(luò)則是對圖像中心進行了過度的校正，導(dǎo)致畸變程度最小的圖像中心發(fā)生了扭曲。主觀觀察結(jié)果與主觀評價結(jié)果（表4）較為一致。

圖4 主觀評價實驗數(shù)據(jù)的樣例圖Fig.4 Examples of the subjective evaluation experiment

4.4 消融實驗

本節(jié)進行了消融實驗研究，以評估所提出的損失函數(shù)的有效性。保持其他訓練條件相同，僅改變損失函數(shù)，以MAE、PSNR、SSIM 3 種指標來定量地對比不同損失函數(shù)對網(wǎng)絡(luò)預(yù)測的精度和畸變圖像校正的影響。實驗結(jié)果如表5 所示。

表5 損失函數(shù)的消融實驗Tab.5 Ablation experiments of loss function

表5 結(jié)果表明，使用平均絕對誤差損失L0比Li 方法中使用的EPE 損失有更高的預(yù)測精度，而且坐標差損失通過權(quán)重向量M優(yōu)化可以進一步提高模型的預(yù)測精度，降低預(yù)測坐標差向量Vpred的邊緣預(yù)測誤差。圖像的重采樣損失L2同樣發(fā)揮了作用，與坐標差損失L1相互補充，進一步提高了畸變圖像的校正效果。

4.5 GoPro 光學影像校正

除以上在測試集上的性能驗證外，還將Li 的方法、Hosono 的方法和本文的方法應(yīng)用于GoPro相機獲取的真實影像的校正，實驗結(jié)果如圖5 所示。圖5（a）為使用GoPro 相機拍攝的“魚眼”畸變的圖像（壓縮為352 pixel×352 pixel）、圖5（b）為Li 方法校正后的圖像、圖5（c）為Hosono 方法校正后的圖像、圖5（d）為本文方法校正后的圖像。從圖中可直觀地看出，本文方法校正效果優(yōu)于其他兩種方法，說明所提出方法的泛化性能較好，可以直接應(yīng)用于對GoPro 相機拍攝圖像的校正。

圖5 GoPro 相機光學影像的校正對比實驗Fig.5 Correction and comparison experiment of optical images of GoPro cameras

5 結(jié) 論

本文提出了一種混合畸變的數(shù)據(jù)集構(gòu)建方法，使用深度學習的方法將畸變圖像校正問題轉(zhuǎn)為預(yù)測畸變圖像的逐像素坐標變化問題，擺脫了傳統(tǒng)方法中復(fù)雜的數(shù)學模型計算等問題，增加了校正方法的適用性。實驗結(jié)果表明，本文方法對于普通圖像和棋盤格圖像都有良好的校正效果，所提出的兩種損失函數(shù)對于模型預(yù)測的準確度和圖像的校正都起到了重要的作用。其中，MAE 為0.251 9，SSIM 為0.930 6，PSNR 為35.796 8 dB。GoPro 影像的校正實驗進一步證明了本文方法的適用性和實用性。