李國旺，李英，馬韻琪，夏晨旭

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

消音壁領(lǐng)域中頂點檢測是關(guān)鍵任務(wù)之一，其頂點在圖像處理中可認為是角點，而角點一般定義為兩條邊的交點，是圖像中重要的結(jié)構(gòu)信息之一，在圖像處理領(lǐng)域中有著關(guān)鍵性作用。目前對角點定義的數(shù)學(xué)公式不具有普遍性，根據(jù)不同領(lǐng)域內(nèi)針對檢測的角點需求不同，其表達方式也不一樣，例如圖像亮度變化劇烈的點和圖像邊緣曲線的曲率局部極大值點等。目前角點檢測的方法主要分為兩種：基于灰度強度變化檢測和基于邊緣輪廓檢測[1]。由于基于灰度強度變化的檢測算法簡單、實時和穩(wěn)定性高，因此被廣泛應(yīng)用。

基于灰度強度變化的角點檢測主要通過圖像局部灰度值的變化判斷角點。在1977 年，Moravec[2]提出Moravec 角點檢測，在圖像上通過二值矩形窗口滑動尋找最小灰度值變化的最大值；1988年受Moravec思想啟發(fā)，Harris和Stephens[3]提出Harris 角點檢測，利用自相關(guān)矩陣求出特征值，來確 定 響 應(yīng) 函數(shù)；1997 年Smith 和Brady[4]提出SUSAN（Smallest Univalue Segment Assimilating Nucleus）角點檢測，利用像素領(lǐng)域的圓形模板，判斷此點是否屬于USAN 區(qū)域，進而判斷是否為角點；1998 年Trajkovic 和Hedley[5]提 出FAST 角點檢測，觀察某點領(lǐng)域內(nèi)經(jīng)過該點的任意直線上的灰度變化情況，計算出水平和垂直方向灰度變化值，構(gòu)建角點度量函數(shù)判斷是否為角點。近年來，國內(nèi)外科研人員也基于上述方法作出了一些改進，例如：2006 年Rosten 和Drummond[6]提出了高速角點檢測算子，利用機器學(xué)習(xí)加速角點檢測；2012 年Bongjoep 等人[7]利用自適應(yīng)于圖像的結(jié)構(gòu)張量檢測角點，提高Harris 算法的檢測準確率；2013 年He 等人[8]在SUSAN 算法的基礎(chǔ)上，提出角點預(yù)檢測減少偽角點，減少計算量；2014 年Qiao 等人[9]提出了一種改進的Harris亞像素點檢測算法，提高了對含有噪聲圖像角點檢測的準確性；2017 年盧偉家等人[10]提出在Harris 算法中加入一種加權(quán)系數(shù)自適應(yīng)的均值濾波，提高精確度和檢測速度的同時減少偽角點的檢測；2016 年王冠群等人[11]提出一種基于高斯變換的多尺度SUSAN 角點檢測方法，解決了傳統(tǒng)SUSAN 算法在單一尺度下檢測角點的缺陷；2017 年Wang 等 人[12]針 對Harris 算 法 選 取 合適閾值的問題，提出一種迭代閾值的自適應(yīng)Harris 角點檢測方法；2017 年劉妍等人[13]提出一種基于SAR-FAST 角點檢測算法，以檢測點為圓心，選擇合適半徑，根據(jù)圓周上進行滑動窗口檢測，檢測出的角點穩(wěn)定性和重復(fù)性好；2020 年周偉等人[14]提出一種改進的Harris 角點檢測，結(jié)合多邊形逼近方法提取目標輪廓拐角頂點；2021年 苗 榮 慧 等 人[15]利 用Harris 算 法 和RANSAC 去除誤匹配點，實現(xiàn)圖像精準匹配。

綜上所述，對圖像檢測角點的方法眾多，都是對其檢測角點坐標準確率、精準性、去偽角點或適應(yīng)性進行改進。但是，這些方法大多數(shù)適應(yīng)自身領(lǐng)域，對其他領(lǐng)域并沒有較好的普遍適應(yīng)性，目前消音壁毀傷評估還處于人工評估階段，并沒有對其頂點檢測的方法。由于毀傷后造成消音壁邊緣產(chǎn)生畸變，上述方法并不適用消音壁的頂點檢測。因此，本文提出一種基于Hough-Harris 的消音壁頂點檢測方法。首先，對圖像進行霍夫直線檢測，以擬合直線后得到的角點作為基點；然后，再通過Harris 算法檢測出消音壁邊緣上存在的角點；最后，利用基點以及基點步長為10 領(lǐng)域內(nèi)的角點構(gòu)建回歸方程，采用基于高斯的最小二乘法求出最小誤差，進行消音壁頂點預(yù)測。將Hough 算法、Harris 算法檢測出的角點以及本文算法預(yù)測出的角點與真實角點進行對比分析，計算坐標偏差，同時計算IoU（Intersection over Union）指標，驗證本文提出的算法檢測角點更符合真實角點，能提高角點檢測準確性，減少后續(xù)毀傷評估、三維重建等工作任務(wù)中計算的誤差。

1 消音壁頂點檢測

無人機拍攝消音壁獲取圖像時，因為拍攝時會產(chǎn)生抖動，獲取的圖像也并不是一副單獨消音壁塊，周圍還有其他部分消音壁塊。消音壁后續(xù)的毀傷評估不是對整體結(jié)構(gòu)進行打包式評估，而是對具體的毀傷部分進行局部毀傷評估。因此，需要對圖像進行頂點檢測，通過檢測出的頂點進行幾何校正，將消音壁塊從圖像中分離出來。

1.1 霍夫直線檢測

霍夫變換（Hough Transform）由Hough[16]于1962年首次提出，1972 年Duda 和Hart[17]將 此 方法推廣使用。到目前為止，霍夫變換是圖像檢測幾何形狀的基本方法之一，其變換思想是兩個不同坐標空間之間的相互轉(zhuǎn)化，將一個空間中相同的曲線或直線一一映射到另一個空間的一個點上形成峰值?；舴蛑本€檢測（Hough Line Detection）具有連接不連續(xù)線段的特點，可以用于消音壁塊的邊框檢測，坐標轉(zhuǎn)換過程如圖1 所示。

圖1 坐標轉(zhuǎn)換過程

其中，直角坐標系中的直線表示為：

式中，k是直線的斜率；b是直線的偏置。而直角坐標系中點A的坐標為(x0,y0)，經(jīng)過點A的直線有無數(shù)條，這些經(jīng)過該點的直線稱為一簇直線，該簇直線表示為：

因為x0和y0為固定值，不同取值的k和b代表經(jīng)過點(x0,y0)的不同直線，可以將方程變換為：

此時，可以將x-y空間中過點A(x0,y0)的一簇直線轉(zhuǎn)換為參數(shù)空間k-b中的一條直線。同理，再在x-y空間內(nèi)增加點B(x1,y1)，映射為參數(shù)空間中另一條直線，兩條直線的交點反映射到x-y空間中為經(jīng)過A和B的一條直線，如圖2 所示。

圖2 多參數(shù)轉(zhuǎn)換圖

由此看出，經(jīng)過上述轉(zhuǎn)換后，直角坐標系中x和y變?yōu)閰?shù)空間中斜率和偏置，此時的直線也轉(zhuǎn)換為過點(b0,k0)的直線簇。但是當直角坐標系x-y中的直線垂直于x軸，其參數(shù)k為無窮大，參數(shù)空間將不能表示直角坐標系x-y中的直線。因此，將直角坐標系x-y轉(zhuǎn)換為極坐標系，此時包含表示直線的所有范圍，極坐標形式如式（4）所示：

其中，r為原點到直線的距離；θ為原點到直線垂直距離的交點與橫軸的夾角。此時圖像空間上的每一個點對應(yīng)極坐標系上的一條正弦曲線。直角坐標系轉(zhuǎn)換到極坐標的過程如圖3 所示。

圖3 轉(zhuǎn)換過程

霍夫直線檢測就將圖像中的直線轉(zhuǎn)換到參數(shù)空間（極坐標系）中的點，通過參數(shù)空間中曲線的交點反過來求出圖像空間的直線。將圖像灰度化后進行Canny 邊緣檢測和形態(tài)學(xué)處理，由于消音壁邊框產(chǎn)生了畸變，利用霍夫直線檢測邊框為一些連續(xù)線段，檢測線段映射到原圖上的結(jié)果如圖4 所示，其中圖4（a）和圖4（b）為消音壁樣圖。

圖4 霍夫直線檢測消音壁

檢測出消音壁四周邊框上的線段后，由于線段僅為部分邊框且不連續(xù)，需要對邊框上的線段進行直線擬合，將擬合后的直線兩兩相交的交點作為消音壁頂點，交點坐標映射到原圖的結(jié)果如圖5 所示。

圖5 擬合直線后的角點

1.2 Harris 角點檢測

Harris 角點檢測算法的思想即用一個滑動窗口在圖像上進行滑動時，會產(chǎn)生三種情況，在平坦區(qū)域、在邊緣區(qū)域和在角點區(qū)域，如圖6 所示。在平坦區(qū)域滑動時，窗口內(nèi)灰度值變化相對平緩；在邊緣區(qū)域滑動時，窗口內(nèi)灰度值會沿某一方向（X軸或者Y軸）產(chǎn)生相對較大的波動；窗口在角點區(qū)域滑動時，X軸和Y軸方向都會產(chǎn)生較大波動。

圖6 窗口在不同區(qū)域上的移動

滑動窗口在圖像上平移后產(chǎn)生灰度變化的相關(guān)性用SSD（Sum of Squared Difference）計算，SSD 越大，相關(guān)性越差，中心點越有可能為角點，其數(shù)學(xué)表達式為：

其中，u和v為窗口偏移量；x和y為窗口內(nèi)像素坐標位置；I(x,y)為在(x,y)坐標下的像素值。對I(x+u,y+v)進行一階泰勒展開為：

代入式（5）中，由于局部移動量[u,v]較小，變化矩陣形式近似為：

其中，自相關(guān)矩陣M表達式為：

通過自相關(guān)矩陣M可以求出該矩陣特征值λ1和λ2，利用這兩個特征值確定角點檢測響應(yīng)函數(shù)R為：

式中，k為錯誤角點響應(yīng)抑制常數(shù)，取值范圍一般為0.04～0.06。本文Harris 角點檢測采用核大小為5 × 5 的滑動窗口進行檢測特征值λ1和λ2，計算出角點響應(yīng)函數(shù)R來判斷該點是否是角點，檢測出消音壁的角點結(jié)果如圖7 所示。

圖7 Harris 檢測的角點

1.3 Hough-Harris 角點檢測

霍夫直線檢測消音壁，能快速定位消音壁四周邊緣直線，擬合直線后求得的四個交點為消音壁大致的四個頂點。但是，由于消音壁經(jīng)過毀傷后四周邊框產(chǎn)生了畸變，霍夫直線檢測的直線并不能準確地表達消音壁四周邊緣，而產(chǎn)生畸變后的邊緣也不能被一條直線完整的檢測到，本文霍夫直線檢測后擬合的直線是通過消音壁與消音壁之間的距離產(chǎn)生的縫隙，擴大了直線檢測的范圍，所以，通過霍夫直線檢測出的角點進行透射變換后，消音壁圖像四周存在大量縫隙，較為嚴重的影響后續(xù)對消音壁毀傷評估等操作。Harris 算法能相對準確地檢測出消音壁四個頂點，能有效避免大量縫隙并行透射到消音壁圖中，但是，檢測出的角點中存在大量偽角點，這些偽角點并不是需要的，而且計算機也無法自主判斷。

綜上所述，霍夫直線檢測和Harris 角點檢測針對消音壁頂點檢測時，不能滿足精度和準確需求。因此，本文提出了一種Hough-Harris 角點檢測方法，以霍夫直線檢測的交點PL為基點，Harris 檢測的角點PH為自變量，建立回歸模型，構(gòu)建回歸方程，基于高斯提出的最小二乘法求參數(shù)，其PL與PH關(guān)系表達式為：

其中，Py為PH與PL縱坐標差值；Px為PH與PL橫坐標差值；β0為偏置；β1為斜率；ε為Px與Py之間的線性關(guān)系外的隨機因素，即誤差項?；貧w方程表達式為：

對于每個角點PH：

由于誤差服從高斯分布，則：

將式（12）代入式（13）可得：

則似然函數(shù)為：

對似然函數(shù)取對數(shù)后：

化簡后，求出最佳公式為：

將式（17）代入回歸方程（11）中，求偏導(dǎo)后求解可得：

獲取回歸方程后，以霍夫直線檢測的交點為原點，相鄰的兩個交點方向為坐標方向，構(gòu)建參數(shù)空間，原點到對角交點的方向為預(yù)測真實角點的方向。為方便計算，將參數(shù)空間映射到直角坐標系中，與回歸方程的交匯處為預(yù)測的角點?；貧w方程的計算選取距離原點步長不超過10 個像素點的Harris 檢測出的角點，而且在參數(shù)空間一、三象限內(nèi)的角點。

2 實驗結(jié)果分析

本文實驗硬件環(huán)境為：Intel Core i7-7700H CPU；內(nèi)存為16 GB；64 位Windows10 操作系統(tǒng)。軟件實施平臺為Visual Studio 2019，消音壁部分全景圖如圖8 所示。

圖8 消音壁部分全景圖

選取圖4 驗證本文Hough-Harris 角點檢測算法性能，其中，圖4（a）和圖4（b）為消音壁樣圖，圖5（a）和圖5（b）為霍夫直線檢測的角點圖，圖7（a）和圖7（b）為Harris 角點檢測圖，分別求出Hough、Harris 和Hough-Harris 算法檢測出的角點坐標，與真實值進行對比。結(jié)果如表1、表2 所示。

表1 樣圖一檢測角點坐標（單位：像素）

表2 樣圖二檢測角點坐標（單位：像素）

根據(jù)表1 和表2 可知，圖像中Harris 檢測出的角點個數(shù)根據(jù)響應(yīng)函數(shù)選取的閾值T變化而不同：閾值T越小，角點響應(yīng)越強烈，獲取的角點也越多；閾值T越大，角點響應(yīng)越微弱，檢測出的角點也越少。閾值T大小的選取影響角點檢測個數(shù)，同時，也影響計算機運算時間，每個角點響應(yīng)都需要計算，閾值選取過小時，會產(chǎn)生大量偽角點，大量增加了計算機運算負荷。因此，本文選取閾值T為85，在能檢測出角點的同時，減少偽角點的出現(xiàn)，提高計算機計算性能。樣圖二的Harris 檢測出的角點較多，本文僅選取離基點歐氏距離最近的前8 個角點進行驗證?；舴蛑本€檢測角點、Harris 檢測角點和本文算法檢測角點與真實角點偏差對比分析，本文算法檢測的角點普遍靠近原點，結(jié)果如圖9 所示。

圖9 角點偏差分析

從表3 可以看出，Hough 算法的PLx和PLy偏差最大，本文算法的PLHx和PLHy偏差最小。然后，利用各種算法檢測出的角點，計算四邊形面積，通過IoU 計算評估算法，IoU 計算的是“預(yù)測的邊框”和“真實的邊框”的交疊率，即他們的交集和并集的比值。理想情況下比值為1，即完全重疊。IoU 計算過程如圖10 所示，計算結(jié)果如表3所示。

圖10 IoU 原理

表3 IoU 結(jié)果對比分析

由表3 可知，樣圖一和樣圖二通過Hough 算法檢測角點形成面積的IoU 為93.37%和96.02%；通過Harris 算法檢測角點形成面積的IoU 為95.82%和96.51%；而本文算法檢測形成的IoU 能達到98.13%和98.71%。本文算法檢測的IoU 比Hough 算法和Harris 算法檢測的IoU 分別高4.76%、2.69% 和2.31%、2.20%。因此，本文算法檢測消音壁角點更接近真實值，透射變換后圖像如圖11 所示。

圖11 校正后的消音壁

3 結(jié)論

為了更精確地檢測出消音壁四個頂點，本文提出一種基于Hough-Harris 的消音壁頂點檢測算法。本文算法以Hough 算法檢測的角點為基點，以基點自身步長在10 以內(nèi)Harris 算法檢測的角點為樣本點，構(gòu)建回歸方程，基于高斯提出的最小二乘法求解最小誤差，能有效去除Harris 算法檢測的偽角點，預(yù)測出消音壁四個頂點坐標。實驗結(jié)果表明，本文算法預(yù)測頂點坐標與真實頂點坐標偏差量都小于Hough 算法和Harris 算法檢測出的角點；本文算法的IoU 評估指標高達98%以上，高于Hough 算法和Harris 算法的IoU 指標。因此，本文算法能較精確地檢測出消音壁頂點的同時，也有助于提高后續(xù)對消音壁毀傷評估、三維重建等工作任務(wù)的精度。