葉培楚，楊偉鈞，曾憲賢

（1.廣州極飛科技股份有限公司，廣東廣州 510663；2.廣州城市職業(yè)學(xué)院機(jī)電工程學(xué)院，廣東廣州 510405；3.廣東技術(shù)師范大學(xué)計(jì)算機(jī)學(xué)院，廣東 廣州 510665；4.香港中文大學(xué)（深圳） 廣東省大數(shù)據(jù)計(jì)算基礎(chǔ)理論與方法重點(diǎn)實(shí)驗(yàn)室，廣東深圳 518000）

在農(nóng)業(yè)三維重建任務(wù)中，特征提取和匹配一直是影響效率和精度的重要一環(huán)［1?3］。 當(dāng)提取的特征出現(xiàn)空間分布不均勻時(shí)，因空間信息無法有效地利用，使得三維重建中的運(yùn)動估計(jì)出現(xiàn)較大的偏差，導(dǎo)致精度下降［4?5］。 特征匹配結(jié)果通常包含較多冗余的配對，比如較小區(qū)域內(nèi)，如5×5 的圖像塊中存在多個(gè)匹配結(jié)果，這會使得三維重建任務(wù)的計(jì)算效率受到極大的影響。 農(nóng)業(yè)場景中常用的特征點(diǎn)包括 SIFT、SURF、FAST 和 ORB，其中SIFT 的使用頻次最高，在對特征數(shù)量有約束的情況下，SIFT 使用最大響應(yīng)值作為判斷依據(jù)，選取響應(yīng)值最大的期望特征點(diǎn)數(shù)量，僅僅保證了特征點(diǎn)的質(zhì)量為全局最高，但無法保證特征點(diǎn)的空間分布均勻性，使得三維重建的精度無法進(jìn)一步提高。常用的特征匹配方法為FLANN 和暴力匹配法，隨后經(jīng)過RANSAC 進(jìn)行錯(cuò)誤匹配對過濾，得到較多的匹配結(jié)果。 然而，三維重建任務(wù)只要少量且準(zhǔn)確的匹配對即可完成運(yùn)動估計(jì)任務(wù)，因此過多的無效匹配對，會降低三維重建的計(jì)算效率和精度［6?8］。

基于網(wǎng)格化的特征提取，通過使用網(wǎng)格化方法實(shí)現(xiàn)特征提取的空間均勻分布，并對每個(gè)網(wǎng)格進(jìn)行自適應(yīng)閾值調(diào)整，確保每個(gè)圖像塊都能提取到足夠數(shù)量的特征點(diǎn)，從而確保三維重建充分利用空間信息［9?10］。 通過將網(wǎng)格化方法遷移到匹配對篩選任務(wù)中，同時(shí)引入特征響應(yīng)值作為重要指標(biāo)，進(jìn)行特征匹配對的篩選，只保留少量且準(zhǔn)確的特征匹配結(jié)果，提高三維重建的效率和精度［11?12］。

一、網(wǎng)格化特征提取

尺度不變特征變換（Scale Invariant Feature Transform， SIFT）因其尺度不變性和旋轉(zhuǎn)不變性等較強(qiáng)的辨識性能，被廣泛應(yīng)用于三維重建、圖像識別等任務(wù)中。 然而，SIFT 特征提取基于響應(yīng)值排序的方式進(jìn)行固定特征數(shù)量篩選的方法，在紋理不均勻的場景中會出現(xiàn)特征點(diǎn)扎堆的情況，即特征點(diǎn)的空間分布不均勻。 三維重建的運(yùn)動估計(jì)期望特征點(diǎn)在空間的分布足夠均勻，才能保證重建精度的可靠性。 本研究提出的網(wǎng)格化特征提取方法可以實(shí)現(xiàn)特征的空間分布均勻化，自適應(yīng)閾值調(diào)整可以保證每個(gè)區(qū)域都能提取到足夠特征點(diǎn)數(shù)量。

（一）網(wǎng)格化特征提取

為了實(shí)現(xiàn)特征點(diǎn)的空間分布均勻化，引入了網(wǎng)格化的方法，通過將圖像劃分成多個(gè)網(wǎng)格，對每一個(gè)網(wǎng)格提取期望數(shù)量的高質(zhì)量特征點(diǎn)。

圖1 網(wǎng)格化特征提取

假設(shè)期望提取的特征數(shù)量為N，圖像尺寸為W×H，劃分的網(wǎng)格尺寸為G×G，為了確?？臻g分布的均勻性，根據(jù)期望特征數(shù)量N，將圖像劃分成N 個(gè)整個(gè)圖像劃分成N 個(gè)G×G 的小圖像塊，對每個(gè)圖像塊分別進(jìn)行SIFT 特征提取，每個(gè)圖像塊可以提取到多個(gè)特征點(diǎn)，假設(shè)有c 個(gè)特征點(diǎn)，記為：

其中表示第i 個(gè)特征，（x，y）表示特征點(diǎn)的位置，s 表示特征點(diǎn)的尺度，o 表示特征點(diǎn)的主方向，r表示特征點(diǎn)的響應(yīng)值和對應(yīng)的描述向量d。 基于特征響應(yīng)值對圖像塊中所有特征點(diǎn)進(jìn)行排序，獲取圖像塊中響應(yīng)值最大的特征點(diǎn)，即：

從而獲得每個(gè)網(wǎng)格中質(zhì)量最高的特征點(diǎn)，保證了特征提取的質(zhì)量和空間分布均勻性。

（二）自適應(yīng)閾值

在SIFT 特征提取的時(shí)候，需要設(shè)置邊緣化響應(yīng)閾值δ 用于控制特征點(diǎn)數(shù)量，該閾值主要是通過控制最小梯度差異，實(shí)現(xiàn)關(guān)鍵點(diǎn)的篩選。 在不同的紋理場景中，網(wǎng)格化特征提取的結(jié)果不同：在紋理非常理想的情況下，每個(gè)網(wǎng)格可以提取的特征數(shù)量非常多，需要耗費(fèi)大量的計(jì)算資源，因此提高響應(yīng)閾值δ＝2×δ，減少每個(gè)網(wǎng)格提取的特征點(diǎn)數(shù)量；在紋理非常差的情況下，使用固定閾值會導(dǎo)致網(wǎng)格中提取不到任何特征點(diǎn)，影響特征點(diǎn)的空間新進(jìn)行特征提取，以獲得足夠數(shù)量的特征點(diǎn)。 假設(shè)網(wǎng)格中提取的特征數(shù)量為c，則：

其中，α 表示每個(gè)網(wǎng)格中最大的特征點(diǎn)數(shù)量，當(dāng)網(wǎng)格中提取的特征點(diǎn)數(shù)量c＞α，表示場景的紋理非常好，需要提高閾值參數(shù)δ ＝2δ，減少特征點(diǎn)數(shù)量；β 表示每個(gè)網(wǎng)格中最小的特征點(diǎn)數(shù)量，當(dāng)網(wǎng)格中提取的特征點(diǎn)數(shù)量c＜β，表示場景的紋理比較實(shí)驗(yàn)中，通常設(shè)置 α ＝ 10， β ＝ 2。 通過使用自適應(yīng)閾值調(diào)整的策略，在不同的紋理場景中，實(shí)現(xiàn)網(wǎng)格化特征提取的可靠性和高效性。

二、網(wǎng)格化特征匹配

現(xiàn)有特征匹配方法通過FLANN 匹配或暴力匹配法獲取最佳的匹配結(jié)果，三維重建任務(wù)中相鄰兩張圖像之間的共視區(qū)域較多，存在較多的圖像匹配對。 然而，三維重建的運(yùn)動估計(jì)僅需要少量且足夠準(zhǔn)確的特征匹配對，就能實(shí)現(xiàn)較為準(zhǔn)確和高效的結(jié)算結(jié)果。 因此，對匹配對進(jìn)行篩選，獲取高質(zhì)量的匹配對是非常重要的。

圖2 網(wǎng)格化匹配篩選

（一）特征響應(yīng)篩選

假設(shè)期望的匹配數(shù)量為M，參考網(wǎng)格化特征提取的網(wǎng)格計(jì)算方式對圖像進(jìn)行網(wǎng)格劃分，任意di表示描述子匹配距離。 對于任意一個(gè)網(wǎng)格，如圖有網(wǎng)格均值進(jìn)行排序，并選擇特征響應(yīng)均值最大的匹配對作為最優(yōu)匹配結(jié)果：

特征響應(yīng)值是反應(yīng)特征質(zhì)量的重要指標(biāo)，對于匹配對的篩選，基于網(wǎng)格化的方式，要求篩選出來的匹配對所關(guān)聯(lián)的兩個(gè)特征點(diǎn)的質(zhì)量是網(wǎng)格中最優(yōu)的。

（二）匹配距離篩選

在基于特征均值響應(yīng)值進(jìn)行網(wǎng)格化匹配對篩選時(shí)，部分網(wǎng)格可能不存在特征匹配對，會導(dǎo)致最終篩選出來的匹配對數(shù)量少于期望值，因此需要對最終的匹配對進(jìn)行補(bǔ)充。 在上述的篩選過程中，將ˇm ＝｛ ˇm1，ˇm2，…，ˇmK｝

期望匹配對數(shù)為M，且滿足M ＜K。 基于平均響應(yīng)值篩選得到的匹配對數(shù)為Q，且滿足Q ＜M，記為：

則提取結(jié)果不滿足期望數(shù)量，缺少的匹配對數(shù)量為V ＝M － Q，不滿足最大響應(yīng)均值的匹配對數(shù)量為 L ＝ K － Q ，記為：

基于匹配距離＾d 對匹配對進(jìn)行由小到大排序：

其中sort｛·｝表示對輸入數(shù)據(jù)進(jìn)行由小到大的排序，匹配距離越短，表示匹配對質(zhì)量越高，基于匹配距離獲取前L 個(gè)匹配對，獲得高質(zhì)量的匹配對結(jié)果，從而提高三維重建任務(wù)的計(jì)算效率。

三、實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出的方法的可靠性，首先對原始SIFT 特征提取方法和本文提出的網(wǎng)格化特征提取的方法進(jìn)行比較，如圖3 所示，原始的SIFT 特征提取方法在紋理分布不均勻的場景中會出現(xiàn)特征點(diǎn)扎堆的情況，大量的區(qū)域無法提取到特征點(diǎn)；相反，對于本文提出的高質(zhì)量的網(wǎng)格化SIFT 特征提取方法，可以在整個(gè)圖像中的所有位置都提取到特征點(diǎn)，并且特征點(diǎn)的分布非常均勻，對于農(nóng)業(yè)場景的三維重建精度有較大的助益。

圖3 網(wǎng)格化特征提取結(jié)果

此外，在農(nóng)業(yè)三維重建的任務(wù)中，重復(fù)紋理場景如小麥地、玉米地、香蕉林等極端場景，傳統(tǒng)的SIFT 特征無法提取到足夠多的特征點(diǎn)，使得重建任務(wù)失敗，農(nóng)業(yè)植保無人機(jī)無法獲取作業(yè)場景的三維環(huán)境信息，路徑規(guī)劃和農(nóng)藥噴灑等任務(wù)無法實(shí)施，嚴(yán)重影響植保工作的進(jìn)行。 而三維重建失敗的主要原因是現(xiàn)有的SIFT 特征提取方案無法對重復(fù)紋理場景提取足夠有效地特征點(diǎn)，為了驗(yàn)證本文方案在重復(fù)紋理場景中的效果，選取了兩組小麥地的圖像，與SIFT 特征提取的結(jié)果進(jìn)行對比，如圖4 所示。 從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)SIFT 特征提取方法無法提取到任何特征，而本文的方法可以提取到非常多的特征點(diǎn)，并且可以有效確保空間分布的均勻性。 顯然，本文提出的方案可以在小麥地這類重復(fù)紋理場景中獲得比傳統(tǒng)SIFT 特征提取方法更好的特征點(diǎn)。

圖4 重復(fù)紋理網(wǎng)格化特征提取

為了進(jìn)一步驗(yàn)證網(wǎng)格化SIFT 特征提取方法所提取的特征質(zhì)量，本文使用同樣的匹配方法對原始的SIFT 特征提取方法和本文提出的網(wǎng)格化特征提取方法進(jìn)行對比，本文采用最近鄰比例法作為統(tǒng)一的匹配方法，其中比例分?jǐn)?shù)設(shè)置為0.8，使用隨機(jī)采樣一致性（RANSAC）進(jìn)行錯(cuò)誤匹配對過濾，匹配結(jié)果如圖5 所示。

圖5 網(wǎng)格化特征對應(yīng)的匹配結(jié)果

如圖5 所示，本文提出來的網(wǎng)格化特征提取方法所提取的特征質(zhì)量較高，匹配效果明顯優(yōu)于原始的特征提取方法，特別是在空間均勻性上，如圖5 兩幅圖的最左側(cè)，SIFT 特征匹配結(jié)果顯然沒有任何匹配對，而本文提出的網(wǎng)格化特征提取方法卻有非常多的匹配對，顯然本文的方案可以充分利用所有空間信息。

為了驗(yàn)證本文提出的高質(zhì)量網(wǎng)格化匹配對篩選方法，在網(wǎng)格化SIFT 特征提取和匹配后的結(jié)果進(jìn)行匹配對篩選，如圖6 所示，初始的特征匹配對數(shù)量非常多，并且在同一個(gè)局部鄰域內(nèi)包含多個(gè)特征匹配對，這會導(dǎo)致三維重建過程中引入冗余數(shù)據(jù)，影響解算效率和精度。 通過使用本文提出的網(wǎng)格化匹配對篩選策略，結(jié)合網(wǎng)格化和最大平均響應(yīng)值兩個(gè)方法，充分綜合空間分布均勻性和特征質(zhì)量，在原始匹配對中篩選出期望數(shù)量的高質(zhì)量匹配對，使得最終的匹配對數(shù)量明顯減少，但整體的匹配趨勢和空間分布基本不變，極大提高了三維重建的效率和精度。

圖6 網(wǎng)格化匹配對篩選

四、結(jié)語

特征提取方法在農(nóng)業(yè)場景三維重建中具有非常重要的作用。 本文提出的特征提取方法通過引入網(wǎng)格化篩選和自適應(yīng)閾值調(diào)整方法，可以有效地從圖像中獲取高質(zhì)量并且空間分布均勻的特征點(diǎn)，對于三維重建任務(wù)中的運(yùn)動估計(jì)階段提供更加準(zhǔn)確和豐富的信息，使得三維重建的精度更高。通過網(wǎng)格化的方法，結(jié)合特征點(diǎn)響應(yīng)值以及匹配分?jǐn)?shù)等特征對匹配對進(jìn)行篩選，獲取高質(zhì)量的特征匹配結(jié)果，提高三維重建的精度和效率。

三維重建的精度和效率嚴(yán)重依賴于特征提取和匹配模塊，當(dāng)特征匹配結(jié)果足夠準(zhǔn)確時(shí)，通過合理的方法剔除冗余的特征匹配對可以有效提高三維重建的效率。 未來考慮將本文提出的方法應(yīng)用到實(shí)際的三維重建系統(tǒng)中，進(jìn)一步提高農(nóng)業(yè)場景重建的精度和效率。