摘要：局部圖像特征直線的描述現(xiàn)如今不僅是圖像特征直線匹配過程的關(guān)鍵和基礎(chǔ)，還已成為人工智能和計算機視覺領(lǐng)域中的研究難點和熱點問題之一。它不僅被廣泛應(yīng)用到寬基線匹配、圖像檢索、圖像拼接、3D重建等計算機視覺任務(wù)中，還被應(yīng)用到產(chǎn)品質(zhì)量檢測、指紋解鎖、自動工件檢測等實際工程應(yīng)用中。近年來，隨著人工智能的發(fā)展和深度學習在許多領(lǐng)域的成功應(yīng)用，文獻中出現(xiàn)了諸多相關(guān)學者針對局部圖像特征直線描述問題而提出的不同算法。本文對經(jīng)典且具有代表性的局部圖像特征直線描述算法進行闡述、分析總結(jié)以及全面客觀評價，最后總結(jié)歸納了局部圖像特征直線描述的現(xiàn)狀、所面臨的困難與挑戰(zhàn)以及未來可能的研究走向，為相關(guān)學者未來的研究工作提供一定的參考。

關(guān)鍵詞：局部圖像特征直線描述；深度學習；圖像特征直線匹配

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）06-0103-03

開放科學（資源服務(wù)）標識碼（OSID）

0 引言

局部圖像特征直線描述是將經(jīng)過預(yù)處理之后的待匹配圖像中提取的邊緣線特征描述成具有代表性和唯一性的描述向量。一個魯棒的描述向量應(yīng)該對于匹配塊不會因為視角、光照、旋轉(zhuǎn)、模糊和噪聲等的變化而變化，同時對于非匹配塊要保持不同圖像塊之間的區(qū)分性。其可以被廣泛應(yīng)用于圖像分類、場景識別、人造場景、3D重建、圖像配準、圖像拼接和圖像分割等各個場景中。局部圖像特征直線的描述算法不僅是特征匹配領(lǐng)域中一個重要且具有研究意義的子課題，也是計算機視覺任務(wù)中的研究難題和研究熱點問題之一。其一般分為兩個步驟，如圖1所示，步驟1：對采集的原圖像和經(jīng)過各種變換的圖像進行預(yù)處理并提取圖像中的特征直線；步驟2：將步驟一獲得的特征直線進行描述以生成特征直線描述子。

相對于點，直線在一些特定場景中可以提供更多的紋理內(nèi)容和幾何信息，從而為了實現(xiàn)圖像的精確匹配。與特征點描述相比，特征直線描述子一直發(fā)展緩慢。其主要理由：1）圖像的各種幾何光學變化會造成圖像遮擋問題，導致邊緣直線的長度、方向以及紋理發(fā)生變化；2）利用邊緣檢測算子進行提取特征直線時，容易造成直線斷裂，進而會使直線出現(xiàn)端點定位不準以及不連續(xù)的問題。直線端點的不精確定位將會導致匹配的兩條直線的描述向量存在較大的差異，進而會容易造成錯誤的匹配結(jié)果，直接影響匹配性能；3）相對于點，因直線長短不一，在構(gòu)造特征直線描述向量時會更難以統(tǒng)一表達；4）缺少用于訓練的大規(guī)模且多樣的標注特征直線數(shù)據(jù)集，然而構(gòu)造這樣的數(shù)據(jù)集又需要大量的人力和財力。因此，局部圖像特征直線描述算法的研究不僅在理論和應(yīng)用上具有研究價值，同時也具有一定難度和挑戰(zhàn)。

近年來，深度學習在諸多視覺任務(wù)中成功地展現(xiàn)出了其具有強大的函數(shù)擬合能力。而局部圖像特征直線描述算法的本質(zhì)任務(wù)也是設(shè)計一個復(fù)雜的函數(shù)映射，使得相同物理線的局部圖像輸出距離相近的特征向量，同時保證不同物理線的局部圖像輸出距離較大的特征向量。因此，將其應(yīng)用到局部圖像特征直線描述算法中，以提升現(xiàn)有算法的性能不僅值得研究，也是局部圖像特征直線匹配任務(wù)中研究的熱點和難點問題。本文將當今比較經(jīng)典且主流的由傳統(tǒng)經(jīng)驗或研究人員的專業(yè)知識驅(qū)動的基于手工設(shè)計的局部圖像特征直線描述算法和由數(shù)據(jù)驅(qū)動基于深度學習的局部圖像特征直線描述算法分別進行了全面客觀的比較與分析，總結(jié)了局部圖像特征直線描述的現(xiàn)狀、所面臨的困難與挑戰(zhàn)以及未來可能的發(fā)展走向，為未來該領(lǐng)域研究者進一步研究提供一定的參考。

1 基于手工設(shè)計的局部圖像特征直線描述算法

局部圖像特征直線描述不僅在圖像特征匹配算法中占領(lǐng)著至關(guān)重要的位置，還引起了許多該領(lǐng)域研究人員的關(guān)注。與特征點描述算法一樣，也是從基于手工設(shè)計的算法開始的?；谑止ぴO(shè)計的局部圖像特征直線描述算法的基本思想大都來自于傳統(tǒng)經(jīng)驗或研究者的專業(yè)知識。其大概分為兩類：基于紋理特征直線描述算法和基于幾何特征的直線描述算法。

基于紋理特征直線描述算法為了獲取具有區(qū)分性的描述向量，將鄰域進行劃分作為特征直線的支撐區(qū)域。該類算法中最具有代表性的是Wang等人為了解決直線難以統(tǒng)一描述而提出的直線描述子MSLD[1]（如圖2所示）。該算法首先將像素支撐區(qū)域中各個子區(qū)域的四個方向上的梯度向量描述成一個梯度描述矩陣，最后通過計算該矩陣列向量的均值和標準差來構(gòu)造MSLD，從而提高了直線描述子的區(qū)分性和魯棒性。該算法對于紋理場景中適當?shù)膱D像變化具有良好的匹配結(jié)果，但在低紋理圖像中的匹配結(jié)果不佳。此外，它還表明均值和標準差可以有效地描述直線，同時因?qū)⑵鋺?yīng)用到曲線特征描述上而獲得了MSCD描述子。李等人[2]以圖像的灰度值為基礎(chǔ)，計算直線支撐區(qū)域內(nèi)灰度值編碼實現(xiàn)直線的匹配，但是該算法原理復(fù)雜，匹配性能低。López等人[3]提出的一種基于紋理和外觀的描述子LMCA，實驗結(jié)果表明，LMCA在低紋理場景和各種圖像變換下仍能具有良好的魯棒性。但是該算法太過于依賴直線的外觀信息，所以其仍需面臨直線端點不能準確檢測的問題。

基于幾何特征的直線描述算法其實是依據(jù)特征直線的幾何屬性來實現(xiàn)的。該類算法中最具有代表性的是Zhang等人[4]結(jié)合直線描述子LBD和幾何約束，以實現(xiàn)線的匹配。該算法具有對尺度變化、低紋理圖像等具有較好的魯棒性，且該算法設(shè)計的LBD描述子計算速度較快。但當圖像中含有旋轉(zhuǎn)變化時，LBD存在不能解決圖像遮擋的問題。Fan等人[5]從兩點和一線出發(fā)來探索了一個仿射不變量。他們利用這種仿射不變量來匹配具有已知點對應(yīng)關(guān)系的線。該算法的主要缺點是需要已知的極線幾何或點對應(yīng)關(guān)系。此外，由于缺乏良好的點對應(yīng)關(guān)系，所以在低紋理場景中的性能受到限制。

總之，以上這些基于手工設(shè)計的局部圖像特征直線描述算法各有各的優(yōu)勢與缺陷。上述文獻中該類算法的文獻不僅年份相對較早，而且在復(fù)雜條件下的圖像特征直線匹配問題時，其已經(jīng)無法獲得令人滿意的結(jié)果，進而限制了直線特征匹配在其他應(yīng)用中的運用。進而證明由研究人員的專業(yè)知識驅(qū)動的手工設(shè)計算法不僅逐漸淡出了歷史的舞臺，而且性能也已經(jīng)走入了瓶頸期。

2 基于深度學習的局部圖像特征直線描述算法

2012年以來，隨著深度學習在圖像分類、局部圖像特征點描述、行人在識別、目標檢測與識別等諸多計算機視覺任務(wù)中的成功應(yīng)用，相關(guān)研究者也已經(jīng)提出了一些優(yōu)良且由數(shù)據(jù)驅(qū)動的基于深度學習的局部圖像特征直線描述算法，它們表現(xiàn)出比基于手工設(shè)計的特征直線描述子更好的匹配性能。Liu等人[6]首先構(gòu)造了一個名為HLines的大規(guī)模線數(shù)據(jù)集，然后在基于學習的特征點描述算法HardNet和L2-Net啟發(fā)下，提出了基于學習的特征線描述符LPDNet（如圖3所示），實驗結(jié)果表明，描述符LPDNet優(yōu)于手工設(shè)計的特征線描述符，特別是在視角、尺度和模糊變化圖像上表現(xiàn)出更大的優(yōu)勢。此外，又將其應(yīng)用到特征曲線匹配當中，實驗結(jié)果證明，與現(xiàn)有的特征線描述符相比，LPDNet具有更廣泛的適用性。霍等人[7]通過直接從原始局部圖像塊中進行訓練學習而獲得直線特征描述子LP-HardNet，并在相關(guān)實驗中取得了良好的性能，但由于構(gòu)造的訓練樣本缺乏多樣性，該方法對遮擋和低紋理變化較為敏感。Huo等人[8]首先構(gòu)造了一個線數(shù)據(jù)集GDLFpatches，接著探索了基于FCNNS和遷移學習的三種神經(jīng)網(wǎng)絡(luò)架構(gòu)：CS S-Net（如圖4所示）、CS PS-Net（如圖4所示）、CS 2-Channel-Net（如圖5所示），經(jīng)過實驗表明，提出的三種描述子優(yōu)于現(xiàn)有的手工設(shè)計描述子，特別是在模糊變化、視角變化、旋轉(zhuǎn)變化和尺度變化上取得了顯著的成功。

3 結(jié)束語

直線作為圖像的三大主要局部特征之一，其被廣泛應(yīng)用于3D重建、圖像檢索、圖像拼接、目標檢測和識別、指紋解鎖等計算機視覺任務(wù)和實際工程應(yīng)用當中。局部圖像特征直線描述作為圖像直線匹配技術(shù)中的關(guān)鍵技術(shù)不僅是計算機視覺的一項重大研究意義的課題，也是該領(lǐng)域的一個研究難點和熱點。它是將局部圖像特征直線塊編碼成代表性向量，所期望的直線特征描述向量對于匹配塊而言應(yīng)該是不變的，對于非匹配塊是具有區(qū)分性的。

在過去的幾十年里，相關(guān)研究人員在這一領(lǐng)域也取得了長足的發(fā)展。因此本文對現(xiàn)有的局部圖像特征直線描述算法（從手工設(shè)計的到基于學習的）進行了全面回顧，以便為相關(guān)研究學者提供更好的參考和理解，本文做了以下總結(jié)與展望：

（1）與特征點相比，直線特征可以提供更多的紋理內(nèi)容和幾何信息、直線特征穩(wěn)定性較高、不易受到環(huán)境噪聲的干擾；但是，由于局部直線特征描述存在的上述引言中所述的困難，使得直線特征描述的研究進展一直相對緩慢。

（2）從上述的研究現(xiàn)狀可知，現(xiàn)如今局部圖像特征直線描述算法的研究已經(jīng)進入基于數(shù)據(jù)驅(qū)動的時代。傳統(tǒng)經(jīng)驗或研究學者的專業(yè)知識驅(qū)動的手工設(shè)計算法不僅由于參數(shù)確定困難、設(shè)計思路受研究人員對事物的認知限制等原因，其性能已經(jīng)幾乎接近瓶頸期，而且這類算法在面對復(fù)雜場景和多樣圖像變化時，現(xiàn)如今已經(jīng)無法獲得令人滿意的結(jié)果。因此，限制了局部圖像特征直線在其他領(lǐng)域的實際應(yīng)用。

（3）基于深度學習的算法由于具有數(shù)據(jù)驅(qū)動的優(yōu)勢特點，通過設(shè)計一定的學習目標便可獲得相應(yīng)的局部圖像特征直線描述子，現(xiàn)如今其已經(jīng)成為局部圖像特征直線的主流算法。另一方面，深度學習在諸多研究任務(wù)和問題上展現(xiàn)出優(yōu)秀的性能，而且相對于特征點描述算法，利用深度學習和遷移學習進行特征直線描述還處于初步嘗試階段，但同時也表現(xiàn)出強大的前景和潛力。因此，基于深度學習設(shè)計局部圖像特征直線描述算法以獲得更加強區(qū)分性的直線特征描述子也是研究發(fā)展的必然趨勢。

（4）特征直線匹配能力的提高并沒有上限，雖然已有特征直線描述子以滿足一定的實際需求，但是在學術(shù)界和實際工程應(yīng)用中一直需要更高性能的特征直線描述子。因此，未來可以根據(jù)需求而設(shè)計新的損失函數(shù)，并進一步學習與挖掘現(xiàn)有數(shù)據(jù)集的特征，或者構(gòu)造更豐富多樣且規(guī)模更大的數(shù)據(jù)集。

（5）特征直線的提取與描述需要一個統(tǒng)一的框架?，F(xiàn)如今，已有研究人員在特征點匹配任務(wù)上提出端到端的基于學習的特征點匹配算法，因此，未來研究人員和工程技術(shù)人員也可以將其作為一個主要研究方向。

參考文獻：

[1] 王志衡.圖像特征檢測與匹配研究[D].北京：中國科學院自動化研究所，2008.

[2] 李強，張鈸.一種基于圖像灰度的快速匹配算法[J].軟件學報，2006，17（2）：216-222.

[3] López J，Santos R，F(xiàn)dez-Vidal X R，et al.Two-view line matching algorithm based on context and appearance in low-textured images[J].Pattern Recognition，2015，48（7）：2164-2184.

[4] Zhang L， Koch R.An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J].Journal of Visual Communication and Image Representation，2013，24（7）：794-805.

[5] Fan B，Wu F C，Hu Z Y.Line matching leveraged by point correspondences[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.June 13-18，2010，San Francisco，CA，USA.IEEE，2010：390-397.

[6] Liu H M，Liu Y J，F(xiàn)u M M，et al.Towards learning line descriptors from patches：a new paradigm and large-scale dataset[J].International Journal of Machine Learning and Cybernetics，2021，12（3）：877-890.

[7] 霍占強，劉玉潔，付苗苗，等.基于卷積神經(jīng)網(wǎng)絡(luò)的直線描述方法研究[J].計算機工程，2021，47（5）：251-259.

[8] 付苗苗. 基于深度遷移學習的直線特征描述算法研究[D].焦作：河南理工大學， 2020.

【通聯(lián)編輯：唐一東】