石林坤，田懷文，蒲虹林

（西南交通大學(xué) 可視化研究中心，四川 成都 610031）

工程類(lèi)圖紙識(shí)別一直是工程領(lǐng)域研究的熱點(diǎn)，其廣泛應(yīng)用于電氣工程、機(jī)械工程等不同行業(yè)。林銘德等人[1]利用對(duì)圖紙的識(shí)別，自動(dòng)獲取圖紙中電氣構(gòu)件數(shù)據(jù)。唐虹等人[2]通過(guò)對(duì)汽車(chē)線束圖紙的識(shí)別，達(dá)到了線束分類(lèi)識(shí)別的目的。YANG 等人[3]提出了一種從工程圖紙生成語(yǔ)義豐富的結(jié)構(gòu)模型的半自動(dòng)方法。文獻(xiàn)[4]利用AutoCAD 軟件讀取考生答案中的圖元，進(jìn)行試卷的批改。直線和曲線是工程圖紙中重要的幾何元素，對(duì)直線和曲線的自動(dòng)識(shí)別研究是實(shí)現(xiàn)圖紙完整、快速識(shí)別的關(guān)鍵技術(shù)。因此，有效的直線和曲線檢測(cè)方法對(duì)工程領(lǐng)域研究具有重要意義。LIU 等人[5]提出了一種基于錨點(diǎn)的Hough 變換，其在檢測(cè)較為簡(jiǎn)單的工程圖圖紙的直線中有較好的效果，但用于檢測(cè)較為復(fù)雜的工程圖圖紙時(shí)，仍需較大改進(jìn)。CUNEYT 等人[6]采用最小二乘法對(duì)錨點(diǎn)形成的邊緣映射進(jìn)行直線擬合，但仍存在少量虛假直線。馬俊俊[7]提出了基于種子段的動(dòng)態(tài)步長(zhǎng)直線矢量化算法，通過(guò)跟蹤種子段進(jìn)行直線識(shí)別，但其檢測(cè)結(jié)果容易受到直線連續(xù)性的影響。劉璧鉞等人[8]提出了一種基于LSD 算法的直線檢測(cè)。ALlWAN 等人[9]提出了一種基于遺傳算法的工程圖元檢測(cè)，該方法能夠較為準(zhǔn)確地提取工程圖中的圓弧和直線，但對(duì)于圖元重疊部分其提取效果較差。SALMON 等人[10]提出了一種從曲率剖面中檢測(cè)圓弧和線段的方法。文獻(xiàn)[11]提出一種基于教與學(xué)的優(yōu)化算法和梯度分析實(shí)現(xiàn)對(duì)圖像的圓檢測(cè)。文獻(xiàn)[12]提出了一種基于模擬退火和差分演化的自動(dòng)圓檢測(cè)算法，該算法能夠較為準(zhǔn)確地檢測(cè)圖像中的圓，但其對(duì)噪聲較為敏感。

本文針對(duì)工程圖圖線語(yǔ)義較為豐富、實(shí)際情況較為復(fù)雜等問(wèn)題提出了一種基于Hough 變換的工程圖圖線識(shí)別技術(shù)。如圖1 所示，基于Hough 變換的工程圖圖線識(shí)別具體步驟：（1）對(duì)采集的工程圖進(jìn)行預(yù)處理；（2）利用Hough 變換、RANSAC 算法、最小二乘法檢測(cè)圖像中的直線；（3）利用形態(tài)學(xué)開(kāi)閉運(yùn)算及漫水填充算法檢測(cè)并分離曲線；（4）利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)各圖線ROI進(jìn)行圖線線型分類(lèi)，得出線型關(guān)系。

圖1 圖線識(shí)別算法流程圖

最后結(jié)合工程制圖類(lèi)課程試卷自動(dòng)評(píng)閱需求，在識(shí)別算法的基礎(chǔ)上增加坐標(biāo)轉(zhuǎn)換算法及曲線一致性判斷，對(duì)30 名學(xué)生的工程圖圖紙考卷進(jìn)行評(píng)分，并與人工評(píng)分結(jié)果進(jìn)行對(duì)比，其評(píng)分差距在10%以內(nèi)，表明該算法的可行性且在機(jī)械制圖中有較好的應(yīng)用價(jià)值。

1 工程圖采集及預(yù)處理

為模擬真實(shí)工程圖應(yīng)用場(chǎng)景，本文通過(guò)掃描設(shè)備采集手繪圖紙或打印圖紙。實(shí)際采集過(guò)程中，因人為繪制習(xí)慣、設(shè)備誤差等問(wèn)題容易使采集的圖像產(chǎn)生干擾，因此需要對(duì)圖像進(jìn)行預(yù)處理操作，其流程圖如圖2 所示。

圖2 工程圖預(yù)處理流程圖

本文采用的圖像預(yù)處理包括：（1）圖像二值化，二值化可以極大地減少圖像中的數(shù)據(jù)量，突顯出目標(biāo)輪廓；（2）HSV 空間轉(zhuǎn)換，去除人為繪制誤差產(chǎn)生的陰影干擾；（3）形態(tài)學(xué)膨脹，達(dá)到去除噪聲的效果。其各步驟結(jié)果如圖3 所示。預(yù)處理后的結(jié)果相較于采集圖像，在保證原始工程圖基本圖元的情況下，大量減少了干擾點(diǎn)數(shù)量，且有更好的線條對(duì)比度，滿足后續(xù)處理要求。

圖3 工程圖預(yù)處理過(guò)程結(jié)果

2 圖線識(shí)別關(guān)鍵技術(shù)

2.1 Hough 變換直線檢測(cè)

霍夫變換是由Paul Hough 于1962 年首次提出，僅僅用于圖像中直線的檢測(cè)?，F(xiàn)在使用的廣義霍夫變換不僅能檢測(cè)直線，還可以檢測(cè)其他形狀的幾何特征。由于Hough 變換檢測(cè)直線是基于邊緣特征提取，因此需要先對(duì)圖像進(jìn)行邊緣檢測(cè)。考慮原圖像的分辨率是變化的，因此采用自適應(yīng)閾值Canny 邊緣檢測(cè)算法[13]。如圖4 所示，Hough 變換檢測(cè)到的直線往往包含多段直線，導(dǎo)致其檢測(cè)精度低，剔除這些多段直線對(duì)直線檢測(cè)精度至關(guān)重要。在Hough 變換檢測(cè)到的每條直線中，都有著對(duì)應(yīng)的起點(diǎn)和終點(diǎn)。假定直線空間為XY 空間，點(diǎn)空間為KB 空間，XY 空間中的直線唯一對(duì)應(yīng)的KB空間中的起點(diǎn)及終點(diǎn)。使用擬合算法剔除KB 空間中的“局外點(diǎn)”，從而對(duì)XY 空間進(jìn)行直線去重。常用的擬合算法有最小二乘法和RANSAC 算法等。

圖4 Hough 變換處理結(jié)果圖

2.2 基于RANSAC 算法的直線擬合

由圖4 可知，通過(guò)Hough 變換檢測(cè)出的直線對(duì)應(yīng)的KB 空間存在部分“外點(diǎn)”，這些干擾點(diǎn)會(huì)直接影響直線的擬合精度。本文采用RANSAC 算法[14]對(duì)“局外點(diǎn)”剔除。RANSAC 算法是一種通過(guò)不斷迭代，從一組數(shù)據(jù)中找出“局內(nèi)點(diǎn)”，排除“局外點(diǎn)”，并通過(guò)“局內(nèi)點(diǎn)”估計(jì)數(shù)學(xué)模型參數(shù)的算法。RANSAC 算法結(jié)果具有隨機(jī)性[15]，檢測(cè)不夠精準(zhǔn)。

最小二乘法是一種通過(guò)最小化理論值與觀測(cè)值之間的誤差平方和去尋找最佳匹配函數(shù)的算法，但由于最小二乘法會(huì)考慮所有樣本點(diǎn)進(jìn)行擬合，當(dāng)存在“局外點(diǎn)”時(shí)，擬合結(jié)果較差。

二者區(qū)別主要在于，最小二乘法會(huì)盡量擬合所有點(diǎn)，RANSAC 算法排除“局外點(diǎn)”后，僅利用“局內(nèi)點(diǎn)”計(jì)算模型。由于在空間中存在部分的“局外點(diǎn)”，若單獨(dú)使用最小二乘法進(jìn)行直線擬合，其擬合結(jié)果與理想情況會(huì)有較大誤差，二者算法擬合結(jié)果對(duì)比圖如圖5 所示。

圖5 RANSAC 算法和最小二乘法對(duì)比圖

基于此，本文結(jié)合上述兩種算法進(jìn)行直線擬合。先隨機(jī)地從測(cè)試集中選取一個(gè)子集進(jìn)行參數(shù)估計(jì)，以此為基礎(chǔ)估計(jì)參數(shù)化模型M，此時(shí)認(rèn)為該子集中的點(diǎn)均為“局內(nèi)點(diǎn)”。后用其余點(diǎn)測(cè)試該模型，如果某個(gè)點(diǎn)適用于該模型，即認(rèn)為該點(diǎn)也是“局內(nèi)點(diǎn)”，當(dāng)有足夠多的點(diǎn)被歸類(lèi)為“局內(nèi)點(diǎn)”時(shí)，就證明估計(jì)的模型足夠合理。擴(kuò)充后的“局內(nèi)點(diǎn)”重新估計(jì)模型，通過(guò)估計(jì)局內(nèi)點(diǎn)與模型的錯(cuò)誤率來(lái)評(píng)估模型，如果當(dāng)前的模型錯(cuò)誤率比之前最優(yōu)的模型錯(cuò)誤率低，即將當(dāng)前模型置為最優(yōu)模型，否則舍棄。重復(fù)一定的次數(shù)K 次后，有足夠的樣本點(diǎn)被歸為“局內(nèi)點(diǎn)”，得到最優(yōu)模型M，假設(shè)需要“局內(nèi)點(diǎn)”個(gè)數(shù)為n，置信度為P，θ 為n 個(gè)點(diǎn)適用于該模型的概率，則K 的計(jì)算公式如下：

通過(guò)不斷地建立假設(shè)與檢驗(yàn)的迭代，以期獲得一組最優(yōu)的“局內(nèi)點(diǎn)”點(diǎn)集，再利用最小二乘法擬合“局內(nèi)點(diǎn)”，得到擬合直線，其算法流程如圖6 所示。

圖6 直線擬合流程圖

其檢測(cè)結(jié)果如圖7 所示，將應(yīng)用上述算法直線檢測(cè)結(jié)果圖7 與Hough 變換檢測(cè)結(jié)果圖4（b）比較，可見(jiàn)該算法直線檢測(cè)效果較好。

圖7 直線擬合結(jié)果

2.3 曲線檢測(cè)

在機(jī)械工程類(lèi)圖紙中，曲線常常包括圓、圓弧、一般曲線等。Hough 變換圓檢測(cè)在檢測(cè)圓方面有較好的檢測(cè)效果，但對(duì)于圓弧及一般曲線的檢測(cè)效果較差。若直接將原始圖像和上述直線檢測(cè)結(jié)果圖7 進(jìn)行布爾差運(yùn)算，其結(jié)果如圖8 所示。該結(jié)果中包含大量不易去除的干擾點(diǎn)，且單條曲線也被分離成多條曲線，這些誤差會(huì)降低曲線檢測(cè)精度。

圖8 布爾差運(yùn)算結(jié)果

對(duì)此本文采用形態(tài)學(xué)開(kāi)閉運(yùn)算進(jìn)行曲線檢測(cè)。形態(tài)學(xué)開(kāi)閉運(yùn)算是圖像處理中常用的處理手段之一[16]，本文利用圖像中的曲線特征，采用橫向及縱向矩形結(jié)構(gòu)元從圖像中提取曲線邊緣。使用該方法得到的曲線邊緣為R3，其計(jì)算公式如下。

其中，R·B1表示B1對(duì)R 的開(kāi)運(yùn)算，R·B2表示B2對(duì)R的開(kāi)運(yùn)算，R1?B3表示B3對(duì)R1的閉運(yùn)算，R1?B4表示B4對(duì)R1的閉運(yùn)算，｜表示或運(yùn)算，R 為原始圖像，B1、B3是橫向矩形結(jié)構(gòu)元，B2、B4是縱向矩形結(jié)構(gòu)元，其曲線檢測(cè)結(jié)果如圖9 所示。

當(dāng)圖像中存在多段曲線時(shí)，為實(shí)現(xiàn)后續(xù)圖線線型識(shí)別，需要將多段曲線進(jìn)行分離。本文采用漫水填充算法[17]對(duì)曲線進(jìn)行分離。該算法適用于對(duì)內(nèi)定義區(qū)域的填充。漫水填充算法能夠?qū)⒃搮^(qū)域中全部像素值設(shè)置為新值。通過(guò)一定規(guī)則確定一種子點(diǎn)，然后通過(guò)判斷種子點(diǎn)的鄰域像素是否和種子點(diǎn)構(gòu)成聯(lián)通區(qū)域，從而決定是否對(duì)該區(qū)域進(jìn)行填充，直至找到該區(qū)域內(nèi)所有像素或達(dá)到輪廓線的邊界。其分離的結(jié)果如圖10 所示。

圖10 曲線分離結(jié)果

2.4 線型判斷

本文討論的機(jī)械工程類(lèi)圖紙線型如下[18]：粗實(shí)線、細(xì)實(shí)線、點(diǎn)畫(huà)線、虛線。如圖11 所示，其中ab 為粗實(shí)線，cd 為點(diǎn)畫(huà)線，ef 為虛線。

圖11 輸入圖像

受人為繪制習(xí)慣不同，使用傳統(tǒng)的圖像識(shí)別算法對(duì)線型判斷具有很大的誤差，故本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)算法對(duì)工程圖圖像進(jìn)行識(shí)別。

2.4.1 數(shù)據(jù)集構(gòu)建

為較好地還原手繪工程圖實(shí)際情況，本文選取的數(shù)據(jù)集均來(lái)自實(shí)際手繪工程圖及其圖線線型。對(duì)每張工程圖中每條圖線建立ROI 區(qū)域，并截取ROI 區(qū)域構(gòu)建工程圖數(shù)據(jù)集。其部分ROI 區(qū)域如圖12 所示。

圖12 ROI 區(qū)域示意圖

本文對(duì)50 張工程圖，共計(jì)2 000 條圖線建立ROI區(qū)域，共得到2 000 張數(shù)據(jù)集，在實(shí)驗(yàn)過(guò)程中隨機(jī)劃分其中的70%作為訓(xùn)練集、20%作為測(cè)試集、10%作為驗(yàn)證集，對(duì)于每張圖片隨機(jī)采用圖像旋轉(zhuǎn)、亮度變化、圖像正則化等圖線增強(qiáng)算法后，輸入到構(gòu)建的分類(lèi)神經(jīng)網(wǎng)絡(luò)中。其數(shù)據(jù)集類(lèi)別及其特征見(jiàn)表1。

表1 數(shù)據(jù)集類(lèi)別及特征

2.4.2 分類(lèi)神經(jīng)網(wǎng)絡(luò)構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是目前最為常見(jiàn)的一種神經(jīng)網(wǎng)絡(luò)模型，其主要被用于目標(biāo)分類(lèi)、目標(biāo)檢測(cè)、追蹤等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)利用圖片之間的相關(guān)性對(duì)圖像進(jìn)行輪廓提取操作，目前經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)有AlexNet、VGG、ResNet 等[19]。本文基于常見(jiàn)CNN 網(wǎng)絡(luò)設(shè)計(jì)的工程圖圖線分類(lèi)網(wǎng)絡(luò)模型如圖13 所示。將輸入圖片縮放到100×100 像素，工程圖圖線圖像具有R、G、B 三個(gè)維度通道，因此網(wǎng)絡(luò)將原始工程圖圖像轉(zhuǎn)化為100×100×3的三維矩陣。同時(shí)利用具有8 層卷積層、4 層池化層的CNN 網(wǎng)絡(luò)將轉(zhuǎn)化后的三維矩陣卷積成6×6×128 的多維矩陣。利用3 個(gè)全連接層及Softmax 函數(shù)將多維矩陣展平并分類(lèi)，分別獲得節(jié)點(diǎn)數(shù)為512、256、4，最終將輸入圖像分為4 類(lèi)，即粗實(shí)線、細(xì)實(shí)線、點(diǎn)畫(huà)線、虛線。

圖13 分類(lèi)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4.3 分類(lèi)實(shí)驗(yàn)結(jié)果與分析

在本文圖線分類(lèi)實(shí)驗(yàn)中，網(wǎng)絡(luò)設(shè)計(jì)參數(shù)如下：初始學(xué)習(xí)率為0.000 1，迭代次數(shù)為100 次，采用Droupout及Adam 優(yōu)化算法。圖線分類(lèi)訓(xùn)練過(guò)程準(zhǔn)確率及Loss變化曲線圖如圖14 所示。

由圖14 可知，經(jīng)過(guò)100 次迭代，模型在訓(xùn)練集上的準(zhǔn)確率為98.96%，其最終Loss 值為0.003 2。表2 給出測(cè)試集中4 種線型類(lèi)別的混淆矩陣。其中每一行表示每一類(lèi)圖線識(shí)別為其他類(lèi)別的概率，對(duì)角線表示每一類(lèi)圖線識(shí)別為本類(lèi)別的概率，由該表可知，4 類(lèi)圖線的識(shí)別準(zhǔn)確率均在90%左右，其中虛線的識(shí)別準(zhǔn)確率達(dá)到93.2%。但在某些特殊情況下，粗實(shí)線和細(xì)實(shí)線之間可能會(huì)存在識(shí)別錯(cuò)誤，點(diǎn)畫(huà)線和虛線間可能會(huì)存在識(shí)別錯(cuò)誤。

表2 圖線圖像分類(lèi)混淆矩陣

圖14 訓(xùn)練準(zhǔn)確率及Loss 曲線圖

3 算法應(yīng)用

隨著我國(guó)大力發(fā)展機(jī)械、電氣、建筑等工程事業(yè)，越來(lái)越多的學(xué)生報(bào)選工科專(zhuān)業(yè)。其中制圖類(lèi)課程是眾多工科專(zhuān)業(yè)重點(diǎn)必修課，國(guó)內(nèi)從事制圖類(lèi)課程的授課老師數(shù)量眾多，存在大量的課后作業(yè)和期末試卷需要老師修改。因此較好的工程圖圖線識(shí)別技術(shù)在制圖教學(xué)領(lǐng)域具有重要意義[20]。本文通過(guò)在上述算法基礎(chǔ)上增加坐標(biāo)轉(zhuǎn)換及曲線一致性判斷算法對(duì)30 張學(xué)生試題答案進(jìn)行自動(dòng)評(píng)分，其算法應(yīng)用流程如圖15 所示。

圖15 算法應(yīng)用流程圖

3.1 坐標(biāo)轉(zhuǎn)換

通常工程類(lèi)作業(yè)對(duì)答案繪制位置有一定要求，本文通過(guò)在試卷答題區(qū)域附近繪制“L”型符號(hào)進(jìn)行試題定位。在單幅工程圖中所得出的點(diǎn)坐標(biāo)均為絕對(duì)坐標(biāo)，為和試題答案進(jìn)行對(duì)比，應(yīng)按照一定規(guī)則將檢測(cè)出的直線端點(diǎn)的絕對(duì)坐標(biāo)及曲線上所有點(diǎn)的絕對(duì)坐標(biāo)轉(zhuǎn)換為相對(duì)坐標(biāo)。本文采取的轉(zhuǎn)換規(guī)則如圖16 所示，以定位點(diǎn)O為原點(diǎn)，按X 方向和Y 方向各點(diǎn)到該點(diǎn)的距離大小進(jìn)行點(diǎn)的坐標(biāo)轉(zhuǎn)換，例如轉(zhuǎn)換后點(diǎn)A 的相對(duì)坐標(biāo)為（x0-x，y0-y）。

圖16 坐標(biāo)轉(zhuǎn)換示意圖

3.2 曲線一致性判斷

對(duì)于直線而言，兩點(diǎn)間最多存在一條直線，因此只需判斷端點(diǎn)及線型是否正確。但兩點(diǎn)間的曲線可能存在無(wú)數(shù)條。因此采用如下算法進(jìn)行曲線一致性判斷：

如圖17 所示，假設(shè)λP={P0，P1，P2，...，Pn}是標(biāo)準(zhǔn)曲線上所有點(diǎn)的集合，λQ={Q0，Q1，Q2，...，Qn}是比對(duì)曲線上所有點(diǎn)的集合。從曲線最左端遍歷到曲線最右端，若其中超過(guò)一定比例點(diǎn)的坐標(biāo)差△y 小于設(shè)定閾值，則可近似認(rèn)為該兩段曲線一致性判斷正確，反之則認(rèn)為兩段曲線一致性判斷錯(cuò)誤。

圖17 曲線一致性判斷

3.3 實(shí)驗(yàn)結(jié)果

本文選取了機(jī)械制圖考卷中30 幅補(bǔ)畫(huà)第三視圖題型答案作為實(shí)驗(yàn)對(duì)象，該題型要求考生根據(jù)題目中給出的兩幅視圖繪制物體的第三個(gè)視圖，其總分為15分，部分測(cè)試圖紙如圖18 所示。

圖18 試題答案及部分考生測(cè)試圖紙

本文采用的評(píng)分規(guī)則如下：（1）考卷直線及答案直線的兩端點(diǎn)相對(duì)坐標(biāo)值及線型關(guān)系相同則計(jì)分，反之則扣分；（2）考卷曲線與答案曲線的曲線一致性判斷結(jié)果正確則記分，反之則扣分。采用上述算法及評(píng)分原則對(duì)測(cè)試試題進(jìn)行自動(dòng)評(píng)分。將自動(dòng)評(píng)分結(jié)果與5 名人工評(píng)判得分的平均分進(jìn)行比對(duì)，其評(píng)分結(jié)果對(duì)比圖如圖19 所示，其誤差在10%以內(nèi)，故本文算法在機(jī)械制圖試卷自動(dòng)評(píng)分方面具有一定的應(yīng)用價(jià)值。

圖19 評(píng)分結(jié)果對(duì)比圖

4 結(jié)束語(yǔ)

本文提出了一種基于Hough 變換的工程圖圖線識(shí)別技術(shù)。對(duì)采集的工程圖預(yù)處理后，利用Hough 變換、RANSAC 算法、最小二乘法檢測(cè)出圖像中直線，采用形態(tài)學(xué)開(kāi)閉運(yùn)算及漫水填充算法檢測(cè)并分離曲線。采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)各圖線ROI 進(jìn)行線型分類(lèi)，得出工程圖中線型關(guān)系。最后利用本文算法對(duì)選取的30 張機(jī)械類(lèi)特定題型答案進(jìn)行自動(dòng)評(píng)分，并將其與人工評(píng)分結(jié)果進(jìn)行對(duì)比，表明基于Hough 變換的工程圖圖線識(shí)別技術(shù)在教學(xué)領(lǐng)域具有一定的應(yīng)用價(jià)值。本文算法在以下方面還存在不足：（1）當(dāng)工程圖較為復(fù)雜時(shí)，圖線識(shí)別效果和理想結(jié)果會(huì)有較大差距；（2）工程圖圖線的識(shí)別速度還能進(jìn)一步提升。