惠婉玉 吳玉秀 張文忠
摘? 要:自適應(yīng)K-means++被用于提取線束連接器的主色特征值。首先對相機(jī)采集的圖像進(jìn)行去噪和增強(qiáng)對比度的操作;然后進(jìn)行圖像灰度化處理,通過大津閾值法分離線束主體與背景;再根據(jù)Canny算子提取每根導(dǎo)線的輪廓,由輪廓位置獲取增強(qiáng)圖像對應(yīng)的圖像塊;最后通過線寬選取聚類區(qū)域并利用自適應(yīng)K-means++提取主色特征值。實(shí)驗(yàn)通過中位切分法、K-means及自適應(yīng)K-means++分別提取特征值,并與人眼視覺觀測的特征值進(jìn)行色差對比。實(shí)驗(yàn)表明自適應(yīng)K-means++方法提取的特征值較準(zhǔn)確。
關(guān)鍵詞:線束連接器;主色特征值;自適應(yīng)K-means++;色差
中圖分類號:TP391.41? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A 文章編號:2096-4706(2021)01-0071-06
Research on Line Order Eigenvalue Extraction Method Based on Adaptive K-means++
HUI Wanyu,WU Yuxiu,ZHANG Wenzhong
(School of Electrical and Information Engineering,Anhui University of Techology,Maanshan? 243032,China)
Abstract:Adaptive K-means++ is used to extract the dominant color eigenvalue of the harness connector. First,denoise and enhance the contrast of the image collected by the camera;then the image is grayed,and the main body and background are separated by Otsu threshold method;then,the contour of each wire is extracted according to Canny operator,and the image block corresponding to the enhanced image is obtained from the contour position;finally,the clustering region is selected by linewidth and the dominant color eigenvalue is extracted by adaptive K-means++. The experiment uses median segmentation,K-means and adaptive K-means++ to extract eigenvalue,and compare them with the eigenvalue observed by human vision. Experiments show that the eigenvalue extracted by the adaptive K-means++ method are more accurate.
Keywords:harness connector;dominant color eigenvalue;adaptive K-means++;chromatic aberration
0? 引? 言
線束連接器是電子電路設(shè)備中不可或缺的一種重要器件,結(jié)構(gòu)上包含兩個(gè)部分,上部分是用于裝線的膠殼,下部分是連接線。它的作用是在兩個(gè)或者多個(gè)孤立不流通的電子電路之間搭設(shè)連通的橋梁,使電流流通,實(shí)現(xiàn)電子元器件的各項(xiàng)功能[1]。隨著電子制造業(yè)的快速發(fā)展以及連接器需求量地不斷增加,涉及的領(lǐng)域有汽車、電信與數(shù)據(jù)通信、航空航天、醫(yī)療設(shè)施以及軍事領(lǐng)域等。由于全球連接器生產(chǎn)能力不斷向中國偏移以及更多的國際連接器企業(yè)把生產(chǎn)基地轉(zhuǎn)移到中國,中國市場成為全球連接器訂單量增長最快的市場,因此對連接器品質(zhì)的要求越來越嚴(yán)格[2]。線束連接器是由各種不同顏色的導(dǎo)線按照一定的順序插入到對應(yīng)的孔位,因此顏色特征是其最顯著的特征。利用顏色特征識(shí)別不同的導(dǎo)線,是線序檢測中常用的一種有效方法。為了防止由于人為因素或者環(huán)境因素導(dǎo)致線束顏色順序排列錯(cuò)誤而產(chǎn)生電表誤接線、機(jī)器故障等情況,工作人員需要將不符合導(dǎo)線顏色排列規(guī)則的產(chǎn)品即不合格產(chǎn)品檢測出來,不能在市場上售賣。
目前,線序檢測大多采用人工目檢的方式,這種方式會(huì)因?yàn)椴僮鲉T的視覺疲勞或注意力不集中而導(dǎo)致漏檢或檢錯(cuò),從而降低企業(yè)的生產(chǎn)效率和聲譽(yù)進(jìn)而導(dǎo)致企業(yè)訂單流失。伴隨著機(jī)器視覺的興起以及在工業(yè)生產(chǎn)方面的廣泛應(yīng)用,通過機(jī)器視覺自動(dòng)識(shí)別線束順序是否正確,從而實(shí)現(xiàn)線束自動(dòng)化檢測。
1? 研究架構(gòu)
目前,國內(nèi)關(guān)于對線束的外觀檢測(如顏色)方面的研究及發(fā)表的論文比較少,絕大多數(shù)的研究主要集中在對線束內(nèi)部檢測(如開路、短路、錯(cuò)接等方面)的研究,對已有線束檢測和識(shí)別的文獻(xiàn)進(jìn)行了檢索。文獻(xiàn)[3]采用中值濾波去除采集圖像的噪聲,利用大津閾值法對圖像進(jìn)行閾值分割并利用Sobel算子檢測邊緣,最后通過計(jì)算線束每根導(dǎo)線表面像素點(diǎn)的平均值作為每根導(dǎo)線的顏色特征值。文獻(xiàn)[4]對采集到的線束圖像進(jìn)行中值濾波,然后截取線束的檢測區(qū)域進(jìn)行二值化,接著分割導(dǎo)線并得到每根導(dǎo)線的輪廓,通過各輪廓位置獲取對應(yīng)原圖像中圖像塊并計(jì)算顏色聚合向量特征。
以上文獻(xiàn)均為本文的研究提供了思路,由于線束導(dǎo)線表面的字符及高光會(huì)對線束顏色產(chǎn)生干擾,已有的提取主色特征值的方法不夠準(zhǔn)確。由此本文提出線束顏色特征值提取流程框架圖,如圖1所示。
第1步,利用工業(yè)相機(jī)采集雙排線束圖像;第2步,為避免導(dǎo)線交叉重疊,提取緊靠在膠殼孔位的下方區(qū)域作為圖像的感興趣區(qū)域進(jìn)行處理,采用雙線性插值法對其進(jìn)行線性拉伸;第3步,通過雙邊濾波法進(jìn)行去噪;第4步,利用對數(shù)變換法突出線束主體與背景的差別;第5步,通道分離,將R、G、B這3個(gè)子通道灰度圖以0.299、0.587、0.114的加權(quán)系數(shù)進(jìn)行算術(shù)運(yùn)算得到加權(quán)均值灰度圖;第6步,考慮到彩色圖像灰度化會(huì)丟失部分顏色的信息,因此將B通道灰度圖和加權(quán)均值灰度圖以一定比例進(jìn)行融合得到新的加權(quán)融合圖;第7步,對圖像中線束主體與背景進(jìn)行自適應(yīng)閾值分割;第8步,采用Canny算子提取圖像邊緣,根據(jù)各導(dǎo)線輪廓的位置獲取增強(qiáng)圖像對應(yīng)的圖像塊。第9步,通過線寬選取聚類區(qū)域,利用自適應(yīng)K-means++提取各部分的特征值。
2? 線束圖像預(yù)處理
2.1? 線束圖像濾波
在相機(jī)采集線束圖像過程中,由于光照強(qiáng)度變化、機(jī)械平臺(tái)抖動(dòng)等原因會(huì)導(dǎo)致采集到的圖像信息中含有一定程度的噪聲,這種噪聲會(huì)降低圖像的像質(zhì),因此需要對其進(jìn)行降噪操作,需要利用雙邊濾波法對圖像進(jìn)行降噪,其效果圖如圖2所示。雙邊濾波法的主要原理是結(jié)合圖像的空間鄰近度和像素值近似度對圖像去噪,使得圖像在濾波中同時(shí)考慮空間域信息和灰度相似性,實(shí)現(xiàn)去除噪聲時(shí)還能保留圖像的輪廓信息的優(yōu)點(diǎn)[5]。
2.2? 線束圖像增強(qiáng)
為了強(qiáng)調(diào)線束圖像目標(biāo)的特征以及擴(kuò)大圖像中背景和目標(biāo)間的差距,改善圖像的質(zhì)量和提高圖像的視覺效果,需要對去噪后的圖像進(jìn)行增強(qiáng)操作,需要利用對數(shù)變換法對去噪后的圖像進(jìn)行增強(qiáng),其效果圖如圖3所示。對數(shù)變換法的基本原理是通過將圖像中范圍分布較窄的低灰度值進(jìn)行部分?jǐn)U展,展示出低灰度部分更多的細(xì)節(jié),并且將范圍分布較寬的高灰度值進(jìn)行部分壓縮,從而達(dá)到增強(qiáng)圖像中低灰度細(xì)節(jié)的目的[6]。
2.3? 色彩空間轉(zhuǎn)換
由色度學(xué)原理可知,彩色圖像中的每個(gè)像素均可由紅、綠、藍(lán)三種顏色按照不同比例合成[7]。常見的彩色圖像灰度化方法有分量法、最大值法、最小值法、平均值法和加權(quán)均值法等。其中分量法指的是取該像素點(diǎn)三分量中的任何一個(gè)分量作為該點(diǎn)的像素灰度值,而加權(quán)均值法是按照人眼對紅色R通道、綠色G通道、藍(lán)色B通道的重要性將各通道按照一定權(quán)重進(jìn)行加權(quán)后取均值,把該加權(quán)均值作為灰度圖像的灰度值。
彩色線束圖像的R分量圖、G分量圖、B分量圖分別如圖4(a)、4(b)、4(c)所示,從圖4(a)、圖4(b)和圖4(d)可以看出,從左到右依次按順序第1根、第2根、第3根、第11根以及第12根導(dǎo)線在進(jìn)行灰度轉(zhuǎn)換之后灰度值偏大,在灰度圖中表現(xiàn)為顏色偏亮,這導(dǎo)致與背景的差別較小,難以區(qū)分??紤]到下一步需要將圖像中的每一根導(dǎo)線分割出來,單一的灰度轉(zhuǎn)換方法存在很大的局限性,故將B分量圖和加權(quán)均值圖進(jìn)行加權(quán)運(yùn)算融合得到了一幅新的灰度圖,如圖4(e)所示。
2.4? 線束圖像背景分割
為了將線束圖像中的每根導(dǎo)線從圖像中分割出來,采用大津閾值法自動(dòng)獲取線束目標(biāo)的最佳閾值。大津閾值法簡稱OTSU,又稱最大類間方差法,該方法根據(jù)目標(biāo)圖像的灰度特性將圖像分為目標(biāo)和背景兩個(gè)部分,并計(jì)算這兩部分的方差。當(dāng)目標(biāo)和背景間灰度值的方差相差最大時(shí),該閾值為最佳分割閾值,此時(shí)目標(biāo)與背景間的差別最大,分割最有效[8]。經(jīng)過大津閾值法分割的線束目標(biāo)(黑色像素點(diǎn))與背景(白色像素點(diǎn)),如圖5所示。
2.5? 線束圖像邊緣檢測
邊緣是圖像中屬性區(qū)域的分界,也是圖像目標(biāo)與背景間的像素灰度產(chǎn)生突變的區(qū)域。邊緣檢測的目的就是提取圖像邊緣輪廓信息并消除相關(guān)信息,從而減少分析的數(shù)據(jù)量。John Canny在1986年提出了階梯型邊緣檢測算子即Canny算子,該算子具有信噪比好、定位精準(zhǔn)以及最簡的邊緣響應(yīng)的優(yōu)點(diǎn)。該算子的基本思想是通過高閾值準(zhǔn)確定位邊緣片段以及低閾值跟蹤連接邊緣,高低閾值的有效配合極大地降低了將噪聲誤判為邊緣的可能性。其基本步驟有:利用高斯濾波器平滑噪聲、計(jì)算邊緣梯度的強(qiáng)度和方向、由梯度方向?qū)μ荻确颠M(jìn)行非極大值抑制、雙閾值檢測邊緣以及邊緣連接[9]。Canny算子邊緣檢測效果如圖6所示。
3? 主色特征值提取
3.1? K-means++概述
K-means是聚類算法中經(jīng)典算法之一,該算法需要預(yù)先指定K個(gè)聚類數(shù),隨機(jī)選取K個(gè)初始聚類中心,以歐氏距離作為相似性指標(biāo),將各個(gè)樣本劃分到距離聚類中心最近的類中,通過不斷迭代更新聚類中心[10]。K-means算法的不足之處在于需要預(yù)先確定聚類個(gè)數(shù)以及隨機(jī)選取初始聚類中心,當(dāng)初始聚類中心選取不恰當(dāng)時(shí),聚類算法容易陷入局部最優(yōu)解。為了解決這個(gè)問題,Arthur提出了改進(jìn)的聚類算法K-means++,該算法通過計(jì)算概率選取聚類中心,極大地改善了K-means聚類中心初始值不準(zhǔn)確的問題[11]。
3.2 K-means++主色特征值提取方法
經(jīng)過圖像預(yù)處理操作后,我們可以提取到線束圖像每根導(dǎo)線的輪廓。由于處理前后,圖像的輪廓沒有發(fā)生變化。增強(qiáng)圖像不僅去除了噪聲而且突出了線束每根導(dǎo)線的特征。根據(jù)各個(gè)導(dǎo)線輪廓的位置獲取增強(qiáng)圖像中對應(yīng)的各個(gè)導(dǎo)線區(qū)域,為了減少聚類所用的時(shí)間,我們?nèi)D像上每根導(dǎo)線的部分區(qū)域進(jìn)行聚類分析,如圖7標(biāo)注的矩形框所示。
矩形聚類區(qū)域的選取步驟:
(1)確定每根導(dǎo)線聚類區(qū)域的寬(設(shè)為ω):對Canny邊緣檢測后的圖6,取第一行從左到右依次掃描,并將白色像素點(diǎn)的行號記錄下來,此時(shí)每根導(dǎo)線的右邊線行號與該左邊線行號的差即為每根導(dǎo)線的寬度,簡稱線寬,以該線寬作為每根導(dǎo)線聚類區(qū)域的寬。
(2)確定每根導(dǎo)線聚類區(qū)域的高(設(shè)為h):由于處理前后各圖像的大小不發(fā)生改變,取Canny邊緣檢測后圖像寬的一半上下各取10個(gè)像素點(diǎn)總共20個(gè)像素點(diǎn)作為聚類區(qū)域的高。
圖7(a)的紅色矩形區(qū)域?yàn)槊扛鶎?dǎo)線的聚類區(qū)域,其中每個(gè)聚類區(qū)域共有N個(gè)像素點(diǎn),其中N為聚類區(qū)域的寬(ω)和高(h)的乘積,N個(gè)像素點(diǎn)組成的數(shù)據(jù)集X={xi|xi∈R3,i=1,2,…,N},每個(gè)數(shù)據(jù)點(diǎn)xi是由3個(gè)表征其特征的R、G、B數(shù)據(jù)組成的向量。例如(255,255,255)、(0,0,0)等。
K-means++的聚類目標(biāo)是將數(shù)據(jù)集X中的N個(gè)數(shù)據(jù)點(diǎn)劃分到K類組成的數(shù)據(jù)集C={ck|k=1,2,…,K},其中ck類的類中心為μk,一個(gè)被劃分到ck類的數(shù)據(jù)點(diǎn)xi到類中心μk的歐氏距離為:
disted(xi,μk)=||xi-μk||2,xi∈ck? ? ? ? ? ? ? (1)
所有被劃分到ck類的數(shù)據(jù)點(diǎn)xi到該類的類中心μk的歐氏距離和為:
(2)
求得K類中的數(shù)據(jù)點(diǎn)到其對應(yīng)類中心的歐氏距離總和,即:
(3)
聚類目標(biāo)就是使J(C)的值最小。
算法框架圖如圖8所示。
3.3? 自適應(yīng)K-means++
通常情況下,K-means中聚類數(shù)K值的選取是根據(jù)先驗(yàn)知識(shí)估計(jì)的一個(gè)值,K值選擇是否合適決定著聚類效果的好壞。針對這種情況,通過聚類評估指標(biāo)輪廓系數(shù)[12]來搜索樣本的最佳聚類,實(shí)現(xiàn)自動(dòng)確定最佳聚類數(shù)K。求取平均輪廓系數(shù)的具體計(jì)算步驟為:
(1)對于數(shù)據(jù)集X里的數(shù)據(jù)點(diǎn)xi,假設(shè)xi被聚類到類A,計(jì)算xi與類A內(nèi)所有其他數(shù)據(jù)點(diǎn)距離的平均值,記作a(i),用于度量類內(nèi)的凝聚度;
(2)選取非類A之外的另一個(gè)類B,計(jì)算xi與類B中所有數(shù)據(jù)點(diǎn)的平均距離。依次遍歷所有其他非A類的類,從而找到最近的平均距離并記作b(i),用于度量類之間的分離度;
(3)對于數(shù)據(jù)點(diǎn)xi,計(jì)算其輪廓系數(shù):
(4)計(jì)算數(shù)據(jù)集X中所有數(shù)據(jù)點(diǎn)的輪廓系數(shù),并求出其平均輪廓系數(shù)。平均輪廓系數(shù)(i)的取值范圍為[-1,1],在此范圍內(nèi),類內(nèi)數(shù)據(jù)點(diǎn)之間的距離越小,類間數(shù)據(jù)點(diǎn)間的距離越大,平均輪廓系數(shù)越大,表明聚類效果越好。因此平均輪廓系數(shù)最大的聚類數(shù)目K就是最佳的聚類數(shù)。
當(dāng)聚類數(shù)目K為1時(shí),說明圖像像素點(diǎn)呈現(xiàn)均勻分布的情況,無明顯特征差異,通常最小聚類數(shù)為2??紤]到聚類區(qū)域會(huì)受到表面高光、表面字符以及背面線束遮擋的干擾,將導(dǎo)致提取線束區(qū)域的主色特征不準(zhǔn)確,因此設(shè)置最大聚類數(shù)目為4。自適應(yīng)K-means++聚類流程圖如圖9所示。
4? 實(shí)驗(yàn)結(jié)果與分析
彩色線束圖像的顏色特征提取的過程主要依賴硬件和軟件兩部分配合完成。硬件部分包括USB接口的高性能工業(yè)CCD相機(jī)、變焦鏡頭、LED條形光源以及普通計(jì)算機(jī)。軟件部分包括使用Visual Studio 2015工具作為系統(tǒng)環(huán)境的開發(fā)平臺(tái)和OpenCV3.1.0的開源計(jì)算機(jī)視覺庫來實(shí)現(xiàn)線束圖像處理。
一般來說,相機(jī)采集的彩色圖像依賴于RGB色彩空間,但RGB空間的顏色分布不均勻,獲取到的RGB值很難確切地表示該值代表的顏色認(rèn)知屬性。而CIELAB空間是色彩均勻的空間,它與人眼視覺感知一致,通過將RGB色彩空間獲取的RGB坐標(biāo)值轉(zhuǎn)換為相應(yīng)的XYZ和LAB坐標(biāo)值,并利用CIELAB色差公式計(jì)算該實(shí)驗(yàn)方法和通過人眼視覺獲取到的線束圖像主體顏色上的差異即色差ΔE[13],并通過與中位切分法、K-means及自適應(yīng)K-means++分別提取主顏色特征值和計(jì)算色差值。結(jié)果如表1所示。
總體來看,表1中中位切分法提取的顏色特征值與人眼視覺觀察到的特征值之間的顏色差異較大,說明該算法提取的顏色特征值不準(zhǔn)確;而自適應(yīng)K-means++相對色差較小,說明該算法提取的顏色特征值較為準(zhǔn)確。
5? 結(jié)? 論
顏色識(shí)別是線序檢測中的重要特征,為了準(zhǔn)確地提取每根導(dǎo)線的主色特征值,提出了自適應(yīng)K-means++提取主色的方法。通過相機(jī)獲取雙排線束圖像,選取圖像感興趣區(qū)域進(jìn)行處理并對其進(jìn)行線性拉伸;利用雙邊濾波去噪、對數(shù)變換增強(qiáng)后進(jìn)行通道分離,分別獲取到R、G、B三通道的灰度圖;利用加權(quán)和融合的方式得到新的灰度圖;并利用大津閾值法分離線束主體與背景;采用Canny算子提取線束圖像的邊緣,即得到每根導(dǎo)線的輪廓,通過線寬選取各輪廓的位置對應(yīng)到增強(qiáng)圖像的圖像塊。最后利用自適應(yīng)K-means++提取區(qū)域的主色特征值。最后實(shí)驗(yàn)通過中位切分法、K-means以及自適應(yīng)K-means++提取的顏色特征值和人眼視覺獲取的特征值進(jìn)行色差對比,結(jié)果表明自適應(yīng)K-means++算法提取的圖像特征值較為準(zhǔn)確。
參考文獻(xiàn):
[1] 范冬冬.基于機(jī)器視覺的雙排線束檢測儀的研究與設(shè)計(jì) [D].馬鞍山:安徽工業(yè)大學(xué),2019.
[2] 吳暉輝,曾憲榮,賴燕君,等.基于機(jī)器視覺的線束連接器字符檢測 [J].測試技術(shù)學(xué)報(bào),2018,32(2):174-179.
[3] SHI G M,JIAN W. Wiring harness assembly detection system based on image processing technology [C]//2011 International Conference on Electronics,Communications and Control (ICECC).Ningbo:IEEE,2011:2397-2400.
[4] 吳宗勝,薛茹.基于顏色聚合向量的線序檢測方法 [J].計(jì)算機(jī)測量與控制,2019,27(6):182-185.
[5] 石坤泉,魏文國.采用雙邊濾波的冷軋鋁板表面缺陷圖像去噪方法的研究 [J].表面技術(shù),2018,47(9):317-323.
[6] 豐遠(yuǎn)遠(yuǎn),高賢君,楊元維,等.改進(jìn)對數(shù)變換聯(lián)合局部增強(qiáng)的高分遙感影像陰影自動(dòng)補(bǔ)償方法 [J].激光與光電子學(xué)進(jìn)展,2020,57(20):67-75.
[7] 劉美,薛新松,劉廣文,等.對比度增強(qiáng)的彩色圖像灰度化算法 [J].長春理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,41(5):70-74.
[8] 陳雪鑫,卜慶凱.基于改進(jìn)的最大類間方差法的水果圖像識(shí)別研究 [J].青島大學(xué)學(xué)報(bào)(工程技術(shù)版),2019,34(2):33-38+62.
[9] 鄭健,王繼,宋世銘.Canny雙閾值算子在邊緣提取中的優(yōu)勢 [J].地理空間信息,2019,17(11):128-130+12.
[10] CHEN G L,WANG G W,JU J,et al. Research on the Influence of Kmeans Cluster Preprocessing on Adversarial Images [C]//Proceedings of the 2019 7th International Conference on Information Technology:IoT and Smart City.New York:Association for Computing Machinery,2019:248–252.
[11] KUBO Y,NII M,MUTO T,et al. Artificial humeral head modeling using Kmeans++ clustering and PCA [C]//2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech).Kyoto:IEEE,2020:5-7.
[12] 朱連江,馬炳先,趙學(xué)泉.基于輪廓系數(shù)的聚類有效性分析 [J].計(jì)算機(jī)應(yīng)用,2010,30(S2):139-141+198.
[13] 范鵬飛,孫俊.基于機(jī)器視覺的色差檢測算法 [J].傳感器與微系統(tǒng),2016,35(10):120-122+126.
作者簡介:惠婉玉(1996—),女,漢族,安徽宿州人,碩士研究生在讀,研究方向:機(jī)器視覺與圖像處理;吳玉秀(1982—),男,漢族,河南安陽人,講師,博士,研究方向:機(jī)器視覺與圖像檢測;張文忠(1997—),男,漢族,安徽桐城人,碩士研究生在讀,研究方向:機(jī)器人調(diào)度。