劉 磊

(四川商務(wù)職業(yè)學(xué)院 科研處，四川 成都 610000)

0 引 言

網(wǎng)絡(luò)互聯(lián)技術(shù)的飛速發(fā)展帶來的是大數(shù)據(jù)環(huán)境下朋友圈的擴(kuò)大，社交過程中每天都會(huì)產(chǎn)生大量的圖片數(shù)據(jù)，如何利用計(jì)算機(jī)處理信息的高效性來對(duì)圖像數(shù)據(jù)進(jìn)行處理是現(xiàn)在的主要研究方向[1-2].人類視覺系統(tǒng)在對(duì)一幅圖像或是一個(gè)場(chǎng)景的信息進(jìn)行區(qū)分時(shí)往往會(huì)被最明顯的顯著性區(qū)域所吸引，從而忽略掉重要性較低的背景，因此利用計(jì)算機(jī)視覺技術(shù)對(duì)顯著性區(qū)域進(jìn)行檢測(cè)將有助于提高計(jì)算機(jī)信息處理的效率[3-4].李振強(qiáng)等[5]在2020年提出了利用機(jī)器視覺技術(shù)對(duì)羊骨架進(jìn)行顯著性檢測(cè)，以此來獲取羊骨架各部分特征達(dá)到羊骨架自動(dòng)分割的目的.劉根旺等[6]利用機(jī)器視覺中的殘差譜視覺對(duì)船只進(jìn)行顯著性檢測(cè)，得到的圖像品質(zhì)因數(shù)達(dá)到了0.95.國(guó)外學(xué)者Trajanovski S等[7]利用機(jī)器視覺高光譜成像進(jìn)行腫瘤顯著性檢測(cè)，利用深度學(xué)習(xí)進(jìn)行圖像分割，經(jīng)實(shí)驗(yàn)證明了該技術(shù)在醫(yī)學(xué)圖像處理中的有效性[7].

顯著性檢測(cè)為視覺技術(shù)進(jìn)行信息篩選提供了依據(jù)，在各個(gè)領(lǐng)域都有著重要的研究?jī)r(jià)值.為了使計(jì)算機(jī)能夠像人類視覺一樣快速檢測(cè)出顯著性區(qū)域，提出一種新的融合檢測(cè)算法，首先定位凸包中的前景區(qū)域，其次利用邊界連續(xù)性度量定位區(qū)域和邊界的連接強(qiáng)度，以獲得較為準(zhǔn)確的顯著圖，然后結(jié)合基于背景的顯著圖生成融合顯著圖，最后在標(biāo)準(zhǔn)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來驗(yàn)證檢測(cè)算法的有效性.通過結(jié)合前背景的顯著性檢測(cè)將有效地提高圖像顯著性檢測(cè)的準(zhǔn)確率，減少圖像處理時(shí)間和工作量.

1 結(jié)合前景和背景的多圖像融合顯著性檢測(cè)

研究中采用前背景融合來實(shí)現(xiàn)多圖像聯(lián)合檢測(cè)，其操作流程見圖1所示.圖1中顯示，在前背景融合檢測(cè)中，首先進(jìn)行前景區(qū)域的定位，其次進(jìn)行背景目標(biāo)的檢測(cè)，最后將兩者相結(jié)合來實(shí)現(xiàn)圖像中顯著性目標(biāo)的定位檢測(cè).

圖1 前背景融合檢測(cè)流程圖

1.1 多幅圖像間對(duì)應(yīng)的前景區(qū)域定位

融合顯著物體往往會(huì)重復(fù)出現(xiàn)在多幅圖像的前景區(qū)域內(nèi)，說明多圖像對(duì)應(yīng)的前景區(qū)域是融合顯著物體.因此，進(jìn)行多幅圖像間對(duì)應(yīng)的前景區(qū)域定位能夠提高多圖像中的顯著性檢測(cè)效率，對(duì)圖像的前景區(qū)域進(jìn)行估計(jì)提取，采用凸包構(gòu)建算法進(jìn)行顯著目標(biāo)區(qū)域的粗略定位[8-9].首先進(jìn)行凸包前景的提取，提取方式如式(1)所示.

d=‖HIi-Ho‖,i=1,2

(1)

式(1)中的HIi是像素在顏色空間中的平均顏色向量，Ho表示凸包外區(qū)域所有像素的平均顏色向量.凸包先驗(yàn)是圖像顯著性檢測(cè)中一種常用的前景先驗(yàn)方法，凸包先驗(yàn)中能夠包含大部分的前景部分，但是無法避免地也會(huì)保留住小部分背景目標(biāo)，所以需要從凸包中進(jìn)一步提取前景[10].利用前景和背景顏色的差異來選擇凸包中的前景會(huì)存在一定概率的錯(cuò)誤率，從而導(dǎo)致最后的顯著性檢測(cè)結(jié)果不夠理想，除了其背景的顏色差異外，自然圖像中的前景目標(biāo)和背景存在較為明顯的空間分布差異[11].因此為了能夠從凸包中提取出更加準(zhǔn)確的前景信息，采用邊界連續(xù)性來選擇更為準(zhǔn)確的凸包前景區(qū)域.邊界連續(xù)性是用來度量圖像邊界和圖像中的一個(gè)區(qū)域的連接程度，定義為：

(2)

式(2)中的R表示圖像中的一個(gè)區(qū)域，u代表圖像中的一個(gè)像素塊,BD表示圖像邊界處的像素塊結(jié)合.

圖像中各區(qū)域的邊界連續(xù)值的計(jì)算分為三個(gè)步驟，首先采用SLIC算法將圖像進(jìn)行分割，把圖像分割成多個(gè)超像素，并將其作為基本處理單元節(jié)點(diǎn).假設(shè)每一個(gè)節(jié)點(diǎn)都和其他所有的節(jié)點(diǎn)相互連接組成一個(gè)全連接圖，將相互連接的超像素點(diǎn)u和v在CIELab顏色空間之間的歐氏距離d(u,v)作為連接邊的權(quán)重.采用測(cè)地線距離來表示兩節(jié)點(diǎn)之間的距離關(guān)系，距離關(guān)系計(jì)算公式為：

(3)

式(3)中min是表示兩節(jié)點(diǎn)之間的最短距離，代表了兩節(jié)點(diǎn)之間最短路徑的權(quán)重之和，并且GD(u,u)=0.其次，計(jì)算超像素點(diǎn)所占區(qū)域的面積，計(jì)算公式為：

(4)

式(4)中的K是超像素的數(shù)量，φ表示權(quán)重系數(shù).若兩超像素點(diǎn)之間的測(cè)地線距離越小，則兩超像素點(diǎn)對(duì)彼此的面積貢獻(xiàn)越大，若GD(u,ui)=0，那么S(u,ui)=1，兩超像素點(diǎn)就位于同一個(gè)平面區(qū)域，超像素點(diǎn)之間的測(cè)地線距離越大，那么S(u,ui)就越趨近于0，表明兩者不在同一平面區(qū)域.最后一步計(jì)算超像素所在區(qū)域處于圖像邊界的長(zhǎng)度，計(jì)算公式為：

(5)

式(5)中的δ(·)是指示函數(shù)，當(dāng)δ=1時(shí)，超像素點(diǎn)位于圖像邊界BD，當(dāng)δ=0時(shí)，超像素點(diǎn)不在圖像邊界BD上.最后可以計(jì)算出超像素的邊界連續(xù)值為;

(6)

式(6)中的LB是超像素所在區(qū)域處于圖像邊界的長(zhǎng)度，A(·)是超像素點(diǎn)所占區(qū)域的面積.以圖像中各區(qū)域的邊界連續(xù)值為前提進(jìn)行凸包前景選擇，選擇公式如式(7)所示.

CVf=

(7)

式(7)中的C1和C2是凸包中的超像素經(jīng)過聚類算法之后的超像素聚，BC(·)是聚類中所有超像素的平均邊界連續(xù)值，pi是凸包中超像素，i表示超像素索引，t是設(shè)置的閾值.

1.2 前背景融合顯著性檢測(cè)方法

為了能夠更好地準(zhǔn)確檢測(cè)顯著目標(biāo)，只利用單一的顯著性檢測(cè)算法無法得到穩(wěn)定的顯著檢測(cè)效果[12].因此，提出一種結(jié)合前景和背景的顯著性檢測(cè)算法，在得到前景顯著圖之后，利用背景進(jìn)行流行排序顯著性檢測(cè)，融合前背景的顯著圖得到更為穩(wěn)定的顯著性檢測(cè)結(jié)果.

圖像進(jìn)行自上而下的顯著性檢測(cè)時(shí)，圖像邊界所包含的背景信息極為重要，圖像邊界作為背景先驗(yàn)是流行排序顯著性檢測(cè)的關(guān)鍵[13].但是復(fù)雜圖像中的顯著性目標(biāo)往往是較為分散的，因此針對(duì)復(fù)雜圖像，可以采用流行排序顯著性檢測(cè)，如圖2所示.

圖2 顯著性目標(biāo)加測(cè)示意圖

圖2中黑色表示顯著性目標(biāo)，灰色表示略微顯著目標(biāo)，白色表示非顯著性目標(biāo).從圖2中可以看出，在顯著性目標(biāo)檢測(cè)中，首先將圖片按照相同比例進(jìn)行分區(qū)，對(duì)不同區(qū)域內(nèi)的顯著性目標(biāo)進(jìn)行檢測(cè).圖中箭頭所表示的是檢測(cè)順序，即對(duì)圖像進(jìn)行自上而下、自左而右的檢測(cè)，依次能夠得到不同區(qū)域內(nèi)的顯著性特征.但是流行排序顯著性檢測(cè)仍然存在一定問題，當(dāng)模型對(duì)圖像進(jìn)行流行排序顯著性檢測(cè)時(shí)，會(huì)由于邊界接觸到顯著目標(biāo)而出現(xiàn)錯(cuò)誤的高亮顯示，較為嚴(yán)重的情況下會(huì)完全抑制顯著目標(biāo).所以針對(duì)以上問題，提出了一種邊界背景改進(jìn)的方法，利用改進(jìn)方法進(jìn)行背景提取主要分為五個(gè)步驟：第一步，將圖像外圈的最外一層超像素提取出來，以此為圖像邊界的集合，并且計(jì)算出CIELab顏色空間中每個(gè)超像素中的像素平均值，像素平均值就是超像素的特征向量.第二步，將邊界超像素的特征向量也就是像素平均值作為輸入，同時(shí)將輸入聚類為mi(i=1,…,k)，計(jì)算每一類到前景的歐式距離：

di=

D={d1,…,dk}

(8)

(9)

(10)

式(10)中的Q表示的是歸一化參數(shù)，將輸出的顯著值歸一化到[0,1]之間，Si表示不同的顯著圖，分別是高亮對(duì)應(yīng)前景區(qū)域的圖和提檢測(cè)的背景顯著圖，Sm是線性融合之后生成的融合顯著圖，H(·)表示的是一種函數(shù)，其函數(shù)模型形式為H(x)={x,exp(x),-1/log(x)}.

2 多圖像融合顯著性檢測(cè)結(jié)果分析

2.1 圖像顯著性檢測(cè)效果對(duì)比分析

試驗(yàn)的網(wǎng)絡(luò)訓(xùn)練環(huán)境為Ubuntu16.04系統(tǒng)，CPU: Inter Xeon E5-2620以及GPU: NVIDIA TITAN X.選擇顯著性檢測(cè)常用的ASD、SED1和SED2三個(gè)數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)，ASD數(shù)據(jù)集相對(duì)簡(jiǎn)單，其中共有1000張圖像，應(yīng)用較為廣泛，而SED1和SED2兩個(gè)數(shù)據(jù)集相對(duì)復(fù)雜，各有100張圖像，圖像的顯著性目標(biāo)變化較大.通過將前背景線性融合的顯著圖和其他經(jīng)典算法進(jìn)行顯著性檢測(cè)效果對(duì)比，為了更好地比較出融合顯著性檢測(cè)的優(yōu)劣性，同時(shí)將近年來檢測(cè)效果較好的算法加入比較，顯著性檢測(cè)結(jié)果的視覺效果比較如圖3所示.

圖3 圖像視覺效果對(duì)比

對(duì)圖3進(jìn)行圖像檢測(cè)效果分析，結(jié)果顯示見圖4所示.

圖4 顯著性檢測(cè)效果對(duì)比

從圖4中可以看出，研究中的圖像顯著性目標(biāo)檢測(cè)視覺效果對(duì)比中，將FT[15]、CA[16]、PCA[17]、RC[18]、SF[19]、GS[20]、HS[21]、LMLC[22]、DSR[23]、GMR[24]和融合算法進(jìn)行效果比較.圖4(a)是所有算法對(duì)圖像顯著性檢測(cè)后得到的顯著性目標(biāo)高亮程度的對(duì)比，可以看出，融合算法在顯著性目標(biāo)檢測(cè)中得到的目標(biāo)高亮度達(dá)到了90%以上，顯著高于其余算法，表明融合算法可以清晰地將顯著性目標(biāo)進(jìn)行高亮顯示.圖4(b)是檢測(cè)得到的顯著性目標(biāo)各原圖之間的位置重合度比較，可以看出，融合算法具有95%以上的重合度，仍然顯著高于其他算法.圖4(c)是檢測(cè)得到的顯著性目標(biāo)還原度.即目標(biāo)和原圖相似度，融合算法僅低于LMLC，但是并不顯著.綜上所述，前背景線性融合算法在多圖像顯著性檢測(cè)中所得到的顯著性目標(biāo)明顯，并且目標(biāo)位置和形狀與原圖具有高相似性.另外，就各個(gè)算法在不同數(shù)據(jù)集中的MAE值和運(yùn)行時(shí)間對(duì)比分析，進(jìn)行客觀評(píng)價(jià).在CPU為Intel Core i32.4GHz，4GB內(nèi)存環(huán)境下運(yùn)行，結(jié)果如表1所示.

表1 各算法指標(biāo)對(duì)比

表1顯示，在ASD數(shù)據(jù)集中，MAE值最大的LMLC算法為0.132，融合顯著性檢測(cè)算法的MAE值最小為0.069，明顯優(yōu)于其他算法.在SED1數(shù)據(jù)集中，SF算法得出的MAE值最高，達(dá)到了0.232，融合顯著性檢測(cè)算法的MAE值為0.147，和GMR算法的MAE值相近，且小于其他算法.在SED2數(shù)據(jù)集中，LMLC算法的MAE值最高，達(dá)到了0.262，而融合顯著性檢測(cè)算法的MAE值僅為0.143，明顯低于其他算法.算法運(yùn)行時(shí)間最長(zhǎng)的是LMLC算法，總共運(yùn)行時(shí)間為338.94s，其次為DSR算法，運(yùn)行時(shí)間為13.12s，二者的運(yùn)行時(shí)間都較長(zhǎng)，融合顯著性檢測(cè)算法的運(yùn)行時(shí)間與其他算法相近，用時(shí)較短僅為0.51s.綜上所述，本次提出的融合顯著性檢測(cè)算法在多圖像的顯著目標(biāo)檢測(cè)中具有良好的檢測(cè)性能以及較短的運(yùn)行時(shí)間.

2.2 圖像顯著圖融合效果分析

分別將顯著圖Sfg和Sbg利用線性結(jié)合的方式加在一起得出最后的融合顯著圖，并在ASD、SED1和SED2三個(gè)數(shù)據(jù)集中通過PR曲線的變化來進(jìn)行客觀評(píng)價(jià)融合顯著圖的有效性，三個(gè)顯著圖的PR曲線對(duì)比如圖5所示.

圖5 顯著性檢測(cè)算法的PR曲線

圖5中的Sfg表示的是基于前景得到的顯著圖，Sbg表示的是基于背景得到的顯著圖，Sma表示的是經(jīng)過線性結(jié)合得到的融合顯著圖.圖5(a)是在ASD數(shù)據(jù)集中的PR檢測(cè)曲線，三個(gè)顯著圖都是隨著召回率的增加，準(zhǔn)確率開始降低，但是Sma在相同召回率下的準(zhǔn)確率高于融合前的顯著圖.圖5(b)是在SED1數(shù)據(jù)集中的PR檢測(cè)曲線，可以看出Sma的PR曲線好于其他曲線.圖5(c)是在SED2數(shù)據(jù)集中的PR檢測(cè)曲線，可以看出Sma對(duì)應(yīng)的PR曲線在整體的表現(xiàn)上也同樣優(yōu)于其他顯著圖，當(dāng)召回率達(dá)到0.8以后，Sma的準(zhǔn)確率高于Sbg和Sfg.以上結(jié)果表明，當(dāng)召回率較大時(shí)，聯(lián)合顯著圖Sma的的準(zhǔn)確率更高，說明Sma對(duì)背景的抑制效果更好，得到的顯著圖更加穩(wěn)定，也直接說明通過線性結(jié)合的方法實(shí)現(xiàn)多圖像的融合顯著性檢測(cè)是有效的.最后將不同顯著圖在不同數(shù)據(jù)集中的MAE值進(jìn)行對(duì)比分析，結(jié)果顯示如表2所示.

表2 不同數(shù)據(jù)集上的MAE值

從表2中可以看出，在ASD數(shù)據(jù)中Sfg顯著圖的MAE值是0.072，Sbg顯著圖的MAE值是0.073，Sma顯著圖的MAE值是0.069，三個(gè)顯著圖在ASD數(shù)據(jù)集中的MAE值相近，但是Sma的MAE值稍低于其他兩個(gè)顯著圖.在SED1數(shù)據(jù)集中，Sfg的MAE值和Sbg的MAE值相同，同為0.145，低于Sma顯著圖的0.147.在SED2數(shù)據(jù)集中的Sfg顯著圖的MAE值是0.151，Sbg顯著圖的MAE值是0.154，Sma顯著圖的MAE值是0.143，Sma的MAE明顯低于其他兩個(gè)顯著圖.以上結(jié)果表明，在不同數(shù)據(jù)集中,融合顯著圖的MAE值都明顯優(yōu)于其他單一計(jì)算檢測(cè)得到的顯著圖，說明將前景和背景顯著圖線性結(jié)合得出的融合顯著圖在總體上是有效且具有優(yōu)勢(shì)的.

3 結(jié) 語

網(wǎng)絡(luò)社交的快速發(fā)展，使得從復(fù)雜的圖像數(shù)據(jù)中快速檢測(cè)出重要的顯著目標(biāo)信息變得尤為重要.為了準(zhǔn)確提取顯著目標(biāo)，提出了一種線性結(jié)合的融合顯著檢測(cè)算法，在前景和背景顯著圖的基礎(chǔ)上融合生成最終的融合顯著圖，通過多種比較方法來分析新算法的有效性和優(yōu)劣性.通過與其他算法在各個(gè)指標(biāo)上的對(duì)比結(jié)果分析，融合顯著性檢測(cè)算法在視覺效果的表現(xiàn)上更好，背景的抑制較為穩(wěn)定，并且新算法的MAE值在三個(gè)數(shù)據(jù)集中分別為0.069、0.147和0.143，說明研究提出的算法得到的計(jì)算誤差較小，且明顯優(yōu)于其他算法；對(duì)數(shù)據(jù)集中的多幅圖像平均處理時(shí)間為0.51s，從圖像的融合效果進(jìn)行分析可以看出融合顯著圖的PR曲線在三個(gè)數(shù)據(jù)集中都優(yōu)于單一檢測(cè)的顯著圖.本研究對(duì)于圖像的顯著性檢測(cè)是在圖像存在顯著目標(biāo)的前提下進(jìn)行的，針對(duì)不存在顯著目標(biāo)的圖像進(jìn)行顯著性檢測(cè)算法分析將是下一步的研究方向.