劉 東，王生生

(1. 湘南學(xué)院 軟件與通信工程學(xué)院，郴州 423300；2. 吉林大學(xué) a.符號(hào)計(jì)算與知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室; b.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長春 130012)

圖像視覺特征提取與表達(dá)是圖像檢索與分類的關(guān)鍵步驟，同時(shí)也是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向[1]。歸納總結(jié)視覺特征研究發(fā)展歷程，可分為3個(gè)階段：底層視覺特征提取、中間層特征表達(dá)，以及最近流行的深度學(xué)習(xí)方法。1)底層視覺特征提取主要針對(duì)圖像形狀、紋理、顏色等信息進(jìn)行刻畫，提取表征圖像外觀的視覺特征，如常用的尺度不變特征變換[2]、局部二值模式[3]等。底層視覺特征提取一般計(jì)算較簡(jiǎn)單，但單獨(dú)使用時(shí)難以勝任復(fù)雜的計(jì)算機(jī)視覺任務(wù)。2)中間層特征表達(dá)是指對(duì)底層視覺特征進(jìn)一步編碼和統(tǒng)計(jì)，以挖掘更具判別能力的深層特征表示，如經(jīng)典的視覺詞袋模型(BoVW, bag-of-visual-words)[4]。中間層特征表達(dá)在一定程度上可以彌補(bǔ)底層視覺特征的缺陷。3)深度學(xué)習(xí)方法作為一種倍受關(guān)注的數(shù)據(jù)驅(qū)動(dòng)方法，其不需要手工參與設(shè)計(jì)，直接以圖像像素作為初始數(shù)據(jù)輸入，經(jīng)過多層網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)圖像的潛在深層特征。以卷積神經(jīng)網(wǎng)絡(luò)(CNN, convolution neural network)[5]為代表的深度學(xué)習(xí)方法，發(fā)展出一系列高效的網(wǎng)絡(luò)結(jié)構(gòu)，如AlexNet[5]、VGGNet[6]、ResNet[7]等，被用在高光譜圖像分類[8]、人體行為識(shí)別[9]與表情識(shí)別[10]等多個(gè)領(lǐng)域。CNN雖然在自然場(chǎng)景圖像分類中取得巨大成功，但仍然存在一些缺陷，如依賴海量樣本數(shù)據(jù)、可解釋性較差、難以推理、較難描述和理解圖像內(nèi)容模式的含義等，這使得CNN在處理小樣本和對(duì)語義特性要求較高的多目標(biāo)圖像時(shí)面臨許多挑戰(zhàn)。

圖1 多目標(biāo)圖像示例Fig. 1 The examples of multi-object images

空間關(guān)系建模作為一種實(shí)現(xiàn)圖像語義表達(dá)的重要手段，可有效增強(qiáng)視覺特征表達(dá)性能。相較于紋理、形狀、顏色等底層視覺特征，通過刻畫圖像基元之間的空間關(guān)系來識(shí)別圖像，更符合人類的視覺認(rèn)知習(xí)慣?？臻g關(guān)系刻畫可有效跨越和縮小底層視覺特征到高層語義之間的“語義鴻溝”，在計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域具有重要的地位，尤其是對(duì)于醫(yī)學(xué)影像等多目標(biāo)圖像識(shí)別具有至關(guān)重要的判別能力[11-12]。然而，現(xiàn)有工作研究的空間關(guān)系模型存在諸多缺陷，如描述目標(biāo)簡(jiǎn)單、基本關(guān)系數(shù)量有限、缺少有效的推理與相似性度量方法，難以滿足視覺特征表達(dá)的現(xiàn)實(shí)需求。表1總結(jié)了目前代表性的空間關(guān)系模型，其中RCC-8[13]等經(jīng)典空間關(guān)系模型僅有少數(shù)種空間關(guān)系；CRString[14]雖然具有完備的空間關(guān)系表示，但其目標(biāo)僅針對(duì)凸區(qū)域；前期研究成果DTString[15]研究了簡(jiǎn)單區(qū)域的完備拓?fù)淇臻g關(guān)系表示，但其不適用于具有復(fù)雜區(qū)域的多目標(biāo)圖像場(chǎng)景。如圖1所示，商標(biāo)、醫(yī)學(xué)和目標(biāo)分割后的場(chǎng)景圖像均為具有復(fù)雜區(qū)域空間關(guān)系的多目標(biāo)圖像。

表1 代表性空間關(guān)系模型總結(jié)Table 1 Summary of representative topological relation models

針對(duì)上述空間關(guān)系描述簡(jiǎn)單、圖像視覺特征表達(dá)不充分、語義信息缺失的問題，主要研究復(fù)雜圖像的空間關(guān)系建模與深度特征融合，提出一種能滿足視覺特征表達(dá)需求的空間關(guān)系模型來刻畫復(fù)雜區(qū)域的空間拓?fù)浣Y(jié)構(gòu)，并與深度特征融合，應(yīng)用于多目標(biāo)圖像檢索，提高檢索性能，同時(shí)為增強(qiáng)深度學(xué)習(xí)可解釋性創(chuàng)造有利條件。主要貢獻(xiàn)包括：1)針對(duì)復(fù)雜區(qū)域表示，提出了一種新的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型，不僅具有完備的拓?fù)潢P(guān)系描述性能，還提供了有效的拓?fù)洳蛔兞客评硭惴ê屯負(fù)浣Y(jié)構(gòu)相似性度量方法；2)基于精細(xì)拓?fù)浔硎灸Ｐ?，提出了融合?fù)雜空間關(guān)系特征和深度特征的多目標(biāo)圖像檢索算法，取得優(yōu)于現(xiàn)有方法的性能。

1 精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型

提出一種新的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型(DTSRM, detailed topological structure representation model)來刻畫多目標(biāo)的復(fù)雜區(qū)域，主要包括精細(xì)拓?fù)浣Y(jié)構(gòu)的表示、定性推理和相似性計(jì)算3個(gè)部分。這3個(gè)部分從理論到應(yīng)用層層遞進(jìn)。為便于介紹，首先給出一些通用符號(hào)說明，如表2所示。

1.1 精細(xì)拓?fù)浣Y(jié)構(gòu)表示

首先逐步給出復(fù)雜區(qū)域的形式化定義。平面上同胚于圓盤的區(qū)域稱之為簡(jiǎn)單區(qū)域，而帶洞的簡(jiǎn)單區(qū)域則定義如下。

定義2(復(fù)雜區(qū)域) 設(shè)A為平面上的區(qū)域，若A由若干個(gè)簡(jiǎn)單區(qū)域或帶洞的簡(jiǎn)單區(qū)域組成，則稱A為復(fù)雜區(qū)域。

圖2展示了簡(jiǎn)單區(qū)域、帶洞的簡(jiǎn)單區(qū)域以及復(fù)雜區(qū)域的區(qū)別。給定一個(gè)有界的平面區(qū)域A，稱A為正成分，如圖2(b)中c0；Ae為負(fù)成分，且負(fù)成分可進(jìn)一步劃分為兩種類型，一種是有界的，如圖2(b)中c1、c2、c3；一種是無界的，如w0。容易發(fā)現(xiàn)，一個(gè)區(qū)域至少包含一個(gè)正成分和一個(gè)負(fù)成分，且Ae有唯一一個(gè)無界的開放區(qū)域(即w0)。

圖2 簡(jiǎn)單區(qū)域與復(fù)雜區(qū)域示意圖Fig. 2 The examples of simple regions and complex regions

基于上述定義，針對(duì)多目標(biāo)復(fù)雜區(qū)域描述提出精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型DTSRM。如圖3(a)所示，在多目標(biāo)復(fù)雜區(qū)域中，對(duì)于任意2個(gè)成分ai和aj之間有2種連接關(guān)系：1)強(qiáng)連接關(guān)系，若ai和aj閉包的交集包含至少一條曲線；2)弱連接關(guān)系，若ai和aj閉包的交集僅包含一個(gè)或多個(gè)離散點(diǎn)。

定義 3(精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型) 復(fù)雜區(qū)域A的精細(xì)拓?fù)浣Y(jié)構(gòu)表示定義為一個(gè)四元組G={V,E1,E2,L}，其中V是A中所有成分的集合；E1表示成分之間強(qiáng)連接關(guān)系的集合，E2表示成分之間弱連接關(guān)系的集合，即rij∈E1和rij∈E2分別表示成分ai和aj之間存在強(qiáng)連接關(guān)系(即圖3中的有向邊)或者弱連接關(guān)系(即圖3中的無向邊)；L則表示每個(gè)成分的標(biāo)簽，可根據(jù)需要由視覺特征描述后聚類得到。此外，在集合V中，唯一的根節(jié)點(diǎn)表示開放背景區(qū)域(即w0)，記根節(jié)點(diǎn)w0在第0層，w0的子節(jié)點(diǎn)c1、c2、c3在第1層，c1、c2、c3的子節(jié)點(diǎn)在第2層，以此類推，由此得到精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型為圖3所示。

圖3 精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型(DTSRM)Fig. 3 The detailed topological structure representation model (DTSRM)

下面通過一個(gè)直觀的例子闡述提出的DTSRM模型相比現(xiàn)有方法的優(yōu)勢(shì)。圖4展示了3種具有相似拓?fù)浣Y(jié)構(gòu)的復(fù)雜區(qū)域，但是在局部細(xì)節(jié)上存在較大的差異。使用CRString[14]和DTString[15]模型無法對(duì)3種拓?fù)浣Y(jié)構(gòu)進(jìn)行區(qū)分，因其無法描述復(fù)雜區(qū)域。使用樹表示模型[16]無法將點(diǎn)連通區(qū)域分開，即將(a)和(b)視為同一種拓?fù)浣Y(jié)構(gòu)；分層圖模型[17]則無法區(qū)分弱連接關(guān)系，即無法區(qū)分(a)和(c)2種情況。而提出的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型綜合考慮了強(qiáng)連接和弱連接關(guān)系，能夠有效區(qū)分圖4中3種情況，實(shí)現(xiàn)了更精確和完備的拓?fù)浣Y(jié)構(gòu)表達(dá)。值得說明的是，將DTSRM模型應(yīng)用于多目標(biāo)圖像刻畫時(shí)，考慮到像素采樣的誤差與粘連，弱連接關(guān)系中目標(biāo)邊界交集的離散點(diǎn)可以根據(jù)需要抽象為若干個(gè)鄰域像素集合。

圖4 三種不同的拓?fù)浣Y(jié)構(gòu)Fig. 4 Example of three different topological structures

實(shí)際上，DTSRM模型通過有效區(qū)分強(qiáng)連接與弱連接關(guān)系不僅有助于增強(qiáng)語義特性，對(duì)于描述醫(yī)學(xué)影像等尤其注重細(xì)節(jié)內(nèi)容差別的圖像具有重要的意義。如圖5所示的乳腺癌全掃描切片(來自2018 年international conference on image analysis and recognition組織的乳腺癌圖像分析大賽[18])，其中病理組織(背景區(qū)域)、良性(紅色區(qū)域)、原位癌病變區(qū)域(綠色部分)、浸潤性癌病變區(qū)域(藍(lán)色區(qū)域)彼此之間構(gòu)成復(fù)雜區(qū)域，并且區(qū)域之間體現(xiàn)出強(qiáng)連接關(guān)系和弱連接關(guān)系，對(duì)他們之間的空間組織形式與拓?fù)浣Y(jié)構(gòu)進(jìn)行表達(dá)，可有效協(xié)助醫(yī)生對(duì)癌細(xì)胞轉(zhuǎn)移進(jìn)行分析與判斷。

圖5 乳腺癌圖像中的復(fù)雜區(qū)域Fig. 5 The complex region in breast cancer images

1.2 基于精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型的定性推理

1.2.1 洞判別推理

設(shè)復(fù)雜區(qū)域A以及它的精細(xì)拓?fù)浣Y(jié)構(gòu)表示G={V,E1,E2,L}。實(shí)際上，如圖6所示，G可劃分為一個(gè)有向子圖G1={V,E1,L}和一個(gè)無向子圖G2={V,E2,L}構(gòu)成。

定理2 設(shè)c為A的非根節(jié)點(diǎn)，如果從G1中移除c將產(chǎn)生一個(gè)或多個(gè)連通子圖，這些子圖可以進(jìn)一步劃分為兩種類型：1)唯一一個(gè)包含根節(jié)點(diǎn)的子圖w0;2)其他不包含根節(jié)點(diǎn)w0的子圖gi(c), 1≤i≤k，則gi(c)即是c的洞。

證明：從定理1可知，如果c存在洞bi，若從G1中移除c將使得bi與根節(jié)點(diǎn)是不連通的，則bi可看成等價(jià)的子圖gi(c)，即得證。

下面給出一個(gè)直觀的例子。在如圖6所示的復(fù)雜區(qū)域和它的精細(xì)拓?fù)浣Y(jié)構(gòu)表示，只有c2節(jié)點(diǎn)存在洞b2，因?yàn)樵贕1中移除c2之后，b2單獨(dú)形成一個(gè)不包括根節(jié)點(diǎn)w0的子圖。

由上述定理1和定理2，可在O(n)時(shí)間復(fù)雜度內(nèi)(n為節(jié)點(diǎn)的數(shù)量)，直接從DTSRM表示模型中推導(dǎo)出每個(gè)子區(qū)域包含洞的數(shù)量，不需要額外的圖形或者幾何計(jì)算，從而大大地降低了計(jì)算復(fù)雜度，同時(shí)也提供了具有語義特性的拓?fù)洳蛔兞俊?/p>

圖6 DTSRM模型可劃分為有向子圖和無向子圖表示 Fig. 6 DTSRM model divided into a directed sub-graph and a undirected sub-graph

1.2.2 環(huán)繞子區(qū)域推理

設(shè)復(fù)雜區(qū)域A以及它的拓?fù)浣Y(jié)構(gòu)表示G={V,E1,E2,L}, 假定c為A的任意成分(子區(qū)域)，一個(gè)切實(shí)的問題是能否僅根據(jù)G就推導(dǎo)出c由哪些其他子區(qū)域環(huán)繞，以及如何確定環(huán)繞子區(qū)域的順序。這些信息不僅是拓?fù)洳蛔兊模覍?duì)于基于知識(shí)表示的圖像重構(gòu)也具有重要意義。下面提出子區(qū)域推理來回答上述問題。

定理3 設(shè)c為G的節(jié)點(diǎn)，S(c)定義為如下集合：S(c)={vi?V|(c,vi)∈E1或(vi,c) ∈E1,1≤i≤k}，則S(c)為c的圍繞子區(qū)域集合。并且，如果每個(gè)vi∈S(c)恰恰形成E2中的回路R=(r1r2…rkr1)，則(r1r2…rkr1)即為c環(huán)繞的子區(qū)域序列。

證明：首先，設(shè)任意節(jié)點(diǎn)vi滿足：?vi∩?c包含一條簡(jiǎn)單曲線，即vi和c是強(qiáng)連接的，則vi是c的子節(jié)點(diǎn)或者父節(jié)點(diǎn)，即(c,vi)∈E1或(vi,c)∈E1。由定義3易知，?c的每個(gè)線段分量只與其父節(jié)點(diǎn)或子節(jié)點(diǎn)存在交集，因此S(c)恰為c的圍繞子區(qū)域集合。再者，c的任意2個(gè)相鄰圍繞子區(qū)域必然存在弱連接關(guān)系(以一個(gè)點(diǎn)或多個(gè)點(diǎn)相連)，而模型在E2中恰恰描述了這種弱連接關(guān)系。因此，只需要在E2中找到關(guān)于S(c)中所有節(jié)點(diǎn)的回路(r1r2…rkr1)，即為c的環(huán)繞子區(qū)域的序列。特別的，如果S(c)中僅包括一個(gè)節(jié)點(diǎn)，意味著c是一個(gè)某個(gè)子區(qū)域的洞，被其父節(jié)點(diǎn)所環(huán)繞。

舉例如圖6所示，其中圖6(b)和圖6(c)分別為有向子圖G1={V,E1}和無向子圖G2={V,E2}。以計(jì)算b4的環(huán)繞子區(qū)域序列為例，由圖G1易知：S(b4)={c2,c3,c4,c5}，而S(b4)中的所有節(jié)點(diǎn)在G2中恰恰存在回路(c2c3c4c5c2)，因此(c2c3c4c5c2)即為b4的環(huán)繞子區(qū)域序列，在圖6(a)中可得到驗(yàn)證。同理，可計(jì)算w0和c1分別被G2中回路(c2c5c4c3c1c2),(b1b3w0b1)所環(huán)繞，同時(shí)上述環(huán)路中的節(jié)點(diǎn)在G1中也分別是w0和c1的子節(jié)點(diǎn)或者父節(jié)點(diǎn)。

由上述幾個(gè)定理可以發(fā)現(xiàn)，所提出的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型不僅能實(shí)現(xiàn)對(duì)拓?fù)浣Y(jié)構(gòu)的精細(xì)刻畫，同時(shí)提供簡(jiǎn)易有效的推理，使得拓?fù)洳蛔兞靠梢杂杀硎灸Ｐ椭苯油茖?dǎo)得到，并可進(jìn)一步應(yīng)用于空間查詢與圖像視覺特征表達(dá)。

1.3 基于精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型的相似性度量

相似性度量是空間關(guān)系模型應(yīng)用于視覺特征表達(dá)的重要基礎(chǔ)。由于精細(xì)圖表示模型G可劃分為一個(gè)有向圖G1={V,E1,L}和一個(gè)無向圖G2={V,E2,L}組成，分別對(duì)2個(gè)子圖進(jìn)行相似性度量。

1.3.1 有向圖相似性度量

由于G1是有唯一根節(jié)點(diǎn)和層次信息的有向圖，因此G1亦可被看成類似樹的結(jié)構(gòu)。采用最大相似子樹來計(jì)算2個(gè)有向圖的相似度。首先，假設(shè)T1和T2是2個(gè)有向圖，其節(jié)點(diǎn)集合分別為V1和V2，如果存在U1?V1和U2?V2，對(duì)于任意雙射f:U1→U2，使得子圖U1和U2具有相同的鄰接關(guān)系，則稱該雙射為一個(gè)子圖同構(gòu)。接著，一旦獲得2個(gè)有向圖的子圖同構(gòu)f之后，即計(jì)算子圖同構(gòu)的相似度W

(1)

其中:φ(u,v)表示使用模糊形狀描述算子[19]計(jì)算2個(gè)節(jié)點(diǎn)(子區(qū)域)的形狀相似度。表3給出了2個(gè)同構(gòu)子圖相似度的計(jì)算方法，則2個(gè)T1和T2的所有子圖同構(gòu)中具有最大的相似度稱之為最大子圖同構(gòu)，其相似度定義為

(2)

表3 計(jì)算子圖相似度的算法Table 3 The algorithm of computing sub-graph similarity

1.3.2 無向圖相似性度量

考慮到在復(fù)雜圖像表示的實(shí)際應(yīng)用中，目標(biāo)區(qū)域間的弱連接關(guān)系圖G2是稀疏的，提取無向圖的圖譜特征作為相似度量方法。具體的，給定G2={V,E2}，首先計(jì)算其鄰接矩陣的n個(gè)特征值，并將其按絕對(duì)值大小排序，即得t=[λ1,λ2,…,λn]，λ1≥λ2≥…≥λn，為表征G2的圖譜特征。圖譜特征能較好的反應(yīng)無向圖的特性，具有拓?fù)洳蛔冃?，且?jì)算較簡(jiǎn)單。對(duì)于任意精細(xì)圖表示模型G和G′，獲取最大子圖同構(gòu)之后，相應(yīng)的節(jié)點(diǎn)組成的2個(gè)無向圖即可計(jì)算其圖譜特征的歐氏距離來刻畫相似度，記為Su。

2 基于精細(xì)拓?fù)浣Y(jié)構(gòu)表示與深度特征融合的圖像檢索

深度學(xué)習(xí)方法因其在場(chǎng)景圖像分類等任務(wù)中的優(yōu)異性能受到廣泛的關(guān)注。深度學(xué)習(xí)方法雖然能有效獲取深度特征，但其依賴于大量學(xué)習(xí)樣本，并且缺乏語義信息。而空間關(guān)系模型蘊(yùn)含著大量的語義信息，與深度特征融合能夠充分利用兩者的優(yōu)勢(shì)，有望提升視覺特征的表達(dá)性能與可解釋性。

提出基于復(fù)雜空間關(guān)系特征與深度特征融合的多目標(biāo)圖像檢索框架，如圖7所示。首先，給定查詢圖像I，使用提出的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型刻畫I與檢索數(shù)據(jù)集中的樣本，獲取最大子圖同構(gòu)，分別計(jì)算有向子圖相似度Sg和無向子圖的相似度Su。接著，使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)提取多目標(biāo)圖像的第一個(gè)全連接層特征作為I的深度特征Fd，使用歐式距離計(jì)算任意2個(gè)圖像深度特征相似度，記為Sd。最終，任意2個(gè)多目標(biāo)圖像的相似度定義為

S(Ii,Ij)=w1sg+w2su+w3sd，

(3)

其中：w1,w2,w3為權(quán)重系數(shù)。

圖7 基于精細(xì)拓?fù)浣Y(jié)構(gòu)表示和深度特征融合的多目標(biāo)圖像檢索框架Fig. 7 Multi-objet image retrieval framework based on DTSRM and deep feature fusion

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用多目標(biāo)圖像數(shù)據(jù)集，該數(shù)據(jù)集一部分來自MPEG-7形狀數(shù)據(jù)集[21]，一部分來自商標(biāo)數(shù)據(jù)集[22]，包括20個(gè)類別的多目標(biāo)二值圖像，每個(gè)類別包含30～100不等的數(shù)據(jù)樣本。使用圖像檢索領(lǐng)域常用指標(biāo)查準(zhǔn)率(precision)和查全率 (recall)作為評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)機(jī)器配置為：Intel Core i9-7900X CPU, NVIDIA TITAN XP GPU, 16 GB內(nèi)存，使用MATLAB 2019a及深度學(xué)習(xí)工具箱作為實(shí)驗(yàn)平臺(tái)。分別構(gòu)建基于拓?fù)洳蛔兞康目臻g查詢、基于內(nèi)容的圖像檢索兩組實(shí)驗(yàn)。

3.1 基于拓?fù)洳蛔兞康目臻g查詢實(shí)驗(yàn)

在該實(shí)驗(yàn)中，輸入“子區(qū)域數(shù)量”、“洞的數(shù)量”2組拓?fù)洳蛔兞浚诰?xì)拓?fù)浣Y(jié)構(gòu)表示模型及拓?fù)洳蛔兞客评硭惴?，在?shù)據(jù)集中查詢滿足條件的圖像。圖8給出了3組不同查詢條件下的檢索示意圖。

圖8 多目標(biāo)圖像查詢示意圖Fig. 8 Examples of multi-objet image retrieval

從圖8的查詢結(jié)果可以發(fā)現(xiàn)，當(dāng)查詢拓?fù)洳蛔兞枯^簡(jiǎn)單時(shí)，檢索返回的圖像視覺差異較大；但隨著拓?fù)洳蛔兞吭綇?fù)雜，檢索返回的圖像不僅在在拓?fù)浣Y(jié)構(gòu)上體現(xiàn)出拓?fù)渫瑯?gòu)或者相似的結(jié)構(gòu)特性，在視覺上也具有更大的相似性。

值得說明的是，這種空間查詢方式主要為了驗(yàn)證拓?fù)洳蛔兞考跋嚓P(guān)推理算法的性能，并未使用形狀、深度學(xué)習(xí)等其他特征。實(shí)驗(yàn)結(jié)果表明，對(duì)于多目標(biāo)圖像而言，當(dāng)限定了多個(gè)拓?fù)洳蛔兞客瑫r(shí)滿足條件查詢時(shí)，檢索出來的圖像之間已然具有一定的相似性，并攜帶著一定的語義特性。隨著查詢的拓?fù)洳蛔兞吭綇?fù)雜，檢索的結(jié)果在語義和視覺上越相似，這表明拓?fù)洳蛔兞刻N(yùn)含著一定的判別能力。研究提出的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型和推理算法，可以直接在表示模型的基礎(chǔ)上推導(dǎo)出拓?fù)洳蛔兞?，而不需要繁?fù)的圖像計(jì)算，這對(duì)于空間和語義查詢十分便利。

3.2 基于內(nèi)容的圖像檢索實(shí)驗(yàn)

在該實(shí)驗(yàn)中，輸入一個(gè)查詢圖像，在數(shù)據(jù)集中檢索相似圖像。

首先，對(duì)2種方法進(jìn)行評(píng)估，一是單獨(dú)使用所提出的精細(xì)拓?fù)浣Y(jié)構(gòu)表示模型和相似性度量方法，記為DTSRM，二是融合了深度特征的方法(如公式3)，其中CNN網(wǎng)絡(luò)結(jié)構(gòu)選用AlexNet[5]和VGGNet[6]，分別記為DTSRM +AlexNet和DTSRM+VGGNet。為了評(píng)估復(fù)雜空間關(guān)系特征與深度特征的融合權(quán)重系數(shù)對(duì)檢索結(jié)果的影響，計(jì)算不同權(quán)重系數(shù)下的平均查準(zhǔn)率。即分別從每類數(shù)據(jù)集中隨機(jī)抽取10副圖像作為查詢圖像進(jìn)行檢索，共執(zhí)行200次查詢，抽取前12張最相似的圖像計(jì)算平均查準(zhǔn)率，表4展示了研究方法在不同權(quán)重系數(shù)下的平均查準(zhǔn)率。

表4 研究方法在不同權(quán)重系數(shù)下的平均查準(zhǔn)率(%)Table 4 The average precision of proposed method with different weight

由表3實(shí)驗(yàn)結(jié)果表明，1)結(jié)合表征弱連接關(guān)系相似性權(quán)重(即w20時(shí))的檢索精度要高于僅考慮強(qiáng)連接關(guān)系的檢索精度(即w2=0時(shí))，這說明刻畫目標(biāo)之間的弱連接關(guān)系是對(duì)精細(xì)拓?fù)浣Y(jié)構(gòu)表達(dá)性能的完善。2)無論是在AlexNet還是VGGNet網(wǎng)絡(luò)結(jié)構(gòu)下，融合深度特征后的檢索精度有了進(jìn)一步提高，這主要因?yàn)閺?fù)雜空間關(guān)系特征與深度特征在表達(dá)多目標(biāo)圖像中形成一種良好的互補(bǔ)。3)總體來說，復(fù)雜空間關(guān)系特征與深度特征的融合體現(xiàn)了一定的魯棒性，即不同的權(quán)重組合方式均較原有基礎(chǔ)有了較大提升，其中(w1=0.4，w2=0.2，w3=0.4)的權(quán)重組合取得最好的性能，被應(yīng)用于后續(xù)實(shí)驗(yàn)。

接著，分別對(duì)比了代表性手工設(shè)計(jì)特征方法HOGH[23]，IDSC[24], TRM[16], BCF[25]，以及深度特征學(xué)習(xí)方法AlexNet，VGGNet，它們的查全率和查準(zhǔn)率曲線圖分別如圖9和圖10所示。圖11展示了5種對(duì)比方法的檢索結(jié)果示意圖，其中加框的檢索結(jié)果為返回的不同類別圖像。

圖9 與手工特征方法的查準(zhǔn)率與查全率曲線對(duì)比圖Fig. 9 Recall-Precision curves comparison of the proposed method and handcrafted features

圖10 與深度學(xué)習(xí)方法的查準(zhǔn)率與查全率曲線對(duì)比圖Fig. 10 Recall-Precision curves comparison of the proposed method and deep learning features

圖11 5種對(duì)比方法進(jìn)行檢索的結(jié)果Fig. 11 The retrieval results of five compared methods

分析上述實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論：1)由圖9可知，提出的精細(xì)空間表示模型DTSRM單獨(dú)使用時(shí)要優(yōu)于其他手工特征表達(dá)方法，如HOGH、TRM、IDSC等，這是因?yàn)樗岢龅哪Ｐ途哂型陚涞耐負(fù)浣Y(jié)構(gòu)描述性能，能有效的刻畫多目標(biāo)的復(fù)雜空間關(guān)系特征，提供更具判別能力的視覺特征。2) 由圖10可知，無論是在AlexNet還是VGGNet網(wǎng)絡(luò)結(jié)構(gòu)下，DTSRM與深度特征融合后，均相比深度特征單獨(dú)使用時(shí)有了較大提升；此外由圖11可知，研究方法所檢索的結(jié)果具有更相似性的拓?fù)浣Y(jié)構(gòu)，這是主要因?yàn)镈TSRM模型攜帶了一定的語義信息，與深度特征形成良好的互補(bǔ)，非常適用于多目標(biāo)圖像檢索。3)DTSRM+VGGNet獲得了最高的檢索精度，這可能得益于VGGNet更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，并與復(fù)雜空間關(guān)系特征進(jìn)行了較好地融合。

3.3 時(shí)間復(fù)雜度分析

圖像檢索主要包括特征提取、相似度計(jì)算兩個(gè)環(huán)節(jié)，其中特征提取分為有監(jiān)督特征提取和無監(jiān)督特征提取，如BCF方法需要訓(xùn)練視覺詞袋模型、CNN方法需要利用訓(xùn)練集進(jìn)行fine-tuning，屬于有監(jiān)督特征提?。欢渌氖止ぬ卣鞣椒ㄖ苯訌膯螐垐D像中提取特征，屬于無監(jiān)督特征提取。表5展示了不同對(duì)比方法在特征提取、相似度計(jì)算及模型訓(xùn)練過程花費(fèi)的平均時(shí)間。從中可以看出，DTSRM方法在特征提取階段花費(fèi)時(shí)間最少，在相似度計(jì)算中涉及最大相似子圖計(jì)算問題，需要花費(fèi)O(n2)時(shí)間復(fù)雜度，其中n為圖表示模型中的節(jié)點(diǎn)數(shù)，通常節(jié)點(diǎn)數(shù)小于30。因此，在無監(jiān)督多目標(biāo)圖像檢索任務(wù)中，DTSRM單獨(dú)使用可取得較好的檢索效果；如果綜合考慮精度與時(shí)間復(fù)雜度，DTSRM與深度特征融合則是一種更好的選擇。

表5 對(duì)比方法的時(shí)間復(fù)雜度Table 5 The temporal complexity of the proposed method

4 結(jié) 語

主要研究了復(fù)雜多目標(biāo)圖像的空間關(guān)系特征表示與深度特征融合問題，為增強(qiáng)圖像的視覺特征表達(dá)與語義特性提供了新的思路。首先提出了一種新的精細(xì)拓?fù)浣Y(jié)構(gòu)模型，該模型最大創(chuàng)新之處在于它不僅具有完備的拓?fù)涿枋鲂阅?，還支持兩種重要拓?fù)洳蛔兞康耐评?，使得拓?fù)洳蛔兞靠捎芍R(shí)表示直接推理而來。其次，設(shè)計(jì)了基于精細(xì)拓?fù)浔硎镜南嗨菩远攘糠椒ǎ⑻岢雒嫦蚨嗄繕?biāo)圖像檢索的空間關(guān)系特征與深度特征的融合方法。實(shí)驗(yàn)結(jié)果表明，所提出的方法在多目標(biāo)圖像檢索中取得優(yōu)于傳統(tǒng)手工特征和目前流行的深度學(xué)習(xí)方法，并且對(duì)于不同參數(shù)選擇具有一定的魯棒性。在未來研究工作中，進(jìn)一步考慮將研究方法擴(kuò)展應(yīng)用在醫(yī)學(xué)圖像分析與場(chǎng)景圖像分類中，挖掘具有語義特性的視覺特征。