王 楠,伍陽停,朱琦赫,李寶安,惠 健,王子健

(1.北京信息科技大學(xué) 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室,北京 100029;2.北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院,北京 100029;3.杭州海康威視數(shù)字技術(shù)有限公司,浙江 杭州 310000)

0 引 言

顯著性特征與商標(biāo)注冊(cè)申請(qǐng)、侵權(quán)判斷息息相關(guān),因此商標(biāo)顯著性判斷和檢測(cè)就非常重要[1-2]。所謂顯著性在視覺上是指某些物體或區(qū)域比其周圍部分表現(xiàn)出更明顯的特征。人的視覺系統(tǒng)在看到一個(gè)場(chǎng)景時(shí),會(huì)自動(dòng)并優(yōu)先注意場(chǎng)景內(nèi)的顯著性物體,而后再關(guān)注場(chǎng)景內(nèi)的背景或環(huán)境[3]。因此學(xué)者們建立了與人類視覺系統(tǒng)相似的數(shù)學(xué)模型,相關(guān)模型通常建立在如下視覺顯著性檢測(cè)原理基礎(chǔ)上:一個(gè)是對(duì)比度原理。在一個(gè)場(chǎng)景中通過不同物體的顏色、形狀、亮度等特征分辨物體;另一個(gè)是高頻抑制原理,廣泛應(yīng)用于頻域圖像顯著性分析;第三個(gè)是Gestalt原理,假設(shè)人類視覺優(yōu)先關(guān)注場(chǎng)景內(nèi)的核心區(qū)域,并以該區(qū)域?yàn)橹行南蛩闹苎诱固幚怼ｏ@著性區(qū)域提取往往還要經(jīng)過特征處理和綜合表征兩個(gè)環(huán)節(jié)[4]。其中,特征處理是通過視覺系統(tǒng)并行提取各種獨(dú)立的初級(jí)特征,包括紋理、方向、亮度、大小、顏色、曲率、傾角等,進(jìn)行像素級(jí)比較;而在綜合表征環(huán)節(jié),初級(jí)視覺特征被統(tǒng)合起來,集成到顯著體中。以上思路已經(jīng)在很多顯著性檢測(cè)場(chǎng)景中得到了應(yīng)用和驗(yàn)證。目前,由于分辨率低、圖像模糊、信息量小、噪聲大等問題,還沒有合適的針對(duì)商標(biāo)等小目標(biāo)圖像的顯著性檢測(cè)算法。此外,現(xiàn)有顯著性目標(biāo)數(shù)據(jù)集稀少且標(biāo)注復(fù)雜,不能滿足商標(biāo)顯著性檢測(cè)任務(wù)的需要,容易出現(xiàn)樣本不平衡問題。基于顯著性檢測(cè)的商標(biāo)檢索系統(tǒng)也鮮有實(shí)現(xiàn)[5]。

因此,該文提出了一套面向商標(biāo)圖像目標(biāo)的顯著性檢測(cè)任務(wù)的整體解決方案。首先,給出了商標(biāo)顯著性特征數(shù)據(jù)加工方法,搭建并開源一套滿足商標(biāo)顯著性檢測(cè)任務(wù)評(píng)測(cè)的數(shù)據(jù)集。其次,基于已有顯著性檢測(cè)框架,多角度評(píng)估了現(xiàn)有流行的顯著性檢測(cè)算法,給出一種適配商標(biāo)圖案顯著性檢測(cè)任務(wù)的深度網(wǎng)絡(luò)架構(gòu)。最后,開發(fā)一個(gè)快速高效的商標(biāo)檢索系統(tǒng),為后續(xù)工業(yè)級(jí)應(yīng)用奠定基礎(chǔ)。

1 商標(biāo)顯著性檢測(cè)

1.1 商標(biāo)的顯著性檢測(cè)問題

商標(biāo)的顯著性強(qiáng)弱決定了商標(biāo)保護(hù)的范圍。常見的商標(biāo)顯著性檢測(cè)問題可以劃分為兩種[1,4]:第一種是針對(duì)商標(biāo)圖像的顯著性特征檢測(cè)與識(shí)別,另一種是從商品包裝中進(jìn)行商標(biāo)識(shí)別。該文的商標(biāo)顯著性檢測(cè)主要從第一種問題出發(fā),區(qū)分當(dāng)前待檢測(cè)商標(biāo)與已有商標(biāo)間的顯著性差異。在商標(biāo)特征選擇方面,初始特征表示通常采用的比較明顯的淺層特征,如顏色、亮度、形狀等,對(duì)背景干凈、對(duì)比明顯的商標(biāo)顯著性區(qū)域提取有一定的效果。但是實(shí)際商標(biāo)圖像存在著大量的復(fù)雜背景、色彩、紋理以及各種不完整的區(qū)塊,其提取出的特征不完整,所以識(shí)別效果往往達(dá)不到標(biāo)準(zhǔn)。因此需要開發(fā)滿足上述任務(wù)的顯著性檢測(cè)方案。下面系統(tǒng)介紹一下顯著性檢測(cè)常見模型及算法。

1.2 顯著性檢測(cè)研究現(xiàn)狀

傳統(tǒng)的顯著性檢測(cè)方法往往采用手工標(biāo)記特征,并利用大量的先驗(yàn)知識(shí)(如對(duì)比度先驗(yàn)、背景先驗(yàn)、顏色先驗(yàn)等)來進(jìn)行顯著性判斷[6]。相關(guān)模型可以分為兩類:由數(shù)據(jù)驅(qū)動(dòng)的自下向上模型和由任務(wù)驅(qū)動(dòng)的自上向下模型。數(shù)據(jù)驅(qū)動(dòng)模型是一種快速的,無意識(shí)的,數(shù)據(jù)驅(qū)動(dòng)的視覺注意機(jī)制[2,7]。一般通過顏色、亮度和邊緣判斷目標(biāo)區(qū)域與區(qū)域周圍之間的像素差異,然后計(jì)算目標(biāo)圖像區(qū)域的顯著性。這類模型不僅計(jì)算簡(jiǎn)單,而且適用范圍廣。任務(wù)驅(qū)動(dòng)模型是一種緩慢的、有意識(shí)的、閉環(huán)的視覺注意過程,一般是指提取并識(shí)別圖像中高級(jí)語義特征信息,計(jì)算圖像目標(biāo)區(qū)域的顯著性。目前常將兩種思路獲得的特征融合并綜合運(yùn)用。由于圖像檢測(cè)對(duì)象的旋轉(zhuǎn)、變形、平移、遮擋等問題,待檢測(cè)目標(biāo)往往呈現(xiàn)多向變化特征。Ojala等人[8]首次利用局部二值模式(Local Binary Pattern,LBP)解決光照變化的影響問題,從而獲得灰度不變性及紋理表征方式。Tomoki等人提出利用局部歸一化的梯度方向直方圖(HOG描述符),獲取圖像的平移不變性、亮度和旋轉(zhuǎn)不變性,輸入分類器來完成目標(biāo)檢測(cè)任務(wù)[9]。Liu等人[10]提出將顯著性檢測(cè)任務(wù)簡(jiǎn)化為二值分割問題,采用局部特征、區(qū)域特征和全局特征表示顯著性物體。此外,也有學(xué)者提出了局部特征點(diǎn)方案,改善亮度、大小和遮擋覆蓋等問題。上述技術(shù)也逐漸用于商標(biāo)識(shí)別與商標(biāo)圖片檢測(cè)任務(wù)中。Joly等人[11]采用了SIFT特征點(diǎn)匹配技術(shù),通過設(shè)置閾值來提高查找的準(zhǔn)確性,減少商標(biāo)大小以及方向旋轉(zhuǎn)的影響。Fu等人[12]將SIFT、形狀以及分割塊等特征融合,提高顯著性檢測(cè)精度,但特征點(diǎn)匹配十分耗時(shí)。Sivic和Zisserman等人計(jì)算特征點(diǎn)向量之間的差異分辨顯著性區(qū)域,能夠顯著提升圖像檢測(cè)與識(shí)別的速度[13]。近年來,顯著性檢測(cè)轉(zhuǎn)向基于底層特征的計(jì)算模型,進(jìn)一步提高檢測(cè)精度。Li等人[14]提出全局對(duì)比度算法,通過顏色空間維度變換使得顯著性區(qū)域和背景區(qū)域可分。此外,還有基于最小化柵格距離(MBD)變換的顯著性檢測(cè)算法,計(jì)算像素與邊界的顏色距離,以此衡量像素的顯著值。該方法對(duì)圖像像素值波動(dòng)有很好的魯棒性,不必經(jīng)過區(qū)域抽象化預(yù)處理(如超像素分割),但是計(jì)算相當(dāng)耗時(shí)。上述顯著性檢測(cè)方法雖然可以有效地對(duì)視覺場(chǎng)景中的圖像進(jìn)行檢測(cè),但難以高效學(xué)習(xí)特征且計(jì)算效率較低。

近年來,由于深度學(xué)習(xí)模型對(duì)圖像中復(fù)雜特征信息具有較強(qiáng)的學(xué)習(xí)能力,能夠同時(shí)提取多尺度深度特征信息以達(dá)到圖像顯著性檢測(cè)目的,因此逐漸引入到圖像顯著性檢測(cè)模型中[15-16]。2014年以前,深度模型主要采用多層感知機(jī)。利用CNN結(jié)構(gòu)獲取特征中的空間信息,但是全連接層和池化層的運(yùn)用,導(dǎo)致聚合過程中位置信息的丟失。針對(duì)全連接層問題,Long等人[15-16]提出了全卷積網(wǎng)絡(luò)(FCN),FCN模型將傳統(tǒng)CNN中的全連接層轉(zhuǎn)化成一個(gè)個(gè)的卷積層,在不帶有全連接層的情況下進(jìn)行目標(biāo)預(yù)測(cè),使得顯著性檢測(cè)更加高效。該類結(jié)構(gòu)逐漸在顯著性識(shí)別和語義分割中推廣開來[17]。進(jìn)一步將顯著性檢測(cè)、空間一致性、多層次圖像分割結(jié)合起來,形成完整的顯著性目標(biāo)檢測(cè)框架[18-19]。但由于相關(guān)檢測(cè)數(shù)據(jù)不夠規(guī)范,導(dǎo)致檢測(cè)算法準(zhǔn)確率不夠高、魯棒性差、檢測(cè)速率低。黃明珠等[20]提出了基于改進(jìn)Faster R-CNN的顯著性目標(biāo)檢測(cè)方法,且使用對(duì)抗訓(xùn)練生成低分辨率的小目標(biāo)樣本,解決了圖像分辨率低導(dǎo)致顯著性檢測(cè)性能低的問題。但同時(shí)由于組合模型的結(jié)構(gòu)復(fù)雜,兩階段訓(xùn)練時(shí)間和計(jì)算量大大增加。另一類基于回歸的單步目標(biāo)檢測(cè)的YOLO系列算法也被提出。通過新增檢測(cè)層和空間注意力機(jī)制,更關(guān)注圖像前景特征和尺度問題。但由于引入新的全連接層和卷積層,訓(xùn)練成本和信息丟失仍然存在。此外,針對(duì)池化問題,學(xué)者們提出了編碼器-解碼器(Encoder-Decoder)結(jié)構(gòu)。Encoder模塊使用池化層縮減輸入空間的維度,而Decoder模塊則通過反卷積層等盡可能恢復(fù)目標(biāo)細(xì)節(jié),其代表性模型為U-Net模型[21]。U-Net類模型中以U-Net結(jié)構(gòu)為基礎(chǔ)網(wǎng)絡(luò),使用多尺度特征進(jìn)行語義分割,其U形結(jié)構(gòu)也啟發(fā)了后面很多算法;也有學(xué)者設(shè)計(jì)了空洞卷積結(jié)構(gòu),且消除了池化層結(jié)構(gòu),代表性模型為DeepLab-v3+模型[22]。DeepLab-v3+模型使用空間金字塔模塊和Encoder-Decoder結(jié)構(gòu)做語義分割。此外,大量顯著性檢測(cè)算法也采用了以VGG、ResNet、DenseNet為骨干網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)[23-25]。一些創(chuàng)造性的精細(xì)化結(jié)構(gòu)也進(jìn)一步提高了顯著性檢測(cè)的效果,讓編碼器提取更為豐富的語義信息來指引解碼器的顯著性圖預(yù)測(cè)[26]。在上述模型的基礎(chǔ)上,Qin等人提出了BASNet模型[27]。該模型由兩個(gè)模塊組成,預(yù)測(cè)模塊是一個(gè)類似U-Net的密集監(jiān)督編解碼器網(wǎng)絡(luò),從輸入圖像中預(yù)測(cè)顯著圖,通過多尺度殘差細(xì)化模塊(RRM)來細(xì)化預(yù)測(cè)模塊的結(jié)果顯著圖。由U-Net出發(fā),U2-Net進(jìn)一步采用了兩級(jí)嵌套的U形結(jié)構(gòu),為顯著性對(duì)象檢測(cè)任務(wù)(Salient Object Detection,SOD)進(jìn)行了精細(xì)化設(shè)計(jì)[28]。以上總結(jié)如表1所示,相關(guān)模型算法沒有針對(duì)商標(biāo)圖像顯著性問題進(jìn)行探討,也缺少系統(tǒng)性分析和評(píng)測(cè)。因此,有必要開發(fā)一套全新的面向商標(biāo)顯著性檢測(cè)任務(wù)的數(shù)據(jù)集,并探討相關(guān)深度學(xué)習(xí)算法的效果,在后文會(huì)進(jìn)行具體實(shí)踐和介紹。

表1 顯著性檢測(cè)相關(guān)模型匯總

2 商標(biāo)顯著性檢測(cè)數(shù)據(jù)集設(shè)計(jì)

2.1 顯著性檢測(cè)數(shù)據(jù)集設(shè)計(jì)

首先針對(duì)開源的顯著性數(shù)據(jù)集進(jìn)行整理與介紹,并進(jìn)一步提出商標(biāo)顯著性數(shù)據(jù)集開發(fā)方案,用于后續(xù)分析與評(píng)測(cè)。

2.1.1 開源顯著性檢測(cè)數(shù)據(jù)集

現(xiàn)有的顯著性檢測(cè)數(shù)據(jù)集有MSAR、Achanta、SED、SOD等[17]。MSAR包含了5 000張測(cè)試圖片,包括自然場(chǎng)景、人物、動(dòng)物、室內(nèi)室外等,圖像分辨率也不同,框選最顯著的物體構(gòu)建數(shù)據(jù)集真值。Achanta數(shù)據(jù)集是在MSAR數(shù)據(jù)集內(nèi)挑選了1 000張比較有代表性的測(cè)試圖片,并且把MSAR數(shù)據(jù)集內(nèi)顯著性物體的邊界切割出來形成一個(gè)二值化模板作為真值,如圖1所示。在MSAR數(shù)據(jù)集和Achanta數(shù)據(jù)集內(nèi),圖像中只包含一個(gè)顯著物體。而在SED數(shù)據(jù)集中包含兩部分。第一部分是SED1,每幅圖形只有一個(gè)顯著物體;第二部分是SED2,每幅圖形有兩個(gè)顯著性物體,由切割顯著物體邊界作為真值。SOD數(shù)據(jù)集是由觀測(cè)者在300幅測(cè)試圖像上切割物體的邊界作為真值,許多測(cè)試圖像都包含一個(gè)顯著物體。這些數(shù)據(jù)集構(gòu)建過程為該文商標(biāo)顯著性檢測(cè)數(shù)據(jù)集設(shè)計(jì)提供了思路。

圖1 MSAR數(shù)據(jù)集和Achanta數(shù)據(jù)集真值

2.1.2 商標(biāo)顯著性檢測(cè)數(shù)據(jù)集

商標(biāo)圖像區(qū)別于上述通用圖像,往往是通過設(shè)計(jì)產(chǎn)生的,以相對(duì)規(guī)范的電子數(shù)據(jù)格式存放,所以不存在常見的亮度、遮蓋等噪聲影響。本次使用的數(shù)據(jù)集為自建的真實(shí)商標(biāo)數(shù)據(jù)集,數(shù)據(jù)來源為中國(guó)商標(biāo)網(wǎng),數(shù)據(jù)集目前涵蓋2 000張商標(biāo)圖片。采用如圖2所示的數(shù)據(jù)集制作流程。首先獲取大量的商標(biāo)數(shù)據(jù)并存入數(shù)據(jù)庫(kù),將其中的圖像商標(biāo)篩選出來。對(duì)比常見軟件的顯著區(qū)域標(biāo)注效果,利用交互式分割自動(dòng)標(biāo)注工具,加快圖片標(biāo)注的速度,保存標(biāo)注結(jié)果以JSON格式存儲(chǔ)。最終形成可訓(xùn)練以及測(cè)試的數(shù)據(jù)集,圖3為標(biāo)注過程以及部分標(biāo)注數(shù)據(jù)效果展示。

2.2 商標(biāo)顯著性檢測(cè)數(shù)據(jù)庫(kù)設(shè)計(jì)

商標(biāo)顯著性檢測(cè)系統(tǒng)使用MySQL數(shù)據(jù)庫(kù)存儲(chǔ)商標(biāo)的數(shù)據(jù)。在數(shù)據(jù)庫(kù)中存儲(chǔ)不同類型的商標(biāo)數(shù)據(jù)信息表,包括注冊(cè)商標(biāo)基本信息、實(shí)體關(guān)系等,用于返回?cái)?shù)據(jù)庫(kù)內(nèi)的相似商標(biāo)以及商標(biāo)的信息。

圖2 數(shù)據(jù)集制作流程

3 商標(biāo)顯著性檢測(cè)方法

3.1 數(shù)據(jù)預(yù)處理及評(píng)估指標(biāo)

在數(shù)據(jù)預(yù)處理階段,對(duì)圖片執(zhí)行圖片裁剪、銳化、去噪、灰度調(diào)整等操作,消除圖像中無法使用的信息,增強(qiáng)信息的準(zhǔn)確性以及簡(jiǎn)化數(shù)據(jù)。預(yù)處理完成后,將圖片送入訓(xùn)練好的模型進(jìn)行預(yù)測(cè)并返回結(jié)果。在方法定量評(píng)估階段,通常以混淆矩陣為基礎(chǔ)計(jì)算F1評(píng)價(jià)指標(biāo)。此外,顯著性檢測(cè)任務(wù)也采用如下指標(biāo):像素準(zhǔn)確率(Pixel Accuracy,PA),在一張顯著性圖像中判斷檢測(cè)像素點(diǎn)是否正確,如公式(1)所示。類別平均像素準(zhǔn)確率(Mean Pixel Accuracy,MPA),該指標(biāo)對(duì)于顯著性而言,代表的是顯著性區(qū)域與背景區(qū)域的像素正確率平均值,計(jì)算公式如公式(2)所示。平均交并比(Mean Intersection over Union,MIoU),此指標(biāo)對(duì)于顯著性檢測(cè)而言,計(jì)算顯著性區(qū)域與背景區(qū)域的交并比再平均。其中,交并比(Intersection over Union,IoU)表示的含義是顯著性區(qū)域的識(shí)別結(jié)果與真實(shí)結(jié)果的交集和并集的比值,計(jì)算公式如公式(3)所示。

(1)

(2)

(3)

3.2 顯著性檢測(cè)深度學(xué)習(xí)模型

與傳統(tǒng)方法相比,深度學(xué)習(xí)顯著目標(biāo)檢測(cè)網(wǎng)絡(luò)表現(xiàn)出了更好的性能和正確率。近年來,學(xué)者們已經(jīng)提出了許多深度學(xué)習(xí)顯著目標(biāo)檢測(cè)算法。全卷積深度網(wǎng)絡(luò)模型(FCN)是將全連接層全部替換成了卷積操作,通過Softmax層計(jì)算每個(gè)像素點(diǎn)的概率分布,達(dá)到顯著性檢測(cè)的目的[16]。但是FCN的上采樣比較粗糙,細(xì)節(jié)分割效果不理想,并且沒有充分考慮像素空間一致性;DeepLab-v3+模型依賴于空洞卷積多尺度的信息,添加一個(gè)簡(jiǎn)單有效的解碼器細(xì)化分割結(jié)果,在不改變特征圖的同時(shí),控制感受野并提取多尺度信息,效果比較明顯[22];U-Net網(wǎng)絡(luò)結(jié)構(gòu)是典型的Encoder-Decoder架構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)左側(cè)通過下采樣獲取特征,右側(cè)通過上采樣恢復(fù)原圖。網(wǎng)絡(luò)中還使用了跳躍連接,即解碼器每上采樣一次,就以拼接的方式將解碼器和編碼器中對(duì)應(yīng)的相同分辨率特征圖進(jìn)行特征融合,幫助解碼器更好地恢復(fù)目標(biāo)的細(xì)節(jié)[21]。雖然U-Net在融合時(shí)恢復(fù)了目標(biāo)細(xì)節(jié),但是提取信息由于缺少底層信息,使得顯著性檢測(cè)邊界模糊并且運(yùn)行效率低;BASNet模型第一部分預(yù)測(cè)模塊是一個(gè)Encoder-Decoder網(wǎng)絡(luò),輸出初步預(yù)測(cè)的顯著性圖。第二部分殘差優(yōu)化模塊與第一部分的主要架構(gòu)相似但更加簡(jiǎn)單。編碼器和解碼器都有4個(gè)階段,每個(gè)階段都只有一個(gè)卷積層[27]。使用一個(gè)Residual Refinement Module (RRM)跟Structural Similarity Index Module (SSIM),目標(biāo)分割效果較好。U2-Net是一種為顯著性檢測(cè)(Salient Object Detection,SOD)而設(shè)計(jì)的網(wǎng)絡(luò)模型,通過一種新的殘差U塊(ReSidual U-block,RSU)提取多尺度特征,并且不降低特征圖的分辨率。嵌套U結(jié)構(gòu)能夠更有效地提取階段內(nèi)多尺度特征和聚合階段間多級(jí)特征完成顯著性檢測(cè)任務(wù)[28]。這種新架構(gòu)允許網(wǎng)絡(luò)深入并實(shí)現(xiàn)高分辨率,而不顯著增加內(nèi)存和計(jì)算成本。

通過對(duì)上述算法的整理和調(diào)試,開展對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)在配置為Intel(R) Core(TM) i5-8300H處理器、NVIDIAGTX 1050顯卡、內(nèi)存16 GB的計(jì)算機(jī)上運(yùn)行。商標(biāo)顯著性檢測(cè)數(shù)據(jù)集隨機(jī)劃分,最終訓(xùn)練集圖片共計(jì)1 600張,測(cè)試集圖片200張,驗(yàn)證集圖片200張。訓(xùn)練過程中利用訓(xùn)練集、驗(yàn)證集的反饋(精度、損失)調(diào)整網(wǎng)絡(luò)參數(shù),使該模型達(dá)到最優(yōu)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練驗(yàn)證以及測(cè)試,整個(gè)實(shí)驗(yàn)均基于深度學(xué)習(xí)框架Pytorch進(jìn)行。上述五種模型的顯著性檢測(cè)結(jié)果如圖4所示。第1個(gè)測(cè)試目標(biāo)中,四片樹葉的縫隙被U2-Net網(wǎng)絡(luò)檢測(cè)成功,但是BASNet網(wǎng)絡(luò)的結(jié)果直接忽視了四條縫隙。第2個(gè)測(cè)試目標(biāo)的結(jié)果顯示,FCN細(xì)節(jié)處理的結(jié)果比較粗糙;第4個(gè)測(cè)試目標(biāo)的結(jié)果顯示,U-Net網(wǎng)絡(luò)與Deeplab-v3+網(wǎng)絡(luò)生成的顯著圖中存在著明顯的缺失。綜上所述,U2-Net模型測(cè)試結(jié)果在與其他模型對(duì)比中,有著細(xì)節(jié)處理細(xì)膩,顯著性區(qū)域提取完整的特點(diǎn)。表2已給出了評(píng)價(jià)指標(biāo)結(jié)果,其中U2-Net網(wǎng)絡(luò)的像素準(zhǔn)確率最高,達(dá)到了0.92,F1-score也達(dá)到了0.907,而MIoU值在五種模型中也是最高的。通過上述指標(biāo)對(duì)比以及生成的顯著圖對(duì)比后,最終采用U2-Net為系統(tǒng)的優(yōu)選模型,經(jīng)改進(jìn)適配后用于商標(biāo)檢索系統(tǒng)的顯著性檢測(cè)服務(wù)。

表2 五種模型算法的評(píng)價(jià)指標(biāo)值

圖4 五種模型的顯著性檢測(cè)結(jié)果

3.3 商標(biāo)顯著性相似計(jì)算

相似計(jì)算是商標(biāo)圖像檢索的關(guān)鍵一步。首先對(duì)輸入的商標(biāo)進(jìn)行特征提取,利用函數(shù)計(jì)算特征的相似度,計(jì)算完成后將相似數(shù)據(jù)排序返回。采用Python的Annoy模塊,用于檢索近鄰空間數(shù)據(jù)。檢索過程一般分成三步:(1)特征索引建立。對(duì)于待檢索的信息首先要建立索引;(2)進(jìn)行近鄰查詢,利用模型內(nèi)置函數(shù)進(jìn)行搜索查詢;(3)返回近鄰節(jié)點(diǎn),給出相似商標(biāo)結(jié)果。首先對(duì)圖片特征進(jìn)行提取并把圖片特征轉(zhuǎn)化為維度為[7,7,512]的浮點(diǎn)型數(shù)據(jù),保存圖片索引Id與名稱的映射數(shù)據(jù),查詢返回最接近的多個(gè)相似圖片索引Id來查詢相似商標(biāo)圖案。

4 商標(biāo)顯著性檢測(cè)系統(tǒng)實(shí)現(xiàn)

商標(biāo)顯著性檢測(cè)方法和工程實(shí)現(xiàn)主要由前端、后端、項(xiàng)目部署及展示三部分組成。

4.1 前后端開發(fā)

前端頁面使用Vue框架進(jìn)行開發(fā),前端涉及登錄頁、注冊(cè)頁、顯著性檢測(cè)頁、圖片檢索頁、文字檢索頁。登錄頁是系統(tǒng)的基本功能,點(diǎn)擊登錄觸發(fā)動(dòng)作,前端將表單使用POST請(qǐng)求發(fā)送給后端比對(duì)。系統(tǒng)登錄成功后默認(rèn)跳轉(zhuǎn)到顯著性檢測(cè)頁,圖片顯示功能是使用的Vue框架的Element Plus組件完成。使用flask搭建的U2-Net模型預(yù)測(cè)服務(wù),訪問該地址圖片就能顯示在前端頁面中。圖片檢索頁與顯著性檢測(cè)頁類似,輸入查詢的功能與顯著性效果檢測(cè)功能實(shí)現(xiàn)步驟一致。后端使用Springboot+Flask開發(fā),顯著性檢測(cè)和圖片檢索使用Flask搭建應(yīng)用程序接口(API)。以圖片檢索頁為例,當(dāng)用戶在前端上傳一張圖片點(diǎn)擊查詢按鈕后,后端接受到文件并保存到本地,調(diào)用相似度搜索函數(shù),函數(shù)返回多張相似圖片的注冊(cè)號(hào),根據(jù)注冊(cè)號(hào)將相似商標(biāo)圖案展示。

4.2 商標(biāo)檢索系統(tǒng)部署與展示

系統(tǒng)部署在本地計(jì)算機(jī)內(nèi),硬件配置為 Intel(R) Core(TM) i5-8300H處理器、NVIDIAGTX1050顯卡、內(nèi)存16 GB,軟件配置為Java版本1.8.0_281,Python版本3.7.1。當(dāng)用戶點(diǎn)擊導(dǎo)入圖片后,圖片顯示框?qū)焉蟼鞯膱D片實(shí)時(shí)顯示出來。如圖5所示,當(dāng)用戶點(diǎn)擊查詢按鈕后,檢測(cè)的圖片就被送入后端并返回相似商標(biāo)的信息,前端將這些信息展示在列表區(qū)。當(dāng)用戶輸入待搜索的商標(biāo)名稱時(shí),前端就將商標(biāo)名稱送入到后端并對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢,返回的信息展示在列表區(qū)。

圖5 圖片檢索效果

5 結(jié)束語

在龐大的商標(biāo)數(shù)據(jù)庫(kù)中,進(jìn)行商標(biāo)相似搜索、侵權(quán)判定目前仍然是成本較高且耗費(fèi)資源的問題。該文提出了商標(biāo)顯著性特征檢測(cè)方法和框架,相關(guān)框架吸納國(guó)內(nèi)外經(jīng)典顯著性檢測(cè)模型,并進(jìn)行了對(duì)比驗(yàn)證,最后提出了面向商標(biāo)相似搜索的顯著性檢測(cè)解決方案。結(jié)論如下:

(1)自建并開源商標(biāo)顯著性檢測(cè)數(shù)據(jù)集。目前國(guó)內(nèi)外沒有專門針對(duì)于商標(biāo)顯著性檢測(cè)任務(wù)的數(shù)據(jù)集,該文在中文商標(biāo)數(shù)據(jù)庫(kù)中選取了2 000張商標(biāo)圖片數(shù)據(jù)并標(biāo)注了顯著性特征,最終構(gòu)建了一個(gè)可用于訓(xùn)練、測(cè)試的商標(biāo)數(shù)據(jù)集。

(2)商標(biāo)顯著性數(shù)據(jù)處理。搭建商標(biāo)數(shù)據(jù)庫(kù),對(duì)商標(biāo)數(shù)據(jù)庫(kù)添加路徑地址字段(URL),編寫Python腳本使商標(biāo)信息與圖片關(guān)聯(lián),解決數(shù)據(jù)庫(kù)中文本信息與圖片信息不匹配的問題,實(shí)現(xiàn)了通過查詢數(shù)據(jù)庫(kù)并找到對(duì)應(yīng)圖片的需求。

(3)商標(biāo)顯著性檢測(cè)算法設(shè)計(jì)及評(píng)價(jià)指標(biāo)。對(duì)U-Net、FCN、BASNet、Deeplab-v3+、U2-Net等五種流行算法進(jìn)行復(fù)現(xiàn)并訓(xùn)練測(cè)試,編寫腳本計(jì)算算法的像素準(zhǔn)確率、平均交互比等評(píng)價(jià)指標(biāo),最終優(yōu)選U2-Net深度模型作為商標(biāo)顯著性檢測(cè)服務(wù)的基礎(chǔ)模型。

(4)基于商標(biāo)圖像適配的深度模型算法完成商標(biāo)的顯著性檢測(cè)任務(wù),并搭建了一套商標(biāo)快速高效搜索系統(tǒng),初步在一些項(xiàng)目中完成應(yīng)用。

當(dāng)然算法也存在諸多問題,比如模型優(yōu)化訓(xùn)練及評(píng)測(cè)還不夠完善。下一步準(zhǔn)備將繼續(xù)增大數(shù)據(jù)集的小目標(biāo)的數(shù)據(jù)與標(biāo)簽精細(xì)程度。保證模型檢測(cè)精度的基礎(chǔ)上,優(yōu)化訓(xùn)練及測(cè)試過程,逐漸形成能夠滿足工業(yè)級(jí)應(yīng)用的商標(biāo)顯著性檢測(cè)框架和系統(tǒng)。