張 艷, 董 武, 李 桐, 李業(yè)麗, 陸利坤

(北京印刷學(xué)院信息工程學(xué)院,北京 102600)

隨著當(dāng)今科技的發(fā)展,可用于拍攝的設(shè)備越來(lái)越豐富,不僅限于相機(jī)、攝影機(jī),因此互聯(lián)網(wǎng)中出現(xiàn)了海量的圖片。 隨著社會(huì)的發(fā)展,人們?cè)絹?lái)越重視美,因此計(jì)算機(jī)能夠自動(dòng)判斷和推薦給用戶美學(xué)質(zhì)量高的圖像是非常有必要的。

對(duì)于圖像美學(xué)質(zhì)量評(píng)價(jià)的研究最早是2004 年微軟亞洲研究院與清華大學(xué)聯(lián)合進(jìn)行的一項(xiàng)研究,用于使計(jì)算機(jī)自動(dòng)區(qū)分普通用戶和專業(yè)攝影師拍攝的圖像。 目前,圖像美學(xué)質(zhì)量評(píng)價(jià)已初步應(yīng)用于企業(yè),比如,自 2016 年起,每年淘寶 “雙11” 活動(dòng) “魯班系統(tǒng)” 自動(dòng)設(shè)計(jì)出幾億幅商品海報(bào)[1], “魯班系統(tǒng)” 算法對(duì)設(shè)計(jì)出的圖像進(jìn)行美學(xué)評(píng)估,將美學(xué)質(zhì)量最高的圖像作為商品的海報(bào);還有一些視頻網(wǎng)站利用圖像美學(xué)質(zhì)量評(píng)價(jià)技術(shù)提取出一幀美學(xué)質(zhì)量高的圖像作為對(duì)應(yīng)視頻的封面,以吸引用戶眼球,提高點(diǎn)擊率等。 隨著技術(shù)的提升,相信圖像美學(xué)質(zhì)量評(píng)價(jià)技術(shù)會(huì)發(fā)揮越來(lái)越重要的作用。

圖像美學(xué)質(zhì)量評(píng)價(jià)的發(fā)展主要分為兩個(gè)階段,第一階段主要是基于手工設(shè)計(jì)美學(xué)特征的研究,第二階段為基于深度學(xué)習(xí)的研究。

1 圖像美學(xué)質(zhì)量評(píng)價(jià)數(shù)據(jù)集

圖像美學(xué)質(zhì)量評(píng)價(jià)常用的數(shù)據(jù)集有Aesthetic Visual Analysis(AVA)數(shù)據(jù)集、Aesthetics and Attributes DataBase(AADB) 數(shù)據(jù)集和 CUHK-Photo Qua-lity(CUHK-PQ)數(shù)據(jù)集。

AVA 數(shù)據(jù)集是2012 年公布的用于美學(xué)視覺(jué)分析的大型數(shù)據(jù)庫(kù),包含25 萬(wàn)多張圖像[2],每張圖像對(duì)應(yīng)三種標(biāo)注:語(yǔ)義標(biāo)注、風(fēng)格標(biāo)注和美學(xué)評(píng)分標(biāo)注。

表1 為AVA 數(shù)據(jù)集中一張圖像的標(biāo)注實(shí)例。表1 中第一列為索引值,第二列為圖像ID,根據(jù)圖像ID 可以下載圖像。 第三列至第十二列為人工美學(xué)評(píng)分,評(píng)分標(biāo)準(zhǔn)為1-10 分共十個(gè)等級(jí)。 實(shí)例中表示評(píng)1 分的有0 人,評(píng) 2 分的有 1 人,評(píng)3 分的有 5 人,評(píng) 4 分的有 17 人,評(píng) 5 分的有 38 人,評(píng) 6分的有 36 人,評(píng) 7 分的有 15 人,評(píng) 8 分的有 6 人,評(píng)9 分的有5 人,評(píng)10 分的有1 人。 第十三列至十四列為語(yǔ)義標(biāo)注ID。 AVA 數(shù)據(jù)集的語(yǔ)義標(biāo)注ID 有66 個(gè),范圍從1-66,分別代表廣告、動(dòng)物、建筑、天文、鳥(niǎo)、黑白、城市等。 每個(gè)圖像都有0 到2個(gè)語(yǔ)義標(biāo)注ID。

表1 AVA 標(biāo)注實(shí)例

AADB 數(shù)據(jù)集是2016 年美國(guó)加州大學(xué)公布的圖像美學(xué)數(shù)據(jù)庫(kù),包含1 萬(wàn)張圖像。 每張圖像有一個(gè)美學(xué)得分標(biāo)注以及11 個(gè)屬性標(biāo)注。 11 個(gè)屬性標(biāo)注包含平衡標(biāo)注、趣味標(biāo)注、顏色和諧性標(biāo)注、景深標(biāo)注、光照標(biāo)注、運(yùn)動(dòng)模糊標(biāo)注、主體標(biāo)注、三分標(biāo)注、顏色鮮明標(biāo)注、重復(fù)標(biāo)注和對(duì)稱標(biāo)注。

CUHK-PQ 數(shù)據(jù)集是香港中文大學(xué)公布的圖像美學(xué)數(shù)據(jù)庫(kù),包含17690 張圖像。 每張圖像包含一個(gè)美學(xué)等級(jí)標(biāo)注。 CUHK-PQ 數(shù)據(jù)集中共有兩種美學(xué)等級(jí)標(biāo)注,即0 和1,0 代表圖片美學(xué)質(zhì)量低,1 代表圖片美學(xué)質(zhì)量高。 CUHK-PQ 數(shù)據(jù)集把圖像分為8 個(gè)場(chǎng)景類別,即動(dòng)物、植物、靜態(tài)、建筑、風(fēng)景、人、夜和其他。

2 基于手工設(shè)計(jì)美學(xué)特征的圖像美學(xué)質(zhì)量評(píng)價(jià)

基于手工設(shè)計(jì)美學(xué)特征的圖像美學(xué)質(zhì)量評(píng)價(jià)方法首先利用數(shù)學(xué)表達(dá)式對(duì)圖像的美學(xué)特征進(jìn)行量化,然后利用量化后的美學(xué)特征和機(jī)器學(xué)習(xí)方法對(duì)圖像進(jìn)行美學(xué)質(zhì)量的分類。 常用的機(jī)器學(xué)習(xí)方法有貝葉斯分類、支持向量機(jī)等。

初期研究者根據(jù)圖像的構(gòu)圖規(guī)則、景深、虛實(shí)、色彩度、趣味性等攝影規(guī)則提取美學(xué)特征,之后利用機(jī)器學(xué)習(xí)方法對(duì)圖像的美學(xué)質(zhì)量進(jìn)行評(píng)價(jià)。

Yan 等人[3]提出用圖片簡(jiǎn)潔性、虛化、顏色分布、對(duì)比度、平均亮度等特征來(lái)衡量圖像的美學(xué)質(zhì)量。 在文獻(xiàn)[3]中,使用圖像的邊緣分布衡量圖像的簡(jiǎn)潔性,使用圖像顏色分布區(qū)別專業(yè)攝影師與業(yè)余攝影師拍攝圖像的調(diào)色差異,并使用對(duì)比度、平均亮度衡量圖像的明亮度。 實(shí)驗(yàn)表明,利用以上美學(xué)特征,可以有效區(qū)分出專業(yè)攝影師與業(yè)余攝影師拍攝的圖像,提高了圖像美學(xué)質(zhì)量評(píng)價(jià)的準(zhǔn)確率。

Datta 等人[4]使用更全面的56 種特征衡量圖像美學(xué)質(zhì)量,包括顏色、紋理、形狀、圖片大小、景深、三分法則、區(qū)域?qū)Ρ榷鹊?進(jìn)一步提高了圖像美學(xué)質(zhì)量評(píng)價(jià)的準(zhǔn)確率。

李恒達(dá)[5]提出以全局構(gòu)圖特征與局部構(gòu)圖特征作為圖像的美學(xué)特征。 全局構(gòu)圖特征是以圖像中心為基準(zhǔn),計(jì)算圖像中各主體目標(biāo)的面積、距圖像中心的距離和角度;局部構(gòu)圖特征是計(jì)算各主體目標(biāo)之間的角度、距離和重疊距離。

2010 年,金鑫等人[6]提出 “基于內(nèi)容的圖像美學(xué)質(zhì)量評(píng)價(jià)” 概念,認(rèn)為對(duì)不同內(nèi)容的圖像進(jìn)行美學(xué)質(zhì)量評(píng)價(jià),方法應(yīng)該有所不同。 湯曉鷗等人[7]提出根據(jù)圖像內(nèi)容的不同將圖像劃分為7 個(gè)類別(風(fēng)景、植物、動(dòng)物、夜景、人物、靜像、建筑),不同的類別設(shè)計(jì)不同的提取特征方式,并使用支持向量機(jī)進(jìn)行分類。

基于手工設(shè)計(jì)美學(xué)特征的方法雖然在一定程度上提高了圖像美學(xué)質(zhì)量評(píng)價(jià)的準(zhǔn)確率,但是這種方法需要研究者掌握大量的美學(xué)和攝影知識(shí),而且手工設(shè)計(jì)的特征不能全面覆蓋美學(xué)、攝影規(guī)則的各個(gè)方面,因此基于手工設(shè)計(jì)美學(xué)特征方法具有一定的局限性。

3 基于深度學(xué)習(xí)的圖像美學(xué)質(zhì)量評(píng)價(jià)

2012 年,AlexNet 獲得了 ImageNet 大規(guī)模圖像分類競(jìng)賽的冠軍,從此更多的研究者運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)解決圖像方面的問(wèn)題。 研究者找到了不依賴圖像攝影規(guī)則的研究方法,深度學(xué)習(xí)強(qiáng)大的提取特征能力以及依據(jù)特征的決策能力極大促進(jìn)了圖像美學(xué)質(zhì)量評(píng)價(jià)研究的發(fā)展,從此圖像美學(xué)質(zhì)量評(píng)價(jià)的研究全面進(jìn)入基于深度學(xué)習(xí)的時(shí)代。

基于深度學(xué)習(xí)的圖像美學(xué)質(zhì)量評(píng)價(jià)主要在卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基礎(chǔ)上進(jìn)行研究。 CNN主要由輸入層、卷積層、池化層、全連接層、輸出層等結(jié)構(gòu)組成,具有強(qiáng)大的特征提取和特征映射能力。

近幾年,基于深度學(xué)習(xí)的圖像美學(xué)質(zhì)量評(píng)價(jià)方法的研究主要包含卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建和基于神經(jīng)網(wǎng)絡(luò)的多任務(wù)聯(lián)合研究。

3.1 卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

張小威[8]提出了一種基于遷移學(xué)習(xí)的圖像美學(xué)質(zhì)量評(píng)價(jià)方法,即利用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型作為基準(zhǔn)網(wǎng)絡(luò),再利用相關(guān)數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)參數(shù),進(jìn)一步達(dá)到能對(duì)不同美學(xué)質(zhì)量的圖像進(jìn)行分類的目的。 作者對(duì)主流的 Caffe-Net、Alex-Net 和 Vgg-Net進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,和隨機(jī)初始化神經(jīng)網(wǎng)絡(luò)參數(shù)方法相比,基于遷移學(xué)習(xí)的圖像美學(xué)質(zhì)量評(píng)價(jià)方法有更好的性能,實(shí)驗(yàn)結(jié)果如表2 所示。 這種方法的缺點(diǎn)是評(píng)價(jià)精度可能會(huì)因?yàn)閿?shù)據(jù)集的不同產(chǎn)生變化。

表 2 以 Caffe-Net、A lex-Net、Vgg-Net 為基準(zhǔn)的基于遷移學(xué)習(xí)方法性能的比較

為了避免出現(xiàn)基于遷移學(xué)習(xí)的圖像美學(xué)質(zhì)量評(píng)價(jià)方法產(chǎn)生的評(píng)價(jià)精度數(shù)據(jù)不穩(wěn)定現(xiàn)象,研究者采用隨機(jī)初始化網(wǎng)絡(luò)參數(shù)的方法,即通過(guò)圖像數(shù)據(jù)集去訓(xùn)練參數(shù)隨機(jī)設(shè)置的網(wǎng)絡(luò)模型,通過(guò)訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù),從而得到想要的網(wǎng)絡(luò)模型。 但是卷積神經(jīng)網(wǎng)絡(luò)用于圖像處理時(shí)存在一個(gè)弊端,即卷積神經(jīng)網(wǎng)絡(luò)要求輸入的同一批圖像是一個(gè)固定尺寸,因此要對(duì)圖像進(jìn)行預(yù)處理,如縮放或裁剪,但這樣的處理會(huì)對(duì)圖像的美學(xué)質(zhì)量產(chǎn)生嚴(yán)重?fù)p失。 為解決這樣的問(wèn)題,房慧弟在文獻(xiàn)[9]中提出全卷積神經(jīng)網(wǎng)絡(luò)(FCN),FCN 將傳統(tǒng)CNN 的全連接層變換為卷積層,因?yàn)槿B接層的參數(shù)矩陣是固定的,與特征矩陣進(jìn)行內(nèi)積時(shí)要求特征矩陣也是固定的,所以要求CNN 輸入圖像的大小是固定的。 FCN 去除了全連接層,實(shí)現(xiàn)了能夠把任意大小的圖像輸入到網(wǎng)絡(luò)模型。

李恒達(dá)在文獻(xiàn)[5]中提出了一種基于語(yǔ)義信息的雙通道卷積網(wǎng)絡(luò)(SDCNN)圖像美學(xué)質(zhì)量評(píng)價(jià)方法。 該方法在Alex-Net 的基礎(chǔ)上提出雙通道網(wǎng)絡(luò)模型,一個(gè)通道提取圖像局部特征與全局特征,另一個(gè)通道提取基于語(yǔ)義信息的圖像特征,從而提高圖像美學(xué)質(zhì)量評(píng)價(jià)的準(zhǔn)確率,該網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 SDCNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

SDCNN 與單通道卷積網(wǎng)絡(luò)(SCNN)、雙通道卷積網(wǎng)絡(luò)(DCNN)的性能比較如表3 所示。 由表3可以看出,SDCNN 在不同語(yǔ)義下準(zhǔn)確率有所提升,總體準(zhǔn)確率也有所提升。

表3 SDCNN 與SCNN、DCNN 在圖像不同語(yǔ)義下的比較

孟宣彤[10]認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)提取出的底層與中層特征與圖像美學(xué)質(zhì)量高度相關(guān),因此提出了多層聚合網(wǎng)絡(luò)(MLAN)。 該網(wǎng)絡(luò)模型以Mobile-Net、VGG16 和Inception-V3 為基準(zhǔn),從中抽取底層、中層和高層特征,然后進(jìn)行融合,從而實(shí)現(xiàn)對(duì)圖像的美學(xué)質(zhì)量進(jìn)行評(píng)價(jià),實(shí)驗(yàn)結(jié)果如表4 所示,和原Mobile-Net、VGG16 與 Inception-V3 模型相比,MLAN 準(zhǔn)確率都有所提升。

表 4 以 M obile-Net、Vgg-Net、Inception-V 3為基準(zhǔn)的M LAN 的精度

劉祥飛[11]提出基于多分支特征融合網(wǎng)絡(luò)(MBFNet)的圖像美學(xué)質(zhì)量評(píng)價(jià)方法。 該方法使用三個(gè)ResNet50 作為網(wǎng)絡(luò)分支,對(duì)同一幅圖像從不同角度進(jìn)行特征提取,之后將不同網(wǎng)絡(luò)分支提取的特征用特征融合模塊進(jìn)行融合,形成融合特征,依據(jù)融合特征得到圖像的美學(xué)質(zhì)量評(píng)價(jià)分?jǐn)?shù),MBFNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 MBFNet 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 圖像美學(xué)質(zhì)量評(píng)價(jià)與圖像描述的多任務(wù)聯(lián)合研究

呂莎莎[12]在VGG-19 模型的基礎(chǔ)上引入殘差網(wǎng)絡(luò)思想,同時(shí)引入空間注意力機(jī)制、通道注意力機(jī)制,提出Deep Image Aesthetic Reviewer(DIAReviewer)模型,該模型實(shí)現(xiàn)將美學(xué)質(zhì)量評(píng)價(jià)與圖像描述兩個(gè)任務(wù)結(jié)合起來(lái),DIAReviewer 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 DIAReviewer 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 圖像美學(xué)質(zhì)量評(píng)價(jià)與圖像情感分析的聯(lián)合研究

余俊[13]對(duì)ResNet50 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行改進(jìn),提出美學(xué)-情感多任務(wù)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(AENet)。 AENet 可以同時(shí)得到該圖像對(duì)應(yīng)的美學(xué)質(zhì)量評(píng)價(jià)結(jié)果與情感信息識(shí)別結(jié)果,實(shí)現(xiàn)了圖像美學(xué)質(zhì)量評(píng)價(jià)任務(wù)與圖像情感信息識(shí)別任務(wù)相結(jié)合的目的。 AENet 由美學(xué)感知網(wǎng)絡(luò)分支、共享感知網(wǎng)絡(luò)分支、情感感知網(wǎng)絡(luò)分支三路分支組成,三路分支實(shí)現(xiàn)對(duì)圖像特征的提取,之后再用特征融合單元進(jìn)行融合處理,形成新的特征圖,最后經(jīng)過(guò)決策輸出結(jié)果,AENet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 AENet 網(wǎng)絡(luò)結(jié)構(gòu)圖

實(shí)驗(yàn)結(jié)果表明,加入情感分析的美學(xué)質(zhì)量評(píng)價(jià),圖像的美感準(zhǔn)確率更高,實(shí)驗(yàn)結(jié)果如表5 所示。

表5 AENet 與各方法之間的準(zhǔn)確率比較

4 評(píng)價(jià)指標(biāo)與誤差度量

圖像美學(xué)質(zhì)量評(píng)價(jià)用準(zhǔn)確率(Acc)這一指標(biāo)度量模型的有效性,用均方誤差(Mse)、平均絕對(duì)誤差(Mae)、中位數(shù)絕對(duì)誤差(Med)來(lái)度量評(píng)價(jià)的誤差率。

4.1 評(píng)價(jià)指標(biāo)

圖像美學(xué)質(zhì)量評(píng)價(jià)的準(zhǔn)確率是以人工的美學(xué)質(zhì)量高低分類為標(biāo)準(zhǔn)結(jié)果,模型預(yù)測(cè)分類正確個(gè)數(shù)占總評(píng)價(jià)圖像個(gè)數(shù)的比例,其公式為:

其中,Ncor 為模型預(yù)測(cè)分類正確的個(gè)數(shù),Ntol為總的評(píng)價(jià)圖像個(gè)數(shù)。

4.2 誤差度量

均方誤差是模型預(yù)測(cè)評(píng)分與人工美學(xué)質(zhì)量評(píng)分之間差值的平方,其公式為:

其中,Ntol 為總的評(píng)價(jià)圖像個(gè)數(shù),pi為模型預(yù)測(cè)評(píng)分,gi為人工的美學(xué)質(zhì)量評(píng)分。

平均絕對(duì)誤差是模型預(yù)測(cè)評(píng)分與人工美學(xué)質(zhì)量評(píng)分之間差值的絕對(duì)值,其公式為:

其中,Ntol 為總的評(píng)價(jià)圖像個(gè)數(shù),pi為模型預(yù)測(cè)評(píng)分,gi為人工的美學(xué)質(zhì)量評(píng)分。

中位數(shù)絕對(duì)誤差是所有訓(xùn)練圖像模型預(yù)測(cè)評(píng)分與人工美學(xué)質(zhì)量評(píng)分之間差值絕對(duì)值排序后的中位數(shù),其公式為:

其中,Ntol 為總的評(píng)價(jià)圖像個(gè)數(shù),pi為模型預(yù)測(cè)評(píng)分,gi為人工的美學(xué)質(zhì)量評(píng)分。

5 總結(jié)與展望

圖像美學(xué)質(zhì)量評(píng)價(jià)是當(dāng)前研究的熱點(diǎn)課題之一,目前主要的研究方法是基于深度學(xué)習(xí)進(jìn)行特征提取與評(píng)價(jià)。 圖像美學(xué)質(zhì)量評(píng)價(jià)結(jié)合交叉學(xué)科的研究,如圖像美學(xué)質(zhì)量評(píng)價(jià)與圖像情感分析的聯(lián)合研究在一定程度上也提高了圖像美學(xué)質(zhì)量評(píng)價(jià)的準(zhǔn)確率。

圖像美學(xué)質(zhì)量評(píng)價(jià)受主觀因素影響較大,這無(wú)疑加大了研究難度,因此圖像美學(xué)質(zhì)量評(píng)價(jià)還有一定的挑戰(zhàn)空間,可以進(jìn)一步研究圖像美學(xué)質(zhì)量評(píng)價(jià)模型的準(zhǔn)確率和泛化能力。