李溶真 劉巖石 劉貴鎖 季偉

關(guān)鍵詞：圖像識別；目標(biāo)檢測；評價(jià)標(biāo)準(zhǔn)

1引言

目前，深度學(xué)習(xí)領(lǐng)域成為各學(xué)科融合熱門，伴隨計(jì)算機(jī)算力的提升，深度學(xué)習(xí)進(jìn)一步發(fā)展，并基于深度學(xué)習(xí)實(shí)現(xiàn)圖像識別，在圖像識別領(lǐng)域取得了重大進(jìn)步。但大家似乎都邁入了一個誤區(qū)：圖像識別相當(dāng)于計(jì)算機(jī)視覺或者僅僅是對圖像進(jìn)行簡單處理。相較于大眾認(rèn)知，圖像識別不僅僅等同于對圖像進(jìn)行識別，它是一個寬泛的領(lǐng)域。本文首先探討圖像識別的任務(wù)分類，并對圖像識別領(lǐng)域的應(yīng)用場景進(jìn)行介紹。算法的研究基于圖像識別的可行性，以及如何判斷圖像識別效果的優(yōu)劣，可以較為清晰地掌握對模型訓(xùn)練的底層知識脈絡(luò)，為以后算法的學(xué)習(xí)和改進(jìn)提供思路。本文第4節(jié)主要概括深度學(xué)習(xí)中圖像識別的可行性以及算法優(yōu)劣性的計(jì)算指標(biāo)。最后，本文總結(jié)了目前目標(biāo)檢測領(lǐng)域的主要模型以及數(shù)據(jù)集，并基于目前研究現(xiàn)狀對未來圖像識別領(lǐng)域進(jìn)行展望。

2圖像識別

圖像識別是深度學(xué)習(xí)領(lǐng)域的主要應(yīng)用，它的發(fā)展經(jīng)歷了3個階段：文字識別、數(shù)字圖像處理與識別、物體識別。如圖1所示。但只有物體識別屬于高級的計(jì)算機(jī)視覺范疇。當(dāng)前圖像識別的3大任務(wù)如下。

（1）目標(biāo)識別：目標(biāo)分類，定性目標(biāo)類別，確定目標(biāo)是什么。

（2）目標(biāo)檢測：定位目標(biāo)信息，確定目標(biāo)是什么以及位置。

（3）目標(biāo)分割：將背景與前景進(jìn)行分類，將背景刪除，或?qū)⑶熬叭コ?/p>

3領(lǐng)域應(yīng)用場景

圖像識別的應(yīng)用一般分為通用場景應(yīng)用和垂直場景應(yīng)用，其中通用場景一般是作為谷歌、微軟、百度、阿里巴巴在內(nèi)的科技巨頭搭建的圖像識別平臺，因?yàn)樗鼈兡軌蚴占嫶蟮臄?shù)據(jù)圖片，比如識別商品，識別標(biāo)簽文字。但是這些功能只能在特定的產(chǎn)品中進(jìn)行圖像識別，由于特殊行業(yè)的特定數(shù)據(jù)不易收集，因此只能對能夠掌握的數(shù)據(jù)進(jìn)行訓(xùn)練。

垂直場景的應(yīng)用近年來發(fā)展突飛猛進(jìn)，垂直領(lǐng)域是指向特定行業(yè)中的圖像識別領(lǐng)域?；谏疃葘W(xué)習(xí)的目標(biāo)檢測技術(shù)應(yīng)用在各大場景中：人臉檢測、行人檢測、遙感影像檢測、醫(yī)學(xué)圖像檢測、顯著目標(biāo)檢測、異常檢測、3D點(diǎn)云檢測、細(xì)粒度檢測領(lǐng)域。但仍有可以進(jìn)步的空間，如在視頻目標(biāo)檢測、弱目標(biāo)監(jiān)督檢測、無監(jiān)督檢測、多任務(wù)學(xué)習(xí)等方向。

4目標(biāo)檢測技術(shù)的可行性

一個目標(biāo)檢測模型的好壞，需要結(jié)合目標(biāo)檢測任務(wù)來評價(jià)，即分類的準(zhǔn)確性以及定位的準(zhǔn)確性。性能的評價(jià)有多種指標(biāo)，如精度、特效度、準(zhǔn)確率、召回率，對于每個不同的應(yīng)用場景，模型檢測的好壞由這些指標(biāo)來確定。

當(dāng)目標(biāo)檢測模型識別的圖片中有多個物體時，即使檢測物體分類的精度很高，也并不能用物體分類的評價(jià)指標(biāo)來評價(jià)目標(biāo)檢測的準(zhǔn)確性。原因如下。（1）當(dāng)圖片包含多個目標(biāo)時，計(jì)算機(jī)只找了一個檢測框，這個檢測框恰好正確，說明precision為1，但它只找到一個框，所以不能以單一精確度衡量。（2）目標(biāo)檢測不只要求物體識別正確，還需要精確的位置，如模型識別出某個位置物體是貓，但如果不能準(zhǔn)確定位，這個目標(biāo)檢測模型的實(shí)用性能是不滿足要求的。

4.1如何標(biāo)定目標(biāo)檢測的正確性

（1）識別分類的正確程度，且大于一定的閾值。

（2）識別物體位置的準(zhǔn)確性，即預(yù)測框和真實(shí)框的重合程度大于某個閾值。

（3）閾值大小不確定，在輸出結(jié)果中對比檢測效果，以確定閾值，不同的閾值會影響目標(biāo)檢測模型效果。

4.2定位準(zhǔn)確性分析

定位目標(biāo)的位置框稱作B-box，在定位準(zhǔn)確性的計(jì)算上有2個B-box，分別為Ground-truth boundingbox（圖片中真實(shí)標(biāo)記的框）和Predicted bounding box（預(yù)測時候檢測出來的框），位置框用坐標(biāo)表示。識別物體目標(biāo)定位準(zhǔn)確性的評價(jià)標(biāo)準(zhǔn)為IoU，可以簡單理解成檢測到的物體框和標(biāo)注的物體框的重合率。這個比值越大，說明位置檢測效果越好。具體如圖2所不。

4.3識別分類的準(zhǔn)確性

我們不能用單一精確度來衡量目標(biāo)檢測的效果優(yōu)劣，當(dāng)圖片中只有一個物體，精度值越大說明效果越好，當(dāng)圖片中存在多個檢測目標(biāo)時（假設(shè)n個），若繼續(xù)使用單一精度評價(jià)效果優(yōu)劣，會出現(xiàn)模型檢測到一個物體的精確度為100%，但找全所有物體的精確度卻為1/n。所以我們引入新的目標(biāo)檢測標(biāo)準(zhǔn)：準(zhǔn)確率Precision、召回率Recall[1]。

準(zhǔn)確率和查全率至少被2個因素影響，計(jì)算機(jī)通過標(biāo)定閾值確定識別目標(biāo)的可信度，正確識別的標(biāo)準(zhǔn)分為分類準(zhǔn)確性和位置準(zhǔn)確性。因?yàn)槲覀円_定閾值，再根據(jù)閾值輸出結(jié)果計(jì)算得到準(zhǔn)確率和查全率，故至少會有2個變量會影響Precision和Recall，即IoU和可信度閾值。評價(jià)分類的準(zhǔn)確性首先要定義一個信度閾值，我們認(rèn)為計(jì)算機(jī)輸出結(jié)果大于這個閾值即為正類，小于這個閾值稱為負(fù)類。比如，標(biāo)定IoU的信度閾值0.7，說明我們只承認(rèn)IoU >0.7的結(jié)果檢測，輸出IoU>0.7的所有檢測結(jié)果，之后定義輸出結(jié)果中類別識別準(zhǔn)確度大于閾值的為正類、小于閾值的為負(fù)類。具體如圖3所示。

在正類的結(jié)果輸出中又存在預(yù)測結(jié)果正確的（TP）和錯誤的（FP），在負(fù)類預(yù)測結(jié)果上會存在預(yù)測準(zhǔn)的（TN代表確實(shí)是負(fù)類）和預(yù)測不準(zhǔn)的（FN代表錯誤的識別為負(fù)類）。鑒別出TP，F(xiàn)P，TN和FN，計(jì)算機(jī)在“測試／驗(yàn)證”數(shù)據(jù)集中計(jì)算目標(biāo)識別的準(zhǔn)確率Precision和召回率Recall。

當(dāng)目標(biāo)檢測的查全率增大時，檢測結(jié)果的準(zhǔn)確率也增高，說明模型的檢測效果好，檢測可信度高。對比不同的模型，如果在相同查全率的基礎(chǔ)上，目標(biāo)檢測的準(zhǔn)確率越高說明效果越好。但我們還需要一個數(shù)字直觀表示，所以在該領(lǐng)域內(nèi)定義一個指標(biāo)來衡量目標(biāo)檢測模型的好壞-mAP。mAP的定義首先出現(xiàn)在PASCAL挑戰(zhàn)賽，它成功地將模型的檢測效果量化為數(shù)字，便于描述目標(biāo)模型效果的優(yōu)劣。mAP是mean of Average Precision的縮寫，意思是平均精確度（average precision）的平均（mean）[2]。

4.3.1計(jì)算AP

AP的計(jì)算基本等同于計(jì)算曲線以下的面積，略有不同的是先平滑化曲線（因?yàn)檎倩芈屎途_度是離散的點(diǎn)，存在震蕩），即將它的精確度替換為該點(diǎn)召回率右邊的最大精確率，這樣就得到一條單調(diào)的曲線，具體如圖4所示。最一般化AP計(jì)算方法就是求PR曲線下的面積PR-AUC，因?yàn)槲覀兊玫降狞c(diǎn)都是離散的點(diǎn)，計(jì)算積分是很難的，所以只能通過離散的點(diǎn)去擬合AUC。

4.3.2擬合方法

（1） 11-point Interpolated AP（11點(diǎn)插值法計(jì)算AP）。

11點(diǎn)插值法是在2007年提出的VOC數(shù)據(jù)集的計(jì)算方法。我們在平滑化曲線上以0.1為步長，在recall[0，1.0]將其分成11份，然后我們計(jì)算11個召回率下的平均精確率，具體如下：

11點(diǎn)擬合法雖然可以很接近PR-AUC，但是上述例子中離散的點(diǎn)只有5個，就代表圖像褶皺最多有5個，我們?nèi)?1個點(diǎn)來計(jì)算面積是相對接近的，但是在實(shí)際的目標(biāo)檢測中召回率的離散數(shù)值的數(shù)量遠(yuǎn)遠(yuǎn)大于11，說明就有遠(yuǎn)大于11個的曲線震蕩，那么平滑化PR曲線之后如果繼續(xù)使用11點(diǎn)插值法擬合，對于PR-AUC來說，它的面積精確度就不高[3]。

在后來的Pascal VOC比賽中，采用了一種新的方法，使用了所有的數(shù)據(jù)點(diǎn)。在新方法中，選取m個長度為Recalln -Recall，這樣產(chǎn)生了m個矩形，即m是召回率的數(shù)量，其實(shí)也是數(shù)據(jù)集中所有正例的數(shù)量。因?yàn)檎倩芈示褪悄壳矮@得的TP/數(shù)據(jù)集中的所有正例，所以它的取值就是1/m，2/m，一直到m／m。

5結(jié)束語

目標(biāo)檢測作為圖像識別的主要任務(wù)，其主流算法在不斷地改進(jìn)，其中包括R-CNN，F(xiàn)ast-CNN，YOLO，SSD。常見的目標(biāo)檢測數(shù)據(jù)集有Pascal VOC，ILSVRC，MS-COCO，Open Images．ImageNet。目標(biāo)檢測準(zhǔn)確率隨著算法的改進(jìn)、數(shù)據(jù)集的豐富，其計(jì)算方式也在面向多層次、多任務(wù)性發(fā)展。mAP在2010年采用多點(diǎn)擬合方法之后，在多點(diǎn)擬合的基礎(chǔ)上，為了更好地?cái)M合PR-AUC，COCO挑戰(zhàn)賽定義了12種mAP計(jì)算方法，如采用不同的IoU閾值、采用計(jì)算多個不同類別物體Iou閾值下mAP的平均值，或者是根據(jù)目標(biāo)檢測圖片的大小來計(jì)算mAP。雖然目標(biāo)檢測近年來發(fā)展迅速，但在不同領(lǐng)域的融合上，目標(biāo)檢測還有許多待改進(jìn)的地方，如小物體的檢測、多類物體重疊后的檢測，相信目標(biāo)檢測的精度會隨著基于深度學(xué)習(xí)下的目標(biāo)檢測算法的改進(jìn)而不斷提升。