鄭宗超，陳雷放，劉一鳴，時 斌，魏 偉

（1.中國石油大學（華東）計算機科學與技術學院，山東青島 266520；2.青島農業(yè)大學理學與信息科學學院，山東 青島 266109；3.華北電力大學（保定）電氣與電子工程學院，河北 保定 071003；4.青島海爾空調電子有限公司，山東青島 266100；5.青島海爾智能技術研發(fā)有限公司，山東青島 266100）

人工智能正在改變著人類的生活，作為人工智能的一個應用方向，機器視覺[1]也發(fā)揮著重要的作用。機器視覺系統(tǒng)往往需要大量標注好的圖像作為訓練數據進行訓練來達到對圖像的識別效果。傳統(tǒng)的圖像標注工具如LabelMe、精靈標注助手等不支持自動或半自動標注以及分工式標注，標注效率有待提升。因此文中提出通過圖像分割[2]算法進行半自動圖像標注，針對圖像標注過程的耗時操作對標注過程進行相應優(yōu)化，并設計出基于微服務[3]的眾包式圖像標注系統(tǒng)，以達到高效率標注圖像數據的目的。綜合考慮圖像分割效率和適用性，系統(tǒng)選擇基于圖論的經典圖像分割算法GrabCut[4]作為交互式圖像標注算法的基礎，結合系統(tǒng)圖像標注任務劃分以及標注過程操作簡化設計，以提高圖像的標注速度和精度。基于微服務架構設計標注系統(tǒng)，以方便系統(tǒng)各模塊的充分解耦，提高系統(tǒng)的魯棒性及可維護性。

1 交互式圖像半自動標注實現

1.1 圖像標注模式優(yōu)化

傳統(tǒng)圖像自動或半自動標注方法一般包含兩個關鍵步驟，首先根據圖像特征對應的文本關鍵詞訓練分類器，對待標注圖像進行標注時，通過相應的圖像分割算法分割目標實例，經過特定處理后轉化為向量輸入到分類器打標簽，這樣就完成了待標注圖像與相對文本關鍵詞的對應，標注流程如圖1 所示。該方法的缺點是對于待標注圖像集，需根據已知文本關鍵詞建立分類器，對于未知類別的圖像目標實例不能進行自動標注。而大數據環(huán)境下，圖像中目標實例包含大量的關鍵詞，并且通常情況下圖像中存在多個不同子區(qū)域，而不同子區(qū)域對應不同的文本關鍵詞，這就使得依賴于分類器的圖像標注系統(tǒng)在多數情況下并不適用。

圖1 標注流程

考慮到傳統(tǒng)半自動標注系統(tǒng)[5-6]標注模式的不足，文中設計了一種通用標注模式，不需要事先訓練相應的分類器，并且避免了受限于幾種確定的關鍵詞。如圖2 所示，基于一個標簽集（由圖像集中每張圖像對應的全部類別標簽組成），系統(tǒng)根據用戶輸入的全部關鍵詞建立標定組，每個標定組只標定一類目標，所有標定組的標簽合并成標簽集，標簽集包含了圖像集中全部實例及關鍵詞的對應關系。這樣設計使系統(tǒng)具有較好的伸縮性，各類標簽經用戶一次輸入，在系統(tǒng)自動打標簽功能支持下標注過程無需人工指定標簽，可以滿足各種關鍵詞的標注，而不需要訓練分類器，也避免了受限于分類器的能力。由此圖像自動標注過程可以轉化為圖像分割過程?；谠撛O計模式，圖像標注的關鍵在于圖像分割算法的選擇，算法效果決定了標注結果的優(yōu)劣。

圖2 分組標注模式

1.2 基于GrabCut的交互式標注實現

基于提出的標注模式，可以將圖像標注的問題看作交互式圖像分割的問題進行處理。在計算機視覺領域，圖像分割一直是其中一個重要的課題。所謂圖像分割就是把圖像通過某些特征劃分成不同的子區(qū)域，其中每個子區(qū)域的像素表現出較高的相關性，如圖像中目標與背景的分割。二十世紀后期以來，大量的研究人員在該領域做了大量的工作，也建立了一系列理論和方法，其中經典的GrabCut 算法是一種基于圖論的圖像分割方法，能夠以用戶選擇的區(qū)域為前提進行目標的像素級分割。該算法基于圖像像素點、給定的前景終端節(jié)點S 及背景終端節(jié)點T建立帶有權值的無向圖，轉換過程如圖3 所示。

圖3 圖像轉帶權無向圖

無向圖G=＜V,E＞包含兩種邊，一種是普通像素之間的邊n-links，另一種是每個像素與人為假設的兩個終端節(jié)點之間的邊t-links，以像素為節(jié)點和以上兩種邊建立圖像的帶權無向圖后，根據Boy-kov和Kolmogorov 提出的max-flow/min-cut 算法[7]就可以獲得s-t 圖的最小割，算法通過求解圖的最小割將像素點劃分成屬于前景和背景的兩個不相交區(qū)域，圖的最小割通過最小化能量函數求解。

GrabCut 算法通過使用一個包含K個高斯分量的GMM 混合高斯模型[8]對圖像目標和背景進行建模，圖像采用RGB 顏色空間。對于圖像中的一個像素，其必然來自目標GMM 或者背景GMM 的高斯分量。于是有向量：

式（1）中，kn代表第n個像素對應的高斯分量。圖像的Gibbs 能量表示為：

U代表區(qū)域項，V表示邊界項。區(qū)域項表示像素被歸為目標或者背景的懲罰，由像素屬于目標或背景的概率負對數累加得到，而圖像屬于目標或者背景的概率由混合高斯密度模型給出，由此得到區(qū)域項的表達式：

其中，描述GMM 的3 個參數：高斯分量的權重、每個高斯分量的均值以及協方差矩陣都需要通過學習得到。學習得到以上3 個參數后，就可以通過將像素向量代入目標和背景GMM 得出像素輸入目標或者背景的概率值，由此能夠確定區(qū)域項U。邊界項V的定義如式（4）所示：

邊界項V表示相鄰像素間不連續(xù)的懲罰。如果相鄰兩個像素的差別較大，那么它們分別屬于目標和背景的概率就比較大；如果差別較小，那么它們同屬于目標或者背景的概率則較大。建立起圖像的Gibbs 能量函數后，接下來通過選定一個包含目標的區(qū)域作為初始的目標區(qū)域，區(qū)域內像素標簽為1，即為可能的目標像素；框外的像素為初始的背景區(qū)域，區(qū)域內像素標簽為0，即為背景像素。經過人為劃分目標及背景后，通過K-means[9]算法將屬于目標和背景的像素劃分為K類，即GMM 中的K個高斯模型，通過這K個像素集合初始化每個高斯模型的未知參數，從而估計出目標和背景的GMM；得到目標和背景的預估GMM 后，通過迭代最小化Gibbs 能量函數不斷優(yōu)化GMM 的參數，直到找到圖的能量最小割，而最小割將圖像中目標與背景劃分成不同的區(qū)域就完成了目標的分割。

1.3 基于關鍵點的目標區(qū)域選擇

手動添加目標邊界框是一個非常耗時的操作，目前流行的標注工具如LabelMe、精靈標注助手等在框選目標時都采用矩形框的方式，用戶操作時要進行包括點擊想象中的目標邊界、拖拽形成矩形區(qū)域、調整區(qū)域幾個操作，這種方式造成了不必要的時間和人力消耗。通過手動拖拽形成的矩形區(qū)域往往不能緊密貼合目標，從而影響訓練效果。于是采用通過4 個關鍵點自動生成矩形框的方式取代拖拽生成，極大地簡化了用戶操作，并且能夠使標注的區(qū)域更緊密地貼合目標。

如圖4 所示，首先需要用戶指定目標上的最左、最右、最上及最下4 個點，然后通過計算得到矩形框的位置（即左上角坐標）以及寬度和高度，再將選中的圖像區(qū)域輸入作為GrabCut 的目標區(qū)域，獲得對目標的像素級分割。

圖4 基于關鍵點的目標提取

由于目標的4 個頂點很容易識別，相比拖拽形成矩形框不需要用戶對目標位置進行判斷，也無需多次調整，所以該方式有效地縮短了手工標注時間。除目標位置外，關鍵點還提供目標上的4 個點，因此計算得到的矩形區(qū)域能緊密貼合目標，從而為后續(xù)GrabCut 的圖像分割提供了更好的初始條件。

選取Pascal VOC 2012 數據集中的500 張圖片，對其中500 個人物目標進行標注，獲得表1 所示的實驗數據。

表1 關鍵點目標獲取耗時測試

實驗數據表明，基于關鍵點獲取目標邊框的方法相比直接拖拽形成邊框在準確度以及標注耗時兩個方面都取得了更好的效果。

1.4 圖像標注流程設計

基于文中圖像標注模式設計，結合半自動圖像標注操作，具體標注流程如圖5 所示。

圖5 圖像標注流程

2 系統(tǒng)設計

2.1 總體設計

文中提出的圖像數據集管理標注一體化平臺提供圖像集托管、眾包式分工標注以及標簽集的下載支持，另外提供用戶管理、國際化等支撐功能。根據功能的不同，將系統(tǒng)劃分為圖像集管理模塊、標簽集管理模塊、圖像存儲模塊、數據導入導出代理、半自動標定代理、標注算法模塊、用戶及授權服務模塊。系統(tǒng)架構如圖6 所示。

圖6 標注系統(tǒng)架構

2.2 詳細設計

系統(tǒng)采用微服務架構，將主要功能模塊劃分成單個微服務，前后端分離，運用服務注冊與發(fā)現[10-11]機制實現服務間調用，并通過服務網關[12]提供服務的唯一入口，保障了系統(tǒng)安全。

2.2.1 服務注冊與發(fā)現

系統(tǒng)選擇Spring Cloud[13]作為微服務框架，采用Eureka 作為服務發(fā)現組件。微服務系統(tǒng)的服務注冊與發(fā)現機制主要包含3 個組成部分：服務注冊中心、服務提供者和服務消費者。具體實現方式如下。

服務注冊中心微服務需引入Eureka 相關依賴，基于注解使該服務作為注冊中心生效，通過配置服務端口號和注冊中心地址，使各微服務注冊到該注冊中心上。當某個服務調用其他微服務時便可以通過注冊中心發(fā)現并調用其他微服務。項目引入依賴spring-cloud-starter-netflix-eureka-server，并在啟動類上添加@EnableEurekaServer 注解，然后配置注冊中心，在appliaction.yml 中添加如下配置：

服務提供者微服務的實現需引入的依賴是spring-cloud-starter-netflix-eureka-client，然后進行相關配置，將服務本身暴露給其他服務，從而實現接口調用。appliaction.yml 配置如下：

服務消費者配置方式與服務提供者相同。

2.2.2 API網關

微服務架構的應用被拆分成一定粒度的微服務，單體應用客戶端的請求被負載均衡器分發(fā)到多個相同后端實例中的一個，如果將后端服務全部暴露，勢必引發(fā)多種問題。服務網關為微服務應用提供一個唯一的入口，請求通過服務網關微服務分發(fā)到后端具體的微服務上，保障了后端服務的安全性。系統(tǒng)采用Spring Cloud Gateway 實現服務統(tǒng)一入口，基本實現原理如圖7 所示。

圖7 API網關基本實現原理

每個微服務注冊到服務發(fā)現Eureka Server 上，API 網關通過配置完成前端請求的路由轉發(fā)，將請求轉發(fā)至后端對應的服務上。以用戶管理微服務為例，單個服務提供者的API 網關路由配置如下代碼示例所示，可根據此配置方式配置多個微服務路由。

2.2.3 系統(tǒng)后端接口測試

項目采用了前后端分離設計，前端采用Vue.js[14]框架結合樁服務器Mock-Server 與后端并行開發(fā)。開發(fā)中使用Postman 進行接口的測試，Postman 內嵌了OAuth2[15-16]的認證模型，通過配置可實現一系列共用認證服務的API 同時獲得登錄認證的功能。

2.3 系統(tǒng)功能測試

以圖像訓練數據集制作流程為例，首先需要將圖像導入，上傳完圖像集壓縮包后后端轉入異步解壓處理流程。上傳成功后可以根據導入的圖像集創(chuàng)建標簽集，標簽集可以包含多個類別，每一類劃分為一個標定組。標定組可劃分成多個標定任務分配給指定用戶。每個被分配任務的用戶將得到一個由一組圖像和指定類別組成的標定任務。任務分配時可指定任務所有者以及必須完成的期限。

在用戶的標定任務頁面可以看到相應的標定任務列表。標定任務管理頁面如圖8 所示。

圖8 標定任務管理頁面

由標注任務列表可進入相應任務的標注操作頁面，如圖9所示。用戶只需根據提示標注指定目標，而無需手動添加標簽?？紤]到在復雜場景下圖像前景與背景的模糊界限會導致分割結果精度的下降，圖像標注頁面提供了手動圖像標注的完整操作流程，用戶可通過拖拽進行多邊形標簽的形狀調整以及通過雙擊進行標簽刪除，另外可通過滾輪縮放和移動圖像。

圖9 圖像標注界面

系統(tǒng)半自動標注效果如圖10所示，用戶通過指定目標的4 個關鍵點，然后系統(tǒng)自動計算出目標所在最小矩形框，矩形框作為圖像分割算法的輸入，經圖像分割獲取指定類別的目標輪廓，并自動添加類別標簽。

圖10 圖像半自動標注效果

標注過程中發(fā)起任務的用戶能夠查看各用戶的標注進度與當前已標注圖像的標簽統(tǒng)計信息。待每個標定組所劃分的各標定任務標注完成后由系統(tǒng)合并多類標簽得到完整標簽集。任務發(fā)起者可以在標簽集詳情頁保存相應的標簽集壓縮包至本地。以VOC XML格式為例，最終導出的標簽集如圖11所示。

圖11 標簽集

3 系統(tǒng)標注測試

為測試系統(tǒng)標注效果，找5 名測試人員基于Pascal VOC 2012 數據集隨機選取的2 000 張圖像進行測試。每張圖像標注一個實例。首先讓測試人員使用常見傳統(tǒng)標注工具進行標注，然后讓測試人員用系統(tǒng)進行半自動標注，實驗結果如表2 所示。

表2 系統(tǒng)標注效果測試

實驗產生了幾種不同標注方式的實驗數據，包括IoU 均值、IoU ＞0.7%、總耗時及單張耗時。結果表明，在使用提出的半自動標注系統(tǒng)進行標注時，在標注速度上有了大幅度提升。從IoU 指標來看，生成的標簽相對手動標注不會造成精度的降低。經系統(tǒng)實際測試表明，在實際使用中，可以以算法標注為主，手動調整為輔，可以使標注更加精確，并且節(jié)省大量的時間和人為操作。總體來說，系統(tǒng)的半自動標注大幅度提升了圖像數據集的標注效率和質量。

4 結論

在機器視覺系統(tǒng)訓練中，以人工標注的方式進行圖像訓練數據集的標注是非常耗時耗力的一項工作。在某些要求標注精度較高的情況下，一張圖片可能耗費一個人幾十分鐘的時間，如此一來，數據集標注的成本可想而知。因此，文中調研了圖像標注的實際需求，結合圖像分割算法，設計了一種半自動圖像標注系統(tǒng)，經實際測試，設計的系統(tǒng)大幅度降低了圖像標注的人力成本和時間成本，在計算機視覺領域具有較高的應用價值。