溫志強(qiáng)，馮向萍，徐 靜

(新疆農(nóng)業(yè)大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，新疆 烏魯木齊 830052)

0 引 言

為加快新疆現(xiàn)代馬產(chǎn)業(yè)發(fā)展，使新疆現(xiàn)代馬業(yè)發(fā)展盡快與國(guó)際馬業(yè)管理接軌，區(qū)內(nèi)建立了新疆馬匹登記注冊(cè)管理系統(tǒng)，加快了實(shí)現(xiàn)區(qū)內(nèi)良種馬資源信息共享[1]。但目前馬品種登記和護(hù)照信息中的外貌特征提取方式主要靠手工方式完成，需要對(duì)馬匹面部的特征進(jìn)行文字描述和手工描圖標(biāo)記，存在工作量大、效率低、準(zhǔn)確性低、人工成本高等問(wèn)題。

近幾年來(lái)已經(jīng)有關(guān)于深度學(xué)習(xí)的動(dòng)物面部識(shí)別、植物實(shí)例分割[2-3]等研究成果。由于深度神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)和檢測(cè)方面取得了巨大的成功，現(xiàn)在成為了幾乎所有計(jì)算機(jī)視覺(jué)應(yīng)用的“特征提取器的選擇”，主要是因?yàn)樗鼈兡軌驈臄?shù)據(jù)中學(xué)習(xí)到良好的特征。根據(jù)文獻(xiàn)查閱收集了解到目前在人工智能計(jì)算機(jī)視覺(jué)方面還未有與馬匹相關(guān)的畜牧業(yè)相結(jié)合的應(yīng)用，結(jié)合深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)在其他動(dòng)物上的研究方向主要分為四類(lèi):

①classification分類(lèi)任務(wù)：如基于CNN的魚(yú)類(lèi)分類(lèi)[4]，王培森[5]基于注意力機(jī)制的圖像分類(lèi)，提出并實(shí)現(xiàn)了一種利用卷積層激活輸出獲取多通道注意力的圖像分類(lèi)模型，龐絲絲等[6]利用遷移學(xué)習(xí)的方法改進(jìn)的ResNet50深度學(xué)習(xí)模型，得到了不錯(cuò)的分類(lèi)識(shí)別效果。

②object detection目標(biāo)檢測(cè)：Ross Girshick等[7]在PASCAL VOC數(shù)據(jù)集訓(xùn)練了R-CNN模型，首次用深度學(xué)習(xí)CNN的方式，結(jié)合region proposal和CNNs進(jìn)行目標(biāo)檢測(cè)，取得的性能、準(zhǔn)確度均大幅高于傳統(tǒng)特征提取方式。趙凱旋等[8]提出對(duì)于奶牛目標(biāo)各區(qū)域的檢測(cè)和分割方法。在精準(zhǔn)養(yǎng)殖方面，針對(duì)奶牛精準(zhǔn)養(yǎng)殖中的信息獲取問(wèn)題，趙凱旋[9]針對(duì)奶牛運(yùn)動(dòng)目標(biāo)檢測(cè)，提出了一種基于背景法的目標(biāo)檢測(cè)方法。

③semantic segmentation語(yǔ)義分割：Jonathan Long等[10]提出了一種全卷積網(wǎng)絡(luò)，去除了VGG網(wǎng)絡(luò)常規(guī)的全連接層(fc)的全卷積(fully conv)網(wǎng)絡(luò)，可適應(yīng)任意尺寸輸入。增大了數(shù)據(jù)尺寸的反卷積層(deconv)，能夠輸出像素級(jí)別的結(jié)果來(lái)進(jìn)行語(yǔ)義分割。王雅晴[11]通過(guò)改進(jìn)FCN對(duì)自然場(chǎng)景圖像中的金絲猴進(jìn)行分割，為研究金絲猴生物特征信息進(jìn)行重識(shí)別工作奠定基礎(chǔ)。

④instance segmentation實(shí)例分割：He Kaiming等[12]在2017年基于Faster R-CNN提出的一種改進(jìn)算法，在正確找到圖像中目標(biāo)的同時(shí)還要對(duì)其進(jìn)行精確的分割，對(duì)Faster R-CNN的每個(gè)RoI都要使用FCN進(jìn)行語(yǔ)義分割，分割任務(wù)與定位、分類(lèi)任務(wù)同時(shí)進(jìn)行。

因此，根據(jù)上述研究，根據(jù)實(shí)際任務(wù)需要分割的目標(biāo)為馬匹面部和馬匹面部別征區(qū)域，馬匹面部別征識(shí)別分割屬于實(shí)例分割任務(wù)。所以，該文提出一種基于深度學(xué)習(xí)的馬匹面部及馬匹面部特征的檢測(cè)方法，先利用Mask R-CNN網(wǎng)絡(luò)分割圖像中馬臉及馬臉特征得到掩膜，在馬臉及馬臉特征檢測(cè)的同時(shí)實(shí)現(xiàn)了馬臉及馬臉特征圖像與背景的分割。論文的主要工作和創(chuàng)新點(diǎn)如下：

·將人工智能計(jì)算機(jī)視覺(jué)與畜牧業(yè)相結(jié)合；

·構(gòu)建了一個(gè)具有分割標(biāo)注的馬臉及馬臉特征數(shù)據(jù)集，從Open Images Dataset V4[13]數(shù)據(jù)集中選擇了700張包含馬臉及馬臉特征的圖像，在新疆的伊犁昭蘇馬場(chǎng)實(shí)地拍攝了700張包含馬臉及馬臉特征的圖像，利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在unsplash網(wǎng)站爬取了160張包含馬臉及馬臉特征的圖像，并對(duì)以上圖像進(jìn)行標(biāo)注構(gòu)建了新的數(shù)據(jù)集；

·引入RoIAlign算法，在特征圖上保留了浮點(diǎn)型坐標(biāo)，提高了馬臉及馬臉特征的定位精度；

·利用Mask R-CNN結(jié)合ResNet-50網(wǎng)絡(luò)[14]與FPN網(wǎng)絡(luò)[15]訓(xùn)練出檢測(cè)模型，該模型在現(xiàn)有馬臉及馬臉特征檢測(cè)的基礎(chǔ)上，實(shí)現(xiàn)了馬臉及馬臉特征定位，增加了分割分支。能夠在馬臉及馬臉特征檢測(cè)的同時(shí)實(shí)現(xiàn)像素級(jí)的馬臉及馬臉特征信息分割，并且將預(yù)測(cè)的實(shí)例掩膜映射至馬匹登記系統(tǒng)中的外貌特征圖示中，解決了馬匹面部特征自動(dòng)標(biāo)記問(wèn)題。

1 數(shù)據(jù)采集與數(shù)據(jù)集標(biāo)注

1.1 數(shù)據(jù)采集

實(shí)驗(yàn)數(shù)據(jù)第一部分采集于新疆伊犁昭蘇縣軍馬場(chǎng)、伊犁地區(qū)種馬場(chǎng)。選取馬匹面部具有白色毛色特征的馬匹進(jìn)行拍攝，主要針對(duì)馬匹面部具有大星、小星、細(xì)流星、長(zhǎng)流星、長(zhǎng)廣流星、白面、鼻端白等特征的馬匹進(jìn)行采集，如圖1所示。將iPhone6s手機(jī)相機(jī)，距離地面1.5米高度，正視于馬匹面距離約兩人獲取正視彩色圖像。手機(jī)拍攝分辨率1 334像素×750像素，按照拍攝日期存入電腦設(shè)備。

圖1 馬匹面部別征

實(shí)驗(yàn)數(shù)據(jù)第二部分來(lái)自于Google，CMU和康奈爾大學(xué)之間合作的Open Images Dataset V4，從horse標(biāo)簽類(lèi)當(dāng)中選取了700張包含馬匹面部特征的彩色圖像。實(shí)驗(yàn)數(shù)據(jù)第三部分來(lái)自于網(wǎng)絡(luò)爬蟲(chóng)，爬取了免費(fèi)無(wú)版權(quán)的攝影師作品網(wǎng)站unsplash，從該網(wǎng)站爬取了140張清晰的包含馬匹面部特征的彩色圖像。

1.2 數(shù)據(jù)集制作

將獲取的1 540張包含馬匹面部特征信息的圖像作為數(shù)據(jù)集。所選樣本集包含不同場(chǎng)景下、不同曝光度和不同馬匹面部角度的樣本。訓(xùn)練集采用的是coco數(shù)據(jù)集格式[16]，圖像標(biāo)識(shí)工具采用Labelme，在Labelme圖像標(biāo)注工具中利用多邊形標(biāo)注出馬匹面部和馬匹面部特征外輪廓，如圖2所示，保存后得到j(luò)son格式的標(biāo)注文件，經(jīng)轉(zhuǎn)換后得到coco數(shù)據(jù)集格式的json、label等文件。

圖2 Labelme中進(jìn)行面部和大星特征的標(biāo)記

2 文中方法

文中主要通過(guò)Mask R-CNN在計(jì)算機(jī)視覺(jué)圖像實(shí)例分割任務(wù)中優(yōu)異的表現(xiàn)，檢測(cè)圖像中的馬臉以及馬匹面部特征并分割馬臉及馬匹面部特征的區(qū)域， 得到每匹馬的馬臉與特征的mask遮罩圖像；將識(shí)別分割后的mask遮罩圖像，映射到馬匹登記環(huán)節(jié)中的馬匹外貌特征圖示上，從而實(shí)現(xiàn)馬匹面部別征的識(shí)別及分割。

2.1 基于Mask R-CNN的馬匹面部分割網(wǎng)絡(luò)

如圖3所示，基于卷積神經(jīng)網(wǎng)絡(luò)的Mask R-CNN馬匹面部別征識(shí)別分割網(wǎng)絡(luò)分為三部分:(1)主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)是共享的卷積層，用于對(duì)輸入圖像的特征提取，生成特征映射圖(Featuremaps)。馬匹面部別征識(shí)別及分割網(wǎng)絡(luò)選用殘差網(wǎng)絡(luò)(ResNet50)[17]結(jié)合特征金字塔網(wǎng)絡(luò)(FPN)作為主干網(wǎng)絡(luò)，生成P2、P3、P4、P5等4級(jí)大小不同的特征圖。(2)區(qū)域建議網(wǎng)絡(luò)(RPN)，用于生成感興趣區(qū)域(RoI)推薦框。本網(wǎng)絡(luò)中的RPN網(wǎng)絡(luò)通過(guò)具有FPN的主干網(wǎng)絡(luò)根據(jù)3種不同尺度長(zhǎng)寬比為0.5、1和2的15種矩形框從特征金字塔的不同級(jí)別P2～P6在特征圖中提取RoI特征。(3)回歸檢測(cè)物體的類(lèi)別、邊界框(Bounding-box)及輸出掩膜的mask三分支結(jié)構(gòu)。文中類(lèi)別包含8類(lèi)(大星、小星、細(xì)流星、長(zhǎng)流星、長(zhǎng)廣流星、白面、鼻端白和背景)，Bounding-box包含4個(gè)參數(shù)均由全連接層得出。Mask分支由卷積核大小為3*3的5個(gè)卷積層和2個(gè)反卷積層構(gòu)成，其中最后一層采用1*1大小的卷積核輸出mask類(lèi)別為2類(lèi)。

圖3 基于Mask R-CNN的馬匹面部別征分割網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 RPN網(wǎng)絡(luò)

在R-CNN和Fast R-CNN等物體檢測(cè)框架中，通常用比較傳統(tǒng)的selective search算法[18]來(lái)提取候選框，在CPU上一張圖要耗時(shí)2 s，所以Ren Shaoqing 等人[19]提出RPN網(wǎng)絡(luò)專(zhuān)門(mén)用來(lái)提取候選框。

RPN(region proposal network)即候選區(qū)域生成網(wǎng)絡(luò)，通過(guò)一個(gè)在共享特征圖(conv feature map)上3×3的滑動(dòng)窗口(sliding window)生成候選區(qū)域。在此過(guò)程中，為特征圖上每個(gè)特征點(diǎn)生成9種預(yù)先設(shè)置好長(zhǎng)寬比與面積比的目標(biāo)框或稱(chēng)為錨點(diǎn)(Anchor)，由卷積神經(jīng)網(wǎng)絡(luò)提取特征后得到特征圖，在特征圖上將每一個(gè)點(diǎn)映射至原始輸入圖像上，得到一個(gè)感受野(receptive field)，9種初始Anchor包含三種面積，每種面積包含三種長(zhǎng)寬比，面積從小至大依次為128×128，256×256，512×512。RPN對(duì)3×3滑動(dòng)窗口得到的特征圖上每個(gè)Anchor進(jìn)行兩種判斷，分類(lèi)層(cls layer)判斷是否為物體，2k scores對(duì)于9種框都可以判斷是前景還是背景，當(dāng)IoU≥0.5時(shí)，認(rèn)為其為正例(positive)，并對(duì)其進(jìn)行回歸。每一個(gè)RPN網(wǎng)絡(luò)生成的候選框都做一個(gè)2分類(lèi)回歸，每一個(gè)特征點(diǎn)對(duì)應(yīng)9個(gè)框，2×9=18個(gè)結(jié)果，即對(duì)9種候選框來(lái)說(shuō)，它是前景和背景的得分。IoU(intersection over union，交并比)計(jì)算公式如下：

(1)

其中，A為RPN網(wǎng)絡(luò)生成的候選框，B為訓(xùn)練集中標(biāo)注的標(biāo)準(zhǔn)目標(biāo)框，SA∩B為A、B的相重疊處面積,SA∪B為A、B并集面積。

回歸層(Reg layer)，對(duì)于Anchor的修正主要由4個(gè)值完成tx、ty、th、tw，當(dāng)前RPN網(wǎng)絡(luò)生成的候選框的四個(gè)坐標(biāo)的回歸值和訓(xùn)練集中正確的目標(biāo)框(ground trues)之間的差異，4k coordinates 4×9=36,每一個(gè)anchor對(duì)應(yīng)36個(gè)結(jié)果。

2.1.2 RoIAlign層

在Faster R-CNN網(wǎng)絡(luò)中候選區(qū)域池化(region of interest pooling，RoI Pooling)根據(jù)候選框的位置坐標(biāo)，在特征圖中將相應(yīng)區(qū)域池化為固定尺寸的特征圖，送入全連接層進(jìn)行分類(lèi)和RoI邊框的修正。①在Region Proposal映射階段，由浮點(diǎn)數(shù)表示的RoI特征圖邊界量化為了整數(shù)點(diǎn)坐標(biāo)值；②池化后的特征圖尺寸固定，RoI邊界區(qū)域平均分割成k×k個(gè)單元(bin)，也對(duì)每個(gè)單元的邊界進(jìn)行了量化。兩次量化過(guò)程造成了RoI和提取特征之間的不對(duì)準(zhǔn)而產(chǎn)生了位置偏差，影響了檢測(cè)和分割的準(zhǔn)確度。

為解決上述缺點(diǎn)，RoIAlign層算法取消了生成RoI特征圖過(guò)程中的兩次量化操作。①Region Proposal映射階段不進(jìn)行量化，保持浮點(diǎn)數(shù)邊界；②將候選區(qū)域(RoI)分割成k×k個(gè)單元(bin)，每個(gè)單元的邊界也不做量化，保持浮點(diǎn)數(shù)。使用雙線(xiàn)性插值計(jì)算每個(gè)RoI bin中四個(gè)采樣位置的輸入特征的精確值，并進(jìn)行平均池化操作，公式如下：

(2)

RoIAlign采用雙線(xiàn)性插值算法，保留浮點(diǎn)型坐標(biāo)，避免了量化誤差，可以使原圖像像素與特征圖像素相匹配。雙線(xiàn)性插值算法公式如下：

對(duì)x方向進(jìn)行線(xiàn)性插值：

(3)

(4)

對(duì)y方向進(jìn)行線(xiàn)性插值：

(5)

如圖4所示，f(x,y)為待求解點(diǎn)P的像素值，f(Q11)、f(Q12)、f(Q21)、f(Q22)分別為已知四點(diǎn)Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1)及Q22=(x2,y2)的像素值，f(R1)、f(R2)為x方向插值得到的像素值。

圖4 雙線(xiàn)性插值算法

2.1.3 FPN網(wǎng)絡(luò)

對(duì)一般的object detection算法，都是只采用頂層特征做預(yù)測(cè)，對(duì)于高層特征圖而言，語(yǔ)義信息比較豐富，目標(biāo)位置比較粗略[20]。對(duì)于低層特征圖而言，低層特征圖語(yǔ)義信息比較少，目標(biāo)位置比較準(zhǔn)確。FPN(feature pyramid networks)算法同時(shí)利用低層特征高分辨率和高層特征的高語(yǔ)義信息[21]，通過(guò)融合不同層的特征達(dá)到預(yù)測(cè)的效果。為了消除每一層融合過(guò)程上采樣的混疊效應(yīng)(aliasing efect)，不同層融合之后對(duì)不同層的融合結(jié)果采用3×3的卷積(conv)并且在每個(gè)融合后的特征層上單獨(dú)進(jìn)行預(yù)測(cè)。

2.1.4 損失函數(shù)

文中的Mask R-CNN模型完成了三個(gè)任務(wù)，即馬臉與馬匹面部特征框的檢測(cè)定位、馬臉與馬匹面部特征與背景的分類(lèi)、馬臉與馬匹面部特征與背景的分割。因此，損失函數(shù)的定義包括了定位損失、分類(lèi)損失及分割損失三部分。在訓(xùn)練期間，將每個(gè)采樣的RoI上的多任務(wù)損失函數(shù)定義如下:

(6)

2.2 馬匹面部別征分割流程

文中通過(guò)小樣本馬臉數(shù)據(jù)集訓(xùn)練模型，在有限的實(shí)驗(yàn)環(huán)境下，獲得了更好的模型參數(shù)，使網(wǎng)絡(luò)模型能夠更快收斂，利用MS COCO數(shù)據(jù)集[22]上預(yù)訓(xùn)練好參數(shù)的源網(wǎng)絡(luò)模型，對(duì)目標(biāo)網(wǎng)絡(luò)，文中馬匹面部別征識(shí)別網(wǎng)絡(luò)模型的權(quán)重文件進(jìn)行初始化。通過(guò)標(biāo)注好的不同別征類(lèi)別的馬匹面部數(shù)據(jù)集對(duì)整個(gè)目標(biāo)網(wǎng)絡(luò)層進(jìn)行微調(diào)訓(xùn)練fine-tuning[23]，得到馬臉及馬匹面部別征識(shí)別分割模型。

馬匹面部別征分割模型流程如下:

(1)colab深度學(xué)習(xí)平臺(tái)通過(guò)讀取云存儲(chǔ)馬匹圖像輸入至ResNet50殘差網(wǎng)絡(luò)進(jìn)行特征提取。ResNet第1至4階段生成P2～P5共4個(gè)尺度特征圖，用于RPN、Bounding-box、class及mask的生成，由P5以步長(zhǎng)為2進(jìn)行下采樣得到大小為5 122的特征圖P6，P6僅用于RPN提供建議區(qū)域。

(2)RPN：將不同尺度特征圖P2～P6依次通過(guò)卷積核大小為3×3步長(zhǎng)為1的卷積層后，為每個(gè)特征點(diǎn)生成3個(gè)Anchor，對(duì)class生成3×2個(gè)(馬匹和背景2類(lèi))卷積核，對(duì)Bounding-box生成3×4個(gè)卷積核。在3×3卷積層后接兩個(gè)1×1×1 024的全連接層，結(jié)果將分別進(jìn)入cls和reg兩個(gè)子網(wǎng)絡(luò)用于區(qū)域建議，完成每個(gè)像素的前后景判別及馬匹面部別征的第1次Bounding-box修正。

(3)RPN網(wǎng)絡(luò)將特征圖中生成候選區(qū)域RoI的Bounding-box送入特征池化層RoIAlign，在RoIAlign中，根據(jù)Bounding-box提取P2～P5特征送入class、Bounding-box、mask三分支網(wǎng)絡(luò)。

(4)分類(lèi)與邊框回歸分支根據(jù)RoI進(jìn)行分類(lèi)預(yù)測(cè)及馬匹面部別征Bounding-box第2次修正，Mask分支經(jīng)過(guò)卷積和反卷積層生成馬臉與馬匹面部別征mask，完成馬匹面部別征檢測(cè)與分割。

3 實(shí)驗(yàn)及結(jié)果分析

文中實(shí)驗(yàn)算法分為基于Mask R-CNN馬匹面部別征識(shí)別及分割以及分割結(jié)果的應(yīng)用。

3.1 馬匹面部別征識(shí)別及分割實(shí)驗(yàn)

3.1.1 實(shí)驗(yàn)環(huán)境配置

馬匹面部別征識(shí)別及分割網(wǎng)絡(luò)模型采用Google colab深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)，操作系統(tǒng)為Ubuntu18.04，CPU為Intel Xeon，主頻2.20 GHz，13 GB內(nèi)存，GPU為NVIDA Tesla P100，深度學(xué)習(xí)框架Pytorch1.3.1的硬件平臺(tái)。

3.1.2 模型訓(xùn)練

針對(duì)實(shí)驗(yàn)數(shù)據(jù)集本身很小(一千五百?gòu)垐D片)的情況，文中采用遷移學(xué)習(xí)方法，分別對(duì)馬臉上的別征大星、小星、細(xì)流星、長(zhǎng)流星、長(zhǎng)廣流星、白面、鼻端白等特征圖像做實(shí)例分割并進(jìn)行提取。特征提取網(wǎng)絡(luò)選用ResNet-50網(wǎng)絡(luò)，首先使用coco預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，使模型具有一定的泛化能力，進(jìn)一步提升模型性能。然后利用已標(biāo)注的具有標(biāo)簽和mask的數(shù)據(jù)集，共計(jì)1 540幅圖像，抽取1 378圖像訓(xùn)練樣本數(shù)據(jù)集，剩余162組作為算法整體測(cè)試集，并將數(shù)據(jù)集的格式轉(zhuǎn)化為coco數(shù)據(jù)集標(biāo)準(zhǔn)格式進(jìn)行模型訓(xùn)練，通過(guò)實(shí)驗(yàn)調(diào)試，設(shè)置迭代次數(shù)(epoach)為10，迭代步數(shù)(iteration)為7 500，批尺寸為2，學(xué)習(xí)率為0.001。針對(duì)文中類(lèi)不平衡數(shù)據(jù)集(如LVIS)[24]的訓(xùn)練，訓(xùn)練集中長(zhǎng)流星總計(jì)45幅圖片在所有類(lèi)別中屬于最少類(lèi)別，訓(xùn)練集總計(jì)1 441張圖片，所以長(zhǎng)流星類(lèi)出現(xiàn)的頻率為45/1 440(0.031)。

3.1.3 識(shí)別與分割結(jié)果分析

用145個(gè)測(cè)試集在訓(xùn)練好的模型上進(jìn)行測(cè)試，部分馬匹面部別征如圖5所示。文中算法在完成馬臉及馬臉特征目標(biāo)定位框并用不同顏色的二值掩碼將目標(biāo)信息與背景分割開(kāi)，實(shí)現(xiàn)了對(duì)馬臉及馬臉特征圖像檢測(cè)定位并進(jìn)行分割的效果。為有效驗(yàn)證本模型的性能，分別選取ResNet50-FPN、ResNet101-FPN兩種不同深度的主干網(wǎng)絡(luò)模型得到在測(cè)試集中的性能曲線(xiàn)，如圖6、圖7所示，其中橫坐標(biāo)為迭代步數(shù)，縱坐標(biāo)為準(zhǔn)確率。如圖6所示，文中算法的準(zhǔn)確率隨著迭代次數(shù)的增加逐步小幅度震蕩上升，最終保持在94%至96%區(qū)間。Mask R-CNN模型包括了定位損失、分類(lèi)損失及分割損失三部分，三部分損失值的總和(total loss)如圖7所示，其中橫坐標(biāo)為迭代步數(shù)，縱坐標(biāo)為三部分損失值總和。文中算法的損失值隨著迭代次數(shù)的增加逐步小幅度震蕩下降，最終收斂于0.4左右。

圖5 基于Mask R-CNN的馬匹面部別征分割結(jié)果

圖6 Mask R-CNN網(wǎng)絡(luò)準(zhǔn)確率

圖7 Mask R-CNN網(wǎng)絡(luò)三部分總損失值

利用coco數(shù)據(jù)集指標(biāo)AP(average precision)、MAP(mean average precision)，對(duì)文中分割算法進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 文中算法不同主干網(wǎng)絡(luò)對(duì)馬匹面部別征分割評(píng)價(jià)指標(biāo)

3.2 馬匹面部別征識(shí)別及分割應(yīng)用

在馬匹鑒定以及馬匹護(hù)照生成標(biāo)記外貌特征的過(guò)程中，使用文中算法將圖像中的馬匹面部特征做實(shí)例分割，將分割后的實(shí)例存儲(chǔ)為list[dict]格式，通過(guò)實(shí)例中的pred_masks鍵獲取Tensor形式的mask(掩碼區(qū)域)并轉(zhuǎn)換為ndarray格式數(shù)據(jù)進(jìn)行保存，根據(jù)pred_boxes鍵獲取馬臉實(shí)例和特征實(shí)例的(box)掩碼包圍框，預(yù)測(cè)結(jié)果中每一個(gè)實(shí)例包圍框以元組形式儲(chǔ)存的x0,y0,x1,y1四個(gè)坐標(biāo)點(diǎn)，box的寬為:

width=|x1-x0|

(7)

box的高為:

height=|y1-y0|

(8)

映射關(guān)系如下：

(9)

預(yù)測(cè)框與外貌特征圖示馬臉區(qū)域目標(biāo)框的長(zhǎng)寬比例如圖8所示，馬匹外貌特征鑒定的馬匹面部區(qū)域的mask(掩碼遮罩)區(qū)域的長(zhǎng)寬比調(diào)整比例映射繪制，從而可以完成馬匹面部的特征自動(dòng)標(biāo)記工作。

圖8 馬匹面部別征外貌特征圖示映射

4 結(jié)束語(yǔ)

針對(duì)馬匹外貌特征鑒定實(shí)際過(guò)程中的面部別征標(biāo)記問(wèn)題，通過(guò)采集馬匹面部數(shù)據(jù)，構(gòu)建了一個(gè)具有分割標(biāo)注信息的馬臉數(shù)據(jù)集，研究了Mask R-CNN目標(biāo)實(shí)例分割算法，訓(xùn)練了相應(yīng)模型。通過(guò)測(cè)試馬臉、大星、細(xì)長(zhǎng)流星鼻端白、長(zhǎng)流星鼻端白面部特征的AP值分別為86%、43%、39%、30%，均能夠較為準(zhǔn)確地完成分割，分割后的特征輪廓清晰邊緣較為平滑，并通過(guò)模型輸出映射至馬匹外貌特征圖區(qū)域，完成了馬匹別征鑒定工作的自動(dòng)標(biāo)記，取得了較好的效果。在今后的工作中將對(duì)目前的馬匹面部別征數(shù)據(jù)集中的別征種類(lèi)進(jìn)行擴(kuò)充，并對(duì)算法進(jìn)行改進(jìn)，以進(jìn)一步提高模型的平均精確度。