劉揚(yáng)東 王璐 李棟

?

針對(duì)檢疫物的CT圖像著色和自動(dòng)識(shí)別方法研究*

劉揚(yáng)東1王璐2李棟2

（1.中華人民共和國(guó)廣州白云機(jī)場(chǎng)海關(guān) 2.同方威視技術(shù)股份有限公司）

針對(duì)CT檢疫設(shè)備在識(shí)別檢疫物時(shí)出現(xiàn)誤報(bào)、漏報(bào)等問(wèn)題，提出一種基于深度學(xué)習(xí)的CT圖像著色和自動(dòng)識(shí)別方法。通過(guò)采集檢疫物的名稱、形態(tài)和數(shù)量等屬性，建立檢疫物和安全品數(shù)據(jù)庫(kù)；重建CT圖像的密度、等效原子序數(shù)等三維形狀特征；提取三維物體特征的3個(gè)歸一化正交截面，作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，使用多輸入的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行三維物體識(shí)別。同時(shí)，對(duì)金屬、輕薄物、種子和水果等檢疫物進(jìn)行CT圖像著色方法的改進(jìn)，提高了檢疫物的顯示效果。在Python平臺(tái)進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，結(jié)果表明，CT檢疫設(shè)備檢出準(zhǔn)確率提高了約20%。

深度學(xué)習(xí)；圖像著色；圖像自動(dòng)識(shí)別

0　引言

隨著現(xiàn)代電子商務(wù)和跨境物流的快速發(fā)展，我國(guó)與世界各地往來(lái)的快件、郵寄物品數(shù)量激增，品種逐漸復(fù)雜。其中，郵寄動(dòng)植物產(chǎn)品、診斷試劑、植物種子、化礦、輕紡以及其他禁止出入境物品等檢疫物，不斷呈快速增長(zhǎng)態(tài)勢(shì)[1-2]。這些危險(xiǎn)性有害檢疫物給我國(guó)生態(tài)環(huán)境、農(nóng)業(yè)生產(chǎn)等國(guó)家公共安全帶來(lái)較大的風(fēng)險(xiǎn)和威脅。

針對(duì)此類情況，CT型動(dòng)植物智能檢疫設(shè)備在某快件監(jiān)管中心投入使用。該設(shè)備可生成被測(cè)行李物品的三維立體影像，多角度觀察行李物品內(nèi)部的分布和層次；并通過(guò)獲取被測(cè)物品密度及原子序數(shù)等多維信息，對(duì)肉類、乳制品、動(dòng)物及制品等重點(diǎn)監(jiān)管對(duì)象進(jìn)行有效識(shí)別和自動(dòng)報(bào)警。該設(shè)備采用的檢疫專用算法，可對(duì)檢疫物區(qū)分賦色、自動(dòng)報(bào)警。但在使用中存在誤報(bào)和漏報(bào)的情況，給查驗(yàn)人員判斷成像中的檢疫物帶來(lái)一定困擾。

為了解決此問(wèn)題，本文研究了針對(duì)檢疫物的CT圖像著色方法和基于深度學(xué)習(xí)的自動(dòng)識(shí)別算法。根據(jù)海關(guān)和安檢部門列明的主要檢疫物種類，建立郵寄物品數(shù)據(jù)庫(kù)，提取和重建郵寄物品特征，作為深度學(xué)習(xí)優(yōu)化網(wǎng)絡(luò)的輸入，并優(yōu)化檢疫物著色，提高CT檢疫設(shè)備自動(dòng)識(shí)別能力和顯示效果。

1 　基于深度學(xué)習(xí)的自動(dòng)識(shí)別算法

從CT成像著手，建立檢疫物和安全品數(shù)據(jù)庫(kù)，采用深度學(xué)習(xí)優(yōu)化檢疫物自動(dòng)識(shí)別算法。

1.1　搭建數(shù)據(jù)庫(kù)

檢疫違禁物品種類繁多，用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，難以設(shè)計(jì)有效提取郵寄物品復(fù)雜特征和識(shí)別違禁物品的模型。深度學(xué)習(xí)以盡可能多的CT圖像作為輸入樣本，且對(duì)輸入樣本的縮放、平移和扭曲等特性處理保持高度不變性；訓(xùn)練過(guò)程的特征融合[3-4]，提高了復(fù)雜特征提取算法的準(zhǔn)確率。

為提高檢疫物的復(fù)雜特征識(shí)別率和抗干擾能力，本文建立具有良好擴(kuò)展性的專用檢疫CT圖像數(shù)據(jù)庫(kù)，主要包括檢疫物數(shù)據(jù)庫(kù)和安全品數(shù)據(jù)庫(kù)2部分。

檢疫物數(shù)據(jù)庫(kù)中采集的檢疫物種類主要以中國(guó)農(nóng)業(yè)部、原國(guó)家質(zhì)檢總局第1712號(hào)公告里列明的主要檢疫物為準(zhǔn)。

安全品數(shù)據(jù)庫(kù)采集的非檢疫物種類包括檢疫物外的所有物品。

采集數(shù)據(jù)的方式：在CT檢疫設(shè)備中采集每種檢疫物，依次放置在托盤、紙箱及加入干擾物的紙箱中；變換姿態(tài)進(jìn)行采集，并記錄檢疫物的名稱、形態(tài)、數(shù)量和質(zhì)量等屬性。

為提高自識(shí)別模型的抗干擾能力，對(duì)原始采集的成像數(shù)據(jù)進(jìn)行亮度、對(duì)比度調(diào)節(jié)和隨機(jī)反轉(zhuǎn)等預(yù)處理，并以固定的數(shù)據(jù)結(jié)構(gòu)形式存入數(shù)據(jù)庫(kù)，以備算法后續(xù)使用。

1.2　CT圖像的自動(dòng)識(shí)別

目前，CT檢疫設(shè)備主要利用CT重建得到密度、等效原子序數(shù)等物質(zhì)屬性，輔以弱形狀和紋理特征，對(duì)檢疫物進(jìn)行識(shí)別和分類。此方法對(duì)具有強(qiáng)可分性的違禁物品識(shí)別取得良好效果，如爆炸物。但由于檢疫物種類較多，其組成和物理屬性也比較復(fù)雜，CT檢疫設(shè)備應(yīng)用存在一定的局限性。

通過(guò)對(duì)檢疫物成像的觀察和分析，得知檢疫識(shí)別的目標(biāo)多呈現(xiàn)較強(qiáng)的三維形狀特征。將三維物體的形狀和紋理特征作為深度神經(jīng)網(wǎng)絡(luò)優(yōu)化模型的輸入，可進(jìn)一步區(qū)分物理屬性重疊的檢疫物與安全品，提高三維物體識(shí)別的準(zhǔn)確率。

三維檢測(cè)分為三維物體生成、三維物體數(shù)據(jù)預(yù)處理和三維物體識(shí)別3個(gè)主要步驟。

1.2.1三維物體生成

三維物體生成流程如圖1所示。采用CT設(shè)備的最大密度投影，獲取一定厚度檢疫物的最大CT值，建立檢疫物的特征概率模型。在體素投影的背景平面上，構(gòu)建具有所有或部分高強(qiáng)化密度特征的三維標(biāo)記矩陣。對(duì)密度特征值相同或相似區(qū)域進(jìn)行三維標(biāo)記連通（連通體遍歷），得到標(biāo)記的三維物體。采用合并和篩選優(yōu)化標(biāo)記的方法，最終生成三維物體。

1.2.2三維物體數(shù)據(jù)預(yù)處理

為規(guī)范卷積神經(jīng)網(wǎng)絡(luò)的輸入，對(duì)每個(gè)生成的三維物體進(jìn)行預(yù)處理，如圖2所示。考慮到算法的實(shí)用性和運(yùn)算效率，本文提取三維物體的3個(gè)正交截面作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。

在高分辨率下，將生成的三維物體進(jìn)行三維數(shù)據(jù)點(diǎn)重采樣。利用采樣矩陣旋轉(zhuǎn)和平移運(yùn)算實(shí)現(xiàn)三維物體不同視角的變換。統(tǒng)計(jì)三維物體面積的總體分布，割離3個(gè)正交截面，分別歸一化每個(gè)通道的三維物體樣本數(shù)據(jù)。

圖1 　三維物體生成流程圖

圖2　 三維物體數(shù)據(jù)預(yù)處理流程圖

1.2.3三維物體識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的一種典型結(jié)構(gòu)，具有局部連接、權(quán)重共享、空間上的重采樣以及一定程度的平移縮放不變性等。本文采用多輸入的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別三維檢疫物。

對(duì)CT圖像進(jìn)行卷積運(yùn)算，以提取檢疫物不同特征。卷積層只能提取如邊緣、線條和角等低級(jí)特征，而多層網(wǎng)絡(luò)能從低級(jí)特征中迭代提取更復(fù)雜的著色紋理特征。

在卷積層之后，得到維度較大的CT圖像特征圖。將特征圖切成幾個(gè)區(qū)域，取其最大值或平均值，得到新的、維度較小的特征圖。

在多層卷積識(shí)別過(guò)程中，為降低維度，卷積神經(jīng)網(wǎng)絡(luò)引入池化層，通過(guò)降采樣來(lái)避免過(guò)擬合[5]。池化（降采樣）函數(shù)通常取一個(gè)區(qū)域內(nèi)神經(jīng)元輸出的最大值或平均值。

訓(xùn)練使用反向傳播算法計(jì)算梯度，隨機(jī)梯度下降更新參數(shù)為

本文采用的卷積神經(jīng)網(wǎng)絡(luò)輸入為3個(gè)正交截面的歸一化圖像，每個(gè)輸入圖像對(duì)應(yīng)一個(gè)特定方向的二維卷積神經(jīng)網(wǎng)絡(luò)。經(jīng)過(guò)多層前饋后的特征向量進(jìn)行融合，融合后的特征向量進(jìn)行部分的全連接層處理，最終輸出三維物體類別標(biāo)簽概率分布。

2　CT圖像著色方法優(yōu)化

優(yōu)化檢疫物的著色顯示，有利于查驗(yàn)人員通過(guò)CT圖像顏色精細(xì)區(qū)分物品種類。著色方法優(yōu)化包括3部分：

1）金屬顯示優(yōu)化，對(duì)金屬弱化顯示；

2）輕薄物體顯示優(yōu)化，通過(guò)調(diào)整看圖軟件的透明度進(jìn)行觀察；

3）按檢疫物種類著色優(yōu)化，根據(jù)檢疫物的物理屬性，建立物品種類和顏色的對(duì)應(yīng)關(guān)系，強(qiáng)化不同有機(jī)物類別的視覺(jué)區(qū)分。原本只呈現(xiàn)橙色的有機(jī)物品，根據(jù)密度、原子序數(shù)等信息的不同，賦予不同的擴(kuò)展顏色，如種子（苗）、蔬菜等顯示為紫色或紫紅色；水果等顯示為紅色或橙紅色；肉制品等顯示為亮黃色或橙黃色。

3　實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)的硬件環(huán)境為Intel(R) Core(TM) i5-7200U CPU @ 2.50 GHz，內(nèi)存4 G，實(shí)驗(yàn)平臺(tái)Python for Win10。為驗(yàn)證本文提出的CT圖像著色方法和基于深度學(xué)習(xí)的自動(dòng)識(shí)別算法的有效性，對(duì)金屬、輕薄物、種子、水果和肉制品檢疫物的CT圖像進(jìn)行實(shí)驗(yàn)測(cè)試。

3.1　著色實(shí)驗(yàn)與結(jié)果分析

金屬（金屬罐頭）顯示優(yōu)化前后對(duì)比如圖3所示。

圖3　 對(duì)金屬CT圖像的著色

輕薄物體（燕窩）顯示優(yōu)化前后對(duì)比如圖4所示。

圖4　 對(duì)輕薄物CT圖像的著色

檢疫物種類著色優(yōu)化示例如圖5所示。

圖5 (a) 種子顯示效果示例（紫色&紫紅色）

CT原圖像受到噪聲干擾，成像后的三維圖像立體視覺(jué)效果較差，可辨識(shí)度低；通過(guò)CT圖像著色方法優(yōu)化后，增強(qiáng)了角度、輪廓和紋理等細(xì)節(jié)信息，得到辨別性強(qiáng)的三維立體圖具有較好的顯示效果。

3.2　CT圖像識(shí)別與結(jié)果分析

采用本文的卷積神經(jīng)網(wǎng)絡(luò)模型分別對(duì)識(shí)別算法優(yōu)化前后的種子、水果（蘋果）和肉制品的CT圖像進(jìn)行檢測(cè)識(shí)別，實(shí)驗(yàn)結(jié)果如表1所示。

表1 識(shí)別算法優(yōu)化前后的CT圖像識(shí)別結(jié)果

由表1可知：采用深度學(xué)習(xí)優(yōu)化CT圖像識(shí)別算法對(duì)3類檢疫物進(jìn)行識(shí)別，CT圖像識(shí)別誤報(bào)率優(yōu)化后比優(yōu)化前低2倍；CT圖像識(shí)別平均檢出率優(yōu)化后比優(yōu)化前提高至少20%。

4 　結(jié)論

本文構(gòu)建檢疫物品和安全品CT圖像數(shù)據(jù)庫(kù)，采用深度學(xué)習(xí)優(yōu)化CT圖像識(shí)別方法，并對(duì)著色方法進(jìn)行改進(jìn)，有效提高CT檢疫設(shè)備的檢出率，大幅降低了誤報(bào)率。利用優(yōu)化后的顯示效果，可幫助查驗(yàn)人員通過(guò)人工方式進(jìn)一步進(jìn)行判斷。該方法投入使用后，通過(guò)數(shù)據(jù)的不斷積累，深度學(xué)習(xí)網(wǎng)絡(luò)會(huì)繼續(xù)優(yōu)化模型，進(jìn)一步提高自動(dòng)查驗(yàn)結(jié)果的準(zhǔn)確性。

[1] Couey H M, Chew V. Confidence limits and sample size in quarantine research[J]. Journal of Economic Entomology, 1986, 79(4):887-890.

[2] 閆世艷,陳艷,邊勇,等.從日本進(jìn)境郵寄物中截獲傷殘短體線蟲[J].生物安全學(xué)報(bào),2016,25(4):291-294.

[3] 何鑫,陳迅.基于深度學(xué)習(xí)與改進(jìn)Gabor特征融合的FVR[J].計(jì)算機(jī)仿真,2018,35(11):356-361.

[4] Park S W , Park J , Bong K , et al. An Energy-Efficient and Scalable Deep Learning/Inference Processor with Tetra-Parallel MIMD Architecture for Big Data Applications[J]. IEEE Transactions on Biomedical Circuits and Systems, 2015, 9(6):838-848.

[5] Arino J, Jordan R, Van d D P. Quarantine in a multi-species epidemic model with spatial dynamics[J]. Mathematical Biosciences, 2005, 206(1):46-60.

Research on CT Image Coloring and Automatic Recognition Method for Quarantine Objects

Liu Yangdong1Wang Lu2Li Dong2

(1.Guangzhou Baiyun Airport Customs House of Guangzhou Customs District of the P.R.C 2.Nuctech Company Limited)

Aiming at the faults of automatic alarms such as false alarms and false negatives when CT equipment identifies quarantine objects, the deep learning for coloring and automatic recognition of CT image is adopted. We firstly collect the names, forms, quantities and other attributes of quarantine objects to establish a database of quarantine objects and safety products. Based the database, three-dimensional shape features is reconstructed, such as density and equivalent atomic number of CT images. Then, we extract three normalized orthogonal sections, as an input to the deep learning network, from three-dimensional object features. In the two-dimensional convolutional neural network with specific directions of CT images, multi-layer forward-backward feedback for feature fusion is used to optimize the identification and coloring of quarantine objects. The optimization model based on the deep learning network was established on the Python platform, and the objects such as metal, light and thin things, seeds and fruits are set for simulation. The results show that the detection accuracy of CT quarantine equipment increases by 20%.

Deep Learning; Image Coloring; Image Automatic Recognition

劉揚(yáng)東，男，1977年生，工程碩士，高級(jí)工程師，主要研究方向：海關(guān)檢驗(yàn)檢疫。E-mail: liushipyard@163.com

王璐，女，1982年生，碩士，工程師，主要研究方向：圖像處理與模式識(shí)別。E-mail: wanglu@nuctech.com

李棟，男，1985年生，碩士，工程師，主要研究方向：計(jì)算機(jī)視覺(jué)。E-mail: li.dong@nuctech.com

國(guó)家重點(diǎn)研發(fā)計(jì)劃（2018YFC0809203）；廣東檢驗(yàn)檢疫局科技項(xiàng)目（2018GDK02）。