溫長吉，張金鳳,2，李卓識,3，婁 月，于合龍，姜海龍

?

改進(jìn)稀疏超完備詞典方法識別奶牛跛足行為

溫長吉1，張金鳳1,2，李卓識1,3，婁 月1，于合龍1※，姜海龍4

（1. 吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春 130118；2. 長春建筑學(xué)院圖書館，長春 130607；3. 吉林大學(xué)工程仿生教育部重點實驗室，長春 130012； 4. 吉林農(nóng)業(yè)大學(xué)吉林省動物營養(yǎng)與飼料科學(xué)重點實驗室，長春 130118）

監(jiān)測與發(fā)現(xiàn)奶牛異常行為是實現(xiàn)疾病早期防控的關(guān)鍵，其中尤以跛足行為發(fā)現(xiàn)與識別較為典型，但是當(dāng)前家畜異常行為識別仍然存在在線性能較差的問題。針對這一問題，該文提出2種改進(jìn)策略。首先提出一種基于共軛梯度追蹤算法的稀疏超完備詞典學(xué)習(xí)算法(conjugate gradient pursuit-KSVD, CGP-KSVD)用于跛足行為特征的語義級描述和表示，即在稀疏編碼構(gòu)建階段引入共軛梯度追蹤算法尋找優(yōu)化搜索方向，同時避免存儲和計算大規(guī)模Hessen矩陣帶來的計算負(fù)載，從而提升稀疏超完備詞典學(xué)習(xí)算法的收斂速度。其次通過時空興趣點與稠密軌跡圖二次提取時空興趣點相融合實現(xiàn)視頻底層特征提取和表示，在保留豐富細(xì)節(jié)特征信息的基礎(chǔ)上減少冗余特征降低計算負(fù)載。在1 200個時長10 s的標(biāo)注視頻樣本集上測試結(jié)果顯示：該文提出的算法識別準(zhǔn)確率達(dá)到100%，識別平均響應(yīng)時間為0.043 s，對比基于基追蹤算法(basis pursuit-KSVD，BP-KSVD)和正交匹配追蹤算法(orthogonal matching pursuit-KSVD, OMP-KSVD)稀疏編碼序列優(yōu)化策略算法在識別平均響應(yīng)時間分別提升1.11和0.199 s，在90 h回放視頻和在線測試視頻上跛足行為識別準(zhǔn)確率分別為93.3%和92.7%，明顯優(yōu)于對比算法。試驗結(jié)果表明該文提出的跛足行為識別算法框架具有較高的識別準(zhǔn)確率和較好的在線響應(yīng)時間，可以為相關(guān)研究工作提供借鑒意義，相關(guān)技術(shù)可以成為接觸式傳感器監(jiān)測及其他技術(shù)的必要補(bǔ)充。

圖像處理；算法；畜牧養(yǎng)殖；跛足識別；CGP-KSVD；時空興趣點；稠密軌跡

0 引 言

奶牛跛足是眾多疾病的初期表征，主要表現(xiàn)為行走或站立過程中拱背和步態(tài)異常，因此早期防控至關(guān)重要。傳統(tǒng)人工觀測方法存在成本高、工作強(qiáng)度大、易疲勞等問題。為有效解決上述問題加快人工干預(yù)響應(yīng)時間，當(dāng)前主要通過接觸式傳感器監(jiān)測技術(shù)[1-5]和機(jī)器視覺技術(shù)實現(xiàn)家畜日常體征行為監(jiān)測。接觸式傳感器監(jiān)測技術(shù)主要通過附著在家畜身體部位上的三軸或六軸加速計、以及其他體征監(jiān)測傳感器采集和記錄家畜的運(yùn)動行為數(shù)據(jù)，并對采集傳感數(shù)據(jù)利用機(jī)器學(xué)習(xí)方法進(jìn)行分析，從而實現(xiàn)家畜個體行為的分類識別，相關(guān)研究包括Martiskainen等[1-3]對于奶牛行為的分類識別。Cornou[4]和郭東東[5]等對于包括豬和羊個體基本行為識別。研究表明上述工作盡管取得一定的研究效果，但利用接觸式傳感器技術(shù)會影響家畜的日常活動,且佩戴在家畜身上的傳感部件易受晃動、碰撞等因素產(chǎn)生噪聲數(shù)據(jù),影響家畜異常行為識別的準(zhǔn)確性。

機(jī)器視覺技術(shù)具有非接觸免打擾的優(yōu)點，因此在家畜行為識別中具有重要的研究意義和廣闊的應(yīng)用前景。當(dāng)前國內(nèi)外比較有代表性的成果有，Viazzi等[6]使用攝像系統(tǒng)提取行走過程中的奶牛背部姿勢進(jìn)行視覺運(yùn)動評分來區(qū)分奶牛的跛足行為，但該方法所采用的俯視特征提取方式區(qū)分度較差。Stavrakakis等[7]則通過跟蹤家畜行走過程中頸部、背部和盆骨的運(yùn)動軌跡用于跛足行為識別，但是由于運(yùn)動過程中身體部位對體感傳感器傳輸信號造成遮擋，從而影響識別精度。溫長吉等[8]提出了一種改進(jìn)的時空局部二值模式用于視頻中家畜行為特征描述和個體基本行為識別，特定視角下基本行為識別率達(dá)到94.6%，隨機(jī)視角基本行為平均識別準(zhǔn)確率為88.3%。趙凱旋等[9]將卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于家畜基本行為識別，通過幀間差分法實現(xiàn)在大規(guī)模數(shù)據(jù)集試驗中取得了較好的結(jié)果，視頻幀圖像識別準(zhǔn)確率達(dá)到93.55%。于欣等[10]利用Lucas-Kanade 光流法和統(tǒng)計特征對魚群異常行為進(jìn)行監(jiān)測，魚群異常行為監(jiān)測率達(dá)到99.5%以上，但是光流特征提取易受水紋噪聲影響。勞鳳丹等[11]和郁厚安等[12]將機(jī)器視覺技術(shù)應(yīng)用于禽畜的行為軌跡跟蹤和基本行為識別取得了一定的成果。研究表明當(dāng)前研究工作仍然存在在線識別性能較差，試驗環(huán)境設(shè)定較為嚴(yán)格，對實際養(yǎng)殖生產(chǎn)環(huán)境的適應(yīng)性較差等問題。因此，研究高效行為特征的提取和表示成為當(dāng)前研究熱點之一。

當(dāng)前機(jī)器視覺技術(shù)中用于視頻中運(yùn)動行為特征提取和表示比較有代表性的工作包括時空興趣點[13-16](spatial-temporal interest point，STIP)和稀疏編碼與表示，稠密軌跡[17-19]（dense trajectory）以及基于深度學(xué)習(xí)[20-22](deep learning)的特征提取和表示技術(shù)。傳統(tǒng)時空興趣點[13-16]方法檢測出的興趣點數(shù)量較少，同時易受背景噪聲干擾，影響行為識別的準(zhǔn)確性。優(yōu)化策略的選擇對稀疏編碼算法收斂速度和性能具有較大影響[23-28]。稠密軌跡[24]特征在行為細(xì)節(jié)特征描述和表示上具有明顯的優(yōu)勢，但是產(chǎn)生大量的冗余特征，增加系統(tǒng)的計算負(fù)載?；谏疃葘W(xué)習(xí)的特征提取和表示技術(shù)對訓(xùn)練樣本集規(guī)模上的嚴(yán)格要求，在針對小樣本集分類識別問題上往往表現(xiàn)不佳。

本文提出將時空興趣點與稠密軌跡圖二次提取時空興趣點相融合用于底層行為特征描述，同時借鑒超完備詞典下的稀疏信號表示方法[29-31],利用CGP-KSVD構(gòu)建稀疏超完備詞典用于行為的語義特征描述和表示，實現(xiàn)奶牛跛足行為的監(jiān)測識別。

1 試驗材料

1.1 視頻采集

試驗視頻采集自吉林省新源牧業(yè)松原前郭奶牛養(yǎng)殖基地的500頭隨機(jī)選取的黑白花成年奶牛，奶牛個體通過耳標(biāo)進(jìn)行身份確認(rèn)，采集時間為2016年4月至2016年9月，每天上午7:00－8:30，下午14:00－15:30，在此時間段集中將奶牛經(jīng)匝道由棚舍區(qū)引導(dǎo)至棚外自由放牧區(qū)，同時將攝像機(jī)固定在匝道距限位欄1.5 m處的半身高位置以采集奶牛從棚舍通往自由放牧區(qū)的匝道處側(cè)體位影像，奶牛經(jīng)過鏡頭區(qū)域時長跨度約為10 s,利用人工方式對采集視頻分類標(biāo)注。

1.2 試驗環(huán)境

視頻采集設(shè)備主要包括三星HMX-F90XL攝像機(jī)，分辨率為720╳480 pixel /幀；海康威視DS-7908N-K4型號的硬盤存儲設(shè)備和Intel Corei3-7100處理器，16 GB內(nèi)存，1 TB硬盤容量的臺式計算機(jī)。試驗所用軟件環(huán)境為Open CV和MatlabR2014a，其中，Open CV用來實現(xiàn)稠密軌跡以及相關(guān)特征的獲取，MatlabR2014a用于快速實現(xiàn)原型試驗框架搭建。

2 試驗方法

本文提出了一種基于共軛梯度追蹤算法的稀疏超完備詞典方法對奶牛拱背和步態(tài)異常[29]表現(xiàn)下的跛足行為進(jìn)行識別。具體實現(xiàn)步驟如下，首先對訓(xùn)練測試樣本分別提取時空興趣點和稠密軌跡圖上二次提取的時空興趣點，聯(lián)合HOG特征描述子構(gòu)建融合特征矩陣用于步態(tài)行為特征描述。然后利用CGP-KSVD算法構(gòu)建稀疏超完備詞典用于行為的語義特征描述和表示。最后訓(xùn)練libSVM分類器實現(xiàn)跛足行為監(jiān)測與識別。算法執(zhí)行流程如圖1所示。

圖1 跛足行為識別算法框架流程圖

2.1 視頻行為特征提取與描述

2.1.1 時空興趣點檢測

時空興趣點(STIP) 指附帶時域信息的角點、角點處灰度強(qiáng)度變化的顯著點。時空興趣點比較有代表性的研究包括，Laptev[13]和Dollar[16]等的亞那就。Laptev等[13]將 Harris的角點檢測思想擴(kuò)展到了時域，該方法認(rèn)為，時空興趣點在三個正交方向上灰度信息變化較為顯著，但是該方法提取的時空興趣點較少，信息量損失較為嚴(yán)重。本文采用 Dollar等[16]提出的時空興趣點檢測方法。Dollar興趣點檢測應(yīng)用可分離線性濾波器計算響應(yīng)函數(shù)

其中(，；)是一個二維的高斯平滑核函數(shù)，作用于空間維度，,聯(lián)合表示幀圖像上點的空間坐標(biāo)，其表達(dá)式為：

h(;,)與h(;,)是一對一維的正交 Gabor 函數(shù)分量，作用于時間維度，其表達(dá)式為：

令=4/后響應(yīng)函數(shù)只有2個參數(shù)，對應(yīng)空間尺度，對應(yīng)時間尺度，表示視頻幀對應(yīng)時刻，用于標(biāo)記視頻幀中點的時間坐標(biāo)。響應(yīng)函數(shù)取得局部極大值且大于某一閾值的點被檢測為興趣點，通過閾值可以控制檢測出的興趣點數(shù)目。

2.1.2 稠密軌跡圖二次興趣點檢測

稠密軌跡指密集采樣的興趣點軌跡方法[18,32]，是在多尺度下提取興趣點軌跡，并在單位邊長為像素的網(wǎng)格下對特征點進(jìn)行跟蹤采樣。首先進(jìn)行稠密樣本點采樣，依據(jù)文獻(xiàn)[32]當(dāng)=5時，采樣密度效果最佳，從而獲取大量采樣點；然后將采樣點分為8維尺度空間，其中采樣點定義為P=(x,y)，即在第幀圖像上對應(yīng)坐標(biāo)點為(x,y)；然后使用一個基于稠密光流場的中值濾波器來實現(xiàn)從點到+1點的跟蹤，表達(dá)式為：

式中=(u,v)為中值濾波器，為濾波器核函數(shù)；然后將采樣點連接形成軌跡，即(P,P1,P2,???)，為了避免軌跡在跟蹤過程中偏移初始點，設(shè)定軌跡長度為。試驗表明，跟蹤軌跡長度限定為15幀時可以較好地避免偏移初始點這一問題。幀長的軌跡表達(dá)式為

式中ΔP=P1P=( x1x, y1y)為位移量。圖2為視頻稠密軌跡提取示意圖，算法詳細(xì)執(zhí)行參見文獻(xiàn)[24]；最后在稠密軌跡圖基礎(chǔ)上二次提取時空興趣點。

圖2 視頻幀稠密軌跡提取示意圖

稠密軌跡圖基礎(chǔ)上二次提取時空興趣點，可以保留視頻中行為的豐富細(xì)節(jié)信息，同時減少冗余特征降低計算負(fù)載。相對稠密軌跡采用的稠密采樣，Dollar時空興趣點檢測和提取特征點具有稀疏性，導(dǎo)致特征信息的丟失。稠密軌跡方法對于稠密采樣點利用光流場跟蹤形成軌跡圖，對每個稠密采樣點跟蹤形成的軌跡利用HOG、HOF(histogram of flow)和MBH(motion boundary histograms)進(jìn)行特征描述和表示，將會引入龐大的特征表示矩陣，從而提高計算負(fù)載。本文所提出的稠密軌跡圖二次提取時空興趣點，通過將原始視頻提出的稠密軌跡視為一個新的視頻用于量化行為特征，其每幀圖像為稠密軌跡點在二維面上的投影，因此通過在稠密軌跡形成的時空圖上提取Dollar時空興趣點，將降低采樣規(guī)模，并且利用HOG描述二次采樣的時空興趣點也進(jìn)一步降低原有通過HOG、HOF和MBH的計算規(guī)模。因此融合特征在提升原有時空興趣點特征信息量的同時，進(jìn)一步降低稠密軌跡特征提取和表示的計算負(fù)載。

2.1.3特征融合

特征融合實現(xiàn)方式是在初始興趣點檢測及稠密軌跡圖二次興趣點檢測的基礎(chǔ)上，利用HOG[33]進(jìn)行特征描述和表示。其中利用HOG進(jìn)行特征描述和表示是在興趣點周圍取固定大小的時空塊，然后對時空塊劃分為大小為3×3×2的時空網(wǎng)格，并采用8維區(qū)間量化計算每個時空網(wǎng)格的HOG特征，最后獲得該興趣點18×8=144維的HOG特征，即X=(1,2,???, X)，其中為檢測出的興趣點數(shù)，用于視頻行為的底層特征描述，并用于構(gòu)建稀疏超完備詞典。

2.2 基于改進(jìn)的稀疏超完備詞典學(xué)習(xí)

稀疏超完備詞典算法一般包括稀疏編碼和詞典更新2部分，為提高算法的運(yùn)行效率，本文根據(jù)GP[27]的實現(xiàn)過程，在稀疏編碼階段利用共軛梯度追蹤算法 (conjugate gradient pursuit, CGP）[28]實現(xiàn)稀疏系數(shù)編碼。CGP算法在GP算法的基礎(chǔ)上，優(yōu)化了每次迭代搜索的方向，從而加快了收斂速度，減少了計算時間，彌補(bǔ)了梯度追蹤算法收斂性差的缺點。

2.2.1 稀疏表示模型

稀疏表示[34-35]是最近幾年信號處理領(lǐng)域的熱點之一，主要包括詞典的生成和信號的稀疏分解2個部分。Davis[23]等證明0范數(shù)表示下的稀疏問題求解本質(zhì)上是一個NP難題。為有效解決NP問題，Donoho[36]等提出利用1范數(shù)代替0范數(shù)，將原來的問題變成線性規(guī)劃的凸優(yōu)化問題，轉(zhuǎn)化模型表達(dá)式如下，其中表示詞典，為稀疏系數(shù)向量，為樣本向量，是考慮引入噪聲后誤差項而引入的一個很小的正數(shù)。

如果考慮噪聲因素，得到如下模型：

為解決該凸優(yōu)化問題，一種方式是利用基于凸優(yōu)化求解問題的思想，代表性算法包括基追蹤算法(basic pursuit, BP)[25]；另外一種方式是基于貪婪迭代的算法，例如匹配追蹤算法(matching pursuit, MP)[6]，正交匹配追蹤算法(orthogonal matching pursuit, OMP)[23,24]和基于梯度下降的迭代算法[26,27]，如共軛梯度追蹤算法( conjugate gradients pursuit, CGP)[28]。

2.2.2 CGP-KSVD稀疏超完備詞典學(xué)習(xí)

詞典學(xué)習(xí)的過程主要包括稀疏編碼和詞典更新2個階段：

稀疏編碼：共軛梯度追蹤算法（Conjugate Gradient Pursuit ,CGP）是介于最速下降法與牛頓法之間的一個方法。CGP[28]算法的基本思想是：尋找與負(fù)梯度方向和上一次搜索反向共軛的方向作為新的搜索方向；然后沿著該方向作一維搜索，再確定下一輪的搜索方向并進(jìn)行一維搜索，直到滿足終止條件，即最大迭代步數(shù)或者達(dá)到設(shè)定值。

詞典更新：初始詞典往往不是最優(yōu)的，滿足稀疏性的系數(shù)矩陣表示的數(shù)據(jù)和原數(shù)據(jù)會有較大的誤差，需要在滿足稀疏度的條件下對初始詞典逐行逐列更新優(yōu)化，減小整體誤差，逼近目標(biāo)詞典[37-38]。首先假設(shè)系數(shù)矩陣和詞典都是固定的，將要更新的是詞典的第列d，系數(shù)矩陣中d對應(yīng)第行為x，則

可以看出被分解成了個秩為1的矩陣相加，根據(jù)假定條件，其中有1項是不變的，剩下的一項即是待處理的詞典第列，E表示剔除原子d后產(chǎn)生的誤差。詞典學(xué)習(xí)的目的即是更新詞典原子d和稀疏系數(shù)x。為了避免經(jīng)過奇異值分解后的矩陣稀疏性發(fā)生改變，在進(jìn)行奇異值分解前，執(zhí)行如下操作：

定義集合ω={1≤≤N, x()≠0}為用d進(jìn)行線性表示的所有樣本y的下標(biāo)所構(gòu)成的集合，即x()≠0的點的索引值。定義Ω為×|ω|矩陣，其在(ω(),)處值均為1，其他位置均為0。定義x=xΩ，Y=YΩ，E=EΩ，其中x，Y和E分別為x，和E中去掉0值輸入后的結(jié)果，Y為當(dāng)前用到d進(jìn)行線性稀疏表示的樣本集合，E為去掉無需d原子表示的樣本后所帶來的誤差，x的長度為|ω|，Y和E為×|ω|階矩陣，則式（8）轉(zhuǎn)換為：

在變換成式(9)基礎(chǔ)上對E使用奇異值分解以更新原子和稀疏向量[37]?；贑GP-KSVD詞典學(xué)習(xí)算法的步驟如下，其中詳細(xì)CGP算法參見文獻(xiàn)[18]。

算法初始化：0=，初始索引值集合為空集，0表示初始?xì)埐睿?表示初始迭代步數(shù)0=rand(0,1)，隨機(jī)生成初始稀疏向量，其中訓(xùn)練樣本為維的樣本向量，0為╳維的初始隨機(jī)生成詞典，稀疏稀疏矩陣為=[1,2,??? , x]，其中x(1,2,???,)表示稀疏向量。

2.2.3 執(zhí)行算法

Step1：稀疏表征

①計算殘差：g=Dr+1；

②搜索最大索引：I=argmax|g|；并更新下標(biāo)集：-1∪I；

③確定共軛搜索方向：

⑦CGP-KSVD算法更新詞典和稀疏系數(shù)矩陣。

Step2：詞典學(xué)習(xí)

②依據(jù)SVD算法實現(xiàn)詞典更新

令E=EΩ，為x中非零元素構(gòu)建的新矩陣，最后對E進(jìn)行SVD分解，得出更新詞典。

2.3 跛足行為檢測識別

本文工作選用基于直方圖交互核的支持向量機(jī)[39-42]對跛足行為進(jìn)行檢測識別，直方圖交互核函數(shù)適用于衡量直方圖的相似程度，所選用直方圖交互核函數(shù)[43-45]如式(10)所示。

式中C,C用于表示HOG對興趣點進(jìn)行描述和表示后經(jīng)CGP-KSVD稀疏編碼學(xué)習(xí)后形成的稀疏編碼特征直方圖，c,c(=1,2,???,)用于表示稀疏編碼特征直方圖各自對應(yīng)的單柱縱坐標(biāo)值，即該單詞出現(xiàn)頻次的歸一化值。正常奶牛步態(tài)行為與跛足步態(tài)行為視頻幀示意圖和稀疏編碼特征直方圖如圖3所示，通過稀疏編碼特征直方圖可以較為直觀看到方框圈定區(qū)域存在差別。以稀疏編碼模型特征直方圖作為直方圖交互核支持向量機(jī)的輸入，用于訓(xùn)練和測試識別。

圖3 跛足行為特征與數(shù)據(jù)特征對應(yīng)關(guān)系示意圖

3 試驗與結(jié)果分析

通過試驗驗證本文算法在識別準(zhǔn)確率和算法計算時間復(fù)雜度方面的性能。

3.1 試驗數(shù)據(jù)預(yù)處理

首先對采集的視頻通過回放觀察法進(jìn)行分揀整理，截取正常奶牛與跛足奶牛的視頻進(jìn)行人工分類標(biāo)記；然后從收集到的正常奶牛和跛足奶牛的行走視頻中，取出1 000個正常步態(tài)視頻和50個跛足行為視頻，其中50個跛足行為視頻是經(jīng)過專業(yè)人員進(jìn)行人工確認(rèn)和標(biāo)注后獲取，且均為輕中度跛足。由于跛足異常樣本在視頻采集時間范圍內(nèi)獲取困難，主要是由于現(xiàn)代規(guī)?；B(yǎng)殖場對于家畜疾患的及時有效人工干預(yù)，異常跛足樣本數(shù)量較少。因此為有效解決類間樣本不平衡問題，試驗中采用重采樣方法對50個跛足源視頻進(jìn)行預(yù)處理獲取200個跛足行為變尺度視頻。其中預(yù)處理采用如下方式：即影像明暗度變化（模擬不同氣象條件下采光問題）、影像適度尺度拉伸與旋轉(zhuǎn)（模擬監(jiān)測個體可能出現(xiàn)多視角問題）以及視頻幀重采樣重構(gòu)視頻（模擬行為變時長問題）。共計1 200個視頻作為奶牛行為樣本，通過10折交叉驗證得到分類模型，視頻的時長為10 s，幀速率為25幀/s，表1為試驗視頻的詳細(xì)信息。

表1 試驗視頻信息

3.2 試驗設(shè)計

3.2.1算法框架的有效性驗證

為驗證本文識別算法框架的有效性，對比其他4種識別算法框架進(jìn)行10折交叉驗證結(jié)果取均值進(jìn)行分析。CGP-KSVD算法初始參數(shù)設(shè)定，隨機(jī)初始詞典0,詞典規(guī)模為256，初始樣本抽取特征集0=，0=，0=rand(0,1)，01。其他4種算法包括，經(jīng)典稀疏編碼方法LLC(Locality-constrained linear coding)[46]和K-SVD[37,47]，其中算法參數(shù)設(shè)定依據(jù)引用文獻(xiàn)中算法框架初始化設(shè)定。另外2種算法框架采用本文提出的全局時空興趣點(Sptia-temporal interesting poing, STIP)和稠密軌跡圖提取時空興趣點的融合方式作為LLC和K-SVD的底層特征輸入，本文融合特征簡記為fusion STIP+HOG。

3.2.2 算法小樣本泛化性能驗證

在實際養(yǎng)殖生產(chǎn)環(huán)節(jié)，家畜異常行為樣本獲取是制約機(jī)器視覺及其相關(guān)技術(shù)應(yīng)用的主要因素，因此本節(jié)設(shè)定不同規(guī)模樣本訓(xùn)練集驗證本文算法框架有效性。訓(xùn)練樣本1 000個正常步態(tài)和50個跛足行為一致性采樣下，依次隨機(jī)選擇50個、70個和100個視頻，采用5折交叉驗證，完成5輪25次試驗取均值。

3.3 數(shù)據(jù)集構(gòu)建

10折交叉驗證樣本構(gòu)建方式，首先從1 000個正常奶牛和200個跛足奶牛行走視頻中隨機(jī)一致性[48]構(gòu)建訓(xùn)練和測試集，訓(xùn)練和測試樣本構(gòu)成方式為{100(P)+100(N)}/組，P表示正常行為，N表示跛足行為，其中正常行為1 000個視頻樣本等分為10份，200個跛足視頻樣本等分成2份分別與1 000個正常樣本重采樣結(jié)合。5折交叉驗證樣本構(gòu)建方式，以100個樣本規(guī)模為例，首先將1 000個正常步態(tài)行為視頻分成5個200(P)/組，然后分別與200個跛足步態(tài)視頻經(jīng)隨機(jī)一致性采樣{10(P)+10{N}}/組構(gòu)成5折驗證的1個視頻，樣本結(jié)構(gòu)如圖4所示。

注：P表示正常行為，N表示跛足行為。

3.4 評價指標(biāo)

試驗分別從準(zhǔn)確率（Accuracy），查準(zhǔn)率（Precision），查全率（Recall）等分類器性能指標(biāo)來進(jìn)行評價。

Accuracy=(TP+TN)/（11）

Precision=TP/(TP+FP) （12）

Recall=TP/（13）

其中TP為正確分類的正例個數(shù)，TN為正確分類的負(fù)例個數(shù)，F(xiàn)P為錯誤分類的正例個數(shù)，F(xiàn)N為錯誤分類的負(fù)例個數(shù)，實際正例個數(shù)可表示為

=TP+FN （14）

實際負(fù)例個數(shù)可表示為

=FP+TN （15）

實例總數(shù)可表示為

=+（16）

3.5 結(jié)果與分析

3.5.1算法框架的有效性驗證結(jié)果

試驗最終對比結(jié)果如表2所示,圖5為對比算法的PR曲線。

表2 算法識別率對比

在對比試驗中，本文提出的CGP-KSVD算法框架識別準(zhǔn)確率比經(jīng)典稀疏編碼方法LLC[46]高出5.5個百分點，對比K-SVD[37,47]高出3.9個百分點，以本文提出的融合特征fusion SITP+HOG作為LLC和K-SVD的底層特征輸入，試驗結(jié)果顯示本文提出的識別框架在平均識別精度上依次高出3.8和1.4個百分點。對于本文算法高識別精度的試驗結(jié)果進(jìn)行分析，也可以得出如下結(jié)論，即由于視頻樣本的數(shù)量限制，以及為有效消除樣本不均衡問題所采用的重采樣方法也帶來過擬合問題，因此使得本文算法的識別精度穩(wěn)定在100%。但是從試驗對比結(jié)果仍然可以驗證本文算法通過特征融合增加行為描述的細(xì)節(jié)特征信息，以及采用優(yōu)化稀疏編碼和詞典學(xué)習(xí)框架對于解決二分類問題，提升整體識別精度的具有重要的意義。

圖5 五種算法PR曲線

3.5.2 算法小樣本泛化性能驗證結(jié)果

在1 200個視頻樣本中，隨機(jī)順次選擇50個、70個和100個視頻，采用5折交叉驗證試驗結(jié)果取均值。識別結(jié)果如表3所示。

試驗結(jié)果表明，本文提出的方法在小訓(xùn)練集下的識別準(zhǔn)確率為91.6%（訓(xùn)練樣本數(shù)為50個），隨著訓(xùn)練樣本數(shù)的增加（訓(xùn)練樣本數(shù)為100個），識別準(zhǔn)確率達(dá)到98.7%。

3.5.3 算法時間復(fù)雜度對比分析

為驗證分析本文提出CGP-KSVD算法在計算時間復(fù)雜度上的有效性，分別對比經(jīng)典算法BP和OMP在1范數(shù)約束下計算時間復(fù)雜度，理論計算值如表4所示。

表3 小樣本試驗結(jié)果

表4 3種算法計算時間復(fù)雜度

注：表示詞典規(guī)模，即詞典所含單詞數(shù)量，為樣本維度。

Note:represents the size of the dictionary, that is, the number of words contained in the dictionary, andas the sample dimension.

在1200個視頻時長為10 s，25 p/s的視頻集上隨機(jī)選擇50個視頻，測試算法響應(yīng)時間，其中詞典規(guī)模依次設(shè)定為=256、512、1024，對比算法響應(yīng)時間和識別準(zhǔn)確率計算結(jié)果如表5所示。

表5 三種算法執(zhí)行時間對比和識別精度

從試驗結(jié)果可以看出，CGP-KSVD算法平均響應(yīng)時間最短為0.043 s，對比基于凸優(yōu)化的BP-KSVD和基于貪婪搜索算法的OMP-KSVD分別快1.11和0.199 s。從算法識別精度上，BP-KSVD算法優(yōu)于后兩者，平均識別精度達(dá)到95%，分別高于OMP-KSVD算法2.5個百分點，CGP-KSVD算法1.9個百分點，CGP-KSVD計算精度高于經(jīng)典詞典學(xué)習(xí)算法OMP-KSVD[37,47]算法0.6個百分點。

綜上試驗結(jié)果，本文算法在不太損失識別精度的前提下算法響應(yīng)速度更為優(yōu)異。分析上述差異原因在于BP-KSVD算法其凸優(yōu)化求解思想盡管帶來的高識別精度，但是對比迭代優(yōu)化算法OMP-KSVD和CGP-KSVD，其算法響應(yīng)時間明顯滯后，另外同是貪婪迭代算法的CGP-KSVD由于采用共軛梯度尋優(yōu)搜索路徑，因此其不論從算法響應(yīng)時間到識別精度都要優(yōu)于僅是采用共軛殘差匹配的OMP-KSVD算法。

3.5.4 算法在線實時性驗證

為驗證本文算法在線識別性能，將采集自2016年5月至2016年6月時長為90 h用于訓(xùn)練測試的視頻進(jìn)行回放測試（奶牛30 000頭）。將采集自2017年5月至2017年6月時長為90 h的視頻進(jìn)行在線測試，該段視頻未用于算法的預(yù)訓(xùn)練。上述回放視頻和在線視頻均使用視頻拼接方式獲取，去除不利天氣條件如雨天等因素下的視頻片段。對比BP-KSVD和OMP-KSVD進(jìn)行比較分析，以fusion STIP+HOG作為3種算法的特征輸入。對比試驗結(jié)果如表6所示。

表6 CGP-KSVD算法在線檢測識別精度

注：2016、2017年經(jīng)人工識別跛足奶牛頭次分別為15和14頭。

Note:In 2016 and 2017, the number of lame cows was 15 and 14 respectively.

試驗結(jié)果顯示，在回放視頻和在線視頻測試上本文提出的CGP-KSVD算法均獲得較高的識別率，分別為93.3%和92.7%，對比BP-KSVD和OMP-KSVD算法分別高出33.3、13.3個百分點和35.6、14.1個百分點，顯示本文提出算法框架具有較高的識別準(zhǔn)確性。同時本文提出的CGP-KSVD算法對比回放視頻和在線視頻識別準(zhǔn)確率僅相差0.6個百分點，分析其原因在于回放視頻部分視頻樣本應(yīng)該在算法的預(yù)訓(xùn)練階段出現(xiàn)過，因此相對識別率較高，但是仍然驗證本文算法具有較好的穩(wěn)定性。另外，BP-KSVD算法在分階段訓(xùn)練和測試中均獲得高于CGP-KSVD算法的識別準(zhǔn)確率，但是在回放和在線視頻測試過程中，其準(zhǔn)確率分別低33.3和35.6個百分點，分析其原因在于對比分階段樣本測試，回放和在線長時視頻測試需要算法具有較高的時間響應(yīng)度，而BP-KSVD算法自身計算時間復(fù)雜度較高，因此識別率較低。

4 結(jié) 論

本文提出的奶牛跛足行為識別算法框架涉及一種基于共軛梯度追蹤算法的稀疏超完備詞典學(xué)習(xí)算法用于跛足行為特征的語義級描述和表示，以及一種融合時空興趣點與稠密軌跡圖二次提取時空興趣點的視頻底層特征提取和表示方法。對比試驗結(jié)果顯示，在1 200個視頻樣本上，本文提出的CGP-KSVD算法框架識別率比經(jīng)典稀疏編碼方法LLC（locality-constrained linear coding）高5.5 個百分點，對比K-SVD高3.9個百分點，對比LLC fusion SITP+HOG和K-SVD fusion SITP+HOG平均識別精度上依次高3.8和1.4個百分點。

對比算法計算時間復(fù)雜度，采用{fusion STIP+HOG}作為行為特征，在不同規(guī)模詞典上CGP-KSVD算法平均響應(yīng)時間為0.043 s，對比BP-KSVD和OMP-KSVD分別快1.11和0.199 s。從算法識別精度上，BP-KSVD平均識別精度達(dá)到95%，分別高于OMP-KSVD算法2.5個百分點，CGP-KSVD算法1.9個百分點，CGP-KSVD計算精度高于經(jīng)典詞典學(xué)習(xí)算法OMP-KSVD算法0.6個百分點。

對比長時視頻測試算法的在線性試驗中，在回放視頻和在線視頻測試上本文提出的CGP-KSVD算法均獲得較高的識別率，分別為93.3%和92.7%，對比BP-KSVD和OMP-KSVD算法分別高出33.3、13.3個百分點和35.6、14.1個百分點。

[1] Martiskainen P, J?rvinen M, Sk?n J P, et al. Cow behaviour pattern recognition using a three-dimensional accelerometer and support vector machines[J]. Applied Animal Behaviour Science, 2009, 119(1): 32－38.

[2] Chapinal N, Passillé A M D, Pastell M, et al. Measurement of acceleration while walking as an automated method for gait assessment in dairy cattle[J]. Journal of Dairy Science, 2011, 94(6): 2895－2901.

[3] Thorup V M, Munksgaard L, Robert P E, et al. Lameness detection via leg-mounted accelerometers on dairy cows on four commercial farms[J]. Animal An International Journal of Animal Bioscience, 2015, 9(10): 1704－1712.

[4] Cornou C, Lundbye-Christensen S, Kristensen A R. Modelling and monitoring sows’ activity types in farrowing house using acceleration data[J]. Computers & Electronics in Agriculture, 2011, 76(2): 316－324.

[5] 郭東東. 基于三軸加速度傳感器的山羊行為特征識別研究[D].太原：太原理工大學(xué)，2015.Guo Dongdong. Research on 3D Acceleration Sensor Recognition for Goats'Behavior Recognition[D].Taiyuan: Taiyuan University of Technoloy, 2015. (in Chinese with English abstract)

[6] Viazzi S, Bahr C, Hertem T V, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers & Electronics in Agriculture, 2014, 100(1): 139－147.

[7] Stavrakakis S, Li W, Guy J H, et al. Validity of the Microsoft Kinect sensor for assessment of normal walking patterns in pigs[J]. Computers & Electronics in Agriculture, 2015, 117(C): 1－7.

[8] 溫長吉，王生生，趙昕，等. 基于視覺詞典法的母牛產(chǎn)前行為識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2014，45(1)：266－274. Wen Changji, Wang Shengsheng, Zhao Xin, et al. Visual dictionary for cows sow behavior recognition[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 266－274. (in Chinese with English abstract)

[9] 趙凱旋，何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(5)：181－187.Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract)

[10] 于欣，侯曉嬌，盧煥達(dá)，等. 基于光流法與特征統(tǒng)計的魚群異常行為檢測[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(2)：162－168.Yu Xin, Hou Xiaojiao, Lu Huanda, et al. Anomaly detection of fish school behavior based on features statistical and optical flow methods[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2014, 30(2): 162－168. (in Chinese with English abstract)

[11] 勞鳳丹，滕光輝，李軍，等. 機(jī)器視覺識別單只蛋雞行為的方法[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(24)：157－163.Lao Fengdan, Teng Guanghui, Li Jun, et al. Behavior recognition method for individual laying hen based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2012, 28(24): 157－163. (in Chinese with English abstract)

[12] 郁厚安，高云，黎煊，等. 動物行為監(jiān)測的研究進(jìn)展——以舍養(yǎng)商品豬為例[J]. 中國畜牧雜志，2015，51(20)：66－70.Yu Houan, Gao Yun, Li Xuan, et al. Research progress of animal behavior monitoring: A case study of commercial pigs[J].Chinese Journal of Animal Science, 2015, 51(20): 66－70. (in Chinese with English abstract)

[13] Laptev I. On space-time interest points. IJCV[J]. International Journal of Computer Vision, 2005, 64(2): 107－123.

[14] Willems G, Tuytelaars T, Gool L V. An efficient dense and scale-invariant spatio-temporal interest point detector[C]// European Conference on Computer Vision. Springer-Verlag, 2008: 650－663.

[15] Rapantzikos K, Avrithis Y, Kollias S. Dense saliency-based spatiotemporal feature points for action recognition[C]// Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1454－1461.

[16] Dollar P, Rabaud V, Cottrell G, et al. Behavior recognition via sparse spatio-temporal features[C]// Joint IEEE International Workshop on Visual Surveillance and PERFORMANCE Evaluation of Tracking and Surveillance. IEEE, 2006: 65－72.

[17] Darrell T, Demirdjian D, Checka N, et al. Plan-view trajectory estimation with dense stereo background models[C]// Computer Vision, 2001. ICCV 2001. Proceedings. Eighth IEEE International Conference on. IEEE, 2001:628－635.

[18] Wang H, Kl?ser A, Schmid C, et al. Action recognition by dense trajectories[C]// Computer Vision and Pattern Recognition. IEEE, 2011: 3169－3176.

[19] Klaser A, Marsza?ek M, Schmid C. A spatio-temporal descriptor based on 3D-gradients[C]//BMVC 2008-19th British Machine Vision Conference. British Machine Vision Association, 2008.

[20] Hinton G E. Learning multiple layers of representation[J]. Trends in Cognitive Sciences, 2007, 11(10): 428－434.

[21] Deng L, Yu D. Deep learning: Methods and applications[J]. Foundations & Trends in Signal Processing, 2014, 7(3): 197－387.

[22] Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural Netw, 2015, 61: 85－117.

[23] Davis G, Mallat S, Avellaneda M. Adaptive greedy approximations[J]. Constructive Approximation, 1997, 13(1): 57－98.

[24] Tropp J A. Greed is Good: Algorithmic results for sparse approximation[J]. IEEE Transactions on Information Theory, 2004, 50(10): 2231－2242.

[25] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuit. Reprinted from SIAM J. Sci. Comput. 20[J]. Siam Review, 2001(1): 129－159.

[26] 聶靜，蘇東林，李紅裔，等. 電路測試響應(yīng)信號的GP-KSVD稀疏重構(gòu)算法[J]. 北京航空航天大學(xué)學(xué)報，2017，43(7)：1336－1347.Nie Jing, Su Donglin, Li Hongyi, et al. Circuitry test response signal reconstruction based on GP-KSVD algorithm[J].Journal of Beijing University of Aeronautics and Astronautics, 2017, 43(7): 1336－1347. (in Chinese with English abstract)

[27] Rosen J B. The Gradient Projection Method for Nonlinear Programming. Part I. Linear Constraints[J]. Journal of the Society for Industrial & Applied Mathematics, 1961, 9(4): 514－532.

[28] Blumensath T, Davies M E. Gradient Pursuits[J]. IEEE Transactions on Signal Processing, 2008, 56(6): 2370－2382.

[29] Mallat S G, Zhang Z. Matching pursuits with time-frequency dictionaries[J]. IEEE Trans on Signal Processing, 1993, 41(12): 3397－3415.

[30] Schuldt C, Laptev I, Caputo B. Recognizing human actions: A local SVM approach[C]// International Conference on Pattern Recognition. IEEE, 2004: 32－36.

[31] Zhu Y, Zhao X, Fu Y, et al. Sparse coding on local spatial-temporal volumes for human action recognition[C]// Computer Vision - ACCV 2010 -, Asian Conference on Computer Vision, Queenstown, New Zealand, November 8－12, 2010, Revised Selected Papers. DBLP, 2011: 660－671.

[32] Heng Wang, Alexander Kl?ser, Cordelia Schmid, et al. Dense trajectories and motion boundary descriptors for action recognition[J]. International Journal of Computer Vision, 2013, 103(1): 60－79.

[33] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]// IEEE Computer Society Conference on Computer Vision & Pattern Recognition. IEEE Computer Society, 2005: 886－893.

[34] Tang Y Y, Yuan H. Manifold-based sparse representation for hyperspectral image classification[M]// Handbook of Pattern Recognition and Computer Vision(5th Edition) :331－350.

[35] Yang M, Zhang L, Feng X, et al. Sparse representation based fisher discrimination dictionary learning for image classification[J]. International Journal of Computer Vision, 2014, 109(3): 209－232.

[36] Donoho D L. For most large underdetermined systems of linear equations the minimal1-norm solution is also the sparsest solution[J]. Communications on Pure & Applied Mathematics, 2010, 59(6): 797－829.

[37] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse represent- tation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311－4322.

[38] Wang L, Lu K, Liu P, et al. IK-SVD: Dictionary learning for spatial big data via incremental atom update[J]. Computing in Science & Engineering, 2014, 16(4): 41－52.

[39] Souza F D M D, Chávez G C, Jr E A D V, et al. Violence detection in video using spatio-temporal features[C]// Graphics, Patterns and Images. 2011: 224－230.

[40] Nievas E B, Suarez O D, García G B, et al. Violence detection in video using computer vision techniques[C]// International Conference on Computer Analysis of Images and Patterns. Springer-Verlag, 2011: 332－339.

[41] Hassner T, Itcher Y, Kliper-Gross O. Violent flows: Real-time detection of violent crowd behavior[C]// Computer Vision and Pattern Recognition Workshops. IEEE, 2012: 1－6.

[42] Wang T, Snoussi H. Detection of abnormal visual events via global optical flow orientation histogram[J]. Information Forensics and Security, IEEE Transactions on, 2014, 9(6): 988－998.

[43] Shi F, Petriu E, Laganiere R. Sampling strategies for real-time action recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer

[44] Society, 2013: 2595－2602.

[45] Barla A, Odone F, Verri A. Histogram intersection kernel for image classification[J]. Icip, 2003, 2: 513－516.

[46] Swain M J, Ballard D H. Color indexing[J]. International Journal of Computer Vision, 1991, 7(1): 11－32.

[47] Wang J, Yang J, Yu K, et al. Locality-constrained linear coding for image classification[C]// IEEE Computer Society Conference on Computer Vision & Pattern Recognition IEEE Computer Society Conference on Cvpr. 2010: 3360－3367.

[48] Qiu Q, Jiang Z, Chellappa R. Sparse dictionary-based representation and recognition of action attributes[C]// IEEE International Conference on Computer Vision. IEEE, 2011: 707－714.

[49] Torr P H S, Murray D W. The development and comparison of robust methods for estimating the fundamental matrix[C]// International Journal of Computer Vision, 1997: 271–300.

Behavior recognition of lameness in dairy cattle by improved sparse overcomplete dictionary method

Wen Changji1, Zhang Jinfeng1,2, Li Zhuoshi1,3, Lou Yue1, Yu Helong1※, Jiang Hailong4

(1.,,130118,; 2.,,130607,; 3.,,130012,; 4.,,130118,)

It is the key to prevent and control dairy cow diseases by real-time monitoring and detection of abnormal behavior early. In this field, it is the most common for the detection and recognition of lame behavior especially. However, the technology of the livestock abnormal behavior recognition is still facing the problem of poor real-time performance. Regarding the above problems, 2 improvement strategies were proposed in this paper. Firstly, a sparse overcomplete dictionary learning algorithm based on conjugate gradient pursuit-KSVD (CGP-KSVD) algorithm was proposed which was used to description and representation of lame behavioral semantic features.The proposed idea was to optimize search direction in the stage of sparse coding construction though introducing a conjugate gradient pursuit algorithm. Meanwhile, the proposed method could avoid the computational load caused by storing and calculating large-scale Hessen matrix effectively. By this way, it achieved the high convergence speed of the sparse overcomplete dictionary learning. Secondly, the basic features of representing the videos were extracted by the fusion of spatio-temporal interest points and spatio-temporal interest points extracted in the dense trajectory map. With the proposed method, it is possible to reduce the redundancy features and the computational load while retaining the rich details. To verify the proposed algorithm, we designed 3 experiments. Experiment 1 was used to achieve the recognition accuracy by comparing the proposed algorithm with the classical sparse dictionary learning algorithms. Experiment 2 and Experiment 3 were used to study the efficiency of the algorithm. In the experiments, 500 black and white adult cows were selected randomly and a total of 1200 video samples were achieved for training and testing by the manual marks. In Experiment 1, the average accuracy of the algorithm proposed in this paper is 5.5 percentage points higher than that of LLC (locality-constrained linear coding) and 3.9 percentage points higher than that of K-SVD. The fusion feature proposed in this paper was used as the basic features of LLC and K-SVD and the above methods were recorded as LLC + fusion feature and K-SVD + fusion feature. The experiment results show that the average accuracy of the proposed algorithm is 3.8 and 1.4 percentage points higher than that of LLC + fusion feature and K-SVD + fusion feature, respectively. In Experiment 2 and 3, the theoretical analysis results show that the algorithm proposed in this paper has the lowest computational time complexity, and the average response time of the CGP-KSVD algorithm is 0.043 s, faster than the 2 other algorithms, BP-KSVD (basis pursuit-KSVD) and OMP-KSVD (orthogonal matching pursuit-KSVD). And the 90-hour video test results show that the CGP-KSVD algorithm has the highest recognition rates of 93.3% and 92.7% respectively with the playback video and online test video, which are increased by 33.3 and 35.6 percentage points compared with the BP-KSVD algorithm, and 13.3 and 14.1 percentage points compared with the OMP-KSVD algorithm.

image processing; algorithms;Livestock breeding; lame recognition; CGP-KSVD; Spatio-temporal interest point; dense trajectory

10.11975/j.issn.1002-6819.2018.18.027

S275.6

A

1002-6819(2018)-18-0219-09

2018-05-11

2018-08-22

國家重點研發(fā)技術(shù)專項（2017YFD0502001、2018YFF0213606）；國家自然科學(xué)基金面上項目（11372155、61472161）；吉林省自然科學(xué)基金（20180101041JC）；吉林省教育廳科研規(guī)劃重點課題（2016186）

溫長吉，男（漢），吉林長春人，副教授，工學(xué)博士，研究方向為模式識別、農(nóng)業(yè)信息化。Email：chagou2006@163.com

于合龍，男（漢），吉林長春人，教授，工學(xué)博士，研究方向為機(jī)器視覺、農(nóng)業(yè)物聯(lián)網(wǎng)工程。Email：264496469@qq.com

溫長吉，張金鳳，李卓識，婁 月，于合龍，姜海龍. 改進(jìn)稀疏超完備詞典方法識別奶牛跛足行為[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(18)：219－227. doi：10.11975/j.issn.1002-6819.2018.18.027 http://www.tcsae.org

Wen Changji, Zhang Jinfeng, Li Zhuoshi, Lou Yue, Yu Helong, Jiang Hailong. Behavior recognition of lameness in dairy cattle by improved sparse overcomplete dictionary method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 219－227. (in Chinese with English abstract) doi: 10.11975/j.issn.1002-6819.2018.18.027 http://www.tcsae.org