高 峰，陳 雄，陳婉秋

(南京理工大學(xué) 機(jī)械工程學(xué)院，江蘇 南京 210094)

基于樹莓派B+微處理器的視頻檢測跟蹤系統(tǒng)

高 峰，陳 雄，陳婉秋

(南京理工大學(xué) 機(jī)械工程學(xué)院，江蘇 南京 210094)

針對目前視頻檢測跟蹤系統(tǒng)大多是在PC機(jī)上實(shí)現(xiàn)的現(xiàn)狀，設(shè)計(jì)了一種基于樹莓派B+微處理器的嵌入式檢測跟蹤系統(tǒng)，實(shí)現(xiàn)了視頻檢測跟蹤系統(tǒng)的便攜式小型化。在圖像處理算法上采用幀間差分方法進(jìn)行目標(biāo)檢測，通過形心標(biāo)記進(jìn)行目標(biāo)跟蹤。本系統(tǒng)采用基于Linux操作系統(tǒng)的樹莓派B+微處理器進(jìn)行算法移植，通過遠(yuǎn)程桌面連接工具和小型液晶顯示器進(jìn)行視頻顯示。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以很好地實(shí)現(xiàn)視頻檢測跟蹤的基本功能。

目標(biāo)檢測跟蹤；樹莓派B+微處理器；幀差法；形心標(biāo)記；圖像處理

視頻檢測跟蹤技術(shù)是一門融合了圖像處理、計(jì)算機(jī)視覺、模式識別、人工智能等學(xué)科的技術(shù)[1]。所謂視頻跟蹤，是指對視頻圖像序列中的特定目標(biāo)進(jìn)行檢測、提取、識別和跟蹤，獲得目標(biāo)的位置參數(shù)，或者目標(biāo)整體所占的圖像區(qū)域，亦或是目標(biāo)的運(yùn)動軌跡等[2-3]，從而進(jìn)行后續(xù)深入的處理與分析，以實(shí)現(xiàn)對特定目標(biāo)的行為理解。目標(biāo)檢測跟蹤技術(shù)在諸如安全與監(jiān)控系統(tǒng)、交通控制系統(tǒng)、定位導(dǎo)航系統(tǒng)、虛擬現(xiàn)實(shí)等諸多方面均有廣闊的應(yīng)用，具有重要的軍事、商業(yè)價(jià)值。

由于上位機(jī)可利用資源豐富，同時圖像處理的大運(yùn)算量需要較高配置的支持，現(xiàn)在大多數(shù)的視頻檢測跟蹤系統(tǒng)是在PC機(jī)或工控機(jī)上實(shí)現(xiàn)。然而，PC機(jī)和工控機(jī)集成了更多與檢測跟蹤系統(tǒng)無關(guān)的功能，這樣就使得系統(tǒng)成本增加[4]，可移動性較差，同時造成資源浪費(fèi)，針對于一些特定的場合，急需一些精簡的嵌入式系統(tǒng)來實(shí)現(xiàn)小型化的需要。鑒于此，本系統(tǒng)使用基于Linux操作系統(tǒng)的樹莓派B+微處理器作為控制核心，移植幀間差分和形心標(biāo)記的目標(biāo)檢測跟蹤的圖像處理算法，通過遠(yuǎn)程桌面連接工具或小型液晶顯示器進(jìn)行視頻顯示，最后實(shí)現(xiàn)了低成本、便攜式、小型化的視頻檢測跟蹤系統(tǒng)。

1 系統(tǒng)總體組成

本設(shè)計(jì)是基于樹莓派B+微處理器的簡易式視頻檢測跟蹤系統(tǒng)，系統(tǒng)總體組成包括視頻采集模塊、圖像處理算法實(shí)現(xiàn)模塊、顯示輸出模塊。其中圖像處理算法實(shí)現(xiàn)模塊包括圖像預(yù)處理、目標(biāo)檢測、目標(biāo)跟蹤3個方面，顯示輸出模塊包括遠(yuǎn)程視頻顯示和顯示器輸出。系統(tǒng)總體設(shè)計(jì)框圖如圖1所示。

圖1 系統(tǒng)總體設(shè)計(jì)框圖

1.1 系統(tǒng)硬件設(shè)計(jì)

本系統(tǒng)的硬件部分主要由視頻采集模塊、顯示輸出模塊和樹莓派B+微處理器及其周邊外設(shè)配置組成。系統(tǒng)在基于樹莓派B+微處理器和嵌入式Linux系統(tǒng)平臺上，首先通過USB攝像頭捕獲視頻圖像，將圖像信息傳入到樹莓派開發(fā)板內(nèi)，通過圖像處理算法程序來實(shí)現(xiàn)目標(biāo)檢測跟蹤的功能，然后通過液晶顯示器將處理結(jié)果進(jìn)行視頻輸出或遠(yuǎn)程連接軟件進(jìn)行遠(yuǎn)程視頻顯示。系統(tǒng)硬件結(jié)構(gòu)方框圖如圖2所示。

圖2 系統(tǒng)硬件結(jié)構(gòu)框圖

本系統(tǒng)移植的是基于OpenCV視覺庫的圖像處理算法程序，在圖像采集方面，直接可以調(diào)用視覺庫中讀取攝像頭的函數(shù)，因此避免了編寫比較繁瑣的視頻采集程序，同時在視頻采集模塊直接采用免驅(qū)的USB攝像頭即可。樹莓派B+(Raspberry Pi Model B+)微處理器作為嵌入式開發(fā)平臺，是基于ARM11核的信用卡大小的微處理器，通過運(yùn)行定制的Linux操作系統(tǒng)，實(shí)現(xiàn)了系統(tǒng)的精簡化，在硬件配置方面，512 Mbyte RAM，700 MHz運(yùn)行頻率，支持OpenGL ES 2.0，OpenVG硬件加速，1 080p H.264高清解碼，10/100以太網(wǎng)接口(RJ-45接口)可以實(shí)現(xiàn)網(wǎng)絡(luò)連接，支持HDMI和AV輸出，同時樹莓派B+還具有40 Pin GPIO口可以實(shí)現(xiàn)對外接設(shè)備的自動控制。

1.2 系統(tǒng)算法設(shè)計(jì)及實(shí)現(xiàn)

1.2.1 運(yùn)動目標(biāo)檢測

常用的運(yùn)動目標(biāo)檢測方法有光流法、背景減除法、幀間差分法。幀間差分法是基于視頻中連續(xù)幀間的相關(guān)性，對相鄰兩幀間的對應(yīng)像素值做差分，背景像素被減掉，目標(biāo)像素被保留[5]，然后對結(jié)果做二值化處理，進(jìn)而實(shí)現(xiàn)運(yùn)動目標(biāo)的檢測，幀間差分法的基本框圖如圖3所示。這種方法原理簡單，計(jì)算量較小，易于實(shí)現(xiàn)。該算法也有不足之處，缺點(diǎn)是兩幀作差容易出現(xiàn)“雙影”和“空洞”現(xiàn)象。在此問題的基礎(chǔ)上，改進(jìn)的幀間差分算法有很多，其中一個就是用相鄰三幀差分來代替兩幀差分。三幀差分就是利用兩次相鄰幀的差，進(jìn)行與操作，得到更加真實(shí)的運(yùn)動目標(biāo)[6]。但是，三幀差分相比于兩幀差分加入了與運(yùn)算，其算法運(yùn)行時間和復(fù)雜度要比兩幀差分高。

圖3 幀間差分法基本框圖

由于本系統(tǒng)采用嵌入式微處理器，其性能要低于PC機(jī)或工控機(jī)，在滿足系統(tǒng)基本功能實(shí)現(xiàn)的基礎(chǔ)上，選擇更加簡單的兩幀差分算法，可以使嵌入式系統(tǒng)實(shí)現(xiàn)對目標(biāo)的快速檢測，使系統(tǒng)的靈敏性更高。

其公式如下

(1)

(2)

式中：I(t)和I(t-1)分別為t和t-1幀對應(yīng)像素點(diǎn)的像素值。Dt為兩幀差分后的圖像，T為設(shè)定的閾值，Rt為差分圖像閾值化后的二值圖像，即相鄰幀中對應(yīng)點(diǎn)的像素值作差大于設(shè)定閾值，則判定該像素點(diǎn)為目標(biāo)像素點(diǎn)，否則判定為背景像素點(diǎn)。

1.2.2 運(yùn)動目標(biāo)跟蹤

在運(yùn)動過程中，目標(biāo)的空間位置按照自身的運(yùn)動規(guī)律不斷變化，目標(biāo)跟蹤就是為了確定目標(biāo)在視頻序列圖像中的位置軌跡[7]。本系統(tǒng)采取簡單的形心標(biāo)記方法來實(shí)現(xiàn)目標(biāo)跟蹤的功能。上一節(jié)中，幀差法將視頻序列圖像中的目標(biāo)和背景分離，提取出只存在目標(biāo)的二值圖像，形心標(biāo)記就是利用目標(biāo)的外接矩形框?qū)⒁晥鲋械哪繕?biāo)標(biāo)記出來，利用矩形的中心近似作為目標(biāo)形心來跟蹤。

1.2.3 圖像處理算法實(shí)現(xiàn)

在進(jìn)行運(yùn)動目標(biāo)檢測跟蹤之前，需要對視頻圖像進(jìn)行一些預(yù)處理操作，包括濾波處理、灰度轉(zhuǎn)換以及幀差后的形態(tài)學(xué)處理等。本系統(tǒng)采用的圖像處理算法具體步驟如圖4所示。

圖4 圖像處理算法流程圖

圖像實(shí)質(zhì)是光電信息，在圖像信號的采集、傳輸和變換過程中不可避免地會產(chǎn)生噪聲影響，噪聲惡化了圖像質(zhì)量，因此在進(jìn)行圖像分析識別之前有必要對噪聲圖像進(jìn)行濾波處理[8]。

由于彩色圖像包含紅(R)、綠(G)、藍(lán)(B)3個通道，每個像素值需要3個字節(jié)數(shù)據(jù)來表示，這就增加了圖像處理的復(fù)雜度，因此在圖像處理過程中有必要將三通道的彩色圖像轉(zhuǎn)換成單通道的灰度圖像來進(jìn)行處理。通過以下公式可以實(shí)現(xiàn)彩色圖像轉(zhuǎn)換為灰度圖像

Gray=0.30R+0.59G+0.11B

(3)

式中：R,G,B分別為彩色圖像每個像素值的3個顏色分量，Gray為轉(zhuǎn)換后的像素灰度值。

幀差法處理后，由于噪聲的影響得到的二值圖像通常會有一些孤立的點(diǎn)、小區(qū)域、孔洞和小間隙，這些都會對后續(xù)的目標(biāo)檢測跟蹤產(chǎn)生影響。本文通過圖像形態(tài)學(xué)的膨脹腐蝕處理，去除這些孤立的點(diǎn)、小區(qū)域，連接間隙、填充孔洞。通過形態(tài)學(xué)處理后，目標(biāo)的輪廓更加清晰完整。

以上圖像處理算法在上位機(jī)中基于VS2010+OpenCV實(shí)現(xiàn)。

圖5中顯示了一段視頻序列的處理效果。圖5a為視頻序列中某一幀的原始圖像，圖5b為濾波后轉(zhuǎn)灰度圖像，圖5c為該幀圖像與相鄰的前一幀圖像作差后的效果圖，圖5d為形態(tài)學(xué)處理后的圖像，圖5e為通過形心標(biāo)記后的目標(biāo)跟蹤圖像，圖像中實(shí)時顯示目標(biāo)在視窗中的形心坐標(biāo)。

圖5 圖像處理算法實(shí)現(xiàn)

2 微處理器實(shí)現(xiàn)及性能測試

2.1 微處理器實(shí)現(xiàn)

微處理器實(shí)現(xiàn)的具體過程包括制作樹莓派Linux系統(tǒng)、微處理器及其周邊外設(shè)配置、在處理器中安裝Linux平臺下的OpenCV、程序移植、顯示輸出幾個部分。樹莓派系統(tǒng)制作及Linux平臺下OpenCV視覺庫的配置可以參考文獻(xiàn)[9]和OpenCV官方教程，本文不再贅述。在程序移植部分，OpenCV程序具有良好的跨平臺移植特性，因此可以將Windows平臺下的算法程序移植到基于Linux系統(tǒng)的樹莓派B+微處理器中。處理器及其周邊外圍設(shè)備配置如圖6所示。

圖6 處理器及其周邊外設(shè)配置

免驅(qū)USB攝像頭用來采集視頻圖像；5 V電源模塊對處理器供電；外設(shè)鼠標(biāo)、鍵盤對處理器進(jìn)行直接控制；網(wǎng)絡(luò)連接用來實(shí)現(xiàn)對處理器的遠(yuǎn)程控制及遠(yuǎn)程視頻輸出；AV接口連接顯示器實(shí)現(xiàn)視頻的實(shí)時輸出。

為了使操作更加方便以及Linux平臺和Windows平臺交互性更強(qiáng)，本設(shè)計(jì)引入了終端仿真軟件SecureCRT和遠(yuǎn)程桌面連接工具(mstsc.exe)實(shí)現(xiàn)了樹莓派和上位機(jī)的無線互通。上位機(jī)通過SecureCRT實(shí)現(xiàn)對處理器的遠(yuǎn)程控制界面如圖7所示。

圖7 SecureCRT終端界面(截圖)

2.2 系統(tǒng)性能測試

系統(tǒng)性能的測試是對一個簡單環(huán)境下運(yùn)動小球的實(shí)時檢測跟蹤。程序設(shè)置視頻采集分辨率為640×480，顯示器輸出及遠(yuǎn)程輸出效果如圖8、圖9所示。在遠(yuǎn)程視頻連接之前需要在樹莓派系統(tǒng)Raspbian下安裝一個支持Linux系統(tǒng)遠(yuǎn)程桌面連接的服務(wù)xdrp: sudo apt-get install xrdp。

圖8 液晶顯示器輸出

圖9 遠(yuǎn)程視頻顯示(截圖)

實(shí)驗(yàn)結(jié)果表明，顯示器輸出中視頻比較流暢，目標(biāo)跟蹤效果比較好，完全滿足了設(shè)計(jì)要求。在遠(yuǎn)程輸出中，較之顯示器輸出視頻有少許卡頓現(xiàn)象，但也基本達(dá)到了設(shè)計(jì)的要求，在后續(xù)的研究工作中，有待進(jìn)一步優(yōu)化視頻的無線傳輸模塊。

3 結(jié)論

本文設(shè)計(jì)了一種基于樹莓B+微處理器的嵌入式視頻檢測跟蹤系統(tǒng)。在圖像處理算法上采用幀間差分方法進(jìn)行目標(biāo)檢測，形心標(biāo)記進(jìn)行目標(biāo)跟蹤，同時在上位機(jī)中利用 VS2010+OpenCV驗(yàn)證了算法的可行性。在微處理器系統(tǒng)實(shí)現(xiàn)方面，將圖像處理算法移植到樹莓派B+中，通過液晶顯示器和遠(yuǎn)程桌面連接工具進(jìn)行視頻顯示。實(shí)驗(yàn)結(jié)果表明本系統(tǒng)具有良好的穩(wěn)定性，滿足了低成本、便攜式、小型化的實(shí)際要求，實(shí)現(xiàn)了視頻檢測跟蹤的基本功能。

[1] NAEEM H，AHMAD J，TAYYAB M. Real-time object detection and

tracking[C]//Proc. IEEE International Multi Topic Conference (INMIC 2013), Lahore, Pakistan：IEEE Presss，2013：148-153.

[2] HU Hongyu，QU Zhaowei，LI Zhihui. Robust detection and tracking algorithm of multiple objects in complex scenes[J].Applied Mathematics & Information Sciences，2014，8(5)：2485-2490.

[3] 李文書，趙悅. 數(shù)字圖像處理算法及應(yīng)用[M].北京：北京大學(xué)出版社，2012.

[4] 劉海濤，譚克俊，孫白. 基于ARM9 S3C2410微處理器的視頻跟蹤與云臺控制系統(tǒng)的實(shí)現(xiàn)[J].自動化信息，2007，75(7)：36-37.

[5] TREPTOW A，ZELL A. Real-time object tracking for soccer-robots without color information[J].Robotics and Autonomous Systems，2004，48(1)：41-48.

[6] 孫濤，陳瑞平. 視頻監(jiān)控系統(tǒng)中一種運(yùn)動目標(biāo)的檢測方法[J].電視技術(shù)，2012，36(7)：127-129.

[7] 翁木云，謝宇昕. 一種改進(jìn)的自適應(yīng)質(zhì)心跟蹤算法[J].空軍工程大學(xué)學(xué)報(bào)，2009，10(2)：81-85.

[8] 楊振永，王延杰，王明佳. V4L2在TMS320DM8168高清視頻監(jiān)控系統(tǒng)中的實(shí)現(xiàn)[J].電視技術(shù)，2014，38(13)：215-219.

[9] HORAN B. Raspberry Pi樹莓派實(shí)作應(yīng)用[M].北京：人民郵電出版社，2014.

責(zé)任編輯：任健男

Implementation of Video Detection and Tracking SystemBased on Raspberry Pi B+ Microprocessor

GAO Feng, CHEN Xiong, CHEN Wanqiu

(SchoolofMechanicalEngineering,NanjingUniversityofScienceandTechnology,Nanjing210094,China)

In view of the current status that video detection and tracking system is mostly realized in PC, in this paper, an embedded design of detection and tracking system based on Raspberry Pi B+ microprocessor is introduced, and the portable miniaturization of the system is realized. In the image processing algorithm, inter frame difference method is used for target detection and centroid labeling for target tracking. Algorithm transplantation is executed in the Raspberry Pi B+ microprocessor based on Linux operating system. Finally, a video output is conducted through the remote desktop connection tools and small liquid crystal displays. The experiment results prove that this system can well realize the basic functions of video detection and tracking.

target detection and tracking; raspberry Pi B+ microprocessor; frame difference; centroid labeling; image processing

南京理工大學(xué)自主科研專項(xiàng)計(jì)劃資助項(xiàng)目(ZDJH02)

TN919.8；TP391.4

A

10.16280/j.videoe.2015.19.026

2015-01-28

【本文獻(xiàn)信息】高峰，陳雄，陳婉秋.基于樹莓派B+微處理器的視頻檢測跟蹤系統(tǒng)[J].電視技術(shù),2015，39(19).