孫長(zhǎng)勝，吳云峰，張傳義，劉寧文，賴東寅

（1.電子科技大學(xué)光電信息學(xué)院，四川成都61005；2.中國(guó)工程物理研究院流體物理研究所，四川綿陽(yáng)621900）

機(jī)器視覺(jué)應(yīng)用中通常由CCD或CMOS相機(jī)捕獲場(chǎng)景圖像，以先進(jìn)的計(jì)算機(jī)技術(shù)為基礎(chǔ)，通過(guò)圖像理解來(lái)分析提取產(chǎn)品的質(zhì)量信息，并執(zhí)行相應(yīng)的處理。隨著機(jī)器視覺(jué)和半導(dǎo)體技術(shù)的發(fā)展，智能相機(jī)變得越來(lái)越普遍，越來(lái)越多的嵌入式處理器和多媒體專用處理芯片應(yīng)用到智能相機(jī)中來(lái)[1-3]。近年來(lái)，基于智能相機(jī)的嵌入式機(jī)器視覺(jué)系統(tǒng)向傳統(tǒng)基于PC的視覺(jué)系統(tǒng)提出了挑戰(zhàn)。

1 智能相機(jī)組成與工作原理

智能相機(jī)也稱為智能圖像傳感器或者智能視覺(jué)傳感器。智能相機(jī)不同于一般的圖像處理系統(tǒng)，它要能夠?qū)崿F(xiàn)以下功能：

1）圖像的獲取，一般采用CCD或CMOS傳感器來(lái)獲得需要處理的圖像數(shù)據(jù)。

2）圖像的處理，圖像處理系統(tǒng)的任務(wù)是接收來(lái)自圖像傳感器的圖像信息和同步信號(hào)，進(jìn)行圖像采集，并根據(jù)不同要求執(zhí)行相應(yīng)的算法處理。

3）檢測(cè)結(jié)果的控制信號(hào)的傳輸，根據(jù)處理結(jié)果，給出相應(yīng)的控制信號(hào)，以控制執(zhí)行部件采用相應(yīng)的處理方案。

4）能夠提供較為靈活的升級(jí)方案，能夠根據(jù)工作環(huán)境的要求改進(jìn)軟件，并能夠很容易地對(duì)軟件進(jìn)行升級(jí)，以適應(yīng)不同的應(yīng)用場(chǎng)合。

一般智能相機(jī)系統(tǒng)由3部分組成：圖像采集模塊、圖像處理模塊、通信控制模塊[4]。其組成框圖如圖1所示。

圖1 智能相機(jī)系統(tǒng)結(jié)構(gòu)Fig.1 System architecture of intelligent camera

圖像采集單元是CCD/CMOS圖像傳感器和圖像采集卡的集成。圖像采集單元將光學(xué)圖像轉(zhuǎn)換為數(shù)字圖像，然后輸出至圖像處理單元；圖像處理單元用來(lái)完成圖像處理任務(wù)，主要包括處理器和存儲(chǔ)器，圖像處理單元對(duì)采集到的圖像/視頻數(shù)據(jù)進(jìn)行預(yù)處理、壓縮和有選擇的存儲(chǔ)，結(jié)合圖像處理軟件對(duì)圖像進(jìn)行處理和分析；通信接口單元主要完成智能相機(jī)和計(jì)算機(jī)或其他計(jì)算控制設(shè)備之間的圖像數(shù)據(jù)傳遞及控制信息交流任務(wù)。用戶可以通過(guò)通信接口對(duì)智能相機(jī)進(jìn)行參數(shù)設(shè)置，完成數(shù)據(jù)和程序的上傳；智能相機(jī)則通過(guò)通信接口向其他設(shè)備傳送圖像或分析圖像的結(jié)果。有的智能相機(jī)還提供數(shù)字I/0接口。I/0接口主要用作控制信號(hào)的輸入輸出，方便智能相機(jī)和其他自動(dòng)化設(shè)備的連接。

2 智能相機(jī)發(fā)展現(xiàn)狀

目前市場(chǎng)上的智能相機(jī)主要來(lái)自于歐美，國(guó)內(nèi)的智能相機(jī)發(fā)展相對(duì)較為薄弱。表1所示為較為著名的國(guó)內(nèi)外智能相機(jī)廠商和部分代表產(chǎn)品的參數(shù)。

NI智能相機(jī)小巧而堅(jiān)固的封裝中，結(jié)合了單色CCD圖像傳感器和實(shí)時(shí)嵌入式PowerPC處理器。NI智能相機(jī)能夠以60 f/s的速率采集VGA（640×480）圖像，并與NI視覺(jué)軟件平臺(tái)中的全套視覺(jué)算法協(xié)同工作。

表1 國(guó)內(nèi)外部分智能相機(jī)及其相關(guān)參數(shù)Tab.1 Some intelligent cameras in the world and theirs relevant parameters

德國(guó)Vision-Components公司是最早生產(chǎn)智能相機(jī)的廠家，是智能相機(jī)產(chǎn)品的領(lǐng)航者。每個(gè)智能相機(jī)在其很小的體積內(nèi)集成了CCD傳感器、圖像采集卡、存儲(chǔ)器、圖像處理專用高速DSP、PLC功能、視頻輸出信號(hào)，以太網(wǎng)和RS232接口和大量通用軟件。采用牢固的工業(yè)外殼，抗震動(dòng)和沖擊能力強(qiáng)，是真正工業(yè)用智能相機(jī)。該公司還為OEM用戶開(kāi)發(fā)專用智能相機(jī)，配備專用軟件和鏡頭成為專用光學(xué)檢測(cè)系統(tǒng)和專用傳感器。

美國(guó)PPT VISION公司一直致力于機(jī)器視覺(jué)技術(shù)的創(chuàng)新，已經(jīng)在全球成功安裝了數(shù)千套機(jī)器視覺(jué)系統(tǒng)，是全球機(jī)器視覺(jué)創(chuàng)新的領(lǐng)導(dǎo)者。

Fast Vision公司的智能相機(jī)采用分辨率高達(dá)2 352×1 728的CMOS圖像傳感器，處理速度最快可達(dá)240 f/s，有16個(gè)輸出端口，采用FPGA配置工作界面和圖像處理。

大恒圖像有限公司開(kāi)發(fā)的非制冷紅外智能相機(jī)，使用新一代非制冷式紅外探測(cè)器，熱靈敏度高，圖像更清晰。使用更高精度的14位數(shù)字圖像，能更準(zhǔn)確地發(fā)現(xiàn)溫度異常，自動(dòng)捕捉全屏高溫區(qū)域，實(shí)現(xiàn)多區(qū)域高溫分析，可設(shè)定上限報(bào)警溫度值，高于該溫度值可自動(dòng)報(bào)警。工作時(shí)可完全脫離PC，多個(gè)設(shè)備可通過(guò)標(biāo)準(zhǔn)網(wǎng)絡(luò)連接，組成區(qū)域監(jiān)控報(bào)警系統(tǒng)，可實(shí)現(xiàn)火警探測(cè)、溫度異常報(bào)警、非接觸測(cè)溫等功能，廣泛應(yīng)用于消防、安防、電力、石化、冶金、醫(yī)療等領(lǐng)域。

漢王科技的智能相機(jī)采用TI DSP為處理器[5]，CMOS圖像傳感器為圖像攝入單元，提供了RS232、100 MB以太網(wǎng)等接口。典型應(yīng)用為字符識(shí)別。它通過(guò)PC主軟件經(jīng)由網(wǎng)絡(luò)對(duì)其執(zhí)行遠(yuǎn)程配置和運(yùn)行控制，通過(guò)二維圖像方式，不依賴PC能獨(dú)立進(jìn)行字符識(shí)別，向外部發(fā)送識(shí)別結(jié)果信號(hào)和數(shù)據(jù)。通常用于工業(yè)制造中產(chǎn)品標(biāo)簽識(shí)別和驗(yàn)證，在噴碼工業(yè)、藥品制造、型材制造、印刷工業(yè)、包裝行業(yè)、煙草行業(yè)等領(lǐng)域應(yīng)用廣泛。

3 智能相機(jī)面臨的關(guān)鍵技術(shù)問(wèn)題

智能相機(jī)將走向更為智能、更高速度、更高精度、更易操作、成本更低的未來(lái)發(fā)展趨勢(shì)。其關(guān)鍵技術(shù)主要體現(xiàn)在以下3個(gè)方面：分辨率的提高、處理速度的提高以及人機(jī)交互更人性化。

3.1 分辨率的提高

隨著CCD和CMOS研發(fā)技術(shù)的提高，圖像傳感器的分辨率朝著越來(lái)越高的方向發(fā)展[6]。在較高分辨率的應(yīng)用中CCD仍占有一定的優(yōu)勢(shì)，但CCD控制與供電較為復(fù)雜，并且數(shù)據(jù)存取較CMOS要慢。有些場(chǎng)合提出了采用低分辨率廉價(jià)相機(jī)拼接為高分辨率相機(jī)的研究方式[7]，圖像結(jié)果如圖2所示。其中圖（a）和（b）分別為160×120像素和80×60像素，圖（b）的分辨能力不如圖（a）。利用4臺(tái)和圖（b）一樣分辨率的相機(jī)分別采圖，如圖2（c）～（f）所示，即可以得到和圖2（a）相同的分辨效果。

3.2 處理速度的提高

圖2 圖像結(jié)果Fig.2 Image results

處理器是智能相機(jī)的硬件基礎(chǔ)，隨著嵌入式技術(shù)的發(fā)展，嵌入式處理器PowerPC、DSP、FPGA等器件被用在智能相機(jī)開(kāi)發(fā)中。上海某公司比較成熟的智能相機(jī)EagleEye2系列產(chǎn)品RMVA200SC，具有130萬(wàn)像素彩色/黑白逐行掃描CCD，美妙48億次運(yùn)算能力的嵌入式DSP系統(tǒng)，還有大規(guī)模FPGA作為圖像協(xié)處理器，大大提高了處理速度。SICK公司推出的IVC-2D集成了高性能圖像芯片、強(qiáng)大的專用處理器，搭載了專業(yè)功能強(qiáng)大的圖像處理軟件IVC Studio，能為用戶提供高性能且穩(wěn)定的解決方案。

3.3 人機(jī)交互更人性化

隨著通信技術(shù)和嵌入式技術(shù)的發(fā)展，更高速的通信方式在智能相機(jī)系統(tǒng)中得以應(yīng)用[8]。例如千兆位以太網(wǎng)、USB通信以及CAN總線技術(shù)利于智能相機(jī)工作模式的配置。Linux、WinCE、Palm OS、μCOS-Ⅱ、VxWorks等嵌入式操作系統(tǒng)的應(yīng)用使得人機(jī)交互更方便。

3.4 簡(jiǎn)易硬件平臺(tái)的提出

針對(duì)國(guó)內(nèi)外當(dāng)前發(fā)展現(xiàn)狀，提出了FPGA和DSP相結(jié)合的智能相機(jī)開(kāi)發(fā)方案，方案框圖如圖3所示。采用低端FPGA來(lái)驅(qū)動(dòng)圖像傳感器進(jìn)行圖像采集，可以充分利用FPGA的嚴(yán)格時(shí)序，并且可以利用FPGA來(lái)進(jìn)行低級(jí)的圖像處理算法，提高了處理速度。利用多媒體專業(yè)DSP進(jìn)行后期的高級(jí)圖像處理算法，給圖像處理工程師降低了設(shè)計(jì)難度。采用DDR2可以極大地提高數(shù)據(jù)存取速度，利用千兆網(wǎng)進(jìn)行圖像信息的傳輸或工作模式的配置，利用CAN模塊來(lái)連接控制系統(tǒng)，利用S端子進(jìn)行圖像的實(shí)時(shí)顯示。

圖3 簡(jiǎn)易硬件平臺(tái)結(jié)構(gòu)框圖Fig.3 Block diagram of sample hardware platform

4 結(jié)束語(yǔ)

智能相機(jī)作為工業(yè)控制系統(tǒng)和監(jiān)控系統(tǒng)的關(guān)鍵執(zhí)行部件，因其具有廣泛的應(yīng)用前景，對(duì)其進(jìn)行的研究正方興未艾。隨著嵌入式和SOPC的發(fā)展以及圖像處理算法的研究，越來(lái)越多的算法和外圍硬件技術(shù)將會(huì)添加到智能相機(jī)上，因此智能相機(jī)會(huì)朝著高精度、高速度、多功能、小型化、集成化的方向發(fā)展。而且隨著不同工業(yè)、軍事以及民事的要求，智能相機(jī)的設(shè)計(jì)也會(huì)因?yàn)槠鋫?cè)重點(diǎn)不同而簡(jiǎn)化設(shè)計(jì)，實(shí)現(xiàn)專用化。因此成本和體積也會(huì)隨著大幅度降低，智能相機(jī)的普及就會(huì)越來(lái)越快?？梢灶A(yù)測(cè)，在不久的將來(lái)，高性能、低價(jià)格的智能相機(jī)將會(huì)運(yùn)用在人們生活中。

[1]Mustafah Y，Azman A，Bigdeli A，et al.An automated face recognition system for intelligence surveillance：smart camera recognizing faces in the crowd[J].First ACM/IEEE International Conference on Distributed Smart Cameras，2007：147-152.

[2]Wolf W，Ozer B，Lv T.Smart cameras as embedded systems[J].Computer，2002（35）：48-53.

[3]Kolsch M，Kiascanin B.Embedded computer vision and smart cameras[J].Tutorial Given on Embedded Systems Conference，Silicon Valley，2007：15-18.

[4]許芬.智能視覺(jué)傳感器及其應(yīng)用[J].中國(guó)儀器儀表，2007（4）：26-29.

XU Fen.Intelligent vision sensors and their applications[J].China Instrumentation，2007（4）：26-29.

[5]李春輝.基于TMS320DM642的圖像采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].天津：天津大學(xué)，2007.

[6]HUANG Mei-ling，ZHANG Bo-heng.Character comparison of CCD and CMOS image sensor[J].Science Technology and Engineering，2007（2）:249-251.

[7]Leon-Salas W D，Velipasalar S，Schemm N，et al.A low-cost，tiled embedded smart camera system for computer vision applications[J].IEEE Trans.Electron Devices，2007（44）：125-131.

[8]Shi Y，Raniga P，Mohamed I.A smart camera for multimodal human computer interaction[C]//The 10th IEEE International C symposium on Consumer Electronics，on CD-ROM proceedings，St.Petersburg，2006：29-31.