李校林+孫文華+李銀
摘 要: 為了實現嵌入式Linux對CMOS圖像傳感器OV2715的支持,對OV2715的工作原理進行深入的研究,針對OV2715功能復雜和驅動編寫困難的問題,提出一種模塊化設計OV2715驅動的方法。在DM3730硬件平臺下,將OV2715驅動分為I2C設備驅動和V4L2接口驅動并分別進行了實現,最后,設計視頻采集程序并對驅動進行了測試。測試結果表明,輸出視頻圖像質量清晰穩(wěn)定,該實現在高清數字監(jiān)控系統(tǒng)中有較好的應用前景。
關鍵詞: OV2715驅動; V4L2; I2C總線; 嵌入式Linux; 高清數字視頻監(jiān)控
中圖分類號: TN957.52?34; TP316 文獻標識碼: A 文章編號: 1004?373X(2016)22?0071?0
0 引 言
隨著人們安全意識的提高,視頻監(jiān)控系統(tǒng)在眾多行業(yè)中得到了大范圍的普及。高清數字視頻監(jiān)控系統(tǒng)更以其儲存信息量大、系統(tǒng)功能完善、控制靈活和智能化等顯著優(yōu)點,在安防領域得到越來越多的應用[1]。高清數字視頻監(jiān)控系統(tǒng)主要由前端采集設備、視頻傳輸系統(tǒng)和主控顯示存儲系統(tǒng)組成,而前端攝像機采集芯片類型的選擇直接影響著監(jiān)控端輸出數字視頻信號的好壞,從而決定著視頻監(jiān)控系統(tǒng)的整體效果。
OV2715是TI公司針對高清視頻監(jiān)控領域推出的全高清1080P的CMOS圖像傳感器芯片,具有成本小、低功耗和輸出圖像質量高等特點,選取該芯片作為前端采集芯片。由于Linux 2.6.32內核版本沒有提供該芯片驅動,需要手動編寫該驅動實現對OV2715的支持。同時,以往的視頻設備驅動往往存在結構層次不明晰等缺點,針對OV2715功能復雜和驅動開發(fā)難度大等特點,提出了模塊化的思想編寫該驅動。首先,深入研究了OV2715的工作原理,對Linux系統(tǒng)中的I2C驅動體系和V4L2驅動體系進行了全面的介紹;其次,針對特定的硬件平臺,基于模塊化方法對OV2715驅動程序進行了設計并給出了關鍵代碼實現。最后,設計了視頻采集程序對驅動進行了測試和分析,實現了視頻采集和顯示功能。
1 OV2715芯片
1.1 OV2715功能介紹
OV2715是一款1/2.7 英寸的低電壓、高性能和能提供輸出1080P高清分辨率的CMOS圖像傳感器,支持通過DVP和MIPI接口輸出RAW/RGB格式的圖像,還提供了SCCB接口來控制傳感器的運行[2]。此外,OV2715集成了自動聚焦濾波器,PLL電路和1.5 V穩(wěn)壓器,可以保證其運行的穩(wěn)定;OV2715的自動圖形控制電路使其支持AEC,AGC,AWB,ABLC和LENC等功能,因而輸出圖像質量較其他傳感器有明顯的提高;OV2715圖像傳感器主要應用于高清數字視頻監(jiān)控攝像機的前端采集模塊中。
1.2 OV2715寄存器介紹
OV2715內部寄存器主要包括三部分:用來控制輸入輸出的寄存器、用來實現具體圖像功能的寄存器和用來輔助傳感器正常工作的寄存器。視頻監(jiān)控系統(tǒng)中,處理器模塊對OV2715寄存器的訪問通常有兩種方式,其一為并行訪問模式,通過OV2715的DVP接口進行訪問;其二為串行訪問方式,經過系統(tǒng)提供的I2C接口來控制OV2715芯片。I2C總線是一種串行總線,主要由數據線和時鐘線組成,其用途是完成微控制器模塊和外圍模塊間通信的工作。OV2715通過I2C訪問時硬件資源占用率小并且訪問速度較快,故本次驅動實現中處理器和OV2715通信采用I2C總線方式。
1.3 OV2715工作過程
OV2715視頻數據采集主要經過圖像數據產生、圖像數據處理和圖像數據輸出三個過程,采集工作過程如圖1所示。
圖像數據產生階段,OV2715傳感器內核根據引腳HREF,VSYNC和PCLK信號以固定的幀速率產生像素流數據。其中,定時產生器可以同步圖片陣列的行數據,每個陣列中的像素經過模擬電路抽樣、增益控制和ADC轉換后產生10 b的數據;圖像數據處理階段,需要對采集到的數字信號進行圖像增強、鏡頭控制和視頻格式的設置等功能,主要配置的寄存器如表1所示;圖像輸出階段,主要對圖像數據進行編碼,然后進行通道選擇,輸出符合要求的YUV/RGB數字信號。
2 硬件平臺結構
無人機基站勘測系統(tǒng)中,前端采集系統(tǒng)硬件結構如圖2所示。
嵌入式硬件系統(tǒng)處理模塊采用TMS320DM3730片上系統(tǒng),操作系統(tǒng)內核版本采用Linux 2.6.32。DM3730為TI公司的OMAP系列雙核架構處理器,ARM端負責運行操作系統(tǒng)控制系統(tǒng)的工作流程和DSP負責處理大量高清視頻數據,并且該處理器內部具有3D Image?Processor和IVA等,支持高清 720P,1080P視頻解碼。該處理器實時處理視頻速度可達60 f/s,具有優(yōu)秀的編解碼能力,最高能達到每秒500萬像素,具有VPSS和支持包括3A在內的眾多功能[3]。
OV2715圖像傳感器通過I2C總線接入DM3730平臺的ISP模塊中;WiFi模塊負責發(fā)送視頻數據和基本通信功能,SD卡模塊負責視頻數據的存儲和系統(tǒng)升級存儲功能,電源管理模塊為給系統(tǒng)提供可靠、穩(wěn)定的電源輸入,調試模塊主要負責控制系統(tǒng)更新升級等。
3 OV2715驅動程序實現
高清數字視頻監(jiān)控系統(tǒng)中,視頻采集的過程:OV2715將模擬電路產生的圖像信號經過A/D控制器轉換成8 b的數字信號,其次通過V4L2驅動支持的MIPI接口進行視頻捕捉,此后DM3730平臺DSP模塊進行H.264編碼,最后將視頻數據通過網絡發(fā)送或者進行本地存儲。在此過程中,OV2715驅動程序負責初始化OV2715相關寄存器,同時接收用戶空間的命令完成對傳感器工作狀態(tài)的操控,將視頻信號傳送到V4L2視頻驅動接口;OV2715驅動結構如圖3所示。
OV2715驅動被加載到內核后,向系統(tǒng)注冊成功后會生成對應的設備節(jié)點;用戶空間應用程序通過操作該節(jié)點使用V4L2驅動實現的API完成視頻采集的工作。在此過程中基于模塊化方法,OV2715驅動分為I2C設備驅動和V4L2設備接口層驅動兩部分,進行分別設計和實現。
3.1 OV2715的I2C設備驅動
DM3730平臺通過I2C總線向OV2715發(fā)送控制命令,完成相關寄存器的配置。Linux系統(tǒng)平臺下,I2C驅動體系由I2C總線驅動、I2C核心以及I2C設備驅動3個部分組成。I2C核心集成了與具體設備無關的統(tǒng)一的設備注冊和注銷的方法,用于管理I2C總線驅動和I2C設備驅動;I2C總線驅動提供硬件系統(tǒng)中I2C Adaper和Slave設備通信的功能。I2C設備驅動主要進行總線上的具體設備驅動的實現,主要完成設備的具體操控方法和初始化探測功能[4]。
在OV2715 的I2C驅動模塊設計中,內核版本Linux 2.6.32對I2C核心和I2C總線驅動已經進行了實現,只需對具體的I2C設備驅動進行實現。OV2715的I2C設備驅動完成的主要任務是讀寫OV2715芯片的相關寄存器,傳送并接收控制命令,完成對硬件的初始化控制。在此驅動模塊實現中,不僅要實現I2C核心相關接口,還要實現應用程序層接口。
3.1.1 I2C核心接口實現
該模塊實現的數據結構包括struct i2c_driver和struct i2c_client兩個結構體;其中i2c_driver對應于OV2715設備的具體驅動方法,實現代碼如下:
ov2715_probe負責將OV2715傳感器以I2C客戶端設備的身份注冊到系統(tǒng),同時調用V4L2體系相關接口建立設備節(jié)點,最終完成對設備的初始化工作;ov2715_remove注銷相關設備節(jié)點將設備移除,完成清空緩沖區(qū)和系統(tǒng)資源回收的任務;ov2715_id結構中儲存了設備ID相關信息,OV2715上電啟動后會根據此信息進行匹配驅動;ov2715_probe( )函數具體實現如下:
結構體i2c_client用于描述具體的物理設備,總線上的I2C設備均要用一個各自的i2c_client來描述;i2c_client信息通過開發(fā)板的板級支持包i2c_board_info結構體填充描述。
ov2715_i2c_driver結構內的函數實現完成后,利用i2c_add_driver( )函數將接口層驅動添加到設備驅動鏈表;其中,注冊函數采用i2c_register_driver( )函數;I2C設備驅動被成功注冊進入內核后,驅動程序可以通過I2C接口對OV2715傳感器進行操控,此過程需實現的函數如下:
OV2715寄存器讀函數:static int ov2715_read_reg(struct i2c_client *client, unsigned short data_length, unsigned short reg,unsigned int *val);
OV2715寄存器寫函數:static int ov2715_write_reg(struct i2c_client *client, unsigned int addr, unsigned int val);
3.1.2 應用程序用戶層接口
上層應用程序通過相關的文件接口訪問底層硬件,OV2715應用程序用戶層接口模塊主要實現此功能。需要實現的文件接口如表2所示。表2中主要文件操作采用struct file_operations結構體描述。內核版本Linux 2.6.32封裝了該接口并提供了struct v4l2_file_operations結構體,該結構體提供了標準的成員接口等,因此,將主要實現具體需要的函數和標準接口相連即可。具體實現代碼如下:
3.2 OV2715的V4L2視頻接口驅動
V4L2框架為Linux系統(tǒng)視頻設備底層驅動規(guī)定了一致的接口,使用戶層程序無須關心底層驅動細節(jié)使用統(tǒng)一的API操作具體的物理設備,主要用于操控視頻設備和視頻采集處理,給相關開發(fā)人員的操作和維護帶來了極大方便[5?6]。
表2 常用文件操作接口
V4L2體系結構支持多種設備,向底層驅動提供了視頻采集接口、視頻輸出接口和直接視頻傳輸接口等。本文將采用V4L2框架中的Video Capture Interface并在OV2715傳感器的MIPI接口獲取采集數據。在V4L2視頻接口驅動中,Video核心層調用v4l2_int_device_register( )函數將OV2715以V4L2從設備向系統(tǒng)進行注冊,最終在dev目錄下創(chuàng)建Video0設備節(jié)點,向用戶層提供訪問接口;Video核心模塊底層為視頻設備的具體實現,可以有多個slave設備,V4L2視頻接口驅動框架如圖4所示。
V4L2接口驅動調用流程:用戶層調用標準的V4L2的接口時,經過Video核心層處理后傳遞到slave設備實現的具體操作函數中。其中,v4l2_int_ioctl_desc中包含針對具體設備實現的ioctl函數,主要用于視頻采集過程中設置視頻格式和對采集進行操作功能。主要代碼實現如下:
//供應用層調用的v4l2 ioctl命令
4.1 OV2715采集測試程序
OV2715采集測試程序基于V4L2接口設計,直接調用以上章節(jié)實現的接口采用順序執(zhí)行的方式,將OV2715前端采集到的數據傳輸到DM3730的ISP模塊進行處理,主要通過ioctl()命令來獲取并配置視頻采集參數,如申請緩沖區(qū)、設置視頻采集參數等。循環(huán)采集圖像時,read和write由于直接將大量數據從內核空間復制到用戶空間,耗內存并且效率低下[7],本文采用內存映射的方式,直接申請緩沖區(qū)并對其操作,效率有很大提高,不會出現卡機現象。OV2715視頻采集程序流程圖如圖5所示。
4.2 OV2715驅動測試結果
為了測試的靈活性,本文采用動態(tài)加載模塊的方式;將編譯好的OV2715驅動模塊ov2715.ko拷貝到DM3730開發(fā)板中,使用insmod命令將驅動加載到內核:程序執(zhí)行過程中打印出芯片PID、寄存器設置和時鐘頻率信息均與真實值一致,最終注冊成功后在dev目錄下創(chuàng)建Video0設備文件節(jié)點。調試信息如圖6所示。
無人機基站勘測攝像機實物圖如圖7所示。
測試程序調用本文實現的V4L2的相關API接口進行采集,采用mmap的方式,每次采集200幀圖像,捕捉到的視頻為YUV格式,使用YUV Player軟件播放所采集到的視頻文件。OV2715驅動方案經過實際測試,采集到的視頻輸出效果如圖8所示。
5 結 語
本文采用模塊化的方法基于DM3730平臺對OV2715驅動進行了實現,同時,對Linux下I2C設備驅動體系和V4L2驅動體系進行詳細的闡述,提出兩者實現的一般方法;該驅動結構層次清晰,對Linux系統(tǒng)中其他視頻采集芯片驅動編寫具有很強的參考價值;集成OV2715作為采集前端的無人機基站勘測系統(tǒng)在基站勘察領域中具有廣闊的市場前景。
參考文獻
[1] 于海彬,張雪,陳興林.基于Linux的TW2835的驅動程序設計與實現[J].計算機工程與設計,2013(9):3068?3073.
[2] Omni Vision Technologies, Inc. OV2715 product specification, version 2.03 [S]. [S.l.]: Omni Vision Technologies, Inc, 2011.
[3] Texas Instruments. AM/DM37x multimedia device technical reference manual 1.0 [S]. USA: Texas Instruments, 2012.
[4] CORBET Jonathan,KROAH?HARTMAN Greg,RUBINI Alessandro.Linux設備驅動程序[M].北京:中國電力出版社,2006.
[5] 劉升,趙晶晶,范秀麗.基于V4L2的嵌入式視頻監(jiān)控系統(tǒng)[J].網絡新媒體技術,2011,32(1):37?42.
[6] 郝俊,孟傳良.基于V4L2的ARM11 USB視頻采集終端的設計與實現[J].貴州大學學報(自然科學版),2011(4):74?78.
[7] 張輝,李新華,劉波,等.基于V4L2視頻采集緩存機制應用與實現[J].現代電子技術,2010,33(20):54?56.