張麗紅
(廈門視誠科技有限公司,福建 廈門 361101)
伴隨遠(yuǎn)程會(huì)議、在線教育、網(wǎng)絡(luò)直播等深入人們的日常工作、教育和生活之中,越來越多的場景對大規(guī)模實(shí)時(shí)音視頻技術(shù)提出更高要求。因此,需要強(qiáng)有力的視頻處理設(shè)備,對視頻進(jìn)行高效處理,尤其是對多路音視頻的實(shí)時(shí)處理。而mini設(shè)備就具備這一特點(diǎn)。
mini設(shè)備是一款用于直播的迷你信號切換器,圖1是mini視頻處理器的系統(tǒng)連接簡圖。mini設(shè)備自帶 TFT 屏幕可以實(shí)時(shí)預(yù)監(jiān)4路HDMI1.4輸入源,輸入源可以來自電腦、筆記本、攝像機(jī)、DVD等,輸入的模擬音頻可以鏈接話筒;mini設(shè)備有兩種輸出接口,分別是HDMI1.4和USB3.0,其中USB3.0輸出口可用于直播推流,整體輸出相當(dāng)于常規(guī)USB網(wǎng)絡(luò)攝像頭,可順利搭配視頻軟件來使用。mini設(shè)備支持音控臺的音視頻同步切換功能,可以靈活運(yùn)用在會(huì)議、小型化錄播、直播、小演藝廳等場景中。
圖1 min視頻處理器的系統(tǒng)連接簡圖
作為一個(gè)完整的音視頻處理系統(tǒng),mini設(shè)備不但具備音視頻信號的采集功能,更重要的是能對圖像和音頻進(jìn)行實(shí)時(shí)處理。mini設(shè)備選用XILINX公司的Artrix7系列XC7A200TFFG1156-1型號的FPGA芯片作為核心處理單元,硬件系統(tǒng)框圖如圖2所示。整機(jī)設(shè)備具有速度快、集成度高、功耗低、可靠性強(qiáng)、可測可驗(yàn)證等特點(diǎn)。
如圖2所示,1路模擬音頻經(jīng)過CS5340音頻A/D轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字音頻,再進(jìn)入FPGA主芯片;4路HDMI IN輸入源經(jīng)過IT6604解碼芯片后輸出RGB視頻流和IIS數(shù)字音頻,再并行進(jìn)入FPGA主芯片;MCU作為整個(gè)系統(tǒng)的主控制器,負(fù)責(zé)驅(qū)動(dòng)系統(tǒng)的外圍芯片,并通過SPI協(xié)議配置FPGA主芯片的各種參數(shù),如輸出視頻的行場時(shí)序,圖層的大小和位置等。mini設(shè)備提供了1路模擬音頻輸出口,芯片采用CS4344音頻D/A轉(zhuǎn)換器;1路TFT LCD屏幕接口,用于實(shí)時(shí)預(yù)監(jiān)4路HDMI IN輸入源;2路輸出端口分別是HDMI1.4和USB3.0,可以輸出多種不同分辨率的信號,時(shí)序部分嚴(yán)格遵守CEA-861標(biāo)準(zhǔn)[1]。
圖2 mini的硬件系統(tǒng)框圖
由mini的硬件系統(tǒng)框圖可知,F(xiàn)PGA芯片輸入端有4路TTL視頻流和5路數(shù)字音頻;輸出端有3路TTL視頻流和3路數(shù)字音頻;DDR3(Double Data Rate 3)作為輸入模塊與輸出模塊之間的視頻數(shù)據(jù)緩存器,F(xiàn)PGA芯片作為主控制器,采用硬件描述語言verilog[2]實(shí)現(xiàn)了整個(gè)設(shè)計(jì)的功能。
mini設(shè)備的FPGA設(shè)計(jì)流程圖如圖3所示,F(xiàn)PGA主芯片主要完成5路數(shù)字音頻切換輸出,包含音量調(diào)整和音柱顯示功能,及4路視頻信號無縫切換輸出,包含圖層縮放、圖層疊加、特效切換等功能。
圖3 FPGA設(shè)計(jì)流程圖
FPAG視頻處理方案如圖4所示,視頻處理[3]主要涉及到圖像縮小、放大[4]和疊加處理。LCD液晶屏[5]可以實(shí)時(shí)預(yù)監(jiān)4路HDMI 1.4輸入信號,4路視頻源縮小后田字拼接顯示,且每路信號都畫了邊框,綠色邊框是分界線,紅色邊框是主輸出正在顯示的畫面,黃色邊框是當(dāng)前正在編輯的畫面,每路信號都有OSD字幕,顯示輸入源的分辨率信息。
圖4 FPGA視頻處理方案
PST(PRESET)是預(yù)切畫面,PGM(PROGRAM)是主輸出畫面,即實(shí)際播放的畫面。PST和PGM之間可以做各種特效切換,PST和PGM都可以實(shí)現(xiàn)畫中畫輸出,可在任意設(shè)置進(jìn)行圖層縮放操作,可裁剪選取圖像的任意部分以供輸出,第2個(gè)圖層可以實(shí)現(xiàn)摳圖效果,主輸出畫面可以添加LOGO[6]。
PVW(PREVIEW)是預(yù)監(jiān)畫面,它由4路輸入源,和PST、PGM畫面組合成,可以對主輸出提前設(shè)置,看效果是否可以。PVW畫面上每個(gè)子圖層都有音柱,可以直觀顯示每路信號的音量大小。PVW畫面上的邊框和OSD字幕定義同LCD屏一致。
FPAG音頻處理方案如圖5所示,音頻標(biāo)準(zhǔn)采用IIS Philips標(biāo)準(zhǔn),音頻格式是將24位數(shù)據(jù)封裝在32位幀中,音頻處理主要涉及到音頻解碼、音頻編碼和音頻混音處理。音頻偵測模塊用于偵測是否有音頻輸入,選擇有音頻輸入的3個(gè)時(shí)鐘分別作為混音處理的主時(shí)鐘、串行時(shí)鐘和幀時(shí)鐘。
圖5 FPGA音頻處理方案
測試平臺的實(shí)物如圖6所示,4路HDMI輸入源的狀態(tài)可以通過TFT LCD屏實(shí)時(shí)監(jiān)看。板子通過USB3.0接口連接到電腦上,將視頻信號采集到電腦中,然后通過推流軟件將視頻流通過網(wǎng)絡(luò)直播出去,圖8是板子通過OSB推流軟件打開USB3.0正在播放的視頻源。從圖7和圖8可以看出紅色邊框信號源是PGM主輸出畫面,黃色邊框信號源是PST預(yù)切畫面。板子通過HDMI1.4輸出口連接到液晶顯示器上顯示,圖9是第4個(gè)信號源摳圖之后的PVW畫面效果。
圖6 測試平臺
圖7 USB3.0輸出的PVW畫面
圖8 HDMI1.4輸出的PVW畫面
基于FPGA的多路音視頻控制系統(tǒng)的實(shí)現(xiàn)是在充分的理論分析與市場需求基礎(chǔ)上做出的系統(tǒng)設(shè)計(jì),是一款小型現(xiàn)場制作切換臺,方便攜帶。測試結(jié)果表明,本系統(tǒng)工作穩(wěn)定可靠,可滿足于多路的高性能的實(shí)時(shí)圖像處理系統(tǒng)要求。此外,系統(tǒng)采用了FPGA設(shè)計(jì)方案,集成度高、設(shè)計(jì)靈活,可以根據(jù)客戶的要求進(jìn)行系統(tǒng)重構(gòu),方便快捷,具有較高的應(yīng)用價(jià)值。