張黎敏 劉虹君 韋勝鈺 蔡 佳
1.工業(yè)和信息化部電子第五研究所,廣東 廣州 510610 2.智能產(chǎn)品質(zhì)量評(píng)價(jià)與可靠性保障技術(shù)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室,廣東 廣州 510610
超高清視頻是具有4K(3 840×2 160 像素)或8K(7 680×4 320 像素)分辨率,在色深、色域、幀率、分辨率、三維聲和動(dòng)態(tài)范圍六大維度上實(shí)現(xiàn)突破的新一代視頻技術(shù)[1]。超高清視頻涉及攝錄編碼、內(nèi)容制作、網(wǎng)絡(luò)傳輸、終端呈現(xiàn)等多個(gè)環(huán)節(jié)[2],不僅能夠提供更精細(xì)的圖像細(xì)節(jié),推動(dòng)顯示、傳輸?shù)认嚓P(guān)行業(yè)的迭代更新,還在AI、5G、云計(jì)算等新一代信息技術(shù)的支持下,拓展了在廣播電視、安防應(yīng)急等領(lǐng)域的融合應(yīng)用。
為了扶持超高清視頻技術(shù)的發(fā)展和應(yīng)用,國(guó)家相繼發(fā)布了一系列政策法規(guī)?!冻咔逡曨l產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃(2019—2022 年)》明確提出要在安防監(jiān)控等領(lǐng)域?qū)崿F(xiàn)超高清視頻的規(guī)?;瘧?yīng)用;《中國(guó)安防行業(yè)“十四五”發(fā)展規(guī)劃(2021—2025 年)》提到要加快5G 等移動(dòng)通信技術(shù)的落地,為超高清攝像功能提供支持,并基于AI 技術(shù),推進(jìn)安防智能化深度應(yīng)用;《5G應(yīng)用“揚(yáng)帆”行動(dòng)計(jì)劃(2021—2023 年)》明確提出加快推進(jìn)5G 技術(shù)在超高清視頻監(jiān)控、智慧應(yīng)急終端等產(chǎn)品在城市安防、應(yīng)急管理方面的應(yīng)用,建設(shè)實(shí)時(shí)精準(zhǔn)的安防體系。超高清視頻、5G、AI 等技術(shù)和安防應(yīng)急協(xié)同發(fā)展,安防應(yīng)急將變得更清晰、更快速、更智能[3]。
2020 年超高清視頻行業(yè)應(yīng)用規(guī)模已超9 800 億元,其中安防監(jiān)控占比達(dá)19%。2021 年我國(guó)超高清視頻產(chǎn)業(yè)總規(guī)模達(dá)2.45 萬(wàn)億元,推動(dòng)超高清視頻+安防應(yīng)急融合應(yīng)用朝規(guī)?;较蚩焖侔l(fā)展。
安防應(yīng)急產(chǎn)業(yè)鏈可分為上游、中游和下游3 個(gè)部分。上游涉及算法、芯片和其他精細(xì)零部件,其中算法主要包括內(nèi)容識(shí)別、軌跡預(yù)測(cè)、圖像增強(qiáng)等AI 算法和視頻編解碼算法,芯片包括ISP、IPC SoC、DVR SoC、NVR SoC、GPU 等視頻管理芯片,零部件則涉及光學(xué)鏡頭、圖像傳感器和存儲(chǔ)器。中游包括智能安防應(yīng)急軟硬件、云服務(wù)、大數(shù)據(jù)處理和運(yùn)營(yíng)服務(wù),其中軟硬件主要包括超高清攝像機(jī)、存儲(chǔ)錄像、網(wǎng)絡(luò)傳輸?shù)仍O(shè)備,大數(shù)據(jù)處理包括數(shù)據(jù)挖掘和海量數(shù)據(jù)并行處理,運(yùn)營(yíng)服務(wù)根據(jù)用戶群的不同可分為針對(duì)家庭及中小企業(yè)的通信運(yùn)營(yíng)商,以及針對(duì)政府或大型企業(yè)會(huì)場(chǎng)的服務(wù)提供商。下游則是在城市、行業(yè)和家庭中的應(yīng)用,如智慧城市、智慧交通、智慧車站、智能家居等領(lǐng)域。
我國(guó)主要在經(jīng)濟(jì)較為發(fā)達(dá)的“珠三角”“長(zhǎng)三角”“環(huán)渤海”三大地區(qū)形成安防應(yīng)急產(chǎn)業(yè)聚集區(qū),其中,珠三角是以研發(fā)生產(chǎn)為主的中上游企業(yè)群;長(zhǎng)三角匯聚了安防應(yīng)急行業(yè)巨頭和高新技術(shù)企業(yè)群;環(huán)渤海集成了應(yīng)用、軟件及服務(wù)企業(yè),三大集群共占據(jù)我國(guó)安防產(chǎn)業(yè)2/3 以上的市場(chǎng)份額。
安防應(yīng)急行業(yè)正經(jīng)歷由“看得見”到“看得清”再到“看得懂”的飛躍,2021 年,中國(guó)安防行業(yè)總產(chǎn)值已超9 000 億元,隨著超高清視頻技術(shù)不斷深入安防監(jiān)控、應(yīng)急無(wú)人機(jī)和指揮車等領(lǐng)域,安防應(yīng)急行業(yè)“超高清時(shí)代”加速到來(lái)。2022 年8 月,工業(yè)和信息化部辦公廳、國(guó)家廣播電視總局辦公廳發(fā)布了《關(guān)于公布超高清視頻典型應(yīng)用案例名單的通知》,共104 項(xiàng)覆蓋六大領(lǐng)域的超高清視頻典型應(yīng)用案例入選,其中安防領(lǐng)域入選13 項(xiàng)。安防應(yīng)急行業(yè)正逐漸利用超高清視頻技術(shù)節(jié)省人力物力,賦能千行百業(yè),并在保障人民財(cái)產(chǎn)、生命安全等方面發(fā)揮越來(lái)越重要的作用。
超高清視頻依賴其高動(dòng)態(tài)范圍、大覆蓋范圍和高分辨率技術(shù),解決了安防應(yīng)急產(chǎn)業(yè)復(fù)雜環(huán)境下攝錄的關(guān)鍵信息丟失、大視角監(jiān)控難以滿足、監(jiān)控視頻事后分析耗時(shí)耗力等痛點(diǎn)問(wèn)題,提高了事前預(yù)警和事后應(yīng)急的處理效率,推動(dòng)了安防應(yīng)急產(chǎn)業(yè)的高質(zhì)量發(fā)展。
光線高反差場(chǎng)景在日常生活中極為常見,如陽(yáng)光下的陰影、夜晚明亮的燈光、車庫(kù)門打開時(shí)照進(jìn)的陽(yáng)光等。在這些場(chǎng)景中,攝像機(jī)感知和鑒別細(xì)節(jié)的能力取決于同時(shí)處理場(chǎng)景中高亮部和暗黑部的圖像處理能力。當(dāng)強(qiáng)光源(日光、燈具或反光等)照射下的高亮度區(qū)域及陰影、逆光等亮度較低的區(qū)域在圖像中同時(shí)存在時(shí),市面上絕大多數(shù)攝像機(jī)輸出的圖像會(huì)出現(xiàn)明亮區(qū)域因曝光過(guò)度成為白色而黑暗區(qū)域因曝光不足成為黑色的現(xiàn)象,導(dǎo)致拍攝的圖像質(zhì)量較差,嚴(yán)重影響信息的提取與分析。
標(biāo)準(zhǔn)動(dòng)態(tài)范圍技術(shù)和高動(dòng)態(tài)范圍技術(shù)[4]能夠分別呈現(xiàn)1 000 cd/m2和100 000 cd/m2的亮度顯示范圍,因此,憑借高動(dòng)態(tài)范圍技術(shù),超高清視頻能夠同時(shí)增強(qiáng)圖像對(duì)高亮部分和低照度部分的表現(xiàn)能力,拍攝的圖像也能夠具備更多、更豐富的亮度層次。在現(xiàn)實(shí)情況中,配備標(biāo)準(zhǔn)動(dòng)態(tài)范圍技術(shù)的安防攝像機(jī)拍攝到的圖像中人臉、肢體等部位會(huì)出現(xiàn)死黑,導(dǎo)致無(wú)法直接辨認(rèn)關(guān)鍵信息。而在配備了高動(dòng)態(tài)范圍技術(shù)的攝像機(jī)拍攝到的圖像中,夜間辦公大樓的室內(nèi)高亮部分不再因?yàn)槠毓膺^(guò)度而完全喪失影像細(xì)節(jié),人臉等低照度部分信息也得以保留。超高清視頻的高動(dòng)態(tài)范圍技術(shù)能夠清晰記錄光線高反差場(chǎng)景,避免關(guān)鍵信息的丟失,為后續(xù)智能算法處理或人工判斷記錄更全面的畫面信息。
大型會(huì)議活動(dòng)場(chǎng)館或者大流量場(chǎng)所均具備規(guī)模大、人員密集、組織工作煩瑣、持續(xù)時(shí)間長(zhǎng)、情況多變等特點(diǎn)[5],容易引起公共安全事件,需要可靠且穩(wěn)定的技術(shù)手段來(lái)確保活動(dòng)的順利開展?,F(xiàn)實(shí)中通常采取布置足量攝像機(jī)的做法,以實(shí)現(xiàn)場(chǎng)景全方位覆蓋。但多相機(jī)系統(tǒng)之間相互獨(dú)立,因此需要處理如遮擋、形變等共性難題,另外,多相機(jī)的維護(hù)成本也是居高不下。
超高清視頻同時(shí)具備高分辨率與大覆蓋范圍的特點(diǎn),在兼顧畫面細(xì)節(jié)的同時(shí),能夠解決大場(chǎng)景的監(jiān)控問(wèn)題。一臺(tái)4K 超高清攝像機(jī)與4 臺(tái)高清攝像機(jī)的視野覆蓋范圍相同。在廣州市黃埔區(qū)“透明舊改”施工現(xiàn)場(chǎng),部署的超高清攝像機(jī)能夠?qū)P(yáng)塵防控、施工安全及建筑施工質(zhì)量等現(xiàn)場(chǎng)情況進(jìn)行全面拍攝,并與具備大帶寬特性的5G 技術(shù)相結(jié)合[6],免除了多相機(jī)接線供電、布線傳輸?shù)葻┈嵅僮?,大大減少攝像機(jī)的布控?cái)?shù)量,實(shí)現(xiàn)錄制影像實(shí)時(shí)全天候不間斷傳輸,滿足超高清的實(shí)時(shí)監(jiān)控需求,有效防范施工風(fēng)險(xiǎn)。此外,結(jié)合搭載攝像機(jī)的移動(dòng)設(shè)備,如搭載相機(jī)的無(wú)人機(jī)、無(wú)人指揮車等,實(shí)現(xiàn)靈活布控現(xiàn)場(chǎng)的同時(shí),還能以廣闊觀察視野對(duì)目標(biāo)進(jìn)行全方位觀測(cè)跟蹤,豐富指揮調(diào)度手段,增強(qiáng)大型場(chǎng)所的應(yīng)急響應(yīng)能力。
執(zhí)法部門使用的大多是傳統(tǒng)的安防攝像機(jī),分辨率普遍為200 萬(wàn)~300 萬(wàn)像素,還受限于低動(dòng)態(tài)范圍、遮擋等因素影響,直觀展現(xiàn)的多是模糊、重要細(xì)節(jié)辨認(rèn)不清的畫面效果,工作人員直接獲取有用信息的難度較大,需要耗費(fèi)大量的時(shí)間和人力進(jìn)行圖像處理,導(dǎo)致相關(guān)部門難以開展下一步的行動(dòng)。
超高清視頻的分辨率可以達(dá)到800 萬(wàn)像素以上,在交通、車站場(chǎng)景中,4K 超高清攝像機(jī)拍攝的汽車車牌和品牌等信息清晰可見,闖紅燈、闖閘等違法行為也更易被識(shí)別記錄,而高清攝像機(jī)拍攝的有關(guān)車輛身份信息模糊、難以辨認(rèn)。此外,超高清攝像機(jī)能夠記錄行人的微小動(dòng)作、面部的細(xì)微特征、設(shè)備的微小動(dòng)態(tài)等細(xì)節(jié),為畫質(zhì)增強(qiáng)、目標(biāo)識(shí)別分類、有效數(shù)據(jù)提取挖掘等AI分析提供更為詳細(xì)的畫面信息[7],進(jìn)而實(shí)現(xiàn)可疑人員迅速跟蹤預(yù)警、安全事故高危場(chǎng)所監(jiān)測(cè)預(yù)警、森林火災(zāi)監(jiān)測(cè)等智能操作。在緊急情況發(fā)生時(shí),還可通過(guò)無(wú)人機(jī)、LED 拼接大屏等設(shè)備實(shí)時(shí)反饋的超高清畫面做出應(yīng)急反應(yīng),提高應(yīng)急效率。
雖然超高清視頻為安防應(yīng)急產(chǎn)業(yè)提供了高分辨率、高幀率的監(jiān)控視頻,但激增的視頻數(shù)據(jù)量對(duì)傳輸、存儲(chǔ)、算力、安全等方面提出了高要求。在這個(gè)“萬(wàn)物互聯(lián)”的智能時(shí)代,任何技術(shù)都無(wú)法單獨(dú)實(shí)現(xiàn)爆炸式發(fā)展,超高清視頻也不例外,需要視頻編解碼、5G、AI 算法等技術(shù)的支持和保障來(lái)實(shí)現(xiàn)超高清視頻在安防應(yīng)急產(chǎn)業(yè)中高質(zhì)量可持續(xù)發(fā)展。
(1)加速視頻編解碼算法的發(fā)展和應(yīng)用。4K 超高清視頻數(shù)據(jù)量已經(jīng)是高清視頻數(shù)據(jù)量的4 倍,錄制20 min 未經(jīng)壓縮的8K 超高清視頻需要的存儲(chǔ)空間更是高達(dá)4 TB[8],所以需要視頻編解碼技術(shù)來(lái)提高壓縮效率,同時(shí)也需要考慮可能出現(xiàn)的畫質(zhì)損傷及傳輸延遲。目前,面向安防應(yīng)急領(lǐng)域的視頻編解碼標(biāo)準(zhǔn)主要有國(guó)外的H.264、H.265、H.266,以及國(guó)內(nèi)的AVS、AVS2、AVS3 和SVAC 1.0、SVAC 2.0[9],3 種 標(biāo) 準(zhǔn)新版本的出現(xiàn)意味著壓縮效率的提升。由于國(guó)內(nèi)不同行業(yè)關(guān)注點(diǎn)不同,目前應(yīng)用較為成熟的是H.265、AVS2 及SVAC 1.0,隨著各編解碼設(shè)備的連通性與兼容性不斷優(yōu)化完善,更加適用于超高清視頻的H.266、AVS3、SVAC 2.0 將得到進(jìn)一步推廣。
(2)加強(qiáng)網(wǎng)絡(luò)傳輸建設(shè)。超高清視頻數(shù)據(jù)量的激增引發(fā)了傳輸難題,除了需要研發(fā)高效的視頻編解碼算法外,還需要大傳輸帶寬。現(xiàn)有的4G 技術(shù)難以承載超高清視頻的傳輸需求,需探索并發(fā)揮5G 的大帶寬、低延時(shí)、超可靠?jī)?yōu)勢(shì),實(shí)現(xiàn)從監(jiān)控畫面采集到顯示終端呈現(xiàn)全過(guò)程的穩(wěn)定快速傳輸。未來(lái),隨著信息技術(shù)的不斷突破,5G 及未來(lái)演進(jìn)的6G 技術(shù)將推動(dòng)安防應(yīng)急產(chǎn)業(yè)走向現(xiàn)實(shí)與虛擬的交互融合,近眼應(yīng)急顯示裝備、一體式安防應(yīng)急設(shè)備、數(shù)字孿生智慧交通等有望得到進(jìn)一步發(fā)展。
(3)加快AI 算法與云計(jì)算、大數(shù)據(jù)、邊緣計(jì)算等技術(shù)的融合應(yīng)用。超高清視頻使得本地的數(shù)據(jù)量和計(jì)算需求急劇增加,需要額外的技術(shù)來(lái)保障監(jiān)控視頻有效信息的提取與長(zhǎng)時(shí)間存儲(chǔ)。AI 算法具有視頻特征提取與內(nèi)容理解優(yōu)勢(shì),結(jié)合云計(jì)算和大數(shù)據(jù)技術(shù)可以實(shí)現(xiàn)數(shù)據(jù)匯聚,從而方便AI 算法對(duì)監(jiān)控視頻數(shù)據(jù)進(jìn)行學(xué)習(xí)、挖掘、訓(xùn)練和推理。此外,還可以考慮將AI 芯片內(nèi)置在超高清攝像機(jī)中,利用邊緣計(jì)算技術(shù)將算力前移,使得監(jiān)控?cái)z像機(jī)具備一定的分析識(shí)別能力,從而減少延遲和帶寬消耗,解放傳輸設(shè)施和云端的資源。
超高清視頻技術(shù)已應(yīng)用于安防應(yīng)急產(chǎn)業(yè)的視頻監(jiān)控、大型會(huì)場(chǎng)監(jiān)管、監(jiān)控信息分析等細(xì)分領(lǐng)域,使得夜間監(jiān)控畫面更清晰、監(jiān)控細(xì)節(jié)更豐富,大視角監(jiān)控更輕松實(shí)現(xiàn),監(jiān)控視頻智能分析價(jià)值更高。未來(lái),隨著超高清視頻和5G、AI 等新技術(shù)的進(jìn)一步融合,安防應(yīng)急產(chǎn)業(yè)將得到長(zhǎng)足發(fā)展。