馮九龍 楊海濤 欒曉鵬 馬營(yíng)營(yíng) 馮薈璇

摘 ?要：隨著5G和智能視頻技術(shù)的快速發(fā)展，國(guó)內(nèi)流媒體技術(shù)取得了突飛猛進(jìn)的發(fā)展，應(yīng)用接入規(guī)模不斷擴(kuò)大，涌現(xiàn)了大量的平臺(tái)服務(wù)商。然而，現(xiàn)實(shí)的智慧化建設(shè)方面，面臨多視頻接入、多協(xié)議、多應(yīng)用融合的問(wèn)題。為此，文章通過(guò)研究流媒體技術(shù)的價(jià)值，闡述多視頻融合的方法。通過(guò)對(duì)智慧建造項(xiàng)目建設(shè)思路的思考，從視頻遠(yuǎn)程現(xiàn)場(chǎng)指揮調(diào)度的需求角度出發(fā)，探索流媒體技術(shù)的應(yīng)用場(chǎng)景與未來(lái)展望。在這樣的產(chǎn)業(yè)背景下，基于多樣性接入、融合互聯(lián)互通的應(yīng)用的價(jià)值顯得尤為重要。

關(guān)鍵詞：5G;Rtmp;多視頻;流媒體

中圖分類號(hào)：TN929.5 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）05-0060-05

Exploration and Research on Streaming Media Application Based on 5G Multi-Video Fusion

FENG Jiulong， YANG Haitao， LUAN Xiaopeng， MA Yingying， FENG Huixuan

（Beijing Telecom Planning & Designing Institute Co.，Ltd.， Beijing ?100048， China）

Abstract： With the rapid development of 5G and smart video technology， domestic streaming media technology has developed rapidly， the scale of application access has continued to expand， and a large number of platform service providers have emerged. However， in terms of practical intelligent construction， it is faced with the problems of multi video access， multi protocol and multi application integration. Therefore， this paper expounds the method of multi-video integration by studying the value of streaming media technology. Through thinking about the construction idea of smart construction project， this paper explores the application scenario and future prospect of streaming media technology from the perspective of the demand of video remote on-site command and scheduling. In such industrial context， the value of applications based on diversity access， integration of interconnection is particularly critical.

Keywords： 5G; Rtmp; multi-video; streaming media

0 ?引 ?;言

5G的快速發(fā)展給我國(guó)的通信技術(shù)注入了新的活力，同時(shí)，通信技術(shù)與流媒體視頻技術(shù)存在著相互影響、相互促進(jìn)的關(guān)系。在網(wǎng)絡(luò)層面，5G為流媒體視頻應(yīng)用提供了有力的支撐，網(wǎng)絡(luò)通信的延時(shí)越低、帶寬越高，視頻的應(yīng)用領(lǐng)域就越具有多樣性（例如在智慧城市、智慧建造等領(lǐng)域，超高清視頻都是關(guān)鍵應(yīng)用場(chǎng)景），而5G技術(shù)徹底改變了流媒體技術(shù)的通用性，視頻是一種應(yīng)用，表面上看，它似乎是為5G打造的，通過(guò)5G的傳輸能夠大幅增加帶寬并獲得極低的延遲，從而孕育出各類移動(dòng)應(yīng)用（如短視頻、視頻直播、城市慢直播等），依托傳輸優(yōu)勢(shì)助推各種技術(shù)與場(chǎng)景的深度融合，如人工智能AI分析、虛擬VR/AR、數(shù)字孿生、視頻識(shí)別等都呈現(xiàn)了新一代應(yīng)用生態(tài)。

本文基于智慧建造領(lǐng)域的典型場(chǎng)景，分析了5G通信技術(shù)在智慧建造平臺(tái)的接入方式，重點(diǎn)闡述流媒體平臺(tái)的典型價(jià)值及融合技術(shù)策略，并建立基于多終端、多協(xié)議的適配，融合典型視頻協(xié)議的應(yīng)用平臺(tái)設(shè)計(jì)，探索以視頻為基礎(chǔ)的人工智能分析、安全行為管理規(guī)范等，提供流媒體融合建議及應(yīng)用探索。

1 ?5G視頻應(yīng)用概述

1.1 ?5G視頻發(fā)展分析

近年來(lái)，智能建造及智慧工地迅猛發(fā)展，中國(guó)各部委也對(duì)建筑行業(yè)信息化建設(shè)提出了更高的要求。2018年12月，中央經(jīng)濟(jì)會(huì)議首次提出“新基建”這一概念，并明確了新基建三大發(fā)展方面，即信息通信基礎(chǔ)設(shè)施、融合基礎(chǔ)設(shè)施、創(chuàng)新基礎(chǔ)設(shè)施，新基建本質(zhì)上是信息數(shù)字化的基礎(chǔ)建設(shè)，而5G作為通信基礎(chǔ)設(shè)施的重要載體，不僅能從根本上改變移動(dòng)網(wǎng)絡(luò)的現(xiàn)狀，促進(jìn)數(shù)據(jù)要素的生產(chǎn)、流動(dòng)和利用，還更加便于各行各業(yè)的聯(lián)通協(xié)同、服務(wù)供給，帶動(dòng)形成5G相關(guān)產(chǎn)品和服務(wù)市場(chǎng)。近幾年，以視頻為中心的社交活動(dòng)、沉浸式娛樂(lè)、教育、以及許多其他影響消費(fèi)者的內(nèi)容都逐漸火熱起來(lái)，這使基于5G的實(shí)時(shí)視頻傳輸也成為商業(yè)生活中多種應(yīng)用的重要組成部分。隨著我國(guó)5G網(wǎng)絡(luò)建設(shè)進(jìn)入快車道及商業(yè)化的逐漸開(kāi)啟，5G成為促進(jìn)產(chǎn)業(yè)數(shù)字化升級(jí)、商業(yè)模式創(chuàng)新和經(jīng)濟(jì)社會(huì)轉(zhuǎn)型的重要?jiǎng)恿Α?/p>

圍繞智慧化建造場(chǎng)景的高清視頻、安全作業(yè)、施工行為等實(shí)時(shí)視頻發(fā)揮著重要價(jià)值，同時(shí)在助推創(chuàng)新應(yīng)用方面，基于流媒體技術(shù)的視頻直播，短視頻也使信息傳播的方式發(fā)生了巨大改變。5G“萬(wàn)物智聯(lián)”的到來(lái)使直播、視頻在內(nèi)容的制作、輸出、分發(fā)等環(huán)節(jié)步入新軌道。在5G的賦能下，直播、視頻結(jié)構(gòu)化、人工智能+視頻等誕生了更多的新模式、新玩法，5G+VR/AR/MR以及物聯(lián)網(wǎng)等新技術(shù)助力直播，視頻不再局限于4G下的二維觀感，視聽(tīng)的沉浸式體驗(yàn)、身臨其境的場(chǎng)景感將會(huì)加強(qiáng)，畫(huà)面的清晰度、延時(shí)性和互動(dòng)性等將會(huì)明顯改善，萬(wàn)物“視”聯(lián)將走進(jìn)現(xiàn)實(shí)，長(zhǎng)短視頻交織將成為主流的信息表達(dá)方式，真實(shí)世界與虛擬世界之間的界定會(huì)越來(lái)越模糊，社會(huì)化協(xié)同模式也將隨之發(fā)生改變。

5G與流媒體技術(shù)的結(jié)合，既能夠滿足人工智能視頻結(jié)構(gòu)化的發(fā)展需求，形成具有低時(shí)延、高可靠、廣覆蓋特點(diǎn)的關(guān)鍵網(wǎng)絡(luò)基礎(chǔ)設(shè)施，也將是新一代信息通信技術(shù)在視頻領(lǐng)域深度發(fā)展而形成的新興應(yīng)用模式，更會(huì)在此基礎(chǔ)上形成全新的應(yīng)用生態(tài)引領(lǐng)體系。

1.2 ?視頻應(yīng)用典型需求

目前，國(guó)內(nèi)視頻廠商及流媒體技術(shù)提供商的產(chǎn)品及技術(shù)特點(diǎn)、平臺(tái)提供商的接入?yún)f(xié)議各不相同，終端制造商需要為每款終端維護(hù)提供適用于不同平臺(tái)的軟件版本，造成了極大的資源浪費(fèi)，其次是多種視頻協(xié)議標(biāo)準(zhǔn)的出現(xiàn)，給視頻服務(wù)平臺(tái)與前后端視頻設(shè)備的互聯(lián)互通帶來(lái)麻煩。為了解決視頻終端采用不同視頻協(xié)議標(biāo)準(zhǔn)的平臺(tái)對(duì)接困難的問(wèn)題，構(gòu)建一個(gè)能夠同時(shí)兼容多種協(xié)議的視頻服務(wù)平臺(tái)，以確保不同格式高清視頻的流暢傳輸，而傳統(tǒng)單一的視頻平臺(tái)顯著影響用戶體驗(yàn)，隨之而來(lái)的輕量化、場(chǎng)景化視頻應(yīng)用及平臺(tái)的嵌入需求呈井噴式增長(zhǎng)。

隨著互聯(lián)網(wǎng)應(yīng)用需求的大量涌現(xiàn)，推動(dòng)了需求場(chǎng)景的拓寬：

（1）跨品牌接入需求。國(guó)內(nèi)各個(gè)廠商的高清監(jiān)控?cái)z像機(jī)ip camera，遵循監(jiān)控傳輸標(biāo)準(zhǔn)，一般只支持自有技術(shù)產(chǎn)業(yè)鏈的私有協(xié)議，無(wú)法滿足跨平臺(tái)、跨協(xié)議、跨品牌的業(yè)務(wù)需求及利舊需求，制約著視頻產(chǎn)品的覆蓋面。伴隨著商業(yè)應(yīng)用需求的擴(kuò)大（如各類球機(jī)、槍機(jī)、手機(jī)、PC、移動(dòng)攝像頭等終端類型的出現(xiàn)），單一的流媒體技術(shù)手段無(wú)法實(shí)現(xiàn)跨品牌應(yīng)用，無(wú)形中形成了行業(yè)壁壘，增加了建設(shè)成本，直接影響經(jīng)濟(jì)效益轉(zhuǎn)化率。

（2）多協(xié)議的流媒體技術(shù)。多品牌的接入伴隨著多協(xié)議的融合、流媒體技術(shù)能力的支持，如?？档腅home、宇視Onvif等流媒體廠商只支持私有協(xié)議的轉(zhuǎn)碼、解碼、推流等，雖然有國(guó)標(biāo)GB/28181的適配要求，但流媒體處理過(guò)程和接入方式較為復(fù)雜，形成了潛在的接入障礙，并且實(shí)時(shí)流質(zhì)量和畫(huà)質(zhì)嚴(yán)重受影響。而解決各供應(yīng)商的私有協(xié)議保護(hù)問(wèn)題，形成共性的流媒體融合平臺(tái)則是現(xiàn)實(shí)需求。

（3）基于人工智能的視頻媒介。視頻源的歸一融合是流媒體的技術(shù)趨勢(shì)，AI事件分析可有效完成對(duì)視頻源的動(dòng)態(tài)分割、分類、分析，視頻融合可有效針對(duì)事件、行為、環(huán)境進(jìn)行實(shí)時(shí)分析，無(wú)須重復(fù)性的模塊化AI加載，提升技術(shù)棧和中臺(tái)向大型業(yè)務(wù)系統(tǒng)延伸擴(kuò)展的創(chuàng)新應(yīng)用需求。

（4）輕量化的開(kāi)放應(yīng)用能力。高清視頻的應(yīng)用應(yīng)該是輕量化的，隨著業(yè)務(wù)發(fā)展，可形成互動(dòng)的引用機(jī)制，與對(duì)外業(yè)務(wù)系統(tǒng)的高度集成，可在視頻媒介的基礎(chǔ)上孵化出各類輕型應(yīng)用（如實(shí)時(shí)打賞、鼓勵(lì)點(diǎn)贊、視頻追蹤、LBS聯(lián)動(dòng)等），例如對(duì)視頻的調(diào)度可采用API的鏈接方式，建立無(wú)限制的視頻業(yè)務(wù)引用，形成開(kāi)放式的嵌入能力，擴(kuò)大視頻生態(tài)的業(yè)務(wù)延伸能力。

2 ?流媒體技術(shù)的典型價(jià)值

2.1 ?提升智慧建造安全管理

安全是智慧建造領(lǐng)域的首要關(guān)注對(duì)象，建造領(lǐng)域涉及工地、工廠等相對(duì)復(fù)雜的場(chǎng)所，基于視頻監(jiān)控的安全監(jiān)管是通用做法，但涉及跨區(qū)域、跨城市、跨平臺(tái)的視頻+圖像、視頻+文字、視頻+地圖的多模態(tài)聯(lián)動(dòng)，融合流媒體平臺(tái)是很好的解決方案，可針對(duì)建造施工領(lǐng)域的安全問(wèn)題建立動(dòng)態(tài)發(fā)現(xiàn)機(jī)制，基于多維度的視頻機(jī)制發(fā)揮流媒體的融合處理能力，提升智慧化的全周期管理。

2.2 ?助推前沿技術(shù)的創(chuàng)新生態(tài)應(yīng)用

流媒體的發(fā)展撼動(dòng)了傳統(tǒng)廣播電視的根基，碎片化時(shí)間利用和內(nèi)容整合都迎來(lái)了直接面向消費(fèi)者的流媒體新時(shí)代。人們對(duì)視頻隨時(shí)隨地可看、可控、可互動(dòng)、可調(diào)度指揮、可智能預(yù)警、可智能檢索回溯的訴求越來(lái)越高，尤其是移動(dòng)視頻應(yīng)用技術(shù)和智能語(yǔ)音技術(shù)的普及和發(fā)展，使得視頻智能分析和語(yǔ)音智能理解支持的需求在各行各業(yè)越來(lái)越受到青睞和重視。尤其是移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、深度學(xué)習(xí)、智能分析、云端組網(wǎng)等方面的融合技術(shù)，完全能夠滿足新形勢(shì)下各種行業(yè)終端智能化的需要。

3 ?關(guān)鍵技術(shù)分析

3.1 ?流媒體技術(shù)基本概念

所謂流媒體是指采用流式傳輸?shù)姆绞皆贗nternet上播放的媒體格式，流媒體又叫流式媒體，是指項(xiàng)目現(xiàn)場(chǎng)用一個(gè)視頻傳送服務(wù)器把節(jié)目當(dāng)成數(shù)據(jù)包傳送到網(wǎng)絡(luò)上，用戶通過(guò)解壓設(shè)備對(duì)這些數(shù)據(jù)進(jìn)行解壓后，節(jié)目就會(huì)像發(fā)送前那樣顯示出來(lái)，流媒體以流的方式在網(wǎng)絡(luò)中傳輸音頻、視頻和多媒體文件（由服務(wù)器向用戶計(jì)算機(jī)連續(xù)、實(shí)時(shí)傳送）。在采用流式傳輸方式的系統(tǒng)中，用戶不必像非流式播放那樣等到整個(gè)文件全部下載完畢后才能看到其中的內(nèi)容，而是只需要經(jīng)過(guò)幾秒或幾十秒的啟動(dòng)延時(shí)即可在用戶計(jì)算機(jī)上利用相應(yīng)的播放器對(duì)壓縮的視頻或音頻等流式媒體文件進(jìn)行播放，剩余的部分將繼續(xù)進(jìn)行下載，直至播放完畢。

針對(duì)智慧建造場(chǎng)景的視頻源我們采用5G接入，通過(guò)搭配MEC邊緣計(jì)算的能力進(jìn)行部署，結(jié)合CDN的終端內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)，實(shí)現(xiàn)流媒體服務(wù)中臺(tái)進(jìn)行轉(zhuǎn)碼、解碼、拉流，完成視頻畫(huà)面的獲取，形成（5G）端+（MEC）邊+（CDN）云一體化解決方案，以保障流媒體的實(shí)時(shí)性。

3.2 ?多視頻融合的流媒體關(guān)鍵要點(diǎn)

多視頻是指多個(gè)設(shè)備品牌、多種視頻協(xié)議、多類接入手段的統(tǒng)稱，通過(guò)兼容多樣性的設(shè)備，打造流媒體處理、轉(zhuǎn)碼、推流，實(shí)現(xiàn)融合的流媒體中臺(tái)能力，形成開(kāi)放性的應(yīng)用平臺(tái)。

多視頻主要以多源視頻的融合為基礎(chǔ)，通過(guò)多協(xié)議的傳輸中臺(tái)能力以及多樣性的用戶終端，形成端到端的流媒體處理場(chǎng)景，主要體現(xiàn)在以下幾個(gè)方面：

（1）多視頻融合方式。視頻源接入模塊首先將不同廠家的前端設(shè)備接入進(jìn)來(lái)，對(duì)于支持互聯(lián)網(wǎng)接入的采集設(shè)備，我們利用標(biāo)準(zhǔn)的流媒體協(xié)議接口，實(shí)現(xiàn)視頻和音頻數(shù)據(jù)的傳輸;對(duì)于不支持Rtsp/Rtmp的采集設(shè)備，我們利用SDK進(jìn)行接入或私有協(xié)議轉(zhuǎn)化，將采集到的高清視頻信號(hào)解碼后再重新編碼，在滿足用戶需求的同時(shí)降低對(duì)網(wǎng)絡(luò)帶寬的消耗，同時(shí)將轉(zhuǎn)碼后的視頻流推送給流媒體服務(wù)器分發(fā)出去。

以?？礗SC平臺(tái)為例，接入?？礗SC平臺(tái)，兼容EHOME協(xié)議，通過(guò)SDK的集成對(duì)接以及視頻轉(zhuǎn)碼，將視頻推送至云流媒體平臺(tái)，流媒體平臺(tái)形成解碼、通過(guò)CDN下發(fā)，由云平臺(tái)支撐兼容的可視化平臺(tái)，根據(jù)項(xiàng)目類型及項(xiàng)目精細(xì)化要求進(jìn)行排列組合展示，以達(dá)到協(xié)議融合、終端融合。

（2）多協(xié)議傳輸方式。多視頻可實(shí)現(xiàn)的跨品牌是指基于協(xié)議融合通過(guò)流媒體轉(zhuǎn)碼達(dá)到一致，解決了協(xié)議一致（即可完成跨品牌的接入），通過(guò)多協(xié)議可不斷補(bǔ)充視頻源的接入層，如圖1所示。不限于球機(jī)、槍機(jī)、移動(dòng)視頻源、PC攝像頭、手機(jī)端等實(shí)現(xiàn)視頻的多源，建立多源后的業(yè)務(wù)高度適配定制化，提升業(yè)務(wù)延伸的持續(xù)擴(kuò)展，助推項(xiàng)目的廣泛落地。

圖1 ?RTSP多協(xié)議流媒體

多視頻的傳輸涉及傳輸?shù)姆绞健⒂脩艚K端的兼容適配，將非私有協(xié)議進(jìn)行統(tǒng)一接入，流媒體通過(guò)RTSP實(shí)時(shí)控制協(xié)議進(jìn)行解碼、編碼、處理。

目前視頻發(fā)展的一大趨勢(shì)是低延遲，在流媒體技術(shù)編解碼方面，H.264相對(duì)比較完善，而PC等設(shè)備上則有硬件編解碼，除了編解碼，再往上如推流OBS、FFmpeg等則主要被集成在系統(tǒng)當(dāng)中，如果從PC端直接推流，則是采用OBS建立推流視頻源。

（3）多樣性終端實(shí)時(shí)視頻。為了解決多視頻的傳輸延時(shí)問(wèn)題，通過(guò)內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）技術(shù)，實(shí)現(xiàn)流媒體的下發(fā)，完成視頻接入、轉(zhuǎn)碼，下發(fā)推流的關(guān)鍵流程。形成HTTP協(xié)議的視頻畫(huà)面，根據(jù)終端用戶的類型（如蘋(píng)果終端采用FLV協(xié)議地址，普通計(jì)算機(jī)采用HTTP的瀏覽器）以及其他公共媒體進(jìn)行大屏幕的媒體流播放。對(duì)于其他互聯(lián)網(wǎng)形態(tài)的開(kāi)放應(yīng)用，采用RTSP及WEBRTC的技術(shù)協(xié)議進(jìn)行封裝集成，基于HTTP流媒體地址進(jìn)行分類兼容適配。

通過(guò)部署MEC邊緣計(jì)算的服務(wù)器網(wǎng)絡(luò)，引入主動(dòng)內(nèi)容管理、全局負(fù)載均衡和內(nèi)容緩存等技術(shù)，將用戶請(qǐng)求的流媒體內(nèi)容發(fā)布到距離用戶最近的網(wǎng)絡(luò)邊緣，解決由異步網(wǎng)絡(luò)、網(wǎng)絡(luò)延遲和抖動(dòng)導(dǎo)致的數(shù)據(jù)包錯(cuò)序問(wèn)題，將數(shù)據(jù)包先緩存在本地，防止緩存溢出，從而提高響應(yīng)速度，減輕骨干網(wǎng)絡(luò)的壓力。

通過(guò)MEC邊緣計(jì)算，實(shí)現(xiàn)低于5毫秒的延遲，邊緣計(jì)算使計(jì)算和數(shù)據(jù)存儲(chǔ)更接近用戶，將流媒體平臺(tái)服務(wù)部署在MEC，通過(guò)分散處理和相應(yīng)決策縮短響應(yīng)時(shí)間并節(jié)省帶寬，流媒體已經(jīng)為大量的應(yīng)用提供了十足的動(dòng)力。

MEC根據(jù)媒體流發(fā)送到多個(gè)接收服務(wù)端，客戶端可以就近訪問(wèn)服務(wù)器獲得較高質(zhì)量的媒體流，同時(shí)減少帶寬的使用。推流是指將直播內(nèi)容推送至服務(wù)器的過(guò)程;拉流是指服務(wù)器已有直播內(nèi)容，用指定地址進(jìn)行RTSP拉取的過(guò)程。至此，實(shí)現(xiàn)視頻推送、視頻獲取、視頻集成、視頻內(nèi)容分發(fā)播放、實(shí)現(xiàn)多視頻的云門戶全屏聯(lián)動(dòng)的智慧應(yīng)用平臺(tái)，同時(shí)根據(jù)傳輸協(xié)議的選擇（如RTMP、FLV、HLS及WebRTC），適配多樣性的觀看終端，達(dá)到最佳的視頻體驗(yàn)。

4 ?多視頻融合的應(yīng)用探索

基于5G多視頻接入的融合流媒體技術(shù)特性，依托多視頻接入、多場(chǎng)景的融合流媒體平臺(tái)，在搭載AI引擎的基礎(chǔ)上進(jìn)一步打造產(chǎn)品內(nèi)容生態(tài)。

在流媒體方面，5G將消除部署流媒體技術(shù)的障礙，以降低延遲、提高能力、擴(kuò)大應(yīng)用場(chǎng)景。5G將與邊緣計(jì)算在設(shè)備之間提供更優(yōu)越的創(chuàng)新模式、更簡(jiǎn)化的集成手段，利用邊緣服務(wù)分布提升傳輸?shù)捻憫?yīng)能力。

在流媒體技術(shù)處理能力和網(wǎng)絡(luò)技術(shù)的加持下，涌現(xiàn)了諸多新興應(yīng)用場(chǎng)景，以多視頻、跨場(chǎng)景、廣覆蓋為主要特點(diǎn)。

4.1 ?融合高清視頻

通過(guò)部署多臺(tái)高清攝像機(jī)、360度全景鏡頭、多個(gè)麥克風(fēng)，共同形成立體視頻感知，所拍攝的一切，用戶可以在視頻終端進(jìn)行24小時(shí)觀看，實(shí)現(xiàn)輕量化適配。

以4K進(jìn)行流式傳輸時(shí)，屏幕寬度大約有4 000個(gè)像素，這種超高清格式勝過(guò)1 080 p，而作為超高清的下一個(gè)發(fā)展階段，8K是4K分辨率的兩倍，通過(guò)不同視角的拍攝畫(huà)面，以搶球聯(lián)動(dòng)、視角完善、姿態(tài)補(bǔ)充的形式將多個(gè)畫(huà)面組合成一個(gè)整體畫(huà)面。如智慧建造的場(chǎng)景下，將各項(xiàng)目施工工地不同畫(huà)質(zhì)的高清視頻、4K超高清視頻，以及移動(dòng)端視頻和空中無(wú)人機(jī)拍攝的視頻充分融合，實(shí)現(xiàn)管理人員對(duì)施工現(xiàn)場(chǎng)的鳥(niǎo)瞰以及對(duì)主要位置的實(shí)時(shí)監(jiān)控，通過(guò)角度互補(bǔ)，實(shí)現(xiàn)流媒體技術(shù)在多個(gè)畫(huà)面的協(xié)議下的下發(fā)與推流處理，形成整套超高清視頻畫(huà)面，達(dá)到融合的技術(shù)與產(chǎn)品補(bǔ)位的效果，保證施工現(xiàn)場(chǎng)實(shí)時(shí)監(jiān)控畫(huà)面高清、流暢、無(wú)延遲傳輸至智慧建造指揮中心，如圖2所示。

圖2 ?融合高清視頻應(yīng)用 ?來(lái)源：大興項(xiàng)目現(xiàn)場(chǎng)

4.2 ?智慧融媒體

融媒體是指充分利用媒介載體，將存在共同點(diǎn)的廣播、電視、報(bào)紙等既有媒體，以及存在互補(bǔ)性的不同媒體，在人力、內(nèi)容、宣傳等方面進(jìn)行全面整合，實(shí)現(xiàn)資源通融、內(nèi)容兼融、宣傳互融、利益共融的新型媒體宣傳理念。

隨著5G等新興技術(shù)的快速發(fā)展，媒體邊界在未來(lái)的某一時(shí)刻將被徹底打破，融合將無(wú)處不在。文字、圖片、音頻、視頻之間無(wú)縫轉(zhuǎn)換，聲音一鍵轉(zhuǎn)文字，圖像和音頻一鍵轉(zhuǎn)視頻，長(zhǎng)視頻一鍵轉(zhuǎn)短視頻，看視頻時(shí)用文字發(fā)評(píng)論、刷彈幕，小說(shuō)看累了一鍵轉(zhuǎn)成聽(tīng)書(shū)，這種信息的無(wú)限融合、無(wú)邊界呈現(xiàn)，已經(jīng)成為媒體發(fā)展變化的大趨勢(shì)。

融媒體中的視頻，早已不是錄像或者膠片狀態(tài)下的視頻，而是數(shù)據(jù)流的視頻。各種信息元素中的視頻是最復(fù)雜的，可是通過(guò)數(shù)據(jù)化的處理，就可以把視頻無(wú)限細(xì)分、重組，便捷地呈現(xiàn)給用戶。電視臺(tái)在視頻化過(guò)程中最常見(jiàn)的做法是“拆條”，其實(shí)就是把傳統(tǒng)視頻內(nèi)容變成數(shù)據(jù)顆粒，變成視頻的數(shù)據(jù)流。視頻中的每一幀可以用作通過(guò)查找學(xué)習(xí)的嵌入空間中最近鄰居來(lái)檢索相似幀的查詢，嵌入功能足以區(qū)分看起來(lái)非常相似的幀。一旦視頻內(nèi)容變成視頻數(shù)據(jù)流，平臺(tái)就可以通過(guò)算法來(lái)進(jìn)行定向推薦和流量分配，大大縮短了視頻信息傳播轉(zhuǎn)換路徑，如圖3所示。

圖3 ?智慧融媒體（基于視頻標(biāo)簽提?。?/p>

能否成為平臺(tái)的關(guān)鍵在于能不能把傳統(tǒng)的視頻轉(zhuǎn)變?yōu)橐曨l數(shù)據(jù)流，從底層徹底打通數(shù)據(jù)系統(tǒng)，構(gòu)建視頻化的數(shù)據(jù)平臺(tái)，讓視頻內(nèi)容在平臺(tái)上順暢流動(dòng)。AI智能拆條、智能標(biāo)簽系統(tǒng)，這些還只是從視頻節(jié)目向視頻數(shù)據(jù)流轉(zhuǎn)變的第一步，而在視頻數(shù)據(jù)流基礎(chǔ)上構(gòu)建平臺(tái)，滿足用戶的無(wú)限需求，可實(shí)現(xiàn)精準(zhǔn)了解用戶的目的。

4.3 ?城市直播

如新冠疫情期間的直播造樓，城市全景直播、中國(guó)聯(lián)通的直播珠峰都是通過(guò)部署實(shí)時(shí)高清攝像頭，實(shí)現(xiàn)現(xiàn)場(chǎng)同步采集、跟蹤、發(fā)布視頻的案例，形態(tài)豐富、信息多元，能夠承載更為豐富的視頻內(nèi)容，使視頻去中心化，讓任何人都可以實(shí)時(shí)觀看操作內(nèi)容，實(shí)現(xiàn)指導(dǎo)及監(jiān)督目的，這些都是通過(guò)視頻融合的方式實(shí)現(xiàn)的，在形成多個(gè)視頻群以后，多視頻就發(fā)揮著巨大的集成價(jià)值，建立了立體、多角度的視頻直播，以使用戶獲得多維度、全周期的實(shí)時(shí)觀看體驗(yàn)。

在城市慢直播的場(chǎng)景下，越來(lái)越多的流媒體技術(shù)正朝著提供實(shí)時(shí)視頻和用戶分析的視頻直播模式邁進(jìn)，將數(shù)據(jù)用作最終的用戶畫(huà)像行為進(jìn)行分析和處理，借助流媒體視頻，內(nèi)容分發(fā)者可以通過(guò)手動(dòng)操作和相關(guān)功能來(lái)分析、預(yù)測(cè)和建立平安城市。

4.4 ?互動(dòng)直播

互動(dòng)直播連麥功能支持全平臺(tái)多方音視頻連麥，用戶隨時(shí)可以通過(guò)不同設(shè)備、不同平臺(tái)建立視頻直播。近年來(lái)，互聯(lián)網(wǎng)直播和連麥的應(yīng)用場(chǎng)景是熱門，通過(guò)建立切屏、分屏及PC端與手機(jī)端同步直播機(jī)制，形成多場(chǎng)景聯(lián)動(dòng)形態(tài)，如圖4所示，通過(guò)CDN網(wǎng)絡(luò)將內(nèi)容分發(fā)給許多觀眾，采用適配的H5播放器，通過(guò)RTC與WebRtc的交叉功能來(lái)實(shí)現(xiàn)互動(dòng)直播的音視頻實(shí)時(shí)效果。

圖4 ?互動(dòng)直播（多場(chǎng)景聯(lián)動(dòng)）

4.5 ?人工智能識(shí)別

人工智能在安全領(lǐng)域的應(yīng)用最為廣泛，AI可提供更為有效的方式來(lái)編碼、分發(fā)和管理流媒體的多源數(shù)據(jù)，然后通過(guò)計(jì)算機(jī)視覺(jué)或機(jī)器來(lái)識(shí)別對(duì)象，如圖5所示，在獲得自動(dòng)執(zhí)行能力以前需要借助人類視覺(jué)系統(tǒng)執(zhí)行任務(wù)的能力，這對(duì)內(nèi)容檢索來(lái)說(shuō)非常關(guān)鍵，建立多形態(tài)的識(shí)別規(guī)范。

圖5 ?人工智能識(shí)別（識(shí)別分類）

通過(guò)移動(dòng)視頻和固定視頻機(jī)位，從多視頻角度建立行為、操作、標(biāo)準(zhǔn)的立體建模數(shù)據(jù)，不斷完善視頻庫(kù)數(shù)據(jù)規(guī)范，形成AI識(shí)別和分析流媒體內(nèi)容并自動(dòng)提取元數(shù)據(jù)，通過(guò)先驗(yàn)概率分析，幫助企業(yè)或管理部門更有效地監(jiān)管危險(xiǎn)和標(biāo)記非法內(nèi)容，如圖6所示。

圖6 ?人工智能識(shí)別（先驗(yàn)概率）

在5G高清視頻傳輸?shù)幕A(chǔ)上，通過(guò)系統(tǒng)搭載的AI智能識(shí)別模塊，可以實(shí)現(xiàn)對(duì)工地視頻的實(shí)時(shí)分析，對(duì)施工現(xiàn)場(chǎng)的不安全行為及時(shí)預(yù)警，通過(guò)標(biāo)準(zhǔn)化多形態(tài)訓(xùn)練庫(kù)，實(shí)現(xiàn)訓(xùn)練施工現(xiàn)場(chǎng)的AI算法，通過(guò)AI可有效指導(dǎo)施工現(xiàn)場(chǎng)安全操作、規(guī)范化作業(yè)，約束傳統(tǒng)的工人日常安全行為管理，防范火災(zāi)等意外發(fā)生。將5G傳輸、視頻及AI功能進(jìn)行整合，AI分析展示系統(tǒng)將基于AI識(shí)別抓拍能力和抓拍數(shù)據(jù)為項(xiàng)目安全管理、質(zhì)量管理提供智能實(shí)時(shí)報(bào)警、統(tǒng)計(jì)分析與展示功能。

4.6 ?互聯(lián)網(wǎng)廣告

在流媒體視頻廣告的世界里，內(nèi)容相關(guān)性至關(guān)重要，視頻的互動(dòng)性也將成為焦點(diǎn)。視頻的處理可以由具有多樣性的終端來(lái)收集數(shù)據(jù)，通過(guò)多元化的創(chuàng)新形式和娛樂(lè)化視頻內(nèi)容可以提高用戶的參與度，比如觀眾可以在選擇自己的體驗(yàn)經(jīng)歷或選擇產(chǎn)品之間進(jìn)行切換，通過(guò)視頻的面部識(shí)別可以啟用針對(duì)每個(gè)路人的個(gè)性化廣告。

5 ?結(jié) ?論

視頻的最大優(yōu)勢(shì)是不受時(shí)間和地域的限制，能夠高效地完成多媒體信息傳播，為視頻用戶提供一個(gè)交互式、廣視角、全方位的交流空間，獲得等同于或高于現(xiàn)實(shí)情境下的溝通效果。實(shí)時(shí)視頻點(diǎn)播、實(shí)時(shí)網(wǎng)絡(luò)對(duì)話、遠(yuǎn)程監(jiān)管和教學(xué)等，這些是流媒體技術(shù)的常見(jiàn)應(yīng)用，從技術(shù)層面來(lái)講，流媒體是多媒體與網(wǎng)絡(luò)通信的結(jié)合，是網(wǎng)絡(luò)與媒體通信業(yè)發(fā)展的結(jié)晶，符合人們對(duì)高品質(zhì)、快節(jié)奏生活的迫切追求，在驗(yàn)證了技術(shù)的可行性后，流媒體行業(yè)的應(yīng)用前景將十分廣闊。

隨著移動(dòng)通信網(wǎng)絡(luò)和移動(dòng)終端技術(shù)的發(fā)展，人們隨身攜帶的智能手機(jī)、筆記本電腦等成為集語(yǔ)音、文字、圖像為一體的信息平臺(tái)，即成為移動(dòng)媒體，也被譽(yù)為“第五媒體”。從中可以看出，流媒體將是未來(lái)互聯(lián)網(wǎng)的發(fā)展趨勢(shì)，視頻流將運(yùn)用于越來(lái)越多的場(chǎng)景中（如智能家居、智慧城市、教育、交通、安防等領(lǐng)域），構(gòu)建“5G+視頻+場(chǎng)景落地”商業(yè)模式、實(shí)現(xiàn)技術(shù)創(chuàng)新升級(jí)，成為未來(lái)創(chuàng)新應(yīng)用發(fā)展的重點(diǎn)。

參考文獻(xiàn)：

[1] 張璦涵，劉翔，石蘊(yùn)玉，等.基于深度學(xué)習(xí)的雙流程短視頻分類方法 [J/OL].計(jì)算機(jī)工程：1-8.[2022-02-07].DOI：10.19678/j.issn.1000-3428.0061913.https：//kns.cnki.net/kcms/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=JSJC20210908002&uniplatform=NZKPT&v=g9BjGJf5ZLVfjammXSrkEpYRNYIXSA5b0fQPGeJIg48EBT6lr_U3Z5EDLdjsxGD9.

[2] 蘇永紅.基于內(nèi)容分發(fā)網(wǎng)絡(luò)的實(shí)時(shí)流媒體直播系統(tǒng)設(shè)計(jì) [J].軟件工程，2021，24（12）：35-39.

[3] 劉浩，黃榮，袁浩東.面向上行流媒體的壓縮感知視頻流技術(shù)前沿 [J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（7）：1545-1557.

[4] 張遠(yuǎn).視頻會(huì)議系統(tǒng)中TCP/RTMP/WebSocket協(xié)議間轉(zhuǎn)換的研究與實(shí)現(xiàn) [D].廣州：華南理工大學(xué)，2016.

[5] 陳積銀，胡睿心，孫鶴立.用戶體驗(yàn)視角下人工智能視頻生產(chǎn)平臺(tái)使用效果研究 [J].新聞大學(xué)，2021（12）：92-107+124-125.

作者簡(jiǎn)介：馮九龍（1987.12—），男，漢族，湖北襄陽(yáng)人，工程師，學(xué)士，主要研究方向：5G+人工智能關(guān)鍵技術(shù)的創(chuàng)新產(chǎn)品應(yīng)用與研究;楊海濤（1975.12—），男，漢族，北京人，高級(jí)工程師，學(xué)士，主要研究方向：5G相關(guān)技術(shù)及行業(yè)典型應(yīng)用;欒曉鵬（1993.02—），男，漢族，北京人，工程師，碩士，主要研究方向：5G+視頻在建筑行業(yè)的應(yīng)用及解決方案;馬營(yíng)營(yíng)（1992.01—），女，漢族，河北保定人，工程師，碩士，主要研究方向：5G智能建造領(lǐng)域的應(yīng)用研究;馮薈璇（1993.01—），女，漢族，山東菏澤人，設(shè)計(jì)師，碩士，主要研究方向：大數(shù)據(jù)技術(shù)的行業(yè)應(yīng)用與研究。