羅俊 韓輝 徐奎 劉石橋 李小輝 景應(yīng)剛

一、引言

在核電廠大修期間，參與工作人員數(shù)量超過千人，涉及的專業(yè)眾多，而且人員之間、團(tuán)隊(duì)之間的協(xié)作關(guān)系復(fù)雜，核電廠的廠區(qū)面積大，各個區(qū)域的通信許可管控嚴(yán)格，導(dǎo)致傳統(tǒng)的面對面交流方式變得困難重重，不可避免地帶來了溝通、效率、成本浪費(fèi)等問題。核電大修需要更加高效、便捷的溝通方式。

為了提高核電廠相關(guān)設(shè)備維修的溝通和工作效率，基于維修現(xiàn)場已搭建的無線傳輸網(wǎng)絡(luò)，移動終端、觸摸式顯示屏或臺式工作站等設(shè)備，面向核電大修溝通、對現(xiàn)場進(jìn)行遠(yuǎn)程可視化技術(shù)支持，開發(fā)一套多方視頻會議通訊網(wǎng)絡(luò)系統(tǒng)與辦公協(xié)作軟件迫在眉睫。

為此，本文設(shè)計(jì)實(shí)現(xiàn)一套遠(yuǎn)程專家支持系統(tǒng)，目標(biāo)是在核電廠智能維修系統(tǒng)中建設(shè)遠(yuǎn)程專家支持應(yīng)用，實(shí)現(xiàn)廠內(nèi)大修指揮中心的大修協(xié)調(diào)人員或廠外專家與檢修現(xiàn)場的視頻通訊，通過共享實(shí)時檢修畫面、檢修記錄數(shù)據(jù)和相關(guān)技術(shù)資料，多方專家可實(shí)現(xiàn)遠(yuǎn)程快速維修決策。并提供檢修方案，解決大修過程中產(chǎn)生的異常或復(fù)雜問題，有效控制大修周期和保證大修質(zhì)量。具體來說，系統(tǒng)功能劃分為四大模塊，分別是遠(yuǎn)程支持、遠(yuǎn)程見證、遠(yuǎn)程會議和后臺管理。其中，遠(yuǎn)程支持模塊提供核電廠工作人員在現(xiàn)場遇到的問題，或需要請求相關(guān)領(lǐng)域?qū)I(yè)人士進(jìn)行支持時的問題解決功能，廠內(nèi)工作人員發(fā)起遠(yuǎn)程專家支持流程，被邀請或請求的專家在遠(yuǎn)程或核電廠集中場所進(jìn)行應(yīng)答和響應(yīng)。遠(yuǎn)程見證模塊主要提供質(zhì)量控制功能，包括人員遠(yuǎn)程出席見證活動的質(zhì)量見證平臺及電子簽字確認(rèn)等功能。遠(yuǎn)程會議模塊提供遠(yuǎn)程會議相關(guān)功能，主要包括通過手持終端、PC或會議室召開會議，提供實(shí)時音視頻通話、會議室管理、遠(yuǎn)程監(jiān)控視頻接入、會議歷史管理等功能。

二、系統(tǒng)總體設(shè)計(jì)

遠(yuǎn)程專家支持系統(tǒng)采用B/S三層架構(gòu)體系，將整個業(yè)務(wù)劃分為數(shù)據(jù)訪問層、業(yè)務(wù)邏輯層和表現(xiàn)層。

三、關(guān)鍵算法設(shè)計(jì)

遠(yuǎn)程專家支持系統(tǒng)的技術(shù)關(guān)鍵是實(shí)時音視頻通信和傳輸，其中，傳輸視頻的幀率是影響所傳輸?shù)囊曨l流暢性的關(guān)鍵參數(shù)，也是客戶對遠(yuǎn)程視頻支持質(zhì)量判定的直觀體現(xiàn)。隨著高清多媒體技術(shù)的飛速發(fā)展，人們需要高幀率的視頻。在視頻傳輸過程中，發(fā)送端幀率受視頻采集和編碼器性能影響較大。攝像頭采集視頻數(shù)據(jù)傳輸?shù)骄幋a器，經(jīng)編碼器編碼后的實(shí)際輸入幀率并不等于攝像頭采集到的幀率，即若視頻采集圖片速度快，而編碼器編碼速度慢，則編碼器任務(wù)隊(duì)列中將累積多余的圖片幀，為滿足實(shí)時視頻會議的低時延要求，編碼器需要及時處理最新的幀，常見措施就是丟幀，即編碼器任務(wù)隊(duì)列中有多個視頻幀時，僅對最新一幀進(jìn)行編碼。該策略將降低發(fā)送端幀率，在實(shí)際應(yīng)用中導(dǎo)致接收端黑屏、卡頓等現(xiàn)象。實(shí)時視頻會議情況下，網(wǎng)絡(luò)狀況不佳將導(dǎo)致接收端丟幀。同時，與編碼類似，解碼也會導(dǎo)致丟幀。接收端的幀率減少直接影響視頻質(zhì)量。針對接收端提供良好的幀率提升策略，即在接收端針對接收到的原視頻幀序列，計(jì)算并插入一組新視頻幀，是十分重要的。傳統(tǒng)的幀率提升方法包括基于運(yùn)動估計(jì)和補(bǔ)償?shù)姆椒?，而光流算法以其良好的效果得到了學(xué)者們越來越多的關(guān)注。但光流算法多通過采用將雙向光流和附加網(wǎng)絡(luò)（如深度估計(jì)）相結(jié)合的方式來生成中間幀，難以應(yīng)用于實(shí)時視頻傳輸?shù)膱鼍啊?/p>

（一） 基本思想

為了解決上述問題，本文提出一種改進(jìn)的基于流的視頻幀率提升算法。該法以RIFE（Real-Time Intermediate Flow Estimation）方法為基礎(chǔ)，通過簡化中間光流估計(jì)模型，以達(dá)到更快的計(jì)算速度，從而滿足遠(yuǎn)程視頻會議的實(shí)時性要求。算法由光流估計(jì)和融合網(wǎng)絡(luò)兩部分構(gòu)成，其中，光流估計(jì)用于輸入圖像的中間光流估計(jì)，融合網(wǎng)絡(luò)則是一個類似U-Net的網(wǎng)絡(luò)結(jié)構(gòu)。經(jīng)后向變形操作后生成對應(yīng)幀的模糊中間光流，再通過融合網(wǎng)絡(luò)融合生成最終的結(jié)果。

（二） 算法流程

本文使用一種改進(jìn)的L-K（Lucas-Kanade）金字塔光流法進(jìn)行光流估計(jì)。Lucas-Kanade是由Bruce D. Lucas等人提出的一種兩幀差分光流估計(jì)方法，它假設(shè)光流在像素點(diǎn)的鄰域是一個常數(shù)，然后使用最小二乘法對鄰域中的所有像素點(diǎn)求解基本的光流方程。當(dāng)圖片中物體的運(yùn)動速度較快時會出現(xiàn)跨度較大的情況，此時算法會出現(xiàn)較大誤差。因此，在L-K方法基礎(chǔ)上加入圖像金字塔結(jié)構(gòu)，最底層為原始圖像，越往上圖像分辨率越小，上層金字塔中的一個像素可以代表下層金字塔中的兩個像素。算法流程包括如下步驟：

1. 金字塔的構(gòu)建

以原始圖像作為金字塔底層，逐層向上，不斷降低分辨率，生成上層的圖像，構(gòu)建圖像金字塔。

2. 基于金字塔的光流計(jì)算

從最上層開始，計(jì)算并使得每個點(diǎn)的鄰域內(nèi)匹配誤差和最小，以得到該層圖像中每個像素點(diǎn)的光流。同時，上一層的結(jié)果反饋到下一層作為輸入，繼續(xù)計(jì)算位移，重復(fù)該步驟，得到大致的圖像運(yùn)動稀疏光流。

3. 殘余光流計(jì)算

在整個金字塔迭代過程中，還需要對于每一層的殘余光流進(jìn)行計(jì)算，最終得到有效的光流估計(jì)。

四、系統(tǒng)實(shí)現(xiàn)

（一）系統(tǒng)開發(fā)環(huán)境

系統(tǒng)開發(fā)平臺的硬件配置為：CPU Corei5-8300H 2.30GHz，硬盤500G（SSD），內(nèi)存20GB。

系統(tǒng)實(shí)現(xiàn)所需相關(guān)軟件包括：操作系統(tǒng)Windows10，數(shù)據(jù)庫MySQL5.7 社區(qū)版，開發(fā)環(huán)境JDK8和Python3.8，開發(fā)框架為SpringBoot、Mybatis、Pytorch。

（二）數(shù)據(jù)說明

算法在Vimeo90K數(shù)據(jù)集上進(jìn)行訓(xùn)練，包含有分辨率為448 * 256分辨率的3000多組圖像，每組圖像為三元組，即包含3張連續(xù)幀。

（三）實(shí)驗(yàn)及結(jié)果分析

對系統(tǒng)執(zhí)行功能測試，并展開相關(guān)性能測試。

1. 系統(tǒng)響應(yīng)能力測試

測試系統(tǒng)對正常請求進(jìn)行及時響應(yīng)的能力。進(jìn)入系統(tǒng)首頁，通過模擬用戶登錄的情況，來查看系統(tǒng)響應(yīng)能力，測試結(jié)果表明整個登錄過程至進(jìn)入界面耗時為2.63秒。系統(tǒng)響應(yīng)登錄操作耗時為1.2秒，反映了本系統(tǒng)能夠在較快的時間內(nèi)響應(yīng)用戶的需求。

2. 幀率提升算法有效性測試

分別測試系統(tǒng)在不使用和使用幀率提升算法的情況下，視頻會議畫面的質(zhì)量。通過開啟多個會議窗口測試視頻通信結(jié)果，在不使用幀率提升算法的情況下，在網(wǎng)絡(luò)出現(xiàn)波動的情況下遠(yuǎn)程會議視頻會播放不流暢，出現(xiàn)了明顯的卡頓。使用幀率提升算法后，遠(yuǎn)程會議視頻能夠保持穩(wěn)定幀率播放，緩解了網(wǎng)絡(luò)波動造成的視頻卡頓，為與會人員提供了更好的觀感。

五、結(jié)語

遠(yuǎn)程專家支持系統(tǒng)開發(fā)完成后，經(jīng)測試后上線運(yùn)行，經(jīng)一個月的觀察，運(yùn)行穩(wěn)定。使用視頻幀率提升算法后有效提高了視頻會議時畫面的流暢度，對關(guān)鍵場景與見證畫面的展示提供了更好的支持。該系統(tǒng)的投入使用，大大節(jié)省了人力成本，有效解決了現(xiàn)場維修的技術(shù)支持問題，提高了質(zhì)量控制等多方面的企業(yè)工作效率。

作者單位：羅俊 中國核能電力股份有限公司

韓輝、李小輝 江蘇核電有限公司

徐奎、劉石橋、景應(yīng)剛 中核武漢核電運(yùn)行技術(shù)股份有限公司