張文韜，郭 穗，王本紅，邢本福，嚴(yán)玉明，徐長(zhǎng)明，譚佳文，黃鵬輝，李文馨

（1.中國(guó)長(zhǎng)江電力股份有限公司，湖北 宜昌 443000；2.北京中水科水電科技開發(fā)有限公司，北京 100038）

隨著視頻監(jiān)控在水力發(fā)電廠道路交通、廠內(nèi)安防、工業(yè)生產(chǎn)等領(lǐng)域的普及應(yīng)用[1]，視頻巡檢、全時(shí)空生產(chǎn)信息獲取等新興技術(shù)正與傳統(tǒng)水電生產(chǎn)運(yùn)營(yíng)深度結(jié)合，使得運(yùn)行維護(hù)人員無需親臨現(xiàn)場(chǎng)即可獲得第一手信息。在帶來一定便利的同時(shí)，海量的視頻監(jiān)控?cái)?shù)據(jù)也成為人工分析方式的噩夢(mèng)，由于運(yùn)維人員無法全天候監(jiān)視所有監(jiān)控場(chǎng)景，往往在異常狀況發(fā)生時(shí)無法做出快速響應(yīng)。計(jì)算機(jī)視覺是利用計(jì)算機(jī)獲取視覺傳感器數(shù)據(jù)，并以計(jì)算機(jī)圖形學(xué)、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)等算法對(duì)圖像或視頻進(jìn)行處理以挖掘高級(jí)語義信息，模擬人類視覺系統(tǒng)的一項(xiàng)技術(shù)。以24 h 不斷運(yùn)行的高性能服務(wù)器集群部署計(jì)算機(jī)視覺算法，用于實(shí)時(shí)處理水電廠視頻監(jiān)控?cái)?shù)據(jù)，挖掘重要信息，實(shí)現(xiàn)現(xiàn)場(chǎng)關(guān)鍵信息獲取、危險(xiǎn)工況預(yù)警及異常診斷報(bào)警，從而替代傳統(tǒng)的人員值守方式，是構(gòu)建新一代智能化電站、無人值守電站的重要基礎(chǔ)。本文就計(jì)算機(jī)視覺技術(shù)在水電廠的應(yīng)用及前景進(jìn)行了分析。

1 計(jì)算機(jī)視覺算法概述

計(jì)算機(jī)視覺[2]的起源最早可追溯至20 世紀(jì)60年代，隨著電子計(jì)算機(jī)的誕生及逐步成熟，工程師們利用其進(jìn)行簡(jiǎn)單的圖像處理與模式識(shí)別。經(jīng)過50余年的發(fā)展，計(jì)算機(jī)視覺已應(yīng)用于日常生活的方方面面，例如人臉識(shí)別、車牌識(shí)別、文字識(shí)別、自動(dòng)駕駛等。計(jì)算機(jī)視覺算法包含對(duì)圖像及視頻數(shù)據(jù)的預(yù)處理、特征提取、特征分類等流程，按照其算法類型分類，可以分為傳統(tǒng)算法和深度學(xué)習(xí)算法。

1.1 傳統(tǒng)算法

傳統(tǒng)算法往往利用人為設(shè)計(jì)的算法提取圖像的低級(jí)特征，例如顏色特征（灰度特征、二值圖等）、直方圖特征、集合特征、紋理特征（LBP、LBSP 等）、梯度特征（SOBEL、CANNY 算子等）和局部特征（SIFT、SURF 特征等），設(shè)定一定的閾值或使用機(jī)器學(xué)習(xí)方法（SVM、KNN 等）進(jìn)行圖像的分類、預(yù)測(cè)。本文以在視頻運(yùn)動(dòng)目標(biāo)檢測(cè)領(lǐng)域較為常見的傳統(tǒng)算法背景差分法為例進(jìn)行傳統(tǒng)算法原理簡(jiǎn)要介紹。

背景差分法通常包含背景模型建立、運(yùn)動(dòng)目標(biāo)檢測(cè)、背景模型更新3 個(gè)步驟，其流程如圖1 所示。背景模型建立，是使用視頻的首幀或者多幀圖像建立背景模型的過程。在背景建模完成后，將當(dāng)前幀視頻圖像與背景模型進(jìn)行對(duì)比，在同一像素灰度特征差距較大的像素被判定為運(yùn)動(dòng)像素，反之則為背景像素，輔以形態(tài)學(xué)處理、連通性分析及模板匹配計(jì)算，即可檢測(cè)運(yùn)動(dòng)目標(biāo)區(qū)域及運(yùn)動(dòng)目標(biāo)種類。在逐幀檢測(cè)過程中，背景模型需要以某種策略同步更新（通常是將當(dāng)前幀圖像的部分信息融入背景模型中），因?yàn)殡S著時(shí)間的變化，視頻的場(chǎng)景和光照環(huán)境會(huì)發(fā)生變化。背景差分法通過選擇圖像顏色特征并設(shè)定閾值檢測(cè)運(yùn)動(dòng)目標(biāo)，具有運(yùn)算效率高、識(shí)別效果較好的特點(diǎn)。

圖1 背景差分法流程圖

由于需要人工選取特征并進(jìn)行分類，傳統(tǒng)算法對(duì)于特征的選取、閾值的設(shè)置有較高要求，需要專家依靠實(shí)驗(yàn)經(jīng)驗(yàn)進(jìn)行設(shè)置。但是由于計(jì)算機(jī)視覺應(yīng)用場(chǎng)景的多樣性，傳統(tǒng)算法無法普及所有場(chǎng)景，并且在復(fù)雜場(chǎng)景上表現(xiàn)較差，所以其應(yīng)用較為有限。

1.2 深度學(xué)習(xí)算法

深度學(xué)習(xí)[3]是機(jī)器學(xué)習(xí)的一個(gè)子類別，在計(jì)算機(jī)視覺領(lǐng)域，多利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視覺任務(wù)處理。卷積神經(jīng)網(wǎng)絡(luò)使用結(jié)構(gòu)簡(jiǎn)單的卷積模塊在圖像上進(jìn)行滑動(dòng)計(jì)算提取特征，在多次卷積的累加下，低維度的特征會(huì)被轉(zhuǎn)化為復(fù)雜的高維特征，而這些高維特征無疑是更符合機(jī)器表達(dá)的，因此在計(jì)算機(jī)視覺任務(wù)中其相比人工提取的特征效果更好。

雖然目前已有大量深度卷積神經(jīng)網(wǎng)絡(luò)的研究，其網(wǎng)絡(luò)結(jié)構(gòu)不盡相同，但是如圖2 所示，其都包含卷積層、池化層、全連接層等基本層級(jí)結(jié)構(gòu)，需要使用激活函數(shù)來增加模型的非線性擬合能力，使用損失函數(shù)來進(jìn)行反向傳播，使用一定的訓(xùn)練優(yōu)化方法來進(jìn)行模型的訓(xùn)練。其中，卷積的公式為：

圖2 簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)模型

圖3 現(xiàn)有研究應(yīng)用場(chǎng)景

y（i，j）=f（W×x（i，j）+b）

式中y（i，j）表示卷積后的輸出特征圖的某個(gè)位置的值，x（i，j）表示輸入特征圖的某個(gè)位置的值，W表示卷積核的權(quán)重參數(shù)，b表示偏執(zhí)參數(shù)，f為激活函數(shù)。常見激活函數(shù)包含ReLU、Sigmoid 和Tanh，激活函數(shù)的公式為：

y=activation（x）

其中y表示激活后的輸出值，x表示輸入值，activation表示激活函數(shù)。深度卷積神經(jīng)網(wǎng)絡(luò)相比傳統(tǒng)算法具有強(qiáng)大的模型表達(dá)能力，但是需要大量的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，否則會(huì)產(chǎn)生過擬合、模型能力退化的問題。目前，一些通用領(lǐng)域例如交通、安防、醫(yī)療等因已構(gòu)建了大量的數(shù)據(jù)集，所以深度卷積神經(jīng)網(wǎng)絡(luò)用于這些領(lǐng)域較為成熟，但是在工控領(lǐng)域，由于應(yīng)用場(chǎng)景較多，缺乏圖像采集與標(biāo)注，深度卷積神經(jīng)網(wǎng)絡(luò)相關(guān)研究、推廣和應(yīng)用仍較為困難。

2 計(jì)算機(jī)視覺技術(shù)在水電廠應(yīng)用分析

2.1 現(xiàn)有研究

計(jì)算機(jī)視覺技術(shù)于水電廠的應(yīng)用尚處于起步階段，但部分領(lǐng)域與通用行業(yè)具有深度重疊性，故存在一定成熟的計(jì)算機(jī)視覺技術(shù)應(yīng)用。本文對(duì)此類應(yīng)用場(chǎng)景歸類為：

（1）智能安防：智能安防是視頻監(jiān)控發(fā)展的主要方向之一。我國(guó)具有大量學(xué)者研究人臉識(shí)別、目標(biāo)檢測(cè)、目標(biāo)追蹤、動(dòng)作識(shí)別等領(lǐng)域的計(jì)算機(jī)視覺算法，為智能安防積累了廣泛理論基礎(chǔ)。在前端硬件生產(chǎn)領(lǐng)域，一些智能攝像頭能夠集成部分算法，能直接用于入侵檢測(cè)、運(yùn)動(dòng)目標(biāo)檢測(cè)等場(chǎng)景。目前，水電廠視頻監(jiān)控已較為普及，基本實(shí)現(xiàn)了重點(diǎn)區(qū)域全覆蓋，起到了輔助安保人員監(jiān)視的作用。

（2）智能巡檢：利用監(jiān)控視頻進(jìn)行視頻巡檢已成為替代傳統(tǒng)人工巡檢的一種方式[4]。目前，有部分研究開始著手于智能巡檢，即進(jìn)一步優(yōu)化視頻巡檢方式，利用計(jì)算機(jī)處理視頻數(shù)據(jù)進(jìn)行危險(xiǎn)預(yù)警。現(xiàn)有智能巡檢研究相關(guān)應(yīng)用場(chǎng)景包括：電廠生產(chǎn)區(qū)域漏水（漏油）檢測(cè)、保護(hù)壓板狀態(tài)識(shí)別、斷路器狀態(tài)識(shí)別、儀表讀數(shù)識(shí)別、軸承損傷檢測(cè)、輸電線路損傷檢測(cè)、水工建筑裂紋檢測(cè)[5]、火災(zāi)檢測(cè)等。但此類研究主要為理論創(chuàng)新，極少在水電廠生產(chǎn)實(shí)際中應(yīng)用，并且缺乏系統(tǒng)研究，沒有自上而下的體系設(shè)計(jì)。

（3）流域監(jiān)測(cè)：主要利用衛(wèi)星遙感圖像監(jiān)測(cè)流域大壩狀況，包括水電站地質(zhì)災(zāi)害識(shí)別與預(yù)警、大壩形變研究[6]、水庫(kù)水深及水域面積演算、壩區(qū)環(huán)保生態(tài)修復(fù)等。由于遙感圖像可以在宏觀層面較為直觀展示流域狀況，利用計(jì)算機(jī)視覺算法有助于優(yōu)化流域梯級(jí)電站調(diào)度，具有一定的實(shí)用性。

2.2 計(jì)算機(jī)視覺技術(shù)與監(jiān)控系統(tǒng)結(jié)合應(yīng)用前景分析

精益生產(chǎn)是水力發(fā)電廠的第一要?jiǎng)?wù)。目前針對(duì)水電廠的計(jì)算機(jī)視覺研究缺乏與生產(chǎn)實(shí)際深度結(jié)合，多停留于理論層面，因無法對(duì)生產(chǎn)進(jìn)行有效指導(dǎo)存在較大局限性?，F(xiàn)有的水電廠計(jì)算機(jī)監(jiān)控系統(tǒng)多為分布式結(jié)構(gòu)，由上位機(jī)和現(xiàn)地LCU 組成，其中LCU 負(fù)責(zé)數(shù)據(jù)采集與處理、設(shè)備監(jiān)視與控制、執(zhí)行流程、與其他子系統(tǒng)通信、報(bào)警與事件生成。由于LCU通過生產(chǎn)現(xiàn)場(chǎng)的傳感器采集開關(guān)量和模擬量反饋至上位機(jī)監(jiān)屏人員，上位機(jī)監(jiān)屏人員無法獲知真實(shí)的現(xiàn)場(chǎng)信息，只能默認(rèn)傳感器數(shù)據(jù)采集是準(zhǔn)確的，這就造成了“所聞即所得”而非“所見即所得”的問題。

水電廠運(yùn)維經(jīng)驗(yàn)表明，存在傳感器偏差較大或損壞導(dǎo)致計(jì)算機(jī)監(jiān)控系統(tǒng)采集狀態(tài)與現(xiàn)場(chǎng)實(shí)際不符的情況。由于視頻監(jiān)控的遠(yuǎn)方性、可視性，將計(jì)算機(jī)視覺技術(shù)與水電廠計(jì)算機(jī)監(jiān)控系統(tǒng)相結(jié)合，能在一定程度上解決上述問題。根據(jù)《電力監(jiān)控系統(tǒng)安全防護(hù)總體方案等安全防護(hù)方案和評(píng)估規(guī)范》（國(guó)能安全〔2015〕36 號(hào)）要求實(shí)現(xiàn)“安全分區(qū)、網(wǎng)絡(luò)專用、橫向隔離、縱向認(rèn)證”，水電廠計(jì)算機(jī)監(jiān)控系統(tǒng)分為生產(chǎn)控制大區(qū)和信息管理大區(qū)，將計(jì)算機(jī)視覺技術(shù)與計(jì)算機(jī)監(jiān)控系統(tǒng)進(jìn)行結(jié)合有兩種實(shí)現(xiàn)方式。

第一種切實(shí)可行的方式是構(gòu)建獨(dú)立的計(jì)算機(jī)視覺應(yīng)用系統(tǒng)于信息管理大區(qū)，其不參與工業(yè)控制，僅輔助監(jiān)屏人員對(duì)現(xiàn)場(chǎng)進(jìn)行狀態(tài)監(jiān)視。該系統(tǒng)包含實(shí)時(shí)數(shù)據(jù)采集模塊、傳輸模塊、視頻存儲(chǔ)模塊、視頻預(yù)處理模塊和視頻智能分析模塊，其中視頻智能分析模塊部署多種計(jì)算機(jī)視覺算法和高級(jí)診斷分析決策樹，做到智能跳轉(zhuǎn)（操作員下令時(shí)或現(xiàn)場(chǎng)出現(xiàn)異常狀況時(shí)，視頻監(jiān)控自動(dòng)跳轉(zhuǎn)至對(duì)應(yīng)場(chǎng)景）、在線實(shí)時(shí)異常檢測(cè)與預(yù)警等。另一種實(shí)現(xiàn)方式為在第一種方式所能實(shí)現(xiàn)功能的基礎(chǔ)上增加與工控系統(tǒng)聯(lián)動(dòng)的方式，由于直接參加生產(chǎn)控制，此類系統(tǒng)部署于生產(chǎn)控制大區(qū)。其視頻智能分析模塊具備與PLC 通信的能力，通過視頻分析模塊計(jì)算出的數(shù)據(jù)可轉(zhuǎn)換為模擬量和開關(guān)量，傳輸至PLC作為依據(jù)參與工業(yè)控制。但是由于視頻采集編碼、解碼及計(jì)算機(jī)視覺算法計(jì)算的時(shí)間開銷，第二種實(shí)現(xiàn)方式適用于實(shí)時(shí)性要求不高的場(chǎng)景，例如輔控設(shè)備動(dòng)作狀態(tài)采集、閥門狀態(tài)采集等可存在一定延時(shí)的場(chǎng)景。

3 應(yīng)用難點(diǎn)及分析

3.1 計(jì)算機(jī)視覺技術(shù)的應(yīng)用難點(diǎn)

雖然計(jì)算機(jī)視覺技術(shù)在水電廠的應(yīng)用有廣闊的前景，但是如何將其投入生產(chǎn)運(yùn)營(yíng)仍存在一些難點(diǎn)：

（1）前端攝像頭部署及維護(hù)問題：由于水電廠存在較多惡劣環(huán)境，造成了攝像頭部署及維護(hù)困難的問題。例如在發(fā)電機(jī)定、轉(zhuǎn)子處部署攝像頭，則面臨強(qiáng)電磁輻射環(huán)境，需要攝像頭具備一定防護(hù)能力；又如在快速門部署攝像頭，則面臨高空作業(yè)，對(duì)攝像頭的維護(hù)更換造成一定不便。

（2）計(jì)算機(jī)視覺算法可靠性問題：由于計(jì)算機(jī)視覺算法依賴于前端攝像頭采集的視頻數(shù)據(jù)，一旦出現(xiàn)攝像頭震動(dòng)、位移甚至是遮擋的惡劣情況，計(jì)算機(jī)視覺算法的準(zhǔn)確率會(huì)隨之下降。因此，要求計(jì)算機(jī)視覺算法具備一定魯棒性以應(yīng)用復(fù)雜環(huán)境。

（3）數(shù)據(jù)集構(gòu)建問題：基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法往往需要一定規(guī)模的數(shù)據(jù)進(jìn)行模型訓(xùn)練，該數(shù)據(jù)包含原始圖像及其對(duì)應(yīng)的標(biāo)注，而水電行業(yè)還未公開較權(quán)威的大規(guī)模數(shù)據(jù)集，因而要求研究者根據(jù)應(yīng)用場(chǎng)景重新構(gòu)建數(shù)據(jù)集。目前有兩種構(gòu)建數(shù)據(jù)集的方式；其一為針對(duì)多個(gè)應(yīng)用場(chǎng)景構(gòu)建大規(guī)模的數(shù)據(jù)集；其二為針對(duì)單獨(dú)場(chǎng)景構(gòu)建小規(guī)模數(shù)據(jù)集。方式一需要較大成本，但以之訓(xùn)練的模型可用于多個(gè)場(chǎng)景，具備一定泛化性；方式二成本較低，并且通過擬合的方式獲得較高識(shí)別精度，但缺乏模型遷移和復(fù)用性。

（4）算力支持問題：基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法在訓(xùn)練和投入使用時(shí)需要大量GPU 的算力支持，并且GPU 需要支持美國(guó)英偉達(dá)公司的CUDA 計(jì)算架構(gòu)，在自主可控和國(guó)產(chǎn)化替代方面仍需進(jìn)行一定探索。

（5）實(shí)時(shí)性問題：由于視頻的采集和編解碼，計(jì)算機(jī)視覺算法均存在一定耗時(shí)，其響應(yīng)速度較普通的電信號(hào)傳感器較慢。在構(gòu)建于工控系統(tǒng)聯(lián)動(dòng)的計(jì)算機(jī)視覺應(yīng)用系統(tǒng)時(shí)應(yīng)綜合考慮前端攝像機(jī)路數(shù)、網(wǎng)絡(luò)帶寬、算力及計(jì)算機(jī)視覺算法的時(shí)間復(fù)雜度，保證系統(tǒng)的實(shí)時(shí)性。

（6）模型維護(hù)問題：由于計(jì)算機(jī)視覺算法種類較多，其利用不同數(shù)據(jù)集訓(xùn)練的效果也不同，造成了同一模型場(chǎng)景遷移的困難。對(duì)于不同模型甚至無法進(jìn)行遷移，只能重新進(jìn)行訓(xùn)練，浪費(fèi)大量計(jì)算資源和時(shí)間成本。

3.2 計(jì)算機(jī)視覺應(yīng)用系統(tǒng)設(shè)計(jì)分析

為應(yīng)對(duì)上述難點(diǎn)，在計(jì)算機(jī)視覺應(yīng)用系統(tǒng)的整體設(shè)計(jì)上應(yīng)采用分布式系統(tǒng)，滿足模塊的單一職責(zé)原則。如圖4 所示，原則上其至少應(yīng)包含實(shí)時(shí)多場(chǎng)景視頻采集模塊、視頻傳輸存儲(chǔ)模塊、智能分析模塊、數(shù)據(jù)可視化模塊。

圖4 計(jì)算機(jī)視覺應(yīng)用系統(tǒng)架構(gòu)

通過高清攝像頭完成對(duì)監(jiān)視應(yīng)用場(chǎng)景的數(shù)據(jù)采集，并通過視頻傳輸存儲(chǔ)模塊實(shí)現(xiàn)分配和儲(chǔ)存視頻資源。通過智能分析模塊部署計(jì)算機(jī)視覺算法處理視頻圖像，實(shí)現(xiàn)對(duì)監(jiān)視目標(biāo)的安全風(fēng)險(xiǎn)等級(jí)評(píng)估，同時(shí)結(jié)合場(chǎng)景中多源目標(biāo)多維度數(shù)據(jù)的分析結(jié)果，實(shí)現(xiàn)基于數(shù)據(jù)驅(qū)動(dòng)的安全隱患識(shí)別。可視化模塊可調(diào)取系統(tǒng)資源，實(shí)現(xiàn)實(shí)時(shí)（歷史）監(jiān)控視頻播放、風(fēng)險(xiǎn)態(tài)勢(shì)預(yù)警等。

在具體的實(shí)施細(xì)節(jié)上可針對(duì)上述架構(gòu)進(jìn)行一定程度的改進(jìn)，在硬件設(shè)備層面，可以通過冗余部署增強(qiáng)系統(tǒng)可靠性；可以通過部署大量邊緣計(jì)算模塊分擔(dān)中央智能分析模塊算力壓力。在設(shè)備選型上，盡量統(tǒng)一選型減少后期維護(hù)壓力。在算法層面，可以通過機(jī)器視覺系統(tǒng)與水電廠計(jì)算機(jī)監(jiān)控系統(tǒng)相互配合實(shí)現(xiàn)數(shù)據(jù)自動(dòng)標(biāo)注；通過傳統(tǒng)計(jì)算機(jī)視覺算法和深度學(xué)習(xí)算法的配合使用減少算力需求；通過設(shè)計(jì)輕量化模型達(dá)到實(shí)時(shí)處理效果；可以通過減少算法種類數(shù)量、大量使用經(jīng)典算法、同類型場(chǎng)景使用同一算法模型增強(qiáng)算法的泛化性，減少算法維護(hù)成本。

4 結(jié)語

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展和成熟，已具備一定條件應(yīng)用于水電廠生產(chǎn)實(shí)際中。本文對(duì)計(jì)算機(jī)視覺技術(shù)進(jìn)行了簡(jiǎn)單介紹，對(duì)其于水電廠的應(yīng)用現(xiàn)狀、應(yīng)用前景進(jìn)行了闡述，并對(duì)計(jì)算機(jī)視覺技術(shù)的應(yīng)用難點(diǎn)進(jìn)行了分析，提出了對(duì)計(jì)算機(jī)視覺應(yīng)用系統(tǒng)架構(gòu)設(shè)計(jì)的建設(shè)性意見。希望在學(xué)者們的一眾努力下早日將計(jì)算機(jī)視覺技術(shù)普及于水電生產(chǎn)中，為構(gòu)建新一代智能水電站貢獻(xiàn)力量。