華為技術(shù)有限公司 潘 偉

在江南一些城市，市中心常常分布著兼具景觀和旅游價(jià)值的湖泊水體，湖畔岸邊很容易有游人或本地居民支桿垂釣，此類情況經(jīng)固定攝像頭或群眾舉報(bào)，容易實(shí)現(xiàn)快速現(xiàn)場(chǎng)執(zhí)法或者無人機(jī)喊話驅(qū)離；但難點(diǎn)在于，深夜凌晨在遠(yuǎn)離岸邊難以被巡視人員發(fā)現(xiàn)的位置，容易發(fā)生不法人員駕駛船只的偷捕魚現(xiàn)象。利用小汽艇或者皮劃艇、以及潛水衣裝置，不法人員放在車輛后備箱或車廂，容易攜帶快速移動(dòng)，夜晚在湖邊可用很短時(shí)間穿戴布置，快速下水到達(dá)遠(yuǎn)離岸邊的位置，然后撒網(wǎng)打撈，給湖里的環(huán)境生態(tài)帶來嚴(yán)重破壞。由于水體龐大，下水位置分布廣數(shù)量多，基本防不勝防，出動(dòng)船只動(dòng)靜大，時(shí)效性無法保障，可疑船只容易嚇跑，無人機(jī)手工巡航無法保障效率，能否發(fā)現(xiàn)船只純靠運(yùn)氣。基于人工經(jīng)驗(yàn)進(jìn)行簡(jiǎn)單治理，已經(jīng)無法滿足城市治理智能化的要求。

基于智慧城市數(shù)字底座，并融入本地生態(tài)，華為不僅可以利用AI為無人機(jī)賦能，還能調(diào)用和編排無人機(jī)的機(jī)隊(duì)管理和路線規(guī)劃能力，實(shí)現(xiàn)例行和任務(wù)性的夜晚偷捕魚巡查，靈活機(jī)動(dòng)，打通流程，提升現(xiàn)場(chǎng)處置的執(zhí)行效率。

1 AI實(shí)現(xiàn)對(duì)遠(yuǎn)紅外物體和人體的深度學(xué)習(xí)

首先，無人機(jī)在空中拍攝湖邊下方活動(dòng)的船只和人體，尤其是在夜視環(huán)境下，使用硬件堆疊、星光、黑光技術(shù)可以改善視頻、圖像采集和識(shí)別中的遮擋、運(yùn)動(dòng)模糊、光線反射、背景噪音等，這固然會(huì)降低算法識(shí)別的難度，但也并非萬能，會(huì)產(chǎn)生拖影、紅外成像關(guān)聯(lián)、安全性等系列問題。

通過AI深度學(xué)習(xí)技術(shù)的加持，可以實(shí)現(xiàn)在夜晚湖面、凸起的地貌、月光、遠(yuǎn)方建筑物燈光等混雜背景下，對(duì)船只和人體的準(zhǔn)確識(shí)別。AI算法將紅外圖像灰度化的同時(shí)，對(duì)視頻中的捕魚背景進(jìn)行序列建模，區(qū)分出船只在畫面中的前景區(qū)域，通過自適應(yīng)混合高斯模型算法，比較前景和背景模型的方差，從而捕獲出區(qū)別，實(shí)現(xiàn)前后景分割。經(jīng)過多次圖像形態(tài)學(xué)變化，前景噪音被過濾，留下可能為船只和捕魚人的候選目標(biāo)，再經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的處理，幫助將熱成像的船只、人影輪廓非線性回歸與可見光影像的圖像庫相匹配，通過損失函數(shù)進(jìn)行訓(xùn)練，最小化誤差，從而構(gòu)建出相對(duì)準(zhǔn)確的船只和人影圖像。

圖1 夜晚偷捕魚AI識(shí)別樣例

針對(duì)遠(yuǎn)紅外識(shí)別這種任務(wù)模式，華為IOC數(shù)據(jù)底座可提供一種全優(yōu)的技術(shù)路徑。IOC的大數(shù)據(jù)和AI中臺(tái)能力，通過使用大量紅外熱成像訓(xùn)練的ResNeXt深度模型，可以構(gòu)建超過100層的深度學(xué)習(xí)網(wǎng)絡(luò)，從而得到更強(qiáng)的表征能力，大大提升識(shí)別效果。這樣，經(jīng)過混合高斯前景分割，經(jīng)過后處理，在進(jìn)行深度學(xué)習(xí)二次驗(yàn)證識(shí)別，最終識(shí)別出是否為船只或者捕魚人。

2 IOC融合全優(yōu)的技術(shù)路徑

IOC致力于服務(wù)城市治理的全生命周期，優(yōu)化從事件發(fā)生到處置的閉環(huán)過程，中間可以編排、聯(lián)動(dòng)，最小化人工干涉和運(yùn)維成本，提升運(yùn)營能力，關(guān)鍵技術(shù)包括：

視頻數(shù)據(jù)采集：視頻云支持H.264、H.265視頻編碼格式，接收、存儲(chǔ)從互聯(lián)網(wǎng)傳輸過來的無人機(jī)拍攝的實(shí)時(shí)視頻流，并通過API接口向AI中臺(tái)開放視頻的抓取和調(diào)閱服務(wù)。

5G網(wǎng)絡(luò)：賦予無人機(jī)5G低延遲大帶寬數(shù)據(jù)傳輸能力，可支持4K的超高清影像傳輸和實(shí)時(shí)消費(fèi)，實(shí)現(xiàn)偷捕魚行為一經(jīng)無人機(jī)視野將立即報(bào)警。

AI算法調(diào)度：AI中臺(tái)調(diào)用無人機(jī)傳回的視頻流信息，結(jié)合視頻時(shí)間點(diǎn)以及飛行數(shù)據(jù)信息，可以計(jì)算發(fā)現(xiàn)偷魚船只的經(jīng)緯度坐標(biāo)，并進(jìn)一步計(jì)算船只的類型、數(shù)量，分布在一艘或多艘船只上的人員數(shù)量，發(fā)送不同級(jí)別的報(bào)警信息給工單預(yù)處理和分撥系統(tǒng)。

應(yīng)用集成和消息集成：由API網(wǎng)關(guān)扮演業(yè)務(wù)中臺(tái)的角色，接收AI中臺(tái)推送過來的偷捕魚識(shí)別數(shù)據(jù)，并組裝其他業(yè)務(wù)邏輯，如無人機(jī)的實(shí)時(shí)位置、航程、電量信息，通過消息中間件服務(wù)，將數(shù)據(jù)排成消息隊(duì)列，發(fā)送到需要進(jìn)行實(shí)時(shí)消費(fèi)的可視化界面或其他業(yè)務(wù)系統(tǒng)。

大數(shù)據(jù)分析處理：負(fù)責(zé)偷捕魚識(shí)別的深度學(xué)習(xí)，并根據(jù)不同業(yè)務(wù)用途，通過數(shù)據(jù)治理將偷捕魚數(shù)據(jù)包裝成不同的專題，定義數(shù)據(jù)維度結(jié)構(gòu)，支撐針對(duì)不同用戶投放個(gè)性化的專題內(nèi)容。

調(diào)度無人機(jī)機(jī)隊(duì)管理能力：華為合作伙伴的機(jī)庫和管理軟件，能夠?qū)崿F(xiàn)無人機(jī)全自動(dòng)調(diào)度、自動(dòng)駕駛，機(jī)庫可自動(dòng)放飛、回收和充電，支持飛行報(bào)文實(shí)時(shí)回傳給IOC，并實(shí)現(xiàn)調(diào)度能力開放。

這樣，在城市的偷捕魚治理新模式將轉(zhuǎn)變?yōu)椋篒OC控制無人機(jī)庫按重點(diǎn)區(qū)域、時(shí)間、任務(wù)等因素制定無人機(jī)隊(duì)的飛行路線和任務(wù)規(guī)劃，無人機(jī)自動(dòng)放飛實(shí)現(xiàn)例行巡航，當(dāng)發(fā)現(xiàn)偷捕魚現(xiàn)象后，AI算法自動(dòng)識(shí)別船只的位置數(shù)量、人員數(shù)量以及行為，甚至可以先于工單利用機(jī)載的聲光裝置驅(qū)離違法人員，生成工單的周期被縮短到幾分鐘，在附近的執(zhí)法船只到達(dá)現(xiàn)場(chǎng)之前，違法人員的行為已經(jīng)得到制止。地方執(zhí)法局領(lǐng)導(dǎo)可使用移動(dòng)APP，查看實(shí)時(shí)和歷史偷捕魚識(shí)別視頻、工單處置、作業(yè)歷史統(tǒng)計(jì)情況；無人機(jī)的飛行任務(wù)、飛行軌跡、以及產(chǎn)生工單的明細(xì)記錄，執(zhí)法隊(duì)員不再深夜時(shí)分對(duì)著無人機(jī)控制臺(tái)手動(dòng)操作，而是有的放矢，精準(zhǔn)出動(dòng)執(zhí)法。新模式體現(xiàn)了技術(shù)的人文關(guān)懷，使執(zhí)法人員不再千日防賊，后知后覺。

3 能力集成支撐專管和群管結(jié)合的執(zhí)法體系

當(dāng)前，國家三令五申強(qiáng)調(diào)保護(hù)長(zhǎng)江流域漁業(yè)和生態(tài)資源，近日一些省份的農(nóng)業(yè)、人社和財(cái)政部門聯(lián)合發(fā)文，明確支持建立協(xié)助巡護(hù)隊(duì)伍。協(xié)助巡護(hù)隊(duì)伍不具備執(zhí)法資格，但在執(zhí)法人員帶領(lǐng)下，可以協(xié)助對(duì)非法捕撈案件現(xiàn)場(chǎng)進(jìn)行證據(jù)收集和臨時(shí)處置；要求各地要制定科學(xué)合理的裝備配備計(jì)劃規(guī)劃，根據(jù)執(zhí)法需求提供必要的船艇、車輛以及取證、通訊和安全防護(hù)等設(shè)施裝備。

華為IOC能夠在算法演進(jìn)、應(yīng)用協(xié)同、場(chǎng)景聯(lián)動(dòng)、運(yùn)營能力提升等方面，支撐建立城市或區(qū)域的新非法捕撈監(jiān)管體系：

算法演進(jìn)：群訪群管，勢(shì)必會(huì)擴(kuò)大偷捕魚監(jiān)管的地域范圍和識(shí)別模式，對(duì)于河道人工拉網(wǎng)捕魚、下水捕魚、岸線垂釣等動(dòng)作場(chǎng)景，IOC可支持算法進(jìn)一步細(xì)分、演化，可調(diào)動(dòng)無人機(jī)、分布在水體岸線的固定攝像頭、無人船出勤，持續(xù)積累素材，訓(xùn)練算法準(zhǔn)確性。

應(yīng)用協(xié)同：加強(qiáng)IOC與應(yīng)用系統(tǒng)的橫向協(xié)同，如協(xié)管員用手機(jī)抓拍違法捕撈現(xiàn)象，可使用網(wǎng)格通或者12345服務(wù)熱線上傳截圖或視頻并生成工單，工單系統(tǒng)調(diào)用AI算法識(shí)別確認(rèn)事件的真實(shí)性，用來取代效率較低的人工判別。另外，IOC可驅(qū)動(dòng)無人機(jī)機(jī)載裝置實(shí)現(xiàn)服務(wù)化，做到能力外放，如發(fā)現(xiàn)偷捕魚現(xiàn)象后，通過可編程的方式控制無人機(jī)自動(dòng)懸停、調(diào)近焦距，對(duì)準(zhǔn)船只方向，進(jìn)行更精細(xì)的行為識(shí)別。

場(chǎng)景聯(lián)動(dòng)：視頻云管理著分布在河湖岸線的高空攝像頭、道路卡口攝像頭，可對(duì)高空攝像頭綁定偷捕魚識(shí)別算法，調(diào)度云臺(tái)轉(zhuǎn)動(dòng)和調(diào)焦，發(fā)現(xiàn)可疑船只出沒后呼喚無人機(jī)自動(dòng)在事發(fā)地點(diǎn)上空逡巡核實(shí)；可研選多發(fā)區(qū)域的偷捕魚路線，加強(qiáng)業(yè)務(wù)編排能力，在事前預(yù)防階段，實(shí)現(xiàn)車輛類型識(shí)別、車牌識(shí)別和人臉識(shí)別和偷捕魚算法的聯(lián)動(dòng)，當(dāng)高發(fā)區(qū)域周邊路段發(fā)現(xiàn)在凌晨時(shí)分，有前科的車輛或者人員出沒，可提前觸發(fā)預(yù)警。

運(yùn)營能力提升：大數(shù)據(jù)平臺(tái)形成常態(tài)化的數(shù)據(jù)分析服務(wù)，對(duì)無人機(jī)任務(wù)、工單、執(zhí)法組織、協(xié)管組織、道路交通、攝像頭、偷捕魚事件等主題數(shù)據(jù)做深度分析，為工單和現(xiàn)場(chǎng)執(zhí)法系統(tǒng)提供深加工的數(shù)據(jù)服務(wù)，優(yōu)化任務(wù)出勤路線、周邊資源、處置方案和跨部門協(xié)同，提升工單轉(zhuǎn)化和現(xiàn)場(chǎng)處置效率，并形成可適合在不同屏幕上投放的偷捕魚治理月度、季度統(tǒng)計(jì)報(bào)告，執(zhí)法協(xié)管隊(duì)伍的KPI分析報(bào)告等，實(shí)現(xiàn)集約化運(yùn)營。

這樣，圍繞核心的AI識(shí)別能力，IOC采用技術(shù)手段，能夠配合政府管理手段的流程再造，對(duì)內(nèi)能夠疏通、重建政府原有的工作流程，把線下的工作轉(zhuǎn)移到線上，外部能夠?qū)崿F(xiàn)應(yīng)用融合，適應(yīng)各種環(huán)境的變化而無需人工介入，真正實(shí)現(xiàn)智能化、自動(dòng)化的城市治理新模式。