■ 文/北京比特大陸科技有限公司 湯煒偉 李曉松

關(guān)鍵字：ASIC NPU CNN RNN DNN

1 引言

從2015年以來(lái)，隨著深度學(xué)習(xí)而掀起的人工智能的第三次浪潮是由技術(shù)驅(qū)動(dòng)。但進(jìn)行到現(xiàn)在，人工智能的產(chǎn)業(yè)發(fā)展關(guān)鍵在于商業(yè)化。商業(yè)化僅僅依靠技術(shù)本身是無(wú)以為繼的，AI市場(chǎng)容量、應(yīng)用的深度、數(shù)據(jù)的規(guī)模決定了人工智能在某個(gè)具體行業(yè)的發(fā)展速度。就這一點(diǎn)而言，得益于平安城市十幾年的建設(shè)，安防行業(yè)的智能化走在了前面。

根據(jù)美國(guó)信息服務(wù)社的數(shù)字，截至 2015 年末，全球已安裝了超過(guò) 2.45 億個(gè)視頻監(jiān)控?cái)z像頭，我國(guó)已安裝的監(jiān)控?cái)z像頭也已超過(guò) 3000 萬(wàn)個(gè)，而同時(shí)全球和國(guó)內(nèi)監(jiān)控?cái)z像頭銷(xiāo)售市場(chǎng)仍在逐年擴(kuò)張，每年僅僅我國(guó)就產(chǎn)生數(shù)萬(wàn)PB的數(shù)據(jù)量。與數(shù)據(jù)量同步增長(zhǎng)的，是巨大的市場(chǎng)規(guī)模。國(guó)內(nèi)安防市場(chǎng)在近十年來(lái)飛速發(fā)展，市場(chǎng)總產(chǎn)值從2012年的3240億，增長(zhǎng)到了2017年的6480億，研究機(jī)構(gòu)預(yù)計(jì)到2022年會(huì)達(dá)到萬(wàn)億規(guī)模。

海量數(shù)據(jù)決定了智能化的發(fā)展速度，市場(chǎng)規(guī)模決定了商業(yè)化的潛力。人工智能+安防成為各大公司追逐的“香餑餑”，則是必然的。本文將從市場(chǎng)格局、技術(shù)方案、AI芯片三個(gè)方面，由大到小分析AI安防芯片的行業(yè)面貌，及其發(fā)展現(xiàn)狀與前景。

2 市場(chǎng)格局

根據(jù)相關(guān)調(diào)研報(bào)告，從產(chǎn)業(yè)構(gòu)成來(lái)看，在安防行業(yè)總收入中，2016年中國(guó)安防工程產(chǎn)值約3100億元，安防產(chǎn)品產(chǎn)值約1900億元，報(bào)警運(yùn)營(yíng)服務(wù)及其他產(chǎn)值約410億元。按照產(chǎn)品分類(lèi)來(lái)看，視頻監(jiān)控市場(chǎng)占比最大，占所有安防產(chǎn)品的三分之二，市場(chǎng)規(guī)模已達(dá)1000億元以上，其次為安檢排爆、防盜報(bào)警、出入口控制和實(shí)體防護(hù)市場(chǎng)。從安防應(yīng)用角度分析，2016年安防產(chǎn)品行業(yè)應(yīng)用中，平安城市、智能交通和智能樓宇所占比例最高，分別達(dá)到24%、18%和16%，占據(jù)整個(gè)應(yīng)用市場(chǎng)份額過(guò)半。此外，安防產(chǎn)品還應(yīng)用在文教衛(wèi)、金融和能源、司法等多個(gè)領(lǐng)域，應(yīng)用范圍十分廣泛。

目前，我國(guó)各類(lèi)安防企業(yè)達(dá)到2.34萬(wàn)家，從業(yè)人數(shù)達(dá)166萬(wàn)人。安防企業(yè)中，集成與工程類(lèi)企業(yè)約1.19萬(wàn)家，占比51%，安防產(chǎn)品類(lèi)企業(yè)近1萬(wàn)家，占比41%，運(yùn)營(yíng)和其他類(lèi)企業(yè)近2000家，占比約8%。各類(lèi)企業(yè)的所占比例近三年呈現(xiàn)出一定規(guī)律，其中安防設(shè)備類(lèi)企業(yè)占比呈逐年下滑趨勢(shì)，與此同時(shí)，安防工程類(lèi)企業(yè)和運(yùn)營(yíng)服務(wù)類(lèi)企業(yè)占比小幅增加。AI技術(shù)火爆之后，在近幾年又冒出了眾多基于人工智能的軟硬件提供商，例如依圖、商湯、曠視、云從、比特大陸等。

安防行業(yè)中企業(yè)集中度大幅提高，行業(yè)競(jìng)爭(zhēng)加劇，資源向龍頭企業(yè)集中趨勢(shì)愈發(fā)明顯。隨著安防龍頭企業(yè)快速崛起，大型企業(yè)與中小企業(yè)之間的差距逐漸拉大，再加上產(chǎn)業(yè)鏈延伸、橫向跨界、行業(yè)深耕方面的優(yōu)勢(shì)，強(qiáng)者越強(qiáng)、贏者通吃的趨勢(shì)已經(jīng)顯現(xiàn)。國(guó)內(nèi)安防行業(yè)價(jià)格競(jìng)爭(zhēng)日趨激烈，導(dǎo)致傳統(tǒng)產(chǎn)品毛利率略有下滑，具有技術(shù)壁壘的安防龍頭公司占據(jù)優(yōu)勢(shì)。行業(yè)長(zhǎng)尾效應(yīng)明顯，洗牌加劇，龍頭企業(yè)依托技術(shù)、資源和規(guī)模優(yōu)勢(shì)仍能保持高速增長(zhǎng)，而位于長(zhǎng)尾尾端的眾多中小企業(yè)已逐漸處于盈虧平衡狀態(tài)，生存艱難。

安防行業(yè)發(fā)展多年，企業(yè)在規(guī)模上明顯形成了梯度，?？低暋⒋笕A、宇視等公司占據(jù)了絕大部分市場(chǎng)份額，并且都在積極擁抱AI技術(shù)。國(guó)內(nèi)安防領(lǐng)域整體的集中程度也逐年攀升，形成了“兩超多強(qiáng)”的格局，?？低暫痛笕A股份領(lǐng)跑市場(chǎng)，東方網(wǎng)力、佳都、蘇州科達(dá)、漢王等第二梯隊(duì)企業(yè)奮起直追。當(dāng)有了新技術(shù)的支持，尤其在AI應(yīng)用正式落地安防之后，投資或收購(gòu)AI技術(shù)公司成為傳統(tǒng)安防企業(yè)最有效創(chuàng)新升級(jí)的方式。

3 技術(shù)方案

多年的發(fā)展，使得安防行業(yè)不僅形成了比較完整的市場(chǎng)格局和產(chǎn)業(yè)鏈。在市場(chǎng)格局方面，視頻監(jiān)控占據(jù)了近50% 的市場(chǎng)份額，這其中又分為前端（攝像頭）和后端（主控/云端）兩部分。

前端產(chǎn)品的核心功能是為后端提供高質(zhì)量、初步結(jié)構(gòu)化的圖像數(shù)據(jù)，其主要作用有兩點(diǎn)：提升部分智能分析應(yīng)用的實(shí)時(shí)性；節(jié)省帶寬和后端計(jì)算資源。

典型的前端智能攝像頭內(nèi)置深度學(xué)習(xí)算法，一方面可以在前端完成人臉定位檢測(cè)和質(zhì)量判斷，有效解決漏抓誤報(bào)問(wèn)題，同時(shí)擁有較好的圖像效果，即使周?chē)h(huán)境光線不佳，人員戴帽子或一定角度下低頭、側(cè)臉，仍然可以做到準(zhǔn)確檢測(cè)，并自動(dòng)截取視頻中的人臉輸出給后端；另一方面可以輸出編碼后的網(wǎng)絡(luò)視頻，還支持輸出非壓縮、無(wú)損無(wú)延時(shí)的視頻流圖像，這樣可以為大型用戶節(jié)省服務(wù)器成本和帶寬，在同等服務(wù)器數(shù)量和計(jì)算能力的情況下能夠接入更多路攝像頭。

后端產(chǎn)品的核心功能是利用計(jì)算能力對(duì)視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析，一般包括智能 NVR、高密度 GPU服務(wù)器。前者是基于深度學(xué)習(xí)算法推出的智能存儲(chǔ)和分析產(chǎn)品，兼顧傳統(tǒng) NVR 優(yōu)勢(shì)的同時(shí)增加了視頻結(jié)構(gòu)化分析功能；后者集成了基于深度學(xué)習(xí)的智能算法，每秒可實(shí)現(xiàn)數(shù)百?gòu)埲四槇D片的分析、建模，可支持?jǐn)?shù)十萬(wàn)人臉黑名單布控，人臉 1V1 比對(duì)、以臉?biāo)涯樀榷囗?xiàng)實(shí)用功能，滿足各行業(yè)的人臉智能分析需求。

從前后端智能化模塊來(lái)看，目前的解決方案有兩種思路，一種是智能前置，一種是后置智能，這一直是行業(yè)備受爭(zhēng)議的兩個(gè)方向。

由于前端設(shè)備內(nèi)的空間有限，再加上功耗、成本等因素的限制，智能前置會(huì)受硬件計(jì)算資源限制，只能運(yùn)行相對(duì)簡(jiǎn)單的、對(duì)實(shí)時(shí)性要求很高的算法，但算法升級(jí)、運(yùn)維較難；后端智能分析通?？梢愿鶕?jù)需求配置足夠強(qiáng)大的硬件資源，能夠運(yùn)行更復(fù)雜的、允許有一定延時(shí)的算法，另外，在后端算法升級(jí)、運(yùn)維都會(huì)比較方便。

前后端產(chǎn)品不是對(duì)立與競(jìng)爭(zhēng)的關(guān)系，根據(jù)實(shí)際應(yīng)用的不同，將長(zhǎng)期同時(shí)存在。

4 AI芯片的發(fā)展前景

無(wú)論是前端產(chǎn)品，還是后端產(chǎn)品，其底層能力都是芯片賦予的。對(duì)于智能前端產(chǎn)品目前有兩種芯片解決方案。

一種是較為通用的視覺(jué)處理器（半定制芯片），如movidius 、英偉達(dá)的 Jetson 系列芯片，NVIDIA 的Jetson TX 芯片，主要針對(duì)終端市場(chǎng)。此外，海康、大華、宇視科技、蘇州科達(dá)、格靈深瞳、商湯科技等大部分公司的前端智能產(chǎn)品在 2016 年正式推出。另一種是將較為通用的智能識(shí)別類(lèi)算法直接固化為 IP ，嵌入到視頻監(jiān)控 SOC 芯片中（全定制芯片），優(yōu)點(diǎn)是量產(chǎn)后功耗、價(jià)格等都極具優(yōu)勢(shì)，但功能拓展性有限。

在后端芯片方面，英偉達(dá)的GPU被采用最多，應(yīng)用場(chǎng)景通用，但是昂貴，相比而言專用定制的、高性價(jià)比的ASIC 芯片的優(yōu)勢(shì)越來(lái)越明顯。

行業(yè)內(nèi)廠商之所以寄希望于 ASIC 芯片，主要原因還在于 GPU 芯片的弱點(diǎn)。不得不承認(rèn)，在安防監(jiān)控領(lǐng)域，GPU依然是最主流的深度學(xué)習(xí)方案，但GPU在成本、效率、功耗三方面存在明顯缺陷：

（1）成本方面，嵌入式端GPU為數(shù)百美金，后端高性能GPU高達(dá)數(shù)千美金。在嵌入式端，市場(chǎng)上已量產(chǎn)的IPC Soc 芯片價(jià)格已經(jīng)降到幾美金，可以說(shuō)是很好的替代品，但后端需要做大規(guī)模數(shù)據(jù)處理時(shí)，還是離不開(kāi)GPU。高昂的芯片成本，推高了前后端設(shè)備的價(jià)格，阻礙了大范圍應(yīng)用。

（2）效率方面，GPU擅長(zhǎng)深度學(xué)習(xí)算法訓(xùn)練，但卻拙于推理。在推理階段，一次只能處理一張輸入圖像，并行優(yōu)勢(shì)不能完全發(fā)揮。

（3）功耗方面，GPU在深度學(xué)習(xí)計(jì)算上，比CPU節(jié)省10倍能耗，但作為通用型芯片，在處理大量視頻數(shù)據(jù)時(shí)功耗依然不容小覷，用電及散熱成本也是一個(gè)大問(wèn)題。

而經(jīng)過(guò)專門(mén)設(shè)計(jì)優(yōu)化的ASIC 芯片，則有著更高性價(jià)比、更容易大規(guī)模部署的優(yōu)勢(shì)。相比 GPU 的通用性，ASIC 芯片是一種為實(shí)現(xiàn)特定要求設(shè)計(jì)的集成電路，這意味著該芯片無(wú)法擴(kuò)展，但除此之外，無(wú)論功耗、可靠性，還是體積、成本均遠(yuǎn)低于GPU。

鑒于 ASIC 芯片的諸多特質(zhì)，業(yè)界普遍認(rèn)為將會(huì)成為未來(lái)人工智能領(lǐng)域的核心，越來(lái)越多的算法企業(yè)也在基于ASIC 優(yōu)化算法，而安防也成為主要的應(yīng)用場(chǎng)景。

圖1 ASIC芯片架構(gòu)圖

ASIC芯片架構(gòu)如圖1所示，典型ASIC芯片的基本業(yè)務(wù)流程如下：

應(yīng)用程序運(yùn)行于主機(jī)ARM上，通過(guò)NPU操作指令模塊（NPCMD）和數(shù)據(jù)訪問(wèn)通道（GDMA）以及對(duì)DDR4內(nèi)存單元的數(shù)據(jù)搬運(yùn)操作，來(lái)對(duì)驅(qū)動(dòng)NPU矩陣進(jìn)行卷積運(yùn)算。

來(lái)自文件或者網(wǎng)絡(luò)的視頻流通過(guò)FFMPEG傳輸?shù)絍ideo System進(jìn)行解碼，解碼結(jié)果存放于DDR內(nèi)存內(nèi)。

DDR內(nèi)存里的視頻解碼結(jié)果作為CV的輸入進(jìn)行圖像處理，處理后的數(shù)據(jù)同樣存放于DDR內(nèi)。

經(jīng)過(guò)CV處理后的數(shù)據(jù)經(jīng)過(guò)編譯器編譯后的神經(jīng)網(wǎng)絡(luò)模型文件做上下文處理，處理結(jié)果放到DDR內(nèi)存中，作為NPU的輸入，系統(tǒng)加載后進(jìn)行網(wǎng)絡(luò)卷積等計(jì)算。

計(jì)算結(jié)果通過(guò)PCIE接口或者GE接口讀取回應(yīng)用程序進(jìn)行結(jié)果展示或者上報(bào)。

所有數(shù)據(jù)都在DDR內(nèi)存中處理和交換，并且DDR內(nèi)存和NPU矩陣有專門(mén)的DMA通道，這樣設(shè)計(jì)的好處是大幅提高數(shù)據(jù)處理效率。

例如BM 1680、BM1682、BM1684系列SoC芯片 ，就是一系列面向深度學(xué)習(xí)應(yīng)用的 ASIC 芯片，其加速核采用改造型脈動(dòng)陣列架構(gòu)技術(shù)，具備多個(gè)并行執(zhí)行單元，適用于CNN/RNN/DNN 等神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)和訓(xùn)練。第四代芯片BM1686將于2020年推出。

基于以上系列芯片，針對(duì)視頻和圖像分析，還可研發(fā)智能視頻分析服務(wù)器、深度學(xué)習(xí)加速卡和人工智能迷你機(jī)等產(chǎn)品，預(yù)裝Linux操作系統(tǒng)，預(yù)裝包括固件、驅(qū)動(dòng)、BMDNN計(jì)算庫(kù)、Runtime庫(kù)等軟件環(huán)境，以及目標(biāo)檢測(cè)和目標(biāo)識(shí)別的樣例模型和測(cè)試程序，適用于人臉檢測(cè)、人體檢測(cè)、人臉識(shí)別、機(jī)非人檢測(cè)分類(lèi)等安防場(chǎng)景。

Sophon SA3系列AI加速計(jì)算服務(wù)器，采用低功耗的ARM CPU作為主控制芯片，在提供超強(qiáng)算力的同時(shí)，降低了整機(jī)的功耗，提供了更高能效比的服務(wù)器產(chǎn)品；主要面向數(shù)據(jù)中心及中小型局/所邊緣節(jié)點(diǎn)，提供超強(qiáng)的視頻結(jié)構(gòu)化處理能力，滿足中小站點(diǎn)的智能化改造訴求及數(shù)據(jù)中心的分布式部署要求。

5 BM1682芯片技術(shù)

BM1682芯片可脫離 X86 CPU 單獨(dú)存在，其架構(gòu)圖如圖2所示。支持客戶二次開(kāi)發(fā)，擁有單芯片八路H.264/H.265解碼能力，支持視頻圖像后處理硬件加速，相比第一代擁有更低功耗、更高密度的特點(diǎn)，實(shí)際性能提升5倍以上。此外支持以太網(wǎng)，PCIE的多芯片互聯(lián)，易于橫向擴(kuò)展，支持大規(guī)模數(shù)據(jù)中心。

BM1682高達(dá)3TFLOPs的FP32浮點(diǎn)運(yùn)算能力，16MB片內(nèi)SRAM，可以極大的減少模型運(yùn)算時(shí)的數(shù)據(jù)搬運(yùn)，提升性能；推理加速性能相當(dāng)于同等算力GPU的160%。

圖2 BM1682架構(gòu)圖

完善易用的SDK支持：完善的神經(jīng)網(wǎng)絡(luò)編譯器，支持多種網(wǎng)絡(luò)；接口豐富，方便快速遷移，支持各類(lèi)圖像算法。

在高密度服務(wù)器中，BM1682運(yùn)行在SoC模式，每顆芯片包含4核Cortex-A53處理器，運(yùn)行獨(dú)立的Linux操作系統(tǒng)，提供SDK控制NPU神經(jīng)網(wǎng)絡(luò)加速單元，H.264/H.265/Jpeg硬件解碼單元和視頻后處理硬件單元，芯片間通過(guò)網(wǎng)絡(luò)連接形成集群。

每顆BM1682的NPU矩陣包含64顆NPU單元，每顆NPU包含32個(gè)EU單元，每個(gè)EU單元在每個(gè)時(shí)鐘周期可做2次運(yùn)算（1次乘和1次加），如果NPU的頻率是750MHz，則此款芯片的額定算力=64*32*2*750=3072000M=3TFLOPS。

應(yīng)用程序運(yùn)行于主機(jī)CPU上，鏈接BMDNN（深度學(xué)習(xí)層layer級(jí)別的加速庫(kù)接口）和BMCV（使用TPU和VPU進(jìn)行CV處理的加速庫(kù)接口）以及FFMPEG動(dòng)態(tài)庫(kù)，運(yùn)行時(shí)通過(guò)PCIE驅(qū)動(dòng)訪問(wèn)BM1682。

BMCVSDK（BITMAIN Computer Vision SDK）是基于自主研發(fā)的BM1682芯片所定制的視頻加速工具包，涵蓋了定制版本的FFMPEG和用戶開(kāi)發(fā)接口以及基于NPU的圖像處理加速API，用于高效處理視頻數(shù)據(jù)，提升基于神經(jīng)網(wǎng)絡(luò)視頻應(yīng)用的圖像處理速度。

BMCVSDK由驅(qū)動(dòng)、用戶態(tài)SDK以及FFMPEG定制版開(kāi)源軟件組成，典型場(chǎng)景下的框架關(guān)系如圖3所示。

圖3 BM1682業(yè)務(wù)流程圖（PCIE模式）

來(lái)自文件或者網(wǎng)絡(luò)的視頻流通過(guò)FFMPEG傳輸?shù)絍PU（視頻處理單元）進(jìn)行解碼，解碼結(jié)果存放于PCIE板卡上的DDR內(nèi)存內(nèi)。

視頻解碼結(jié)果作為BMCV（使用TPU和VPU進(jìn)行CV處理的加速庫(kù)接口）的輸入進(jìn)行圖像處理，結(jié)果存放于PCIE板卡的DDR內(nèi)。

經(jīng)過(guò)BMNETC（面向Caffe model的BMCompiler前端）或者BMNETT（面向TensorFlow model的BMCompiler前端）等編譯器編譯的神經(jīng)網(wǎng)絡(luò)文件上下文經(jīng)過(guò)BMRUNTIME和BMLIB通過(guò)驅(qū)動(dòng)加載到PCIE板卡的DDR內(nèi)存中，并將BMCV處理過(guò)的數(shù)據(jù)作為NPU的輸入，進(jìn)行網(wǎng)絡(luò)計(jì)算。

計(jì)算結(jié)果通過(guò)PCIE讀取回應(yīng)用程序進(jìn)行結(jié)果展示或者上報(bào)。

從以上典型的應(yīng)用場(chǎng)景可以看到，BMCV庫(kù)和FFMPEG提供了對(duì)視頻的流水線式處理，以源視頻流的形式傳輸?shù)紹M1682 PCIE板卡上進(jìn)行解碼后，每幀圖像數(shù)據(jù)將留存于PCIE板卡的內(nèi)存中，在后續(xù)圖像處理和神經(jīng)網(wǎng)絡(luò)計(jì)算中復(fù)用，達(dá)到零拷貝的效果，在計(jì)算機(jī)/服務(wù)器安裝多塊板卡的高密度計(jì)算場(chǎng)景中可以充分利用板卡的硬件資源，大大減少PCIE總線上的數(shù)據(jù)吞吐量。

6 結(jié)語(yǔ)

相信在未來(lái)，AI 勢(shì)必將徹底改造安防這個(gè)傳統(tǒng)的行業(yè)，賦予安防系統(tǒng)以人工智能，自動(dòng)化的處理視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)，提升信息搜索的精準(zhǔn)程度，極大提高警務(wù)效率，讓整個(gè)社會(huì)更安全、更有秩序，而這有賴于行業(yè)上下游的通力配合。

但需要注意的是，在這個(gè)耗資巨大、耗時(shí)很長(zhǎng)的行業(yè)中，尋找具有創(chuàng)新性的、性價(jià)比高、可大規(guī)模部署的方案，是最務(wù)實(shí)也最接近成功的道路。在產(chǎn)業(yè)鏈方面，處在上游的芯片行業(yè)的產(chǎn)品和方案在很大程度上決定著安防系統(tǒng)的整體功能、技術(shù)、成本等核心指標(biāo)，同時(shí)也是影響安防行業(yè)未來(lái)的關(guān)鍵因素。