李秀麗,王 睿
(河南測繪職業(yè)學(xué)院,河南 鄭州 450000)
數(shù)字通信技術(shù)的發(fā)展與物聯(lián)網(wǎng)的融合為行業(yè)帶來了新的機(jī)遇和挑戰(zhàn)。物聯(lián)網(wǎng)作為信息技術(shù)與運(yùn)營技術(shù)的交叉領(lǐng)域,連接著數(shù)十億各類終端,產(chǎn)生著海量異構(gòu)數(shù)據(jù)。這些海量數(shù)據(jù)的交互推動(dòng)著行業(yè)數(shù)字化轉(zhuǎn)型的加速。然而,當(dāng)前物聯(lián)網(wǎng)環(huán)境下的數(shù)字通信系統(tǒng)在網(wǎng)絡(luò)拓?fù)鋭?dòng)態(tài)性、服務(wù)質(zhì)量保證等方面面臨較大難題。為此,設(shè)計(jì)一套面向物聯(lián)網(wǎng)環(huán)境的數(shù)字通信系統(tǒng)迫在眉睫。文章著眼于物聯(lián)網(wǎng)環(huán)境下數(shù)字通信的特殊需求和系統(tǒng)性挑戰(zhàn),探討基于物聯(lián)網(wǎng)技術(shù)的數(shù)字通信系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn),以期為行業(yè)提供參考。
物聯(lián)網(wǎng)環(huán)境下數(shù)字通信系統(tǒng)面臨的特殊需求與挑戰(zhàn)體現(xiàn)在多個(gè)方面[1]。一方面,海量異構(gòu)終端接入使得系統(tǒng)面臨大規(guī)模設(shè)備接入與管理的難題。預(yù)計(jì)到2025 年,將有超過500 億物聯(lián)網(wǎng)終端設(shè)備接入網(wǎng)絡(luò)。這些海量設(shè)備類型復(fù)雜,包括射頻識別(Radio Frequency Identification,RFID)標(biāo)簽、傳感器、全球定位系統(tǒng)(Global Positioning System,GPS)及智能電表等。大量異構(gòu)終端的網(wǎng)絡(luò)接入必然使得系統(tǒng)的拓?fù)涔芾?、命名解析、信令交互等面臨前所未有的挑戰(zhàn)。另一方面,海量異構(gòu)數(shù)據(jù)的交互與計(jì)算令系統(tǒng)面臨性能瓶頸。到2025 年,全球每年數(shù)據(jù)流量預(yù)計(jì)達(dá)到4.2 ZB,面向不同行業(yè)場景的千萬級海量數(shù)據(jù)需要在云端實(shí)現(xiàn)交互、計(jì)算與分析,對數(shù)字通信系統(tǒng)的柔性擴(kuò)展與性能提出了挑戰(zhàn)[1]。
面向物聯(lián)網(wǎng)環(huán)境的數(shù)字通信系統(tǒng)在感知層的設(shè)計(jì)須解決大規(guī)模異構(gòu)終端的接入與管理問題。本設(shè)計(jì)采用混合網(wǎng)絡(luò)結(jié)構(gòu),通過部署宏基站與微基站實(shí)現(xiàn)覆蓋增強(qiáng),用以應(yīng)對射頻(Radio Frequency,RF)技術(shù)的路徑損耗與陰影衰落效應(yīng)。宏基站按500 m 間距部署,發(fā)射功率為40 dBm;微基站間距為100 m,發(fā)射功率為20 dBm。網(wǎng)絡(luò)構(gòu)建混合多跳Mesh 拓?fù)?,宏基站?fù)責(zé)中繼節(jié)點(diǎn)選擇與路由建立,微基站負(fù)責(zé)感知層終端接入。感知層網(wǎng)絡(luò)接入多種類別物聯(lián)網(wǎng)終端,包括FRID 設(shè)備、紅外熱釋傳感器等。本系統(tǒng)構(gòu)建統(tǒng)一的物聯(lián)網(wǎng)設(shè)備對象模型,對異構(gòu)終端的屬性、行為等信息進(jìn)行抽象與封裝,以實(shí)現(xiàn)對海量異構(gòu)終端的自動(dòng)化識別與管理。在網(wǎng)絡(luò)安全方面,本系統(tǒng)采用基于物理層特征的身份識別技術(shù),提取信號的頻偏、相位噪聲等唯一特征,形成RF-DNA 指紋,可有效防止偽基站欺騙與子集攻擊[2]。
本設(shè)計(jì)采用軟件定義網(wǎng)絡(luò)(Software Defined Network,SDN)架構(gòu)以實(shí)現(xiàn)網(wǎng)絡(luò)控制層與數(shù)據(jù)轉(zhuǎn)發(fā)層的分離??刂茖蛹惺降貙?shí)現(xiàn)接入策略控制、路由計(jì)算及資源優(yōu)化;數(shù)據(jù)轉(zhuǎn)發(fā)層僅負(fù)責(zé)高效轉(zhuǎn)發(fā)??刂茖佑蒘DN 控制器組成,維護(hù)全局網(wǎng)絡(luò)拓?fù)湟晥D,并利用機(jī)架頂部(Top of Rack,ToR)交換機(jī)與服務(wù)器交換機(jī)實(shí)現(xiàn)異構(gòu)終端流量的邏輯隔離。ToR 交換機(jī)連接異構(gòu)接入網(wǎng)絡(luò),服務(wù)器交換機(jī)連接云計(jì)算池。SDN控制器根據(jù)業(yè)務(wù)需求完成網(wǎng)絡(luò)編程,下發(fā)流表給ToR交換機(jī),實(shí)現(xiàn)按需調(diào)度與策略控制。數(shù)據(jù)轉(zhuǎn)發(fā)層利用“瘦腰”模型降低轉(zhuǎn)發(fā)延時(shí),其中服務(wù)器交換機(jī)采用100 GE 線速,ToR 交換機(jī)采用25 GE 線速。另外,本設(shè)計(jì)還采用段路由技術(shù)改進(jìn)網(wǎng)絡(luò)層轉(zhuǎn)發(fā)性能。在匯聚節(jié)點(diǎn)設(shè)置轉(zhuǎn)發(fā)表,數(shù)據(jù)報(bào)文僅攜帶一段路由信息。匯聚節(jié)點(diǎn)根據(jù)本地匯聚節(jié)點(diǎn)選擇出端節(jié)點(diǎn)轉(zhuǎn)發(fā),提高了路徑利用效率[3]。假設(shè)轉(zhuǎn)發(fā)路徑含n跳,則報(bào)文傳輸時(shí)間可表示為
式中:L/C為單跳傳輸時(shí)延;tp為匯聚節(jié)點(diǎn)的處理時(shí)延。采用段路由后,轉(zhuǎn)發(fā)效率明顯提升。
面向物聯(lián)網(wǎng)的數(shù)字通信系統(tǒng)在平臺(tái)層的設(shè)計(jì)重點(diǎn)在于大數(shù)據(jù)的存儲(chǔ)、處理、分析。本設(shè)計(jì)構(gòu)建云邊端協(xié)同的計(jì)算框架,在云端部署Spark Streaming 模塊,實(shí)時(shí)處理海量數(shù)據(jù);在邊緣節(jié)點(diǎn)部署Kafka Server,負(fù)責(zé)數(shù)據(jù)緩存與訂閱;終端設(shè)備以數(shù)據(jù)生產(chǎn)者身份接入Kafka 集群,體系結(jié)構(gòu)如下。
終端設(shè)備采集各類物聯(lián)網(wǎng)數(shù)據(jù),包括工業(yè)現(xiàn)場的機(jī)床運(yùn)行狀態(tài)、智慧交通中的車輛運(yùn)動(dòng)軌跡、醫(yī)療系統(tǒng)中的健康監(jiān)測數(shù)據(jù)等。數(shù)據(jù)采集節(jié)點(diǎn)將數(shù)據(jù)先發(fā)送至就近的Kafka Broker。Broker 利用Zookeeper 模塊管理Kafka 集群成員,并將數(shù)據(jù)寫入特定Topic 分區(qū)。同時(shí),Broker 緩存數(shù)據(jù),滿足Spark Streaming 的消費(fèi)速率。Spark Streaming 通過應(yīng)用提交至YARN 集群后,以Direct 模型直接接入Kafka 集群,消費(fèi)各Topic 并執(zhí)行連續(xù)計(jì)算。計(jì)算結(jié)果輸出至HBase、分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS) 等大數(shù)據(jù)存儲(chǔ)系統(tǒng),供決策分析模塊使用[4]。假設(shè)物聯(lián)網(wǎng)環(huán)境下有n個(gè)數(shù)據(jù)源,生成速率為λi,則Kafka Broker 的總?cè)肓髁繛?/p>
Kafka 需要確保數(shù)據(jù)輸入速率小于Spark Streaming 消費(fèi)速率Bout,即
通過調(diào)節(jié)Topic 分區(qū)數(shù)p可以動(dòng)態(tài)擴(kuò)展,不致成為系統(tǒng)瓶頸。上述設(shè)計(jì)充分利用云計(jì)算與大數(shù)據(jù)技術(shù),有效解決了海量異構(gòu)數(shù)據(jù)的存儲(chǔ)、低延時(shí)計(jì)算及實(shí)時(shí)處理問題,可適應(yīng)物聯(lián)網(wǎng)環(huán)境的特點(diǎn)與需求。
面向物聯(lián)網(wǎng)環(huán)境的數(shù)字通信系統(tǒng)在應(yīng)用層主要面向工業(yè)、交通、醫(yī)療等領(lǐng)域,提供智能監(jiān)控、運(yùn)維優(yōu)化、輔助決策等服務(wù)。本設(shè)計(jì)構(gòu)建以面向服務(wù)架構(gòu)(Service Oriented Architecture,SOA)為基礎(chǔ)的開放式應(yīng)用體系。平臺(tái)層的海量異構(gòu)數(shù)據(jù)經(jīng)ETL tools 整合后,構(gòu)成面向各行業(yè)場景的細(xì)粒度信息服務(wù)庫。應(yīng)用層按服務(wù)類型劃分為數(shù)據(jù)服務(wù)子層、軟件服務(wù)子層、軟件即服務(wù)(Software as a Service,SaaS)子層[5]。
數(shù)據(jù)服務(wù)子層主要輸出海量數(shù)據(jù)產(chǎn)品。系統(tǒng)構(gòu)建工業(yè)數(shù)據(jù)交易中心、交通信息發(fā)布平臺(tái)、健康大數(shù)據(jù)服務(wù)平臺(tái),開放詳情數(shù)據(jù)產(chǎn)品查詢與采購服務(wù)。數(shù)據(jù)產(chǎn)品的形態(tài)豐富多樣,涵蓋了從諸如視頻流、RFID 原始數(shù)據(jù)采集樣本等具有較大負(fù)載的大數(shù)據(jù)內(nèi)容,到結(jié)構(gòu)清晰的報(bào)表信息、深度統(tǒng)計(jì)分析得出的結(jié)果等多種類型的數(shù)據(jù)集合。系統(tǒng)支持按需訂閱和彈性計(jì)費(fèi)方式。
軟件服務(wù)子層面向第三方開發(fā)者開放平臺(tái)應(yīng)用程序接口(Application Programming Interface,API),供開發(fā)者基于平臺(tái)數(shù)據(jù)資源開發(fā)垂直領(lǐng)域的SaaS 工具。平臺(tái)提供數(shù)據(jù)提取、預(yù)處理、加載等模塊;開發(fā)者專注業(yè)務(wù)建模與算法優(yōu)化。系統(tǒng)也開放機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘算法模塊,以降低開發(fā)者門檻。
SaaS 服務(wù)子層構(gòu)建多類模型產(chǎn)品,面向不同場景的管理決策需求。例如,針對工業(yè)領(lǐng)域,系統(tǒng)構(gòu)建的機(jī)器對機(jī)器(Machine-To-Machine,M2M)平臺(tái);針對智慧交通,有交通流感知、車道管理SaaS 服務(wù);針對醫(yī)療系統(tǒng),有遠(yuǎn)程在線健康咨詢、慢病管理軟件服務(wù)等。假設(shè)面向m類應(yīng)用場景開放n類服務(wù)質(zhì)量(Service Quality,QoS)服務(wù),單服務(wù)處理能力為PNi,用戶請求流量為RNi,則需要確保
上述設(shè)計(jì)通過多層次的服務(wù)體系,滿足多樣、定制、開放的應(yīng)用需求,可高效利用物聯(lián)網(wǎng)的海量數(shù)據(jù)資源。
為驗(yàn)證設(shè)計(jì)的面向物聯(lián)網(wǎng)環(huán)境的數(shù)字通信系統(tǒng)的性能,構(gòu)建仿真平臺(tái)進(jìn)行測試驗(yàn)證。首先,利用Riverbed Modeler 搭建包含各層模塊的系統(tǒng)仿真拓?fù)?。其中,利用通用模塊構(gòu)建終端、有線鏈路、無線基站等;利用設(shè)備模板搭建SDN 控制器、流表、Kafka 代理等;利用高級模塊添加時(shí)延、丟包率參數(shù);并構(gòu)建檢測點(diǎn)連接數(shù)據(jù)統(tǒng)計(jì)模塊。其次,設(shè)計(jì)多組測試場景,包括500 萬終端異構(gòu)接入場景,驗(yàn)證網(wǎng)絡(luò)提供大規(guī)模設(shè)備自動(dòng)化接入與管理的能力;軟硬件故障場景,驗(yàn)證系統(tǒng)異常檢測與快速重配置的彈性;高速移動(dòng)軌跡場景,驗(yàn)證海量數(shù)據(jù)聯(lián)合計(jì)算與多步數(shù)據(jù)融合的效果等。最后,在測試指標(biāo)體系上,細(xì)分為以下維度:一是功能指標(biāo),如業(yè)務(wù)識別率、節(jié)點(diǎn)可用率、數(shù)據(jù)采集完整率等;二是性能指標(biāo),如流表配置速率、端到端時(shí)延、負(fù)載均衡程度等;三是經(jīng)濟(jì)指標(biāo),如集群單位存儲(chǔ)成本、SDN 控制器平均管理成本等。各維度指標(biāo)根據(jù)測試需求采用不同的計(jì)算方式。例如,準(zhǔn)確率的指標(biāo)計(jì)算為
式中:Ncorrect為正確識別的業(yè)務(wù)數(shù);Ntotal為業(yè)務(wù)總數(shù)。通過測試各關(guān)鍵指標(biāo),可全面驗(yàn)證系統(tǒng)的功能、性能、運(yùn)維成本等指標(biāo),為下一步的優(yōu)化指明方向。
通過仿真測試驗(yàn)證,設(shè)計(jì)的面向物聯(lián)網(wǎng)環(huán)境的數(shù)字通信系統(tǒng)在功能、性能、擴(kuò)展性等方面展現(xiàn)出較好的效果。在大規(guī)模異構(gòu)終端識別與管理場景中,系統(tǒng)成功接入了包含不同類型傳感器、執(zhí)行器等在內(nèi)的約500 萬終端,自動(dòng)識別率達(dá)到99.7%,單節(jié)點(diǎn)最大負(fù)載未超過45%,驗(yàn)證了系統(tǒng)支持大規(guī)模異構(gòu)接入與管理的能力。在網(wǎng)絡(luò)動(dòng)態(tài)調(diào)整場景中,單節(jié)點(diǎn)故障檢測時(shí)間小于50 ms,SDN 控制器完成流表重新配置的時(shí)間約為200 ms,重要業(yè)務(wù)中斷時(shí)間均在1 s 以內(nèi),驗(yàn)證了系統(tǒng)的故障容錯(cuò)與網(wǎng)絡(luò)自我調(diào)節(jié)能力。
在數(shù)據(jù)處理性能方面,實(shí)驗(yàn)?zāi)M了包括高清視頻流、工業(yè)傳感數(shù)據(jù)、醫(yī)療監(jiān)護(hù)信息等在內(nèi)的約4 000 萬數(shù)據(jù)源,單節(jié)點(diǎn)的計(jì)算性能約為每秒80 萬條數(shù)據(jù),通過動(dòng)態(tài)調(diào)整Topic 分區(qū)數(shù),海量數(shù)據(jù)實(shí)時(shí)生產(chǎn)與處理性能基本匹配,驗(yàn)證了系統(tǒng)的數(shù)據(jù)后端處理能力。部分實(shí)驗(yàn)數(shù)據(jù)如表1 所示。
表1 系統(tǒng)性能關(guān)鍵指標(biāo)測試結(jié)果
由實(shí)驗(yàn)結(jié)果可知,系統(tǒng)在大連接、高吞吐、實(shí)時(shí)計(jì)算等方面具有良好性能,達(dá)到了設(shè)計(jì)目標(biāo),并滿足典型物聯(lián)網(wǎng)應(yīng)用場景的需求。后續(xù)工作將在此基礎(chǔ)上繼續(xù)優(yōu)化算法,提升易用性與運(yùn)維效率等。
文章針對物聯(lián)網(wǎng)環(huán)境下數(shù)字通信系統(tǒng)面臨的大連接、異構(gòu)網(wǎng)絡(luò)、海量數(shù)據(jù)等挑戰(zhàn),設(shè)計(jì)了一套面向物聯(lián)網(wǎng)的數(shù)字通信解決方案。系統(tǒng)在感知層實(shí)現(xiàn)大規(guī)模異構(gòu)終端的自動(dòng)化管理,安全機(jī)制提高了接入網(wǎng)絡(luò)的可靠性;網(wǎng)絡(luò)層采用SDN 架構(gòu)并優(yōu)化了路由轉(zhuǎn)發(fā)機(jī)制,適應(yīng)高動(dòng)態(tài)的網(wǎng)絡(luò)環(huán)境;平臺(tái)層構(gòu)建云邊端協(xié)同計(jì)算框架,高效存儲(chǔ)、計(jì)算、分析海量數(shù)據(jù);應(yīng)用層提供多樣、定制及開放的服務(wù)體系。本設(shè)計(jì)有效應(yīng)對物聯(lián)網(wǎng)環(huán)境的挑戰(zhàn),較好地滿足了數(shù)字通信的特殊需求,可為相關(guān)行業(yè)提供借鑒與參考。