国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

工業(yè)互聯(lián)網(wǎng)算網(wǎng)一體技術(shù)研究

2023-02-09 12:00:54宋聞?shì)?/span>許方敏張恒升趙成林
無線電通信技術(shù) 2023年1期
關(guān)鍵詞:算力時(shí)延部署

楊 帆,宋聞?shì)?,許方敏*,張恒升,趙成林

(1.北京郵電大學(xué) 信息與通信工程學(xué)院,北京 100876;2.中國(guó)信息通信研究院,北京 100191)

0 引言

隨著工業(yè)互聯(lián)網(wǎng)的不斷發(fā)展,工業(yè)智能應(yīng)用對(duì)計(jì)算機(jī)存儲(chǔ)能力和算力的要求不斷提高,業(yè)界相繼提出了以分布式技術(shù)為基礎(chǔ)的集中部署的云計(jì)算和以低時(shí)延、低能耗為特點(diǎn)的邊緣計(jì)算。云計(jì)算在一定程度上滿足了需要龐大計(jì)算量的密集型業(yè)務(wù)[1],但是傳統(tǒng)的云計(jì)算不足以提供低時(shí)延、高算力的服務(wù)。而移動(dòng)邊緣計(jì)算距離移動(dòng)終端更近,且能夠提供更低時(shí)延、更高效率的計(jì)算能力[2]。云計(jì)算和邊緣計(jì)算為工業(yè)互聯(lián)網(wǎng)提供了匹配不同應(yīng)用的算力和時(shí)延需求。

由于邊緣計(jì)算服務(wù)器算力有限,為滿足分布式工業(yè)智能應(yīng)用的高效處理,越來越多的邊緣服務(wù)器部署在工廠和園區(qū)中,因此數(shù)據(jù)的計(jì)算和存儲(chǔ)逐漸從中心擴(kuò)散到邊緣和終端的趨勢(shì)形成算力泛在部署,但是邊緣計(jì)算單點(diǎn)的算力資源有限,且邊緣節(jié)點(diǎn)之間不互相感知。為協(xié)同海量資源受限的邊緣算力以提高算力利用率,業(yè)界提出算力感知網(wǎng)絡(luò)(Computing-aware Networking,CAN)的思想[3],將計(jì)算與連接相結(jié)合利用算力協(xié)同形成算力組網(wǎng)。算力感知網(wǎng)絡(luò)的提出標(biāo)志著人類正在邁向萬物感知、萬物互聯(lián)、萬物智能的“算力時(shí)代”[4]。

雖然為滿足海量工業(yè)應(yīng)用的算力需求,算力在工業(yè)互聯(lián)網(wǎng)中已呈現(xiàn)泛在部署形式,但是并未根據(jù)不同應(yīng)用的不同需求優(yōu)化算力的部署和分配利用方案。作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施的一種,如何將算力網(wǎng)絡(luò)引入工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)體系中,并探究算力網(wǎng)絡(luò)在工業(yè)互聯(lián)網(wǎng)中的部署和應(yīng)用,是亟須研究解決的問題。

由于在工業(yè)互聯(lián)網(wǎng)中不同任務(wù)對(duì)時(shí)延和算力的要求不同,一些輕量級(jí)、高延遲需求的任務(wù)可以在靠近現(xiàn)場(chǎng)級(jí)的內(nèi)網(wǎng)計(jì)算設(shè)施進(jìn)行計(jì)算,而部分大算力需求對(duì)延遲容忍程度高的任務(wù)更適合在外部超算中心進(jìn)行處理,因此本文提出了以工業(yè)互聯(lián)網(wǎng)為基礎(chǔ)的內(nèi)網(wǎng)+外網(wǎng)的算力部署架構(gòu)和應(yīng)用部署方案,以滿足不同需求任務(wù)不同方面的需求,同時(shí)深入分析了算力網(wǎng)絡(luò)在工廠內(nèi)外網(wǎng)實(shí)現(xiàn)落地部署存在的算力度量和表征、標(biāo)識(shí)、感知、路由和調(diào)度,以及安全等方面挑戰(zhàn)。

1 算力網(wǎng)絡(luò)的發(fā)展現(xiàn)狀

云計(jì)算和邊緣計(jì)算都是信息技術(shù)資源(計(jì)算資源、存儲(chǔ)資源等)的載體[5],類比于電力系統(tǒng)中的電廠與電網(wǎng),而算力網(wǎng)絡(luò)做為算力的“網(wǎng)”將孤立的云計(jì)算和邊緣計(jì)算的IT資源變成有效的IT資源,實(shí)現(xiàn)高效協(xié)同的利用云計(jì)算、邊緣計(jì)算和智能終端的異構(gòu)泛在計(jì)算資源[6]。

近6年來,隨著人工智能(AI)技術(shù)的發(fā)展,數(shù)據(jù)分析與處理對(duì)算力的需求增長(zhǎng)已超過30萬倍[7],由于我國(guó)經(jīng)濟(jì)發(fā)展和應(yīng)用需求“東密西疏”,但是自然資源“東貧西富”,這種應(yīng)用和資源不匹配的情況影響了我國(guó)信息化進(jìn)程[8]。因此,2022年3月第十三屆全國(guó)人大提出“東數(shù)西算”工程戰(zhàn)略,算力網(wǎng)絡(luò)的實(shí)現(xiàn)將會(huì)更高效地利用西部的算力資源為東部的數(shù)據(jù)和應(yīng)用需求服務(wù),同時(shí)提供高保障性和高可靠性,實(shí)現(xiàn)東西部協(xié)同發(fā)展,提升國(guó)家總體算力資源的利用率,最終實(shí)現(xiàn)“網(wǎng)絡(luò)無所不達(dá),算力無所不在,智能無所不及”[9]。

目前產(chǎn)業(yè)化、標(biāo)準(zhǔn)化、學(xué)術(shù)界各方都在積極推進(jìn)算力網(wǎng)絡(luò)技術(shù)的發(fā)展和落地,業(yè)界對(duì)算力網(wǎng)絡(luò)的標(biāo)準(zhǔn)化也逐步趨于完善。

1.1 標(biāo)準(zhǔn)化發(fā)展現(xiàn)狀

1.1.1 國(guó)際標(biāo)準(zhǔn)化發(fā)展現(xiàn)狀

國(guó)內(nèi)運(yùn)營(yíng)商和華為在IETF開展了算力網(wǎng)絡(luò)系列研究; ETSI啟動(dòng)了“NFV Support for Network Function Connectivity Extensions (NFV-EVE020)”項(xiàng)目,寬帶論壇(BBF)啟動(dòng)了“Metro Computing Network(SD-466)”項(xiàng)目,各項(xiàng)研究都旨在解決算力網(wǎng)絡(luò)在不同領(lǐng)域中的實(shí)際發(fā)展應(yīng)用和功能擴(kuò)展。

2019年2月,IETF成立了網(wǎng)內(nèi)計(jì)算研究組(Computing in the Network Research Group,COINRG)。中國(guó)移動(dòng)聯(lián)合華為組織了計(jì)算優(yōu)先網(wǎng)絡(luò)(Computing First Network, CFN)技術(shù)研討會(huì),分別針對(duì)CFN場(chǎng)景和需求、CFN的架構(gòu)以及CFN的實(shí)驗(yàn)部署提出了三項(xiàng)草案[10-12]。

2021年7月5日—16日,ITU-T SG13(國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門第13研究組)發(fā)布了中國(guó)電信研究院第一個(gè)算力網(wǎng)絡(luò)技術(shù)的國(guó)際標(biāo)準(zhǔn)“算力網(wǎng)絡(luò)框架與架構(gòu)標(biāo)準(zhǔn)Computing Power Network-framework and Architecture”(Y.2501)。ITU-T Y.2501標(biāo)準(zhǔn)提出了一種算力網(wǎng)絡(luò)的新型架構(gòu)體系;ITU-TSG13建議開啟Y.2500系列編號(hào),以Y.2501[13]為首個(gè)標(biāo)準(zhǔn),形成算力網(wǎng)絡(luò)系列標(biāo)準(zhǔn)。

同時(shí)三大運(yùn)營(yíng)商和華為等企業(yè)還分別牽頭啟動(dòng)推進(jìn)了Q.CPN(算力網(wǎng)絡(luò)的信令要求)[14]、Y.ASA-CPN、Q.BNG-INC(算力網(wǎng)絡(luò)邊界網(wǎng)關(guān)的信令要求)與Y.CAN、Y.CPN-arch[15]等SG11和SG13組的相關(guān)標(biāo)準(zhǔn)制定。同期,中國(guó)電信研究院成功立項(xiàng)“Y.NGNe-O-CPN-reqts”標(biāo)準(zhǔn);中國(guó)聯(lián)通、中國(guó)電信成功立項(xiàng)Y.ASA-CPN標(biāo)準(zhǔn),研究算力網(wǎng)絡(luò)認(rèn)證調(diào)度架構(gòu)。

1.1.2 國(guó)內(nèi)標(biāo)準(zhǔn)化發(fā)展現(xiàn)狀

2019年9月,邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟(Edge Computing Consortium,ECC)與網(wǎng)絡(luò)5.0產(chǎn)業(yè)和技術(shù)創(chuàng)新聯(lián)盟(Network 5.0 Industry and Technology Innovation Alliance,N5A)聯(lián)合成立邊緣計(jì)算網(wǎng)絡(luò)基礎(chǔ)設(shè)施聯(lián)合工作組ECNI,致力于網(wǎng)絡(luò)5.0的研究推動(dòng)和標(biāo)準(zhǔn)化過程,其中算力網(wǎng)絡(luò)被視為未來網(wǎng)絡(luò)發(fā)展重要方向之一。2020年6月產(chǎn)業(yè)對(duì)算力網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)新的階段,中國(guó)通信網(wǎng)絡(luò)技術(shù)標(biāo)準(zhǔn)委員會(huì)CCSA TC614正式成立了算力網(wǎng)絡(luò)特別任務(wù)組。CCSA目前在TC1-WG5、TC3-WG1和TC1-WG2工作組分別對(duì)“泛在計(jì)算的需求與架構(gòu)”“算力網(wǎng)絡(luò)的需求與架構(gòu)”“面向業(yè)務(wù)體驗(yàn)的算力需求量化與建模研究”進(jìn)行了規(guī)范。2022年CCSA已經(jīng)通過了行業(yè)標(biāo)準(zhǔn)《算力網(wǎng)絡(luò)總體技術(shù)要求》,提出了算力網(wǎng)絡(luò)的標(biāo)準(zhǔn)定義和發(fā)展目標(biāo),并制定了算力網(wǎng)絡(luò)的總體技術(shù)架構(gòu)和關(guān)鍵技術(shù)要求。同年CCSA算網(wǎng)融合產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)(CCSA TC621)和多樣性算力產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)(CCSA TC622)分別圍繞“計(jì)算網(wǎng)絡(luò)化”“網(wǎng)絡(luò)計(jì)算化”兩個(gè)方向協(xié)同開展標(biāo)準(zhǔn)化工作。

1.2 產(chǎn)業(yè)發(fā)展現(xiàn)狀

在產(chǎn)業(yè)層面,國(guó)內(nèi)各大運(yùn)營(yíng)商牽頭制定了一系列的標(biāo)準(zhǔn),同時(shí)發(fā)布產(chǎn)業(yè)白皮書,主導(dǎo)業(yè)界在算力網(wǎng)絡(luò)研究上的推進(jìn)。2019年11月中國(guó)聯(lián)通在業(yè)界率先發(fā)布了《中國(guó)聯(lián)通算力網(wǎng)絡(luò)白皮書》[16],首次提倡推動(dòng)算力網(wǎng)絡(luò)概念的發(fā)展,表明算力網(wǎng)絡(luò)將是云網(wǎng)融合未來發(fā)展的新階段。在2020年11月,中國(guó)聯(lián)通聯(lián)合多方成立了算力網(wǎng)絡(luò)產(chǎn)業(yè)技術(shù)聯(lián)盟,進(jìn)一步完善算力網(wǎng)絡(luò)生態(tài),在“聯(lián)接+計(jì)算”領(lǐng)域推動(dòng)算力網(wǎng)絡(luò)的落地和轉(zhuǎn)型。

中國(guó)移動(dòng)在2019年11月和華為在邊緣計(jì)算產(chǎn)業(yè)峰會(huì)(ECIS2019)上聯(lián)合發(fā)布了《算力感知網(wǎng)絡(luò)技術(shù)白皮書》[17],2021年更新了《算力感知網(wǎng)絡(luò)(CAN)技術(shù)白皮書(2021年版)》[3],提出算力感知網(wǎng)絡(luò)(Computing-aware Networking, CAN)五層功能架構(gòu)和算力網(wǎng)絡(luò)的新架構(gòu)、新協(xié)議、新度量。2021年11月和2022年2月中國(guó)移動(dòng)分別發(fā)布了《中國(guó)移動(dòng)算力網(wǎng)絡(luò)白皮書》《算力網(wǎng)絡(luò)安全白皮書》[9,18],以算力為中心、網(wǎng)絡(luò)為根基全面揭示了算力網(wǎng)絡(luò)的發(fā)展路徑,掀開了布局算力網(wǎng)絡(luò)的序幕。

作為國(guó)內(nèi)數(shù)量最多、最大的數(shù)據(jù)中心服務(wù)提供商,中國(guó)電信率先提出“網(wǎng)是基礎(chǔ)、云為核心、網(wǎng)隨云動(dòng)、云網(wǎng)一體”的云網(wǎng)融合方向,融合網(wǎng)絡(luò)、算力和存儲(chǔ)三大資源,規(guī)劃了“核心+省+邊緣+端”四級(jí)架構(gòu)AI算力網(wǎng)絡(luò),超前部署AI算力,結(jié)合業(yè)務(wù)場(chǎng)景進(jìn)行靈活部署,提供算網(wǎng)數(shù)智等多要素融合的AI服務(wù)。

華為、浪潮等廠商也先后發(fā)布了產(chǎn)業(yè)白皮書;華為在貴州貴安即將建成全球最大的云數(shù)據(jù)中心;阿里、華為在內(nèi)蒙古烏蘭察市建設(shè)了數(shù)據(jù)中心,為華北地區(qū)的算力、存儲(chǔ)等業(yè)務(wù)提供服務(wù),共同推進(jìn)算力網(wǎng)絡(luò)的發(fā)展;中國(guó)移動(dòng)在第七屆機(jī)器人峰會(huì)上展示了網(wǎng)絡(luò)+計(jì)算雙流跨省確定性同步方案,通過網(wǎng)絡(luò)的靈活調(diào)整來適應(yīng)差異化算力。2022年,我國(guó)開始布局建設(shè)八大算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn):粵港澳大灣區(qū)、成渝地區(qū)、長(zhǎng)三角地區(qū)、京津冀地區(qū)、寧夏、內(nèi)蒙古、貴州、甘肅。

1.3 學(xué)術(shù)發(fā)展現(xiàn)狀

雖然學(xué)術(shù)界對(duì)云計(jì)算和邊緣計(jì)算的研究比較充分,但是目前算力網(wǎng)絡(luò)發(fā)展仍處于初步階段,學(xué)術(shù)界對(duì)算力網(wǎng)絡(luò)尤其是工業(yè)互聯(lián)網(wǎng)中的算力網(wǎng)絡(luò)技術(shù)的研究?jī)?nèi)容較少。目前算力網(wǎng)絡(luò)研究型論文和理論性論文聚焦于算力網(wǎng)絡(luò)的架構(gòu)和關(guān)鍵技術(shù),相關(guān)學(xué)者研究了包括算力路由和算力資源分配在內(nèi)的諸多算力功能。文獻(xiàn)[19]研究了工業(yè)互聯(lián)網(wǎng)-邊緣-云模型的多跳計(jì)算卸載問題,文中利用博弈論提出了兩種QoS感知分布式算法,并證明了算法的收斂性;模擬結(jié)果驗(yàn)證該算法不僅可以隨著工業(yè)互聯(lián)網(wǎng)設(shè)備群規(guī)模的增加而很好地?cái)U(kuò)展,而且在各種參數(shù)設(shè)置下比現(xiàn)有算法更穩(wěn)定且性能更好。文獻(xiàn)[20]利用Floyd算法提出算力感知路由分配策略,針對(duì)算力網(wǎng)絡(luò)中的算力路由和算力資源進(jìn)行協(xié)同調(diào)度,在任務(wù)處理時(shí)延和用戶滿意數(shù)上有比就近調(diào)度策略更優(yōu)的性能。文獻(xiàn)[21]提出了一種新型的算力網(wǎng)絡(luò)架構(gòu),為算力網(wǎng)絡(luò)中的用戶提供了適應(yīng)性,為組網(wǎng)算力資源調(diào)度提供了靈活性,為算力供應(yīng)商提供了價(jià)值激勵(lì),并且通過使用案例清晰地描述了該新型算力網(wǎng)絡(luò)架構(gòu)。文獻(xiàn)[22]首次提出了一種CFN-Watchdog的集中式故障檢測(cè)協(xié)議,可以很好地滿足根據(jù)計(jì)算負(fù)載和網(wǎng)絡(luò)狀態(tài)為邊緣計(jì)算智能分配計(jì)算資源的算力網(wǎng)絡(luò)要求,并及時(shí)回收故障占用的資源。

2 工業(yè)互聯(lián)網(wǎng)智能應(yīng)用對(duì)算力網(wǎng)絡(luò)的需求

在工業(yè)互聯(lián)網(wǎng)中,大部分工業(yè)智能任務(wù)例如控制類業(yè)務(wù)對(duì)時(shí)延要求極高,但是對(duì)算力要求不高;而一些工業(yè)智能任務(wù)對(duì)時(shí)延的要求不高,但是對(duì)算力的要求很高。因此,對(duì)不同業(yè)務(wù)有著不同的算力網(wǎng)絡(luò)匹配部署方案,不同的業(yè)務(wù)可以根據(jù)自己的特點(diǎn)來選擇部署在不同位置的算力網(wǎng)絡(luò)來進(jìn)行服務(wù)和計(jì)算,本文重點(diǎn)調(diào)研了工業(yè)智能應(yīng)用對(duì)算網(wǎng)的需求,以優(yōu)化應(yīng)用和算力的匹配部署方案。

本文針對(duì)工業(yè)互聯(lián)網(wǎng)中的應(yīng)用場(chǎng)景將工業(yè)智能應(yīng)用分為生產(chǎn)過程控制、設(shè)備實(shí)時(shí)監(jiān)測(cè)與預(yù)測(cè)性維護(hù)、智能巡檢、環(huán)境監(jiān)測(cè)與安全防護(hù)、產(chǎn)品質(zhì)量監(jiān)控、遠(yuǎn)程操作與運(yùn)維、生產(chǎn)輔助、自動(dòng)引導(dǎo)運(yùn)輸車(Automated Guided Vehicle,AGV)導(dǎo)航和生產(chǎn)設(shè)計(jì)與方案檢測(cè)九大類。

2.1 生產(chǎn)過程控制

2.1.1 過程自動(dòng)化

過程自動(dòng)化收集傳感器反饋的數(shù)據(jù),在分析處理這些數(shù)據(jù)后,調(diào)節(jié)優(yōu)化及控制各種設(shè)備,以提高生產(chǎn)效率。雙向、計(jì)算時(shí)延要求:≤1 s,典型的應(yīng)用包括:溫度檢測(cè)、壓力檢測(cè)、時(shí)間不敏感的設(shè)備控制(如水泵、壓縮機(jī)、攪拌機(jī)等)[23]。

2.1.2 工廠自動(dòng)化

工廠自動(dòng)化其本質(zhì)是控制電機(jī),實(shí)現(xiàn)其對(duì)角位移、轉(zhuǎn)矩、轉(zhuǎn)速等物理量。雙向、計(jì)算時(shí)延要求:1~100 ms,典型的應(yīng)用包括:金屬材料抓取、灌裝、打包、蓋章、剪裁、產(chǎn)品分類等[23]。

2.1.3 運(yùn)動(dòng)控制

運(yùn)動(dòng)控制是對(duì)機(jī)械運(yùn)動(dòng)部件的位置、速度等進(jìn)行實(shí)時(shí)的控制管理,使其按照預(yù)期的軌跡和規(guī)定的參數(shù)進(jìn)行運(yùn)動(dòng),因此運(yùn)動(dòng)控制對(duì)延遲要求極高。雙向、計(jì)算時(shí)延要求:250 μs~1 ms,典型的應(yīng)用場(chǎng)景包括:多軸同步、印刷、印制電路板、電子器件的抓取與放置等[23]。

2.2 設(shè)備實(shí)時(shí)監(jiān)測(cè)與預(yù)測(cè)性維護(hù)

設(shè)備實(shí)時(shí)性預(yù)測(cè)、預(yù)測(cè)性維護(hù)不僅可以對(duì)設(shè)備實(shí)時(shí)監(jiān)測(cè),進(jìn)行大數(shù)據(jù)分析,提前感知設(shè)備故障,而且可以遠(yuǎn)程服務(wù)和提前排查故障隱患,使維護(hù)變得更加智能,運(yùn)營(yíng)更加可靠,成本也更低。

2.3 智能巡檢

智能巡檢是指利用AI技術(shù),對(duì)產(chǎn)品生產(chǎn)、制造過程中進(jìn)行定期隨機(jī)流動(dòng)性的檢驗(yàn)巡視。具體包括數(shù)據(jù)采集、隱患處理與分析等。智能巡檢任務(wù)對(duì)時(shí)延要求:<20 ms。

2.4 環(huán)境監(jiān)測(cè)與安全防護(hù)

環(huán)境監(jiān)測(cè)與安全防護(hù)包括智能安防、視頻監(jiān)控。在環(huán)境檢測(cè)過程中,要進(jìn)行物理監(jiān)測(cè)、生物監(jiān)測(cè)、化學(xué)檢測(cè)。時(shí)延要求:20~50 ms[24];存儲(chǔ)需求:TByte級(jí)別;網(wǎng)絡(luò)需求:50~100 Mbit/s。

2.5 產(chǎn)品質(zhì)量檢測(cè)

產(chǎn)品質(zhì)量檢測(cè)利用卷積神經(jīng)網(wǎng)絡(luò)等圖像和視頻處理技術(shù)對(duì)產(chǎn)品的質(zhì)量進(jìn)行檢測(cè),例如對(duì)產(chǎn)品表面劃痕的長(zhǎng)度、深度、劃痕位置進(jìn)行識(shí)別,以此分類良品和次品。閉環(huán)時(shí)延不超過10~100 ms;可靠性需求1×10-5;速率:?jiǎn)斡脩舾兄俾?100 Mbit/s。

2.6 遠(yuǎn)程控制

2.6.1 遠(yuǎn)程操作與運(yùn)維

計(jì)算機(jī)遠(yuǎn)程運(yùn)維技術(shù)將分散在工業(yè)互聯(lián)網(wǎng)中的設(shè)備終端進(jìn)行集中化管理,實(shí)現(xiàn)計(jì)算機(jī)終端的遠(yuǎn)程控制。時(shí)延要求:空口時(shí)延<10 ms;可靠性需求1×10-5;高傳輸率:體驗(yàn)速率Gbit/s。

2.6.2 虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)(AR/VR)

AR遠(yuǎn)程協(xié)助可以支持員工學(xué)習(xí)、培訓(xùn)、交流,提供操作示范、導(dǎo)引,提醒生產(chǎn)過程注意事項(xiàng)及操作細(xì)節(jié);將工人看到的場(chǎng)景直接傳遞給工藝人員,工藝人員通過視頻、語音、標(biāo)記等交互手段對(duì)工人進(jìn)行直觀指導(dǎo)[24]。5G+AR/VR技術(shù),構(gòu)建產(chǎn)品展示、售后服務(wù)、技能培訓(xùn)等虛擬演示和體驗(yàn)環(huán)境,優(yōu)化客戶體驗(yàn),提升服務(wù)品質(zhì)和效率。

VR、AR的渲染,不同語言之間的實(shí)時(shí)和非實(shí)時(shí)翻譯等,這種場(chǎng)合對(duì)算力要求極高[5]。時(shí)延:工業(yè)現(xiàn)場(chǎng)毫秒級(jí)的確定時(shí)延10 ms[16];存儲(chǔ)需求:TByte級(jí);算力分類:基于圖像分析的AI推理能力、圖像渲染需要的計(jì)算能力屬于P級(jí)算力;網(wǎng)絡(luò)速率需求:50~100 Mbit/s。

2.7 生產(chǎn)輔助

生產(chǎn)輔助是指不直接從事商品生產(chǎn),而是直接或間接地為基本生產(chǎn)車間、廠部管理部門提供服務(wù),而進(jìn)行輔助性生產(chǎn)和勞務(wù)供應(yīng),如機(jī)械制造企業(yè)中的動(dòng)力生產(chǎn)、工具制造、設(shè)備維修等。可靠性需求:1×10-5;數(shù)據(jù)率需求:Mbit/s~Gbit/s;包大?。?200 Byte。

2.8 AGV導(dǎo)航

AGV是一種裝備有電磁或光學(xué)等自動(dòng)引導(dǎo)裝置,能夠沿規(guī)定的導(dǎo)引路徑行駛,具有安全保護(hù)以及各種移載功能的運(yùn)輸車。雙向、計(jì)算時(shí)延要求:50~100 ms之間[24];發(fā)包周期:40~500 ms,數(shù)據(jù)包大小<1 500 Byte[25]。

2.9 生產(chǎn)設(shè)計(jì)與方案檢測(cè)

工業(yè)互聯(lián)網(wǎng)中的生產(chǎn)設(shè)計(jì)包含設(shè)計(jì)規(guī)格、模型、過程和工程數(shù)據(jù)等,將工業(yè)模塊設(shè)計(jì)成符合用戶需求的過程。生產(chǎn)設(shè)計(jì)是解決制造產(chǎn)品工藝流程的過程,根據(jù)施工工藝與生產(chǎn)管理一體化的要求和生產(chǎn)條件進(jìn)行產(chǎn)品方案設(shè)計(jì)。方案檢測(cè)例如汽車碰撞破壞試驗(yàn),碰撞一次需要180多萬個(gè)數(shù)據(jù),數(shù)據(jù)量和算力需求較大。

3 工業(yè)互聯(lián)網(wǎng)中的算力網(wǎng)絡(luò)部署視圖

根據(jù)工業(yè)互聯(lián)網(wǎng)中業(yè)務(wù)需求和數(shù)據(jù)流向[25]以及算力網(wǎng)絡(luò)的配給,工業(yè)互聯(lián)網(wǎng)內(nèi)網(wǎng)和外網(wǎng)中的算力網(wǎng)絡(luò)部署如圖1所示。其中算力配給網(wǎng)絡(luò)與超算中心構(gòu)成工廠外網(wǎng),生產(chǎn)現(xiàn)場(chǎng)網(wǎng)絡(luò)、生產(chǎn)辦公網(wǎng)絡(luò)和園區(qū)網(wǎng)絡(luò)構(gòu)成工廠內(nèi)網(wǎng)。內(nèi)外網(wǎng)均部署有連網(wǎng)的算力資源,工業(yè)智能任務(wù)可以根據(jù)對(duì)算力的需求和任務(wù)時(shí)延限制決策任務(wù)的處理位置。具體來說,任務(wù)時(shí)延限制指任務(wù)處理所能容忍的最大雙向時(shí)延,包括任務(wù)數(shù)據(jù)上行傳輸時(shí)延、任務(wù)數(shù)據(jù)計(jì)算時(shí)延以及結(jié)果回傳時(shí)延。由于工業(yè)外網(wǎng)算力網(wǎng)絡(luò)由遠(yuǎn)距離超算中心組成,長(zhǎng)距離數(shù)據(jù)傳輸導(dǎo)致延遲較大。據(jù)中國(guó)信通院估算,將數(shù)據(jù)任務(wù)卸載至遠(yuǎn)程的超算中心進(jìn)行分析與處理,并將計(jì)算結(jié)果回傳的雙向延遲最低設(shè)置約為50 ms。因此,任務(wù)處理雙向時(shí)延限制在50 ms以內(nèi)的可在工廠內(nèi)部進(jìn)行處理,高于50 ms的應(yīng)用可在工廠外網(wǎng)的超算中心處理。

圖1 工業(yè)互聯(lián)網(wǎng)中的算力網(wǎng)絡(luò)部署視圖

3.1 生產(chǎn)設(shè)計(jì)與方案檢測(cè)

工廠內(nèi)網(wǎng)是指在工廠或者園區(qū)內(nèi)部,滿足工廠內(nèi)部生產(chǎn)、辦公、管理、安防等連接需求,用于生產(chǎn)要素互聯(lián)以及企業(yè)IT管理系統(tǒng)之間連接的網(wǎng)絡(luò)[25]。工廠內(nèi)網(wǎng)分為生產(chǎn)現(xiàn)場(chǎng)網(wǎng)絡(luò)、生產(chǎn)辦公網(wǎng)絡(luò)和園區(qū)網(wǎng)絡(luò),其中算力網(wǎng)絡(luò)分別部署在生產(chǎn)現(xiàn)場(chǎng)網(wǎng)和園區(qū)網(wǎng)中。

3.1.1 生產(chǎn)現(xiàn)場(chǎng)網(wǎng)絡(luò)

生產(chǎn)現(xiàn)場(chǎng)網(wǎng)主要負(fù)責(zé)連接現(xiàn)場(chǎng)的生產(chǎn)設(shè)備,為現(xiàn)場(chǎng)生產(chǎn)提供實(shí)時(shí)的智能服務(wù),可支持電機(jī)等控制類業(yè)務(wù)、傳感器等采集類業(yè)務(wù)、AGV導(dǎo)航等連接類業(yè)務(wù)等多種業(yè)務(wù)類型。生產(chǎn)現(xiàn)場(chǎng)網(wǎng)絡(luò)包括工業(yè)總線/工業(yè)以太網(wǎng)、工業(yè)無線、時(shí)間敏感網(wǎng)絡(luò)(Time Sensitive Networking, TSN)/工業(yè)光網(wǎng)、5G/WiFi/低功耗廣域( Low Power Wide Area,LPWA)網(wǎng)以及現(xiàn)場(chǎng)級(jí)算力網(wǎng)絡(luò)。采用現(xiàn)場(chǎng)總線、工業(yè)以太網(wǎng)等有線方式和5G/WiFi等無線方式將自動(dòng)光學(xué)檢測(cè)(Automated Optical Inspection,AOI)、機(jī)器人、AGV、傳感器、監(jiān)控裝置、電機(jī)和智能終端等生產(chǎn)要素接入工廠內(nèi)網(wǎng)。由于生產(chǎn)現(xiàn)場(chǎng)不斷產(chǎn)生海量的生產(chǎn)數(shù)據(jù),而對(duì)數(shù)據(jù)的處理和分析需要大量算力,因此現(xiàn)場(chǎng)級(jí)網(wǎng)絡(luò)泛在部署大量的計(jì)算資源,需將大量的算力資源組網(wǎng)形成算力網(wǎng)絡(luò),負(fù)責(zé)為現(xiàn)場(chǎng)級(jí)應(yīng)用的運(yùn)行提供算力和網(wǎng)絡(luò)資源,現(xiàn)場(chǎng)級(jí)算力網(wǎng)絡(luò)通過安全網(wǎng)關(guān)連接至生產(chǎn)辦公網(wǎng)。

3.1.2 園區(qū)網(wǎng)絡(luò)

企業(yè)生產(chǎn)辦公網(wǎng)絡(luò)是工廠內(nèi)網(wǎng)中面向人與人、人與機(jī)器之間連接層級(jí)的網(wǎng)絡(luò)[25]。生產(chǎn)辦公網(wǎng)包括辦公網(wǎng)、企業(yè)私有云數(shù)據(jù)中心,對(duì)外連接園區(qū)網(wǎng)絡(luò),對(duì)內(nèi)通過工業(yè)以太網(wǎng)和光網(wǎng)絡(luò)連接生產(chǎn)現(xiàn)場(chǎng)網(wǎng)絡(luò)。企業(yè)私有云數(shù)據(jù)中心主要承載企業(yè)生產(chǎn)和日常辦公所產(chǎn)生的各類生產(chǎn)相關(guān)數(shù)據(jù),以及制造執(zhí)行系統(tǒng)MES、企業(yè)資源計(jì)劃系統(tǒng)ERP、客戶關(guān)系管理系統(tǒng)CRM等企業(yè)正常運(yùn)行所必須的各類管理和信息系統(tǒng)。生產(chǎn)辦公網(wǎng)對(duì)算力需求較小,因此僅部署少量邊緣計(jì)算服務(wù)器。

3.1.3 生產(chǎn)辦公網(wǎng)絡(luò)

園區(qū)網(wǎng)絡(luò)是部署在工業(yè)互聯(lián)網(wǎng)內(nèi)網(wǎng)以實(shí)現(xiàn)園區(qū)企業(yè)設(shè)備互聯(lián)和信息互通的網(wǎng)絡(luò)基礎(chǔ)設(shè)施[27]。園區(qū)網(wǎng)絡(luò)配備有核心交換機(jī),連接出口路由器和安全網(wǎng)關(guān)到工廠外網(wǎng),連接集中式的內(nèi)網(wǎng)編排控制器,通過園區(qū)網(wǎng)連接園區(qū)的小型云數(shù)據(jù)中心,通過網(wǎng)關(guān)連接園區(qū)公共服務(wù)算力網(wǎng)絡(luò),通過安全網(wǎng)關(guān)連接至生產(chǎn)辦公網(wǎng)絡(luò)。由于園區(qū)內(nèi)存在大量監(jiān)控、傳感器、車輛等物聯(lián)網(wǎng)設(shè)備,因此實(shí)時(shí)產(chǎn)生大量的數(shù)據(jù),為實(shí)現(xiàn)大量園區(qū)數(shù)據(jù)的高效處理,園區(qū)網(wǎng)內(nèi)部署大量的邊緣計(jì)算服務(wù)器,并組網(wǎng)形成園區(qū)公共服務(wù)算力網(wǎng)絡(luò)。內(nèi)網(wǎng)編排控制器部署在園區(qū)網(wǎng)絡(luò)中,對(duì)內(nèi)網(wǎng)算網(wǎng)資源包括園區(qū)網(wǎng)、生產(chǎn)辦公網(wǎng)以及生產(chǎn)現(xiàn)場(chǎng)網(wǎng)絡(luò)資源進(jìn)行統(tǒng)一管控。內(nèi)網(wǎng)編排控制器具有算力服務(wù)、算力建模、算力通告、算力OAM和算力路由等算力關(guān)鍵能力,算力在內(nèi)網(wǎng)由編排控制器分配。

3.2 工廠外網(wǎng)算力網(wǎng)絡(luò)部署視圖

工廠外網(wǎng)是指支撐工業(yè)全周期各項(xiàng)活動(dòng),滿足工廠數(shù)據(jù)、應(yīng)用、業(yè)務(wù)需要或者其他網(wǎng)絡(luò)連接需求的網(wǎng)絡(luò)[25]。工廠外算力網(wǎng)絡(luò)部署包括算力配給網(wǎng)絡(luò)和超算中心。為保證工廠內(nèi)網(wǎng)和工廠外網(wǎng)之間的無縫銜接和融合,二者之間配備有出口路由器和安全網(wǎng)關(guān),目的是在數(shù)據(jù)順利流通的同時(shí)進(jìn)行有效的安全隔離,實(shí)現(xiàn)敏感數(shù)據(jù)不出工廠,避免受到互聯(lián)網(wǎng)中的惡意攻擊。

3.2.1 算力配給網(wǎng)絡(luò)

算力配給網(wǎng)連接多個(gè)超算中心,通過動(dòng)態(tài)實(shí)時(shí)感知算力資源狀態(tài),將用戶業(yè)務(wù)調(diào)度到最優(yōu)的超算中心,實(shí)現(xiàn)算力的自由流動(dòng)[26]。算力配給網(wǎng)負(fù)責(zé)東西部之間的數(shù)據(jù)傳輸,是東數(shù)西算的網(wǎng)絡(luò)動(dòng)脈。算力配給網(wǎng)通過一系列路由器連接外網(wǎng)編排控制器至西部的超算中心,同時(shí)通過出口路由器和安全網(wǎng)關(guān)與工廠內(nèi)網(wǎng)進(jìn)行連接。外網(wǎng)編排控制器對(duì)算力配給網(wǎng)的網(wǎng)絡(luò)資源、超算中心的算力資源進(jìn)行高效調(diào)度與分配。由于外網(wǎng)規(guī)模大,網(wǎng)絡(luò)異構(gòu)性強(qiáng),因此外網(wǎng)編配控制器采用分布式部署,具有算力服務(wù)、算力建模、算力通告、算力OAM以及算力路由等算力關(guān)鍵能力。

3.2.2 超算中心

超算中心是部署在西部,例如烏蘭察布市、甘肅慶陽市和山西陽泉市的算力生產(chǎn)網(wǎng),具有強(qiáng)大的計(jì)算和存儲(chǔ)能力,可以為延遲要求低、算力需求高的工業(yè)應(yīng)用提供強(qiáng)大計(jì)算能力。超算中心通過優(yōu)化異構(gòu)算力之間的連接結(jié)構(gòu)、增加內(nèi)存容量、擴(kuò)展存儲(chǔ)容量、增加網(wǎng)絡(luò)帶寬、優(yōu)化任務(wù)卸載策略以及計(jì)算資源分配來最大化提升超算資源的算力產(chǎn)出[26]。

3.2.3 內(nèi)外網(wǎng)任務(wù)分配

根據(jù)上文中工業(yè)互聯(lián)網(wǎng)智能應(yīng)用對(duì)算力網(wǎng)絡(luò)的需求,將上述智能應(yīng)用分別分配到工廠內(nèi)外網(wǎng)中計(jì)算,如表1所示。要求雙向時(shí)延在50 ms以內(nèi)的放在工廠內(nèi)網(wǎng),高于50 ms可以放在工廠外網(wǎng)。

表1 工業(yè)互聯(lián)網(wǎng)智能應(yīng)用對(duì)算力網(wǎng)絡(luò)的需求

4 工業(yè)互聯(lián)網(wǎng)中算力網(wǎng)絡(luò)面臨的技術(shù)挑戰(zhàn)

4.1 算力度量和表征

算力度量是對(duì)計(jì)算資源能力和計(jì)算任務(wù)需求進(jìn)行統(tǒng)一的抽象描述的技術(shù),而對(duì)工業(yè)算力網(wǎng)絡(luò)中異構(gòu)的邏輯算力、并行算力和神經(jīng)網(wǎng)絡(luò)算力進(jìn)行一體化度量中存在以下挑戰(zhàn):

① 傳統(tǒng)網(wǎng)絡(luò)度量?jī)H需對(duì)網(wǎng)元的能力進(jìn)行度量,而工業(yè)算力網(wǎng)絡(luò)中需要一體化對(duì)網(wǎng)元、算力、存儲(chǔ)能力進(jìn)行一體化度量和建模;

② 考慮到工業(yè)異構(gòu)算力中包括CPU、GPU、FPGA、ASIC、NPU以及TPU等不同類型的芯片,需要對(duì)不同類型的芯片算力進(jìn)行統(tǒng)一的衡量;

③ 需結(jié)合算力路由、算力設(shè)備管理以及算力計(jì)費(fèi)等需求對(duì)異構(gòu)算力進(jìn)行一體化表征。

4.2 算力標(biāo)識(shí)

異構(gòu)算力需要進(jìn)行統(tǒng)一的標(biāo)識(shí),并結(jié)合網(wǎng)絡(luò)標(biāo)識(shí)和業(yè)務(wù)標(biāo)識(shí)來建立對(duì)應(yīng)的映射關(guān)系,而在海量異構(gòu)的算力網(wǎng)絡(luò)中如何進(jìn)行標(biāo)識(shí)依然存在以下問題:

① 工業(yè)外網(wǎng)算力資源由不同的算力服務(wù)商提供,標(biāo)識(shí)符和標(biāo)識(shí)體系可能存在差異,需對(duì)不同的標(biāo)識(shí)體系進(jìn)行對(duì)等解析;

② 新型工業(yè)內(nèi)外網(wǎng)算力標(biāo)識(shí)解析系統(tǒng)需與現(xiàn)有網(wǎng)絡(luò)標(biāo)識(shí)解析系統(tǒng)互聯(lián)互通;

③ 算力標(biāo)識(shí)不僅需要對(duì)算力資源提供標(biāo)識(shí)服務(wù),還需對(duì)算力服務(wù),包括算法、智能模型提供標(biāo)識(shí)服務(wù)。

④ 由于工業(yè)網(wǎng)絡(luò)具有極高隱私性和安全性要求,海量的工業(yè)內(nèi)網(wǎng)算力需要對(duì)身份及權(quán)限進(jìn)行細(xì)粒度管理,在技術(shù)實(shí)施上存在較大困難。

4.3 算力感知

算力感知是網(wǎng)絡(luò)對(duì)算力資源和算力服務(wù)的部署位置、實(shí)時(shí)狀態(tài)、負(fù)載信息、業(yè)務(wù)需求的全面感知。在算網(wǎng)統(tǒng)一度量的基礎(chǔ)上,構(gòu)建融合用戶需求、應(yīng)用需求、網(wǎng)絡(luò)資源和算力資源的多維度感知技術(shù),目前工業(yè)算力資源感知依然面臨以下問題:

① 工業(yè)互聯(lián)網(wǎng)中海量業(yè)務(wù)的處理導(dǎo)致內(nèi)外網(wǎng)算力是高動(dòng)態(tài)變化的,現(xiàn)有算力感知技術(shù)很難實(shí)現(xiàn)大規(guī)模、高動(dòng)態(tài)性算力資源的實(shí)時(shí)感知。

② 需針對(duì)大規(guī)模、泛在、異構(gòu)的算力資源提供主動(dòng)和被動(dòng)的算力感知機(jī)制,包括算力通告技術(shù)和基于時(shí)空表征學(xué)習(xí)的算力發(fā)現(xiàn)技術(shù)。

4.4 算力智能

隨著工業(yè)智能的發(fā)展,工業(yè)算力中越來越多地部署智能應(yīng)用。然而智能應(yīng)用在算力網(wǎng)絡(luò)中訓(xùn)練、部署和推理的過程中都存在著以下挑戰(zhàn):

① 算力網(wǎng)絡(luò)中邊緣計(jì)算服務(wù)器算力受限,傳統(tǒng)AI模型的訓(xùn)練和推理對(duì)算力需求高,因此如何實(shí)現(xiàn)輕量化的模型訓(xùn)練和推理是亟待解決的問題。

② 工業(yè)場(chǎng)景需要基于實(shí)時(shí)數(shù)據(jù)對(duì)模型不斷進(jìn)行訓(xùn)練和改進(jìn)以提高模型的精確度,為保障訓(xùn)練過程的數(shù)據(jù)隱私性,提高訓(xùn)練過程的效率,可采用聯(lián)邦學(xué)習(xí)技術(shù)進(jìn)行模型訓(xùn)練。因此,異構(gòu)且分布式部署的邊緣計(jì)算服務(wù)器需協(xié)同訓(xùn)練以實(shí)現(xiàn)高效、可靠的模型訓(xùn)練。

4.5 算力路由與調(diào)度

算力路由和資源調(diào)度是基于對(duì)網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)等多維資源以及服務(wù)的感知,通過對(duì)算力和網(wǎng)絡(luò)等多方面資源進(jìn)行協(xié)同優(yōu)化,按需生成任務(wù)調(diào)度方案及任務(wù)卸載路徑的技術(shù),目前在實(shí)際應(yīng)用中還存在以下問題:

① 工業(yè)算力網(wǎng)絡(luò)包括內(nèi)網(wǎng)和外網(wǎng)多層算力資源,因此如何進(jìn)行多層路由,包括多層域內(nèi)路由和域間路由是亟待解決的問題;

② 工業(yè)任務(wù)的處理需要聯(lián)合調(diào)度異構(gòu)的算力資源,如何針對(duì)多元業(yè)務(wù)的不同需求對(duì)異構(gòu)算網(wǎng)資源進(jìn)行一體式路由和調(diào)度存在困難;

③ 工業(yè)任務(wù)對(duì)處理時(shí)延要求極低,對(duì)可靠性要求極高,因此算力路由節(jié)點(diǎn)需要維護(hù)算力資源和網(wǎng)絡(luò)的資源實(shí)時(shí)狀態(tài)信息,同時(shí)根據(jù)業(yè)務(wù)需求生成高效可靠的路由和資源調(diào)度策略。

4.6 算力安全

工業(yè)互聯(lián)網(wǎng)對(duì)生產(chǎn)過程和數(shù)據(jù)的安全性和隱私性要求極高。而利用算力網(wǎng)絡(luò)中泛在、異構(gòu)、海量的計(jì)算資源來為高可靠性要求的工業(yè)智能任務(wù)提供服務(wù)的過程中可能存在以下安全問題:

① 工業(yè)內(nèi)網(wǎng)及外網(wǎng)的算力資源被惡意攻擊導(dǎo)致計(jì)算錯(cuò)誤、計(jì)算結(jié)果在回傳過程中被惡意篡改導(dǎo)致生產(chǎn)事故;

② 工業(yè)數(shù)據(jù)在傳輸和計(jì)算過程中容易泄露和被篡改,尤其是將工業(yè)數(shù)據(jù)傳輸至外網(wǎng)算力網(wǎng)絡(luò)時(shí)被竊取和篡改的可能性高;

③ 工業(yè)外網(wǎng)算力網(wǎng)絡(luò)中,在多云供應(yīng)商情況下,對(duì)分布式計(jì)算服務(wù)器的算力分配和算力交易進(jìn)行審計(jì)和監(jiān)管困難,算力資源在開放、管理與交易方面依然存在挑戰(zhàn)。

5 結(jié)束語

隨著工業(yè)互聯(lián)網(wǎng)的智能化發(fā)展,業(yè)務(wù)應(yīng)該在云端還是邊端計(jì)算是需要考慮的問題;算力網(wǎng)絡(luò)旨在更高效地利用西部的算力資源,實(shí)現(xiàn)東西部協(xié)同發(fā)展,共同創(chuàng)造產(chǎn)業(yè)數(shù)字化和數(shù)字產(chǎn)業(yè)化新局面。算力網(wǎng)絡(luò)是將網(wǎng)絡(luò)與計(jì)算有效連接的一體化方案,它的發(fā)展是順時(shí)勢(shì)而為,如何構(gòu)建工業(yè)互聯(lián)網(wǎng)中的算力網(wǎng)絡(luò)平臺(tái)是工業(yè)互聯(lián)網(wǎng)智能應(yīng)用發(fā)展的必然要求。目前,工業(yè)互聯(lián)網(wǎng)中算力網(wǎng)絡(luò)的研究仍處于初步階段,存在許多待解決的問題。本文在調(diào)研算力網(wǎng)絡(luò)發(fā)展現(xiàn)狀和工業(yè)互聯(lián)網(wǎng)中智能應(yīng)用對(duì)算力網(wǎng)絡(luò)的需求基礎(chǔ)上,以工業(yè)內(nèi)外網(wǎng)為基礎(chǔ)構(gòu)建工業(yè)互聯(lián)網(wǎng)中算力網(wǎng)絡(luò)的內(nèi)外網(wǎng)部署模型,將智能業(yè)務(wù)按照算力和時(shí)延等需求安排在內(nèi)外網(wǎng)進(jìn)行計(jì)算,同時(shí)總結(jié)了工業(yè)互聯(lián)網(wǎng)中算力網(wǎng)絡(luò)面臨的技術(shù)挑戰(zhàn),為相關(guān)領(lǐng)域的研究人員提供參考和幫助。

猜你喜歡
算力時(shí)延部署
多方求解智能時(shí)代算力挑戰(zhàn)
這個(gè)第二不一般
都市人(2023年11期)2024-01-12 05:55:06
衛(wèi)星通信在算力網(wǎng)絡(luò)中的應(yīng)用研究
中國(guó)電信董事長(zhǎng)柯瑞文:算力成為數(shù)字經(jīng)濟(jì)的主要生產(chǎn)力
一種基于Kubernetes的Web應(yīng)用部署與配置系統(tǒng)
晉城:安排部署 統(tǒng)防統(tǒng)治
部署
基于GCC-nearest時(shí)延估計(jì)的室內(nèi)聲源定位
電子制作(2019年23期)2019-02-23 13:21:12
基于改進(jìn)二次相關(guān)算法的TDOA時(shí)延估計(jì)
FRFT在水聲信道時(shí)延頻移聯(lián)合估計(jì)中的應(yīng)用
依安县| 沧源| 安多县| 清苑县| 榆中县| 沙田区| 若尔盖县| 兴义市| 温宿县| 广州市| 双城市| 阳高县| 山丹县| 垦利县| 金湖县| 正阳县| 金川县| 乌鲁木齐县| 汕头市| 彭泽县| 桐庐县| 三明市| 平果县| 察哈| 隆德县| 商南县| 定陶县| 珲春市| 饶河县| 高陵县| 乌恰县| 盐亭县| 内丘县| 慈利县| 杭州市| 乐安县| 平利县| 博客| 定西市| 四川省| 雅安市|