国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

綠色通信網(wǎng)的設計分析

2010-06-20 05:49:04余大國
電子測試 2010年12期
關鍵詞:休眠狀態(tài)網(wǎng)絡拓撲路由器

余大國

(南京郵電大學通信與信息工程學院,江蘇南京,210003)

0 引言

能源和環(huán)境早就已經(jīng)成為全世界各個國家和組織共同關注的敏感話題,2009年哥本哈根會議更是將人們對這一問題推向了前所未有的高度。ICT業(yè)也不例外,網(wǎng)絡是ICT中很主要的部分,毫無疑問它將在滿足社會可持續(xù)發(fā)展和全球節(jié)能減排目標中扮演重要角色。面對日益增加的環(huán)境和經(jīng)濟壓力,實現(xiàn)高效、穩(wěn)定、安全的綠色網(wǎng)絡建設已刻不容緩。如圖1、圖2所示網(wǎng)絡的發(fā)展已經(jīng)從性能、成本直線關系發(fā)展到了它們和能源之間的三角關系。過去的幾年中,關于計算機和通信設備的節(jié)能的方法已經(jīng)引起了研究者們的極大興趣。預測性的能源管理第一次提及是文獻[1],動態(tài)能源管理的處理方式在磁盤驅(qū)動,處理器以及其他的一些組件中可以得到很好的應用。移動設備和無線網(wǎng)絡中,為了延長電池使用壽命,已經(jīng)做了大量的關于如何節(jié)省能源消耗的研究。新傳輸層協(xié)議,新路由協(xié)議,新的MAC協(xié)議,這些都是為了在沒有傳輸或接收數(shù)據(jù)時能使接口關閉。無線網(wǎng)絡總是通過網(wǎng)關自我包含或連接到大的因特網(wǎng)中,這些就需要我們的協(xié)議和產(chǎn)品能和原來的網(wǎng)絡和協(xié)議相兼容,這個要求也在一定程度上限制了這些新方法的應用。減少有線網(wǎng)絡的鏈路和網(wǎng)絡設備的能量消耗最早在文獻[2]和[3]中提及,文獻[4]中,建議在包傳輸間隙降低局域網(wǎng)交換機網(wǎng)絡接口的能量。下一個包到達的時間是可預測的,如果包到達的間隔值大于預測值,接口將將降低能耗。論文研究顯示,這樣做會使能源消耗降低50%以上。本文沒有具體研究如何節(jié)能的方法,而是從整個網(wǎng)絡和能量意識的角度概括了綠色網(wǎng)絡的設計以及它對協(xié)議的可能影響。

圖1 傳統(tǒng)網(wǎng)絡優(yōu)化因素

圖2 下一代網(wǎng)絡優(yōu)化因素

1 關注網(wǎng)絡能耗的原因

1.1 現(xiàn)在的設備低能效性

現(xiàn)在2007年數(shù)據(jù)顯示,整個電信業(yè)電能消耗占全球耗能的1%以上,而在文獻[5]中顯示ICT業(yè)占整個全球耗能的2%~10%(其中10%為將降溫設備計算在內(nèi)),而在[4]中研究表明整個在通信設備鎮(zhèn)南關可以降能耗降低50%以上,足已看出我們能效現(xiàn)用設備能效之低。將來當我們用更快的更新的設備取代現(xiàn)行的設備時,必然還會增加能量的消耗。面對當前的能源緊張狀況我們不得不考慮提高能耗的方法。

1.2 增加更多的設備安裝

在世界的很多地方,電能是個極其稀缺的資源,這同樣為我們的通信及網(wǎng)絡設備的普及發(fā)展帶來了極大地阻礙。如果能減少設備的能耗,我們就能在相同能耗的情況下安裝更多的通信及網(wǎng)絡設備,一定程度上不僅推進了通信及網(wǎng)絡資源的發(fā)展,也能增加整個網(wǎng)絡的性能。

比如,印度2005年總的電能消耗量為509TW-h,利用人均的網(wǎng)絡連接量看,網(wǎng)絡設備耗能為24.2TW-h,約占4.75%[6]。而世界上通信設備平均耗能約為2%左右,可以看出通信設備占了相當大的比重,我們有很大的動力和潛力去為更加高效的網(wǎng)絡設備而努力。

1.3 面臨災難及移動設備中受益

在面臨災難時或移動設備中,網(wǎng)絡設備主要依靠蓄電池供電,如果我們能有低能耗或不同情形可以處于不同低能工作模式下工作的網(wǎng)絡設備,可以使我們的電池持續(xù)更長時間。這樣我們的醫(yī)院、通信保障單位等在面臨災難時就可以提供更長的數(shù)據(jù)支撐時間。低能耗設備和低能耗數(shù)據(jù)中心可以保障我們面臨困境時設備有更多的生存緩沖時間。

2 網(wǎng)絡中可能的節(jié)能機會

從以上的網(wǎng)絡節(jié)能原因中看出,對網(wǎng)絡拓撲和網(wǎng)絡協(xié)議的適當?shù)母淖?,完全可以滿足我們提高能耗的目標。在這些許多的方法中可以參考以下幾個方面去考慮:

●單個交換機或路由器級,可以在空閑或業(yè)務量小時將線卡等元件處于休眠狀態(tài)或?qū)⒁恍┯布O備處于低速狀態(tài)。目前的交換機或路由器等網(wǎng)絡設備還沒有這方面的能力,應該能在將來的路由器或交換機上實現(xiàn)這種功能。

●網(wǎng)絡級上,可以考慮在低業(yè)務量時改變某些路由,使它聚合在某幾條路由上而讓那些空閑設備處于休眠狀態(tài)。這需要在第2層和第3層協(xié)議工作方式上做些許改變,甚至需要在第4層的諸如TCP上做些改變以適應這些工作模式的改變。需要研究這些影響并做出合適的解決方案。

●最后,可以考慮在網(wǎng)絡拓撲,使一定范圍內(nèi)的網(wǎng)絡負載允許有路由自適應。也就是說讓我們的網(wǎng)絡拓撲上能有網(wǎng)絡負載量和網(wǎng)絡工作設備上有個相協(xié)調(diào)的工作模式。業(yè)務越多,工作設備越多;反之,休眠模式的設備越多。

無線ad-hoc網(wǎng)路和傳感網(wǎng)中已經(jīng)有了許多相關的研究,有許多方法同樣適應于我們有線網(wǎng)絡中。Jones等人在文獻[8]中對不同協(xié)議層的不同技術作了概括。其中許多技術可以借鑒用于有線網(wǎng)中,比如在保證網(wǎng)絡連接的情況下,盡可能長的將不用的元件置于休眠狀態(tài),在MAC層和網(wǎng)絡層都有彼此的與之相對應算法。MAC層中,將本接口的狀態(tài)發(fā)給鄰居接口并基于鄰居接口的狀態(tài)決定睡眠狀態(tài)的分布式算法和當接口沒有發(fā)送或接受信號時包括TDMA或相似的協(xié)調(diào)傳輸機制允許睡眠的算法,這些決定何時置接口于睡眠狀態(tài)的算法可以在我們通信網(wǎng)絡中接口中得到相似的應用。網(wǎng)絡層中主要的方法是通過路由選擇使大量的節(jié)點處于休眠狀態(tài)從而達到節(jié)能的效果。我們有線網(wǎng)絡中可以利用這些機制使低網(wǎng)絡業(yè)務量時將信息包聚合到少數(shù)路由中從而使許多節(jié)點設備處于休眠狀態(tài)。

總之,注意到節(jié)能網(wǎng)絡中通過休眠工作模式達到最大節(jié)能效果是個合適的選擇。為了實現(xiàn)這些休眠的算法需要:

(1)重新設計網(wǎng)絡設備的硬件從而使這些軟件休眠算法得到應用。

(2)路由協(xié)議需要改變從而允許通過聚合和休眠的工作模式使網(wǎng)絡能量消耗于與業(yè)務量呈自適應的狀態(tài)。

(3)修改網(wǎng)絡拓撲從而允許通過聚合和休眠的模式使路由有更多的選擇。

(4)需要研究睡眠模式對上層協(xié)議如TCP等的影響,從而與休眠節(jié)點的狀態(tài)相適應。

2.1 路由設備上的節(jié)能機會

如果仔細觀察不同的交換機和路由器,可以發(fā)現(xiàn)它們有著不同的體系結(jié)構。通常在一個交換機或路由器上節(jié)能可以將部分或全部設備元件如內(nèi)層、主處理器、總線、線卡和交換組織置于低能耗休眠模式或硬件時鐘減慢。相信這樣肯定可以明顯的減少網(wǎng)絡設備的耗能狀況。

線卡:線卡的復雜性從很簡單的接口到復雜接口有網(wǎng)絡處理器、內(nèi)層、接口和交換組織接口。將一個線卡或任何一個元件于休眠狀態(tài)可以節(jié)省能耗,但取決于狀態(tài)轉(zhuǎn)變的速度我們可以想象出明顯的包丟失和延遲。假設一個線卡在輸入端口處收到數(shù)據(jù)即觸發(fā)喚醒休眠狀態(tài),需要10μs轉(zhuǎn)換到正常工作狀態(tài),在1Gbps的鏈路上轉(zhuǎn)換期間將有10Kbit的數(shù)據(jù)和10μs的點到點延遲,這顯然在網(wǎng)絡中式不可接受的。可以想象出兩種可能的方法來處理這個問題

●網(wǎng)絡法 也稱協(xié)調(diào)休眠法,在低業(yè)務負載時通過路由協(xié)議聚合業(yè)務到少數(shù)幾個路由上,從而使一些接口處于睡眠狀態(tài)。

●鏈路層法 也稱非協(xié)調(diào)法,接口的休眠與否完全取決于本地接口狀況。當本地接口可以處于休眠狀態(tài)時,它將該狀況通知相鄰接口,當相鄰接口需要對該睡眠接口發(fā)送數(shù)據(jù)包時首先發(fā)送一個包喚醒該接口,然后等一個狀態(tài)裝換時間后在發(fā)送實際的信息包。這種以時延的增大換取包丟失的避免。

縱橫交換組織:將縱橫的交換組織連同線卡處于休眠狀態(tài)不會導致額外的延時或包丟失。原因是在喚醒線卡的同時可以喚醒縱橫的交換組織,這樣一旦線卡收到數(shù)據(jù)包就可以在交換組織上路由數(shù)據(jù)包。如果線卡不休眠而交換組織休眠,除非增大線卡處緩沖器的容量,否則會在交換組織的輸入處導致包丟失。

主處理器:主處理器都是典型的在GHz速率的RSIC處理器,可以在低網(wǎng)絡業(yè)務負載時減慢處理器速達到節(jié)能的效果。但這里的主要問題是何時啟動減速處理器的措施。

這里似乎可以通過將交換機或路由器的不同元件置于休眠狀態(tài),當有數(shù)據(jù)包來臨時再喚醒該接口達到節(jié)能網(wǎng)絡的效果,然而,這里由于在線卡和其它元件的狀態(tài)轉(zhuǎn)變過程的延時會導致整個端到端時延的增大。

2.2 網(wǎng)絡設計中的能量意識

2.2.1 系統(tǒng)設計的能量意識

CMOS技術的發(fā)展使帶寬增長有了一個新的發(fā)展空間。路由器的ASIC中對于能效設計的技術標準的主要在時鐘門、流程特定的供電電壓和減小供電壓幾個方面, CMOS能效增長速率正在逐漸減慢,這就要求我們在改變路由器系統(tǒng)設計以滿足散熱需求。另外兩種包括傳統(tǒng)限制空氣冷卻方法在內(nèi)的為滿足指數(shù)增長的帶寬需求有:

(1)多機箱系統(tǒng):多機箱路由器允許多個分離的物理組件聚集起來形成一個簡單的邏輯路由器。通常一個多機箱路由器的體系結(jié)構由多個線卡機架連接到一個非阻塞可測交換機架上所組成的。通過提供一種不依賴于不斷增長的帶寬密度和頻譜密度的增長路徑來使多機箱設備解決了帶寬的可估量問題。雖然總的能耗在不斷增加,但以物理設備上使用現(xiàn)有的空氣冷卻技術為代價可以是散熱問題得以解決。

(2)可選系統(tǒng):很早以前就已有將光交換作為現(xiàn)在電路由器替代品的設想。純光交換不僅可以提供T比特級帶寬能力,而且還有比電交換設備更少散熱量的功能。更有甚者,由于它的寬光譜交換能力可以使它完成比特獨立交換功能。實際應用中由于許多實際問題的存在阻止了它的進一步大范圍應用。首先,由于技術的限制,端口數(shù)必須小于100。這就使得它只能用在核心網(wǎng)中。其次,尤其重要的光緩沖現(xiàn)在還不可行。雖然如此,光技術正在不斷演進,相信在未來會在節(jié)能方面有著重要的影響。

2.2.2網(wǎng)絡設計的能量意識

在滿足穩(wěn)健性和性能要求的情況下,網(wǎng)絡設計中能量意識為我們駐地設備節(jié)能效果提供了機會。首先,多路由級網(wǎng)絡拓撲可以滿足一個即定容量、穩(wěn)健性和能量消耗的設計目標,后面部分的設計說明在設計網(wǎng)絡拓撲中有側(cè)重點的注意能量消耗可以節(jié)省相當大的能量。其次,實際網(wǎng)絡中可以把低能耗包的處理放到路由器的子系統(tǒng)中進行處理。

現(xiàn)在的網(wǎng)絡設計、配置和管理實踐都是基于這樣一個原則,即它們要高可靠,有競爭力的業(yè)務等級管理性能以及能吸引各個不同應用客戶的特征業(yè)務集服務的性能。為達到這個目的,網(wǎng)絡體系結(jié)構的構造總是在核心網(wǎng)中使用具有互連高帶寬多冗余路徑相連的路由器,核心網(wǎng)周圍采用低帶寬多連接分布路由器,甚至會在外設部分采用低帶寬接入路由器和交換機。從中注意到這點,由于系統(tǒng)的大容量處理能和一些競爭力以及經(jīng)濟因素的考慮,傳統(tǒng)中設備制造商們都特別注重核心路由器的性能設計。因此,網(wǎng)絡設計、配置和管理實踐中總是首先考慮核心網(wǎng)中的容量設計,而將邊緣設備放置在其次的因素考慮。

具有能量意識的網(wǎng)絡設計,長期的目標是用一個仍能提供可靠性和性能要求的低能耗系統(tǒng)取代現(xiàn)行的能缺系統(tǒng)。充分理解當前不同配置和業(yè)務負荷下的路由器和交換機的能量需求,ISP有機會發(fā)展一個節(jié)能和減少即時業(yè)務點的設備數(shù)的低能和低預算成本的網(wǎng)絡。

2.2.3 能量意識協(xié)議

最后一個方面我們要考慮的是網(wǎng)絡設計和實現(xiàn)中的協(xié)議問題。這和傳統(tǒng)的點到點的論述和文獻[8]相當吻合,甚至更是提高了超過性能考慮之外的觀點。在無線領域具有能耗意識的協(xié)議已經(jīng)有了相當時間的研究并取得了很大的進展,相信在有線領域也同樣會有很有價值的發(fā)展機會。

正如已有的論述所說的一樣,最基本的能量意識協(xié)議的設計應是將非即時使用設備置于睡眠狀態(tài)。發(fā)展新的數(shù)據(jù)鏈路和路由協(xié)議可以(i)使業(yè)務能力更高效(ii)使線卡部分可以關閉或(iii)使整個線卡處于休眠狀態(tài)。

3 路由設備級耗能測試及結(jié)論

對于在網(wǎng)絡設計和路由中的能量意識可以通過特別是運營商們常用的路由器來研究,通過在路由器每個底板上不同的線卡的組合所消耗的能量情況估算它們的大致能耗特征。

測試使用CISCO 7507,CISCO 7507是一個網(wǎng)絡邊緣設備并且每一個槽達到1Gb/s的七槽路由器,配置如表1所示,這些選擇的配置參數(shù)代表著一個通用網(wǎng)絡技術。由于硬件均為一個廠商制造,因此這些配置并不是一個通用的基準平臺。

表1 CISCO 7507配置

能量測量設備是一個配置了i200 AC 的Fluke 189數(shù)字萬用表。實驗中這個測量負載在路由器的能量線纜上,這種設置使我們在實驗中可以測量系統(tǒng)能耗。實驗從配置一個具體的路由器/線卡開始,首先從已安裝線卡的所有接口端口上將線纜移除,在給定的測試配置中不需要用到的線卡從底板上移除。每一個測試首先開啟路由器然后留出足夠長的路由器初始化時間。然后對秒測試一次能量消耗情況,并且保持400 s以上,然后能耗取他們測量的平均值。測量結(jié)果如圖3所示。

圖3 CICSO 7507不同配置耗能情況

從圖中可以看出,底板加上RP耗能約為210W,超過所有配置耗能的一半。對于不同類型的線卡加載到基本系統(tǒng)上能耗呈不同的階躍裝增長;但是,對于系統(tǒng)來說基本系統(tǒng)占絕大多數(shù)的耗能。

因此,從性能、成本和能量意識的角度來說,在一定能耗情況下,盡可能較少底板而增加每個地板上所能加載的線卡數(shù)。

4 對一個AS內(nèi)部的路由器的影想

正如之前提到過的協(xié)調(diào)和非協(xié)調(diào)兩種休眠模式,邏輯上說在非協(xié)調(diào)睡眠情況下,由于接口在收到數(shù)據(jù)包時會立即喚醒喚醒接口,應該對路由協(xié)議沒有影響。然而取決于協(xié)議的不同機制,會有一些不可預料的負面影響。在現(xiàn)行的OSPF協(xié)議中,如果一路由器將某一個接口置于休眠狀態(tài)并且會在那個接口的鏈路上通知它的鄰居,這些路由器將會產(chǎn)生LSA包指出一個失敗鏈路。這樣將會產(chǎn)生有所有路由器根據(jù)最短路徑算法重新計算路由并產(chǎn)生一個洪泛過程。很明顯這個行為是不必要和昂貴的。這樣我們就應該避免這種情況的發(fā)生,對OSPF協(xié)議作相應的修改使其把這種非協(xié)調(diào)休眠不作為鏈路失敗的情況考慮。同樣對于其他的路由協(xié)議也應該如此考慮。

另一方面,實行協(xié)調(diào)休眠模式,更是需要對現(xiàn)行協(xié)議作一個明顯改變,還會產(chǎn)生不可預料的負面影響。從更高層面上說,在低負載時期的協(xié)調(diào)休眠思想,路由協(xié)議在源目的對間識別單路由要優(yōu)于多路由。由于要減少整個網(wǎng)絡的總的工作接口數(shù),就需要對OSPF協(xié)議作以下的相應改變:

(1)在可能協(xié)調(diào)睡眠期間,SPF算法需要用一個支持業(yè)務流滿足QOS情況的所有保證路由識別最小鏈路數(shù)的算法所取代??紤]一個最簡單的有5條節(jié)點環(huán)鏈路,如果我們用SPF算法產(chǎn)生路由,所有5條鏈路都將會使用到而不會有接口可以處于休眠狀態(tài)。然而在某些情況下,刪除某一個鏈路而保持另外4個鏈路仍然可以滿足QOS需求。這就可以讓兩個接口處于休眠狀態(tài)。這就要我們的新路由算法能識別最小擴展樹從而使在滿足流QOS情況下的全網(wǎng)的最小能耗的效果。

(2)對于單路由的一個缺點就是在鏈路或路由器失效下的路由影響。從這些失效的情況下收斂鏈路需要我們喚醒新的鏈路滿足平衡算法。這樣我們又需要增加OSPF協(xié)議的復雜性。

(3)周期性發(fā)送的Hello信息包需要嚴格限制在喚醒狀態(tài)的接口之間轉(zhuǎn)發(fā)。更進一步說我們需要對多播接入網(wǎng)絡指定路由器(DR)和備用指定路由器(BDR)的選擇在平衡模式下需要做相應的改變。

(4)以上的各種情況都是在潛在的假設條件下進行的,即知道網(wǎng)絡的負荷低并且正是進入低能節(jié)能模式的時候。這不是個簡單的問題,我們需要研究預測該事件并且和OSPF協(xié)議相協(xié)調(diào)的算法。

對于重新計算OSPF和IBGP等協(xié)議計算路由需要做一下的兩個基本的體系結(jié)構的改變以促進休眠的推進:

首先,可以在網(wǎng)絡上實行多個節(jié)能等級。當所有接口和設備都處于工作狀態(tài)時處于等級0,節(jié)能等級越高,工作的接口和設備數(shù)目就會越少。由于OSPF和IBGP在每一次轉(zhuǎn)換時都需要重新計算路由,需要我們保證每一個路由器能觀測到整個網(wǎng)絡拓撲并能阻止不穩(wěn)定和不正確的路由。

其次,需要某種形式的中心決策算法來決策何時關或開接口和設備。這個協(xié)議應該同時保證現(xiàn)行的網(wǎng)絡拓撲映射關系以讓包可以達到多有的路由器。換句話說也就是我們要收集整個網(wǎng)絡的業(yè)務數(shù)據(jù)來做出是否休眠的決策和有一個關于整個網(wǎng)絡的鏈路狀態(tài)數(shù)據(jù)庫并能把它發(fā)布到所有路由器的應用。

同時也應該研究休眠對其他的如EIGRP、ISIS和RIPv2等協(xié)議的影響。

5 結(jié)束語

本文從相關領域的網(wǎng)絡節(jié)能技術的介紹引入綠色網(wǎng)絡的設計與分析話題,從網(wǎng)絡的現(xiàn)狀分析開始,從網(wǎng)絡設備級、網(wǎng)絡路由級和網(wǎng)絡拓撲級分析了可能的節(jié)能機會,并從主要的休眠技術出發(fā)分析了可能對OSPF的路由協(xié)議和網(wǎng)絡拓撲影響。通過對路由設備級耗能測試實驗出發(fā),根據(jù)不同元件的耗能情況結(jié)果分析適當對配置改變是可以從性能、成本和能源角度達到一個相對的平衡點,同時通過對現(xiàn)有網(wǎng)絡協(xié)議和網(wǎng)絡拓撲作適當?shù)母淖儚亩_到從硬件和軟件滿足最大節(jié)能效果,達到綠色節(jié)能的目的。

[1]M.B. Srivastava, A.P. Chandrakasan, R.W. Brodersen.Predictive System Shutdown and Other Architectural Techniques for Energy Efficient Programmable Computation[J]. IEEE Trans. Very Large Scale Integration (VLSI) Systems, 1996,4(1):42-55.

[2]M. Gupta, S. Singh.Greening of the Internet[R]. Proc. ACM SIGCOMM ’03, 2003,8:19-26.

[3]K. Christensen, C. Gunaratne, B. Nordman, A. George.The Next Frontier for Communications Networks: Power Manage ment[J].Computer Comm., 2004,27(18):1758-1770.

[4]M. Gupta, S. Grover, S. Singh.A Feasibility Study for Power Management in LAN Switches[R]. Proc. 12th IEEE Int’l Conf.Network Protocols, 2004:361-371.

[5]SMART 2020 Report, http://www.theclimategroup.org, 2008.

[6]2002 CIA World Factbook, http://www.cia.gov/cia/publica tions/factbook (2003).

[7]C. E. Jones, K. M. Sivalingam, P. Agrawal, J-C.Chen.A survey of energy efficient network protocols for wireless networks[J].Wireless Networks, 2001, 7(4):343–358.

[8]J. Saltzer, D. Reed, D. Clark.End-to-end Arguments in System Design[J]. ACM Transactions on Computer Systems, 1984,2(4).

猜你喜歡
休眠狀態(tài)網(wǎng)絡拓撲路由器
靶向治療下乳腺癌干細胞發(fā)生發(fā)展動力學分析
水稻種子休眠調(diào)控與破除技術的發(fā)展
買千兆路由器看接口參數(shù)
科教新報(2022年24期)2022-07-08 02:54:21
基于通聯(lián)關系的通信網(wǎng)絡拓撲發(fā)現(xiàn)方法
癌細胞從“休眠”到“蘇醒”重大謎團獲解
能量高效的無線傳感器網(wǎng)絡拓撲控制
電子制作(2018年23期)2018-12-26 01:01:16
勞斯萊斯古斯特與魅影網(wǎng)絡拓撲圖
基于分離樹的能量有效數(shù)據(jù)轉(zhuǎn)發(fā)機制*
基于多任務異步處理的電力系統(tǒng)序網(wǎng)絡拓撲分析
電測與儀表(2016年5期)2016-04-22 01:13:46
你所不知道的WIFI路由器使用方法?
永济市| 彭阳县| 东平县| 光山县| 麻城市| 东乡县| 唐海县| 江津市| 苏州市| 纳雍县| 通道| 清丰县| 唐海县| 张家港市| 乌苏市| 宝应县| 富顺县| 广东省| 平果县| 仪陇县| 彰化市| 陈巴尔虎旗| 中牟县| 呼伦贝尔市| 象山县| 吴桥县| 大关县| 鹤峰县| 霍山县| 融水| 长垣县| 裕民县| 常宁市| 南宫市| 永善县| 虹口区| 什邡市| 中卫市| 西昌市| 广河县| 景洪市|