李依霖 馮旭

摘要 隨著網(wǎng)絡(luò)的高速化和虛擬服務(wù)器的發(fā)展，代表云計算的復數(shù)節(jié)點進行協(xié)調(diào)工作的分散處理型服務(wù)器和虛擬網(wǎng)絡(luò)正在普及。因此，出現(xiàn)了以微妙和毫秒為精度在節(jié)點間同步時間的IEEE1588、PTPv2。本研究提出了利用高精度同步節(jié)點分散處理控制的方法。本方法根據(jù)預先時間執(zhí)行處理動作腳本和根據(jù)時間遍歷系統(tǒng)內(nèi)節(jié)點的數(shù)據(jù)處理，在不傳輸處理情況的數(shù)據(jù)包時能確認其他節(jié)點的狀況，并有效地計算資源分配額。通過本方法掌握通信延遲和節(jié)點的性能和特征，為修正動態(tài)動作腳本建立處理時間更正的模型。我們?yōu)榱舜_認提出方法的有效性開發(fā)出實驗用的系統(tǒng)原型模型，確認了處理時間變更時的正確性和有效性。

【關(guān)鍵詞】云計算 分散處理法 高精度同步節(jié)點 修正模型

1 前言

隨著網(wǎng)絡(luò)的高速化和虛擬服務(wù)器的發(fā)展，代表云計算的復數(shù)節(jié)點進行協(xié)調(diào)工作的分散處理型服務(wù)器和虛擬網(wǎng)絡(luò)正在普及。通過服務(wù)器和路由等節(jié)點多臺連接，構(gòu)成具有指定性能的分散處理型服務(wù)。另外，軟件定義網(wǎng)絡(luò)式的控制路由群，在動態(tài)網(wǎng)絡(luò)下構(gòu)成網(wǎng)絡(luò)虛擬化。在提供云服務(wù)的數(shù)據(jù)中心導入用戶化功能的LSI按鈕，能構(gòu)成高速網(wǎng)絡(luò)。云計算式的分散處理，各節(jié)點進行獨立的處理，必須掌握節(jié)點間的處理狀況和處理內(nèi)容。從而交換控制命令經(jīng)由網(wǎng)絡(luò)。隨著網(wǎng)絡(luò)的高速發(fā)展，出現(xiàn)了以微秒和毫秒為精度同步精度節(jié)點的IEEE1588和PTPv2。主要用于以太網(wǎng)，電力網(wǎng)拓撲同步標準信息。PTPv2用于硬件以毫秒為單位，長時間穩(wěn)定同步時刻。節(jié)點間的同步方法有NTP和GPS方法。前者導入軟件，IP網(wǎng)絡(luò)上時刻同步精度為微秒，后者以纖秒為時刻同步要限制成本和條件。

對分散節(jié)點的控制用高精度同步時刻的處理方法。在分散節(jié)點上對進行任務(wù)處理腳本，共享全部節(jié)點，節(jié)點按照時間信息和動作腳本進行處理，將適應(yīng)這種方法的節(jié)點群和管理節(jié)點進行分散處理同步時刻IEEE1588、PTPv2協(xié)議。構(gòu)成系統(tǒng)的節(jié)點群連接IP網(wǎng)絡(luò)和時刻同步網(wǎng)絡(luò)。首先，進行分散處理控制，節(jié)點間的通信產(chǎn)生通信延遲，處理執(zhí)行開始到終了產(chǎn)生的延遲。另外，通過這個結(jié)果開發(fā)出時間處理修正方法，用原型系統(tǒng)進行評價，驗證了此方法可行。

2 系統(tǒng)概要

本系統(tǒng)處理節(jié)點通過lP網(wǎng)絡(luò)連接，以各種固定的處理功能作為前提。時間型分散處理控制方法是在IP網(wǎng)絡(luò)上實現(xiàn)分散處理各節(jié)點的時間同步IEEE1588TPv2的高精度。進行處理的節(jié)點更新。根據(jù)時間執(zhí)行如何處理動作腳本。在特定的時間由指定節(jié)點發(fā)出數(shù)據(jù)記載其處理功能，傳輸結(jié)果給下一個節(jié)點，并在時間內(nèi)順序處理。各節(jié)點按動作腳本進行同步時間處理。某節(jié)點進行的處理結(jié)果重復傳輸給下一個節(jié)點，遍歷系統(tǒng)內(nèi)的節(jié)點進行數(shù)據(jù)處理。

本系統(tǒng)的5個特點：

（1）根據(jù)時間和共同動作腳本進行處理。

（2）事先掌握其他節(jié)點在任意時間上進行的處理，即使不發(fā)送任務(wù)處理中節(jié)點間處理情況確認的數(shù)據(jù)包，也能確認其他節(jié)點的情況。

（3）節(jié)點無論之后發(fā)生怎樣的情況變化，都能事先判斷并進行有效的資源計算分配。

（4）考慮到處理中的延遲，針對這些影響進行動作腳本的動態(tài)修正。

（5）任意時刻內(nèi)進行分散處理，優(yōu)化系統(tǒng)大范圍的集成電路分配功能分散動作控制。

3 研究問題

為了實現(xiàn)時間分散處理的控制，必須執(zhí)行多個節(jié)點間通過動作腳本目標時間的任務(wù)?？紤]到各節(jié)點和節(jié)點間的通信時產(chǎn)生的延遲問題作為研究問題。例如考慮適用分配的電路動作控制的情況，如圖1所示，進行加密的對象生成數(shù)據(jù)的模塊，加密中生成復原鍵的模塊，加密數(shù)據(jù)，數(shù)據(jù)加密模塊三部分的模塊群。動作腳本如下：

（1）數(shù)據(jù)生成模塊從時間T1到時間T2的動作傳送處理結(jié)果給還原鍵生成模塊。

（2）還原鍵生成模塊時間T3到T4傳輸數(shù)據(jù)給數(shù)據(jù)加密模塊。

（3）數(shù)據(jù)加密模塊在時間T5處開始動作，在T6處進行加密處理并輸出結(jié)果。

還原鍵生成模塊的處理結(jié)果根據(jù)延遲到時間T5數(shù)據(jù)加密模塊接收不到信息時，數(shù)據(jù)加密模塊沒有必須傳輸?shù)臄?shù)據(jù)時，不執(zhí)行動作，不根據(jù)動作腳本進行處理。當只處理一個系統(tǒng)任務(wù)的情況下，最后的數(shù)據(jù)加密模塊必須在數(shù)據(jù)到達為止，待機狀態(tài)下進行動作。同時執(zhí)行多個任務(wù)時，當任務(wù)執(zhí)行時進入了另外的任務(wù)，就存在不能分配計算資源的問題。為了解決這個問題，進行各節(jié)點的延遲和節(jié)點間的通信延遲的動態(tài)動作腳本修正。因此，對系統(tǒng)內(nèi)產(chǎn)生延遲的原因分類，進行動作腳本修正模塊化。

4 研究方法

4.1 延遲的種類和原因

實現(xiàn)時間型分散處理控制的情況下發(fā)生延遲的原因分為兩大部分，A、節(jié)點的性能和特性原因產(chǎn)生延遲B、網(wǎng)絡(luò)原因產(chǎn)生延遲。A考慮到時間同步精度和時間取得處理執(zhí)行中時間和插隊處理的時機對各節(jié)點的定時分解的影響。具體如下：

（1）因時間分散處理控制而取得處理。

（2）根據(jù)NIC等的設(shè)備交換生成的系統(tǒng)插隊處理延遲。

（3）和其他節(jié)點的時間同步差進行處理。

（4）因系統(tǒng)負載處理延遲。

B是節(jié)點間的通信性能和hop數(shù)不同，因路由擁堵，網(wǎng)絡(luò)拓撲和特征原因引起。具體如下：

（5）從節(jié)點到數(shù)據(jù)包傳送延遲和節(jié)點間的傳輸延遲造成的通信延遲。

（6）路由再發(fā)送信號傳輸處理間的延遲。

4.2 網(wǎng)絡(luò)原因產(chǎn)生的延遲測量方法

本系統(tǒng)在各節(jié)點間進行通信延遲測量。發(fā)信節(jié)點發(fā)出數(shù)據(jù)包的時刻做時間戳。為了讓節(jié)點間時間同步，收信節(jié)點接收數(shù)據(jù)包的時間和數(shù)據(jù)包上時間戳的時間差進行通信延遲測量。測定時刻為系統(tǒng)啟動時，數(shù)據(jù)包發(fā)生通信時，在一定時間內(nèi)節(jié)點間不進行通信。從測定的延遲時間開始，利用動作腳本修正計算平均延遲時間和標準偏差。

5 原型模型

為了提出方法的有效性，開發(fā)原型模型系統(tǒng)進行評價。原型系統(tǒng)用了三臺節(jié)點和一臺主節(jié)點，利用PTPv2保證時刻同步精度。用專門按鈕時刻同步網(wǎng)絡(luò)，節(jié)點間的數(shù)據(jù)通信用兩種網(wǎng)絡(luò)構(gòu)成。執(zhí)行任務(wù)的節(jié)點用于通用計算機，連接時刻同步網(wǎng)絡(luò)的界面，使用連接PCI Express裝載PTPv2功能的NIC（即PTPNIC）。為了在動作腳本中到指定的時刻進行待機用Usleep系統(tǒng)短時間待機。原型系統(tǒng)根據(jù)時刻和腳本進行節(jié)點間通信的軟件安裝，用C語言開發(fā)。

6 驗證

對時間處理產(chǎn)生的延遲進行測量，根據(jù)提出的模型進行動作腳本的修正，進行修正模型的驗證。

6.1 節(jié)點的性能和特征產(chǎn)生延遲的測量

6.1.1 從PTPNIC的時刻得到執(zhí)行時間

構(gòu)成本系統(tǒng)的各節(jié)點，處理任務(wù)時的動作為判斷基準取現(xiàn)在時刻。測試用一臺節(jié)點從PTPNIC取得時刻。測試為從PTPNIC取兩次連續(xù)的時刻，測試取得一次時刻處理的時間方差。測試執(zhí)行1000次，測出平均執(zhí)行時間和標準偏差。結(jié)果是平均執(zhí)行時間為4微秒，標準偏差為O.1。

6.1.2 從恢復待機狀態(tài)的時間

通過測量Usleep系統(tǒng)短待機可能的最短時間，測出進入待機狀態(tài)到發(fā)生任務(wù)的延遲。測量中，取執(zhí)行Usleep系統(tǒng)短時間段的前后時刻，計算兩個方差。用這個方差減在6.1.1中求得時間的平均值。試運行1000次的結(jié)果，平均執(zhí)行時間55.8微秒，標準差9.8。從這個結(jié)果看出，本原型系統(tǒng)Usleep系統(tǒng)短期待機能的比最短時間更短的情況，如20微秒的待機處理腳本的情況下，產(chǎn)生55.8-20微秒的延遲，這種情況下，下一個動作可以提前20微秒執(zhí)行，否則就需要滯后35 8微秒。

6.2 測量網(wǎng)絡(luò)原因產(chǎn)生的延遲

進行UDP通信的節(jié)點間傳輸一個hop數(shù)時，進行通信延遲的測量。數(shù)據(jù)包大小為64，128，256，512，1024bate，各300次，一共試運行1500次。結(jié)果是，64bate時平均傳輸時間143.8毫秒，標準差為4.6。1024bate時平均傳輸時間為168.1微秒，標準差為4.3。數(shù)據(jù)包大小變化時標準差基本不變，但平均傳輸時間發(fā)生變化。

6.3 根據(jù)測量結(jié)果修正動作腳本

數(shù)據(jù)通信用的網(wǎng)絡(luò)延遲時間產(chǎn)生變化時，為確認動作腳本的修正模型正常工作的三臺節(jié)點，用節(jié)點A、節(jié)點B、節(jié)點C驗證進行時間分散處理的動作結(jié)果。三個節(jié)點舉出的數(shù)據(jù)生成/恢復鍵生成/數(shù)據(jù)加密模塊，假設(shè)用三個模塊構(gòu)成的系統(tǒng)，節(jié)點A、節(jié)點B、節(jié)點C的順序進行傳輸數(shù)據(jù)。當節(jié)點A和節(jié)點B間的網(wǎng)絡(luò)延遲時間從500微秒到1900微秒，每200微秒工作一次時，驗證進行了動態(tài)的修正。初期的動作腳本順序圖如圖2所示。

最終節(jié)點A和節(jié)點B間的網(wǎng)絡(luò)延遲時間700微秒，1300微秒，1900微秒在時刻t2，t3，t4，t5間顯示。從這個結(jié)果，節(jié)點A和節(jié)點B間的延遲時間從500微秒到900微秒時，就在腳本通過發(fā)信時刻t3=llms執(zhí)行，節(jié)點B在t=11ms前，不能執(zhí)行傳輸。兩節(jié)點的延遲時間超過1000微秒時，節(jié)點B的動作開始時間為到達t5=12ms而換成t3，考慮到延遲時間需要提前發(fā)信。從這個結(jié)果看，確認了處理時刻修正方法緩和了節(jié)點間產(chǎn)生的延遲影響。

7 總結(jié)

本論文用于控制高精度同步分散節(jié)點的時間，首先根據(jù)時間進行處理的動作腳本和隨著現(xiàn)在時間和數(shù)據(jù)遍歷系統(tǒng)中節(jié)點的處理，提出時間分散處理控制。首先，在節(jié)點間產(chǎn)生通信延遲，從開始處理到結(jié)束產(chǎn)生延遲檢驗本方法的有效性。結(jié)果證明了修正處理時間的方法，在原型系統(tǒng)下可以實現(xiàn)。其結(jié)果在數(shù)據(jù)通信用網(wǎng)絡(luò)中節(jié)點間的通信關(guān)系在延遲時間發(fā)生變化的情況下，時間修正模型能正常工作。

參考文獻

[1] Thomas Erl，ZaighamMahmood.云計算：概念、技術(shù)與架構(gòu)[M].北京：機械工業(yè)出版社，2014.

[2] 1EEEStd1588-2008， 1EEEStandardfora Precision CIockSynchronizationProtocol for Networked Measu-rementand ControlSystem [S]. 2008.

[3]王建珍，計算機網(wǎng)絡(luò)時間同步技術(shù)應(yīng)用研究[J].山西電子技術(shù)，2005 （04）： 7-8.

[4]求是科技.FPGA數(shù)字電子系統(tǒng)設(shè)計與開發(fā)實例導航[M].北京：郵電出版社，2005.

[5]宮田寬士，服務(wù)器端網(wǎng)絡(luò)架構(gòu)[M].北京：人民郵電出版社，2015.

[6]張亞元，基于GPS和高精度實時時鐘的時間同步方法研究[D].天津大學，2014.

[7]鄧偉.基于GPS時鐘同步系統(tǒng)的實現(xiàn)與應(yīng)用[D].北京郵電大學，2015.

[8]許雄，實時以太網(wǎng)下多軸運動控制的同步問題研究[D].上海交通大學，2013.