国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種基于隔離網(wǎng)閘的大文件高效傳輸方案

2021-06-08 15:27:11任晨劉立陳鵬
信息化建設(shè) 2021年2期
關(guān)鍵詞:網(wǎng)閘重傳傳輸速率

任晨 劉立 陳鵬

為保障網(wǎng)絡(luò)安全,通常會把網(wǎng)絡(luò)分為內(nèi)、外兩個不同安全級別的網(wǎng)絡(luò)環(huán)境。內(nèi)網(wǎng)為一般企事業(yè)單位內(nèi)部使用網(wǎng)絡(luò),安全等級較高,是防控嚴格的可信網(wǎng)絡(luò);外網(wǎng)擁有開放而豐富的資源,但是安全等級比較低,為不可信的網(wǎng)絡(luò)。為保證2個不同安全等級網(wǎng)絡(luò)的物理連接和網(wǎng)絡(luò)協(xié)議互聯(lián)互通,通常會采用隔離網(wǎng)閘,以信息“擺渡”的方式,實現(xiàn)2個網(wǎng)絡(luò)間的數(shù)據(jù)交換。然而基于安全考慮,網(wǎng)閘通常會對傳輸速度和內(nèi)容進行限制,對于數(shù)據(jù)量較小的信息交換一般問題不大,但是對于數(shù)據(jù)量較大的大文件,傳輸耗費時間較長,而網(wǎng)閘使用的實際情況是多個應(yīng)用共同使用,網(wǎng)絡(luò)環(huán)境取決于各個應(yīng)用共同作用的結(jié)果,如果長時間傳輸,碰到網(wǎng)絡(luò)比較擁堵的時候,會對傳輸造成影響,嚴重的時候甚至會導致連接主動斷開,進而造成數(shù)據(jù)重傳風險,影響傳輸效率。

為此,基于隔離網(wǎng)閘的實際使用情況,筆者提出一種基于隔離網(wǎng)閘的大文件傳輸方案。方案從兩個方面改進傳輸效率,首先盡可能減少傳輸?shù)臄?shù)據(jù)量,采用壓縮率最高的改進LZMA算法,最大限度減少傳輸數(shù)據(jù)量;然后盡可能減少或規(guī)避連接斷開帶來的數(shù)據(jù)重傳風險,采用文件切片和動態(tài)反饋傳輸算法,把原有整個大文件重傳變?yōu)榍衅貍?,大大減少重傳量,同時利用動態(tài)反饋傳輸算法盡量避免文件過快傳輸帶來的斷開風險。經(jīng)過實際驗證,該方案能夠動態(tài)適應(yīng)網(wǎng)絡(luò)變化情況,大大提高傳輸大文件的效率。

隔離網(wǎng)閘

隔離網(wǎng)閘是內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)之間的一個安全防護裝置,可以識別非法請求并阻止超越權(quán)限的數(shù)據(jù)訪問和操作,從而有效地抵御病毒、黑客等惡意破壞和攻擊活動。隔離網(wǎng)閘由外網(wǎng)處理單元、內(nèi)網(wǎng)處理單元和安全隔離模塊3個部分組成,內(nèi)網(wǎng)和外網(wǎng)處理單元分別處理內(nèi)外網(wǎng)的連接請求,安全隔離模塊包含了控制單元和存儲介質(zhì),控制單元從硬件層面上實現(xiàn)了數(shù)據(jù)交換區(qū)在任一時刻只與內(nèi)網(wǎng)系統(tǒng)或外網(wǎng)系統(tǒng)相連,這樣便能保證在任一時刻內(nèi)網(wǎng)與外網(wǎng)沒有連通,從而實現(xiàn)了鏈路的物理隔離。存儲介質(zhì)用于在隔離網(wǎng)閘進行數(shù)據(jù)通信過程中,臨時保存內(nèi)外網(wǎng)的連接數(shù)據(jù),在發(fā)送方斷開后,從存儲介質(zhì)中取出發(fā)送給接受方。由于一次數(shù)據(jù)交互需要進行連接一方控制單元、傳輸數(shù)據(jù)、保存數(shù)據(jù)到存儲介質(zhì)、斷開原有連接控制單元、再使用另外一方連接控制單元、從存儲介質(zhì)取出數(shù)據(jù)并傳輸?shù)?個步驟,隔離網(wǎng)閘相較于其他一些用于安全防護設(shè)備,性能在傳輸過程中損耗較大?;诖笪募旧淼奶匦院透綦x網(wǎng)閘的情況,大文件傳輸會長時間占用隔離網(wǎng)閘帶寬,同時對存儲介質(zhì)中的數(shù)據(jù)流轉(zhuǎn)也帶來巨大挑戰(zhàn),會給隔離網(wǎng)閘的數(shù)據(jù)傳輸帶來風險,進而影響傳輸效率。如何保證傳輸效率,筆者結(jié)合國標《GB/T20279-2015信息安全技術(shù)網(wǎng)絡(luò)和終端隔離產(chǎn)品安全技術(shù)要求》對隔離網(wǎng)閘提出的吞吐量和性能延遲要求,對大文件進行分割傳輸。

在實際使用過程中,一般采用圖1所示網(wǎng)絡(luò)架構(gòu)。圖1中外網(wǎng)想要請求內(nèi)網(wǎng)服務(wù)器,必須通過隔離網(wǎng)閘,隔離網(wǎng)閘安全檢驗通過后,再通過路由等方式發(fā)送給對應(yīng)內(nèi)網(wǎng)服務(wù)器,外網(wǎng)會有多個應(yīng)用同時請求數(shù)據(jù)通過隔離網(wǎng)閘并發(fā)送到不同的內(nèi)網(wǎng)服務(wù)器,內(nèi)網(wǎng)服務(wù)器收到請求后,根據(jù)請求類型和內(nèi)容進行回復。

結(jié)合隔離網(wǎng)閘的物理特性和實際應(yīng)用情況,為保證大文件的傳輸效率,需要根據(jù)隔離網(wǎng)閘的實際情況進行測試,把測試結(jié)果作為方案的輸入項。測試過程中,把吞吐量和性能延遲指標綜合為傳輸速率,結(jié)合切片文件的傳輸過程,得到切片大小相對的傳輸效率值。具體做法為準備不同大小的切片文件,每次測試使用一種大小的切片文件進行反復持續(xù)傳輸,根據(jù)傳輸?shù)臄?shù)據(jù)總量和傳輸?shù)目倳r間得到平均傳輸速率,多次測試后,得到以文件大小為橫軸、傳輸速率為縱軸的負債測試結(jié)果,取傳輸速率最高值作為推薦帶寬值,同時相對應(yīng)的切片文件大小則為推薦的切片文件大小。

數(shù)據(jù)壓縮

隔離網(wǎng)閘基于安全考慮,對網(wǎng)絡(luò)流量有非常嚴格的限制。大文件如果想在內(nèi)外網(wǎng)通過隔離網(wǎng)閘傳播,必須盡可能減少傳輸文件的大小。如何在保證文件完整的情況下,盡量減少傳輸文件的大小?針對這種情況,一般會采用對文件進行無損壓縮后再傳輸?shù)姆绞?,文件壓縮算法一般有RLE、LZW、LZSS、bzip2、gzip等。LZMA是通過Deflate和LZ77算法改良和優(yōu)化后的壓縮算法,該算法壓縮率相較于RLE、LZW、LZSS、bzip2(-9)、gzip(-9)等壓縮算,表現(xiàn)更優(yōu)異。為了更大提高壓縮率和安全性,采用LZMA算法進行實驗,根據(jù)該算法設(shè)計LzmaDeal壓縮類,核心內(nèi)容如圖2所示。

該類中包含兩個成員變量,key表示用于加密密鑰、sMap表示壓縮字典,采用字典格式,字典key為整形,value值使用類WsData,類中包含權(quán)值和二進制串。類中一共包含5個核心方法,其中Init是在類實例化的時候使用,主要作用是初始sMap成員變量;Encryption方法用來加密數(shù)據(jù),傳入src表示需要加密的數(shù)據(jù),dst表示加密后的數(shù)據(jù),方法返回值為bool類型,表示加密是否成功;Compress方法用來壓縮文件,該方法中可以分多個線程進行壓縮,src表示帶壓縮數(shù)據(jù),dst表示壓縮結(jié)果,threads表示使用線程數(shù)據(jù)。SmapSearch是sMap字典搜索方法,src表示待編碼字符串,dst返回src編碼結(jié)果;CompressFile功能為實現(xiàn)文件壓縮,傳入?yún)?shù)為源文件和壓縮文件地址,該方法中會調(diào)用其他幾個方法完成文件的加密和壓縮。經(jīng)過測試,該壓縮算法的壓縮率一般能達到35%左右,有些文件甚至能達到20%。按照該效率計算,傳輸數(shù)據(jù)量能夠減少65%—80%,對于網(wǎng)閘的壓力減少和傳輸效率的提高都有很大的幫助,同時該算法使用了加密算法,兼顧了網(wǎng)絡(luò)數(shù)據(jù)安全。

切片及動態(tài)反饋

使用網(wǎng)閘時會給使用網(wǎng)閘的應(yīng)用分配一定大小帶寬,在內(nèi)外網(wǎng)傳輸過程中,這個帶寬是傳輸文件時能夠達到的最大帶寬。但是網(wǎng)閘在實際使用中,經(jīng)常是大量應(yīng)用共同使用同一個網(wǎng)閘。當其他應(yīng)用比較忙、對網(wǎng)閘的使用率比較高的時候,傳輸應(yīng)用在使用網(wǎng)閘時無法達到最大帶寬,如果對傳輸速率不進行限制,網(wǎng)閘會基于安全考慮,主動斷開連接。為了防止出現(xiàn)斷開連接導致的數(shù)據(jù)重傳,同時最大利用網(wǎng)閘帶寬,筆者采用對文件進行切片的方式進行傳輸,同時在傳輸時利用動態(tài)反饋的傳輸機制,調(diào)整傳輸速率。

傳輸切片文件時首先需要網(wǎng)絡(luò)連接請求操作,如果切片太小,連接操作會耗費大量時間,如果切片過大,動態(tài)反饋機制會延遲,有被強制斷開連接的風險,所以切片必須根據(jù)實際傳輸情況進行調(diào)整。假定X(n),n=1,2,3…N代表每次切片的大小, 假定P(n),n=1,2,3…N代表每次切片傳輸?shù)臅r間,T代表推薦調(diào)整間隔。為保證調(diào)整間隔接近T,采用前n-1次傳輸?shù)那闆r按照公式求取最佳切片文件大?。?/p>

該公式先求得第1到n-2次的傳輸平均速率,然后與n-1次的速率求平均速率,得到結(jié)果乘以T得到切片文件大小。其中X(1)和X(2)的值為T與最大帶寬的乘積。其中T作為可變參數(shù),可根據(jù)實際情況調(diào)整該參數(shù)。

切片完成后進行數(shù)據(jù)傳輸,為保證傳輸數(shù)據(jù)效率,使用如圖3所示流程進行數(shù)據(jù)傳輸。

第一步,對數(shù)據(jù)進行切片,按照切片節(jié)中的X(n)進行計算切片大小。若文件傳輸完成,則結(jié)束傳輸。第二步,傳輸切片文件,并記錄傳輸?shù)拈_始和結(jié)束時間。第三步,判斷傳輸過程是否正常,如果正常跳到第四步,如果傳輸錯誤則跳到第五步。第四步,使用動態(tài)反饋算法計算確定傳輸速率是否過快,如果正常則跳到第一步,如果速率過快,則根據(jù)動態(tài)反饋算法計算結(jié)果,使用睡眠的方式暫停指定時間,然后再回到第一步,抑制傳輸速率過快。第五步,標記當前切片傳輸失敗,然后把當前切片作為下一次的傳輸切片數(shù)據(jù)。在重新傳輸前,需要先判斷該切片是否已經(jīng)失敗過3次或3次以上,如果不是則直接回到第一步,如果是則需要長時間睡眠等待。該睡眠等待時間作為可變參數(shù),可以根據(jù)實際情況調(diào)整。

動態(tài)反饋算法根據(jù)傳輸速率動態(tài)調(diào)整傳輸過程,通過睡眠方式抑制傳輸過快帶來的風險。動態(tài)反饋算法結(jié)合切片文件大小、傳輸時間、分配帶塊、上一次傳輸速率等因素。假定使用X(n),n=1,2,3…N代表每次切片的大小,使用T1(n),n=1,2,3…N表示每次傳輸開始時間,使用T2(n),n=1,2,3…N表示傳輸結(jié)束時間,則可以使用公式X(n)/(T2(n)-T1(n))計算出當前文件的傳輸速率,假定網(wǎng)閘分配最大帶寬為R,使用D(n),n=1,2,3…N表示第n次傳輸速率偏差值,結(jié)合上一次切片傳輸偏差值使用公式(X(n)/(T2(n)-T1(n))-R+D(n-1))/2得到當次實際偏差值,為避免偏差值多余強烈變化,使用P表示單次最大偏差值,使用MIN表示取最小值,使用如下公式表示速率偏差值的求?。?/p>

其中R,P值為可變參數(shù),其中R值在實際測試過程中,可以不必寫理論值,推薦為理論值的90%。D(0)=0,若D(n)<0,則D(n)=0。得到速率偏差之后,如果速率偏差值大于0,則需要做睡眠處理,睡眠時間使用如下公式計算:

本方案通過實際環(huán)境測試,在保證文件正常傳輸?shù)那闆r下,能夠以接近最大帶寬的速率進行傳輸。

隔離網(wǎng)閘廣泛應(yīng)用于內(nèi)外網(wǎng)數(shù)據(jù)通信,而大文件以其特殊性,在經(jīng)過隔離網(wǎng)閘時需要特別予以關(guān)注。本文所提出的解決方案,能夠基于隔離網(wǎng)閘情況下,保證大文件的傳輸效率,進而保證業(yè)務(wù)的正常進行。同時該方案還可以擴展到類似大文件數(shù)據(jù)交互的限速環(huán)境中,通過應(yīng)用本文所提供的單個或者所有方法結(jié)合的方式,能夠有效減少因為大文件傳輸效率過慢帶來的影響。

(作者單位:國網(wǎng)新疆電力有限公司物資公司)

猜你喜歡
網(wǎng)閘重傳傳輸速率
基于網(wǎng)閘與DCV的海洋地震數(shù)據(jù)處理遠程協(xié)同處理平臺
面向異構(gòu)網(wǎng)絡(luò)的多路徑數(shù)據(jù)重傳研究?
淺談網(wǎng)閘在內(nèi)外網(wǎng)隔離中的應(yīng)用
跨山通信中頻段選擇與傳輸速率的分析
黑龍江電力(2017年1期)2017-05-17 04:25:16
數(shù)據(jù)傳輸速率
CHIP新電腦(2016年9期)2016-09-21 10:31:09
基于網(wǎng)閘的高速公路收費監(jiān)控多網(wǎng)絡(luò)互通解決方案
新一代全球衛(wèi)星通信網(wǎng)絡(luò)將百倍提升傳輸速率
數(shù)據(jù)鏈路層的選擇重傳協(xié)議的優(yōu)化改進
新一代全球衛(wèi)星通信網(wǎng)絡(luò)將百倍提升傳輸速率
MPTCP中一種減緩緩存阻塞的重傳策略
乌拉特后旗| 宜良县| 泾川县| 安宁市| 美姑县| 怀远县| 河东区| 绵阳市| 铅山县| 榕江县| 温泉县| 浦江县| 通城县| 黔东| 广州市| 阳山县| 云南省| 和顺县| 太白县| 达孜县| 广州市| 龙游县| 通辽市| 元谋县| 邛崃市| 郸城县| 海淀区| 宜州市| 河北省| 莱西市| 麻江县| 宁城县| 丹巴县| 瓦房店市| 永登县| 嘉义县| 鄂尔多斯市| 江门市| 平江县| 永安市| 凤台县|