姜學東　孫海民

摘 要： 為了降低存儲系統(tǒng)的空間開銷和抗干擾能力對大數(shù)據(jù)存儲系統(tǒng)進行優(yōu)化設計，提出一種基于時鐘同步與高速模塊內(nèi)部觸發(fā)的大數(shù)據(jù)存儲優(yōu)化結構設計方法。采用數(shù)據(jù)動態(tài)增益碼調度和編碼方法，將存儲系統(tǒng)中的大數(shù)據(jù)送到環(huán)形RAM緩沖區(qū)，對主控機下載緩沖區(qū)的數(shù)據(jù)作頻譜分析，進行大數(shù)據(jù)存儲系統(tǒng)的硬件模塊設計，主要有時鐘同步電路、復位電路、高速模塊內(nèi)部觸發(fā)電路、程序加載電路和存儲終端接口電路等。軟件設計中，利用匯編指令PORTW，PORTR進行串口控制，配置引腳寄存器，執(zhí)行大數(shù)據(jù)的寫入請求，降低存儲開銷。仿真實驗結果表明，該存儲系統(tǒng)具有較好的數(shù)據(jù)寫入和存儲性能，執(zhí)行效率較高，存儲開銷較小。

關鍵詞： 大數(shù)據(jù)存儲； 系統(tǒng)設計； 時鐘同步； 優(yōu)化結構

中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2016）24?0066?05

Design and implementation of optimized architecture for large data storage

JIANG Xuedong， SUN Haimin

（Faculty of Mathmatics and Computer Science， Hebei Normal University for Nationalities， Chengde 067000， China）

Abstract： To reduced space overhead of the storage system and improve anti?jamming capacity by the optimization design of large data storage system， a kind of design method of large data storage structure optimization based on clock synchronization and high?speed module internal trigger is put forward. The scheduling and coding method of data dynamic gain code are adopted to send the big data in storage system to the annular RAM buffer. The spectrum analysis for the buffer data download by main control computer is conducted. The hardware modules （such as clock synchronization circuit， reset circuit， high?speed module internal trigger circuit， program loading circuit and storage terminal interface circuit） of the large data storage system are designed. In software design， the assembly instruction PORTW and PORTR is used to executed serial port control， and the pin register is deployed to carry out the written request of big data and reduce the store cost. The analysis on the system simulation experiment results indicates the data storage system has good data writing and storage performances， high execution efficiency， and less storage overhead.

Keywords： big data storage； system design； clock synchronization； optimal structure

0 引 言

隨著計算機與信息技術的快速發(fā)展，海量的數(shù)據(jù)需要在計算機和網(wǎng)絡系統(tǒng)中進行數(shù)據(jù)交換和信息交互，實現(xiàn)網(wǎng)絡通信和數(shù)據(jù)共享。大數(shù)據(jù)通過網(wǎng)絡存儲和本地存儲的方式寄存在網(wǎng)絡和本地計算機上，通常對海量數(shù)據(jù)的存儲都是采用云存儲構架的方式，云存儲構架是采用層次化的網(wǎng)格結構，復制文件到具有執(zhí)行任務的站點，在云存儲網(wǎng)格中，每個站點控制數(shù)據(jù)傳輸，然后通過PCI總線接口為存儲空間提供所需副本，進行數(shù)據(jù)調度和訪問。大數(shù)據(jù)云存儲系統(tǒng)的架構結構的優(yōu)化可以降低存儲開銷，提高數(shù)據(jù)的存儲空間和數(shù)據(jù)調度效率，研究大數(shù)據(jù)存儲的優(yōu)化加工結構設計方法，在優(yōu)化大數(shù)據(jù)信息處理和存儲優(yōu)化中具有積極重要的意義，相關的系統(tǒng)設計方法受到人們的極大重視[1?3]。

傳統(tǒng)方法中，對大數(shù)據(jù)存儲中的優(yōu)化架構結構的設計方法通過任務發(fā)生器生成LRU排序列表，副本管理器在每個站點控制數(shù)據(jù)的傳輸，通過副本相關檢測器進行干擾抑制，實現(xiàn)對大數(shù)據(jù)存儲的優(yōu)化結構設計，結合這一設計思想，取得了一定的研究成果。其中，文獻[4]提出一種基于海量數(shù)據(jù)存儲的時間和空間領域匹配的數(shù)據(jù)存儲方法，采用線性突發(fā)的數(shù)據(jù)傳輸模式進行數(shù)據(jù)調度，在存儲架構模型中，允許PCI總線擴展，進行了存儲軟件設計，提高了數(shù)據(jù)網(wǎng)格調度和存儲的能力，但是該方法在系統(tǒng)架構中總線協(xié)議比較復雜，數(shù)據(jù)計算的開銷較大。文獻[5]提出一種基于綜合調度策略的動態(tài)數(shù)據(jù)復制的海量數(shù)據(jù)存儲方法，在負載均衡條件的C/S客戶端控制下，對海量數(shù)據(jù)存儲優(yōu)化架構系統(tǒng)中的類似數(shù)據(jù)進行分塊存儲，實現(xiàn)了數(shù)據(jù)的聚類分析和優(yōu)化調度，但是該系統(tǒng)在進行海量數(shù)據(jù)存儲過程中，受到存儲系統(tǒng)的吞吐容量和性能的約束，導致存儲開銷成幾何倍級增長[6?8]。

針對上述問題，本文對傳統(tǒng)的大數(shù)據(jù)存儲結構進行改進設計，提出一種基于時鐘同步與高速模塊內(nèi)部觸發(fā)的大數(shù)據(jù)存儲中的優(yōu)化架構結構設計方法。

1 大數(shù)據(jù)存儲系統(tǒng)總體設計架構和指標分析

1.1 大數(shù)據(jù)存儲系統(tǒng)總體設計架構

大數(shù)據(jù)存儲系統(tǒng)的優(yōu)化結構設計中，數(shù)據(jù)觸發(fā)和采集是整個系統(tǒng)的基礎，采用觸發(fā)總線、模擬總線構建緩沖區(qū)，數(shù)據(jù)傳輸?shù)街骺赜嬎銠C的過程通過模擬信息預處理模塊實現(xiàn)，采用數(shù)據(jù)動態(tài)增益碼調度和編碼方法，將存儲系統(tǒng)中的大數(shù)據(jù)送到環(huán)形RAM緩沖區(qū)，對主控機下載緩沖區(qū)的數(shù)據(jù)作頻譜分析，進行采樣點模擬。

大數(shù)據(jù)存儲系統(tǒng)主要包括如下幾個部分：局部總線傳輸數(shù)據(jù)處理器、PCI總線及橋接電路、VXI系統(tǒng)總線控制設備、主控計算機讀取時域數(shù)據(jù)、外部存儲器以及零號插槽復位電路。

局部總線是采集系統(tǒng)的基礎，它負責信號采集、通信總線觸發(fā)、與上位機通信、資源管理等任務。通過數(shù)據(jù)管理調度和評價器分析數(shù)據(jù)存儲中的抗干擾能力，數(shù)據(jù)存儲節(jié)點通過QoS值進行數(shù)據(jù)跟蹤，QoS值直接與VXI總線通信，通過對數(shù)據(jù)存儲任務的評價，進行存儲系統(tǒng)的故障排除和干擾抑制。

大數(shù)據(jù)存儲系統(tǒng)的功能任務流程如圖1所示。

根據(jù)上述任務流程，進行大數(shù)據(jù)存儲系統(tǒng)的功能分析，主要有：

（1） 應用程序加載，即把存儲VXI總線系統(tǒng)的應用程序通過外置式系統(tǒng)控制器加載到DSP處理器內(nèi)部RAM中運行。

（2） 通過數(shù)字信號處理芯片和32 MB的外部存儲空間，實現(xiàn)人機對話。

（3） 自動增益控制，通過把計算任務分配到多個處理器，設計動態(tài)增益控制碼，使得主控計算機的信號能使大數(shù)據(jù)存儲系統(tǒng)穩(wěn)定在所需的范圍。

（4） 設置外部信號調理，控制A/D轉換器進行正常大數(shù)據(jù)存儲的空間采樣。

（5） 讀取A/D采樣值中斷主控計算機，包括局部總線傳輸數(shù)據(jù)主控計算機進行頻譜分析、信息模擬等。

（6） 與外部SRAM通信，進行PCI橋接和D/A轉換。

（7） 按照系統(tǒng)所需頻率控制D/A轉換器工作。

綜上分析，得到本文設計的大數(shù)據(jù)存儲的架構結構總體設計框圖如圖2所示。

1.2 大數(shù)據(jù)存儲系統(tǒng)的功能指標分析與網(wǎng)格調度

根據(jù)上述構建的數(shù)據(jù)存儲的架構結構總體設計進行系統(tǒng)設計，本文設計的大數(shù)據(jù)存儲系統(tǒng)的指標參數(shù)描述如下：

（1） 數(shù)據(jù)存儲和環(huán)形RAM緩沖區(qū)內(nèi)數(shù)據(jù)捕獲的幅度動態(tài)范圍：-43～50 dB，噪聲疊加放大量為87 dB，輸出D/A轉換器的幅度為[±10 V]。

（2） DSP中數(shù)據(jù)傳輸?shù)牟蓸油ǖ罏?2通道同步、異步輸入。

（3） 樣數(shù)據(jù)在緩沖區(qū)循環(huán)壓控放大器的采樣率：[≥200 Hz]。

（4） DSP控制DAC的A/D分辨率：15位（至少）。

（5） 功率放大器的D/A分辨率：13位（至少）。

（6） D/A轉換速率：[≥200 Hz]。

大數(shù)據(jù)云存儲架構結構設計中，采用層次化網(wǎng)格調度模型，通過站點訪問和網(wǎng)格區(qū)域分區(qū)，將使用動態(tài)分級式復制算法計算最佳區(qū)域，實現(xiàn)副本放置和數(shù)據(jù)的快速復制，每個網(wǎng)格站點有多通道任務請求文件的區(qū)域，實現(xiàn)對大數(shù)據(jù)云存儲的優(yōu)化架構。

大數(shù)據(jù)云存儲架構結構設計中層次化網(wǎng)格調度訪問的過程描述如圖3所示。

2 大數(shù)據(jù)存儲系統(tǒng)的硬件設計和軟件設計實現(xiàn)

2.1 大數(shù)據(jù)云存儲優(yōu)化構架系統(tǒng)的硬件

根據(jù)上述設計思想和指標參量分析，進行大數(shù)據(jù)存儲系統(tǒng)的硬件模塊設計，硬件模塊主要有時鐘同步電路、復位電路、高速模塊內(nèi)部觸發(fā)電路、程序加載電路和存儲終端接口電路等，系統(tǒng)設計過程描述如下：

大數(shù)據(jù)存儲系統(tǒng)的時鐘同步電路由多路開關選擇12位A/D數(shù)據(jù)采樣模塊，通過自適應調制電路進行自適應增益連續(xù)反饋采樣。大數(shù)據(jù)存儲系統(tǒng)的線性動態(tài)范圍為-40～40 dB，通過Emulator由JTAG選擇引腳、時鐘信號。根據(jù)MAX7425的電子特性，采用PCI 接口功能模塊，設計SCSI?68反饋動態(tài)增益模塊，在第一級放大之后進行高通濾波去除干擾數(shù)據(jù)的誤差增益，在接收電路中加入濾波電路，實現(xiàn)大數(shù)據(jù)的時鐘同步采樣，得到時鐘同步電路如圖4所示。

大數(shù)據(jù)的時鐘同步采樣的運放端口，選用AD8021進行5階開關電容低通濾波，從而使輸出電壓趨于穩(wěn)定的直流電壓。通過自定義總線SCSI?68共享雙端口RAM，實現(xiàn)PC機與數(shù)據(jù)傳輸系統(tǒng)的實時通信。功率放大器通過三級放大器進行D/A轉換信號的逐級放大，得到數(shù)據(jù)存儲命令，數(shù)據(jù)輸出信號的范圍在合理程度，可提高系統(tǒng)的發(fā)射響應和接收靈敏度。當存儲器處于接收狀態(tài)時，通過設計的帶通濾波器對存儲的數(shù)據(jù)進行降噪處理，根據(jù)上述分析，構建復位電路，在系統(tǒng)上電、初始化、出現(xiàn)異常斷電時，采用看門狗復位方法實現(xiàn)對DSP芯片的復位，得到復位電路設計如圖5所示。

在大數(shù)據(jù)存儲系統(tǒng)中，通過中斷復位，使得數(shù)據(jù)長度可以為 8，12，20，經(jīng)DMA 控制器實現(xiàn)外部脈沖源驅動，按照DSP串口0的引腳引出通過（R/X）DATDLY設置數(shù)據(jù)運算和存儲。采用5409A串口硬件發(fā)送采樣值，進行程序加載，5409A串口引腳分配如圖6所示。

通過5409A串口引腳分配，利用串口在兩塊DSP之間傳送數(shù)據(jù)，大數(shù)據(jù)存儲系統(tǒng)的頂層文件的部分VerilogHDL代碼如下：

PWM_controlu1 （External data memory design， .clk（clk）， . reset（reset）. en（en）， . ek （m1））；

//PCI9054之間進行數(shù)據(jù)通信模塊的實例

Data_operationand_storage（.ek（m1）， .kp（kp）， .clk（clk），. reset（reset）， .en（en），.ek_1（），.s1（s1））； //增益模塊的實例

jifen_controlu3（.ek（m1），.ki（ki），.clk（clk），.reset（reset），.en（en），.s2（s2））；

Postel_ectric_system_controlu4（.ek（m1），.kd（kd），.clk（clk），

.reset（reset）， Data communication between PCI9054）；

assignout=s1+s2+s3 //誤差反饋控制實例

基于時鐘同步與高速模塊內(nèi)部觸發(fā)進行系統(tǒng)的優(yōu)化設計，通過外部I/O設備進行大數(shù)據(jù)存儲系統(tǒng)的接口設計，大數(shù)據(jù)存儲系統(tǒng)的A/D采樣轉換器AD8582四片，將通過通道數(shù)設置，把12位的A/D結果轉換成16位，采用[±10 V]的雙極性輸入法，利用[EOC]信號作一通道轉換，為TOUT→[CNVST]，A4～A0，采用轉換序列完成大數(shù)據(jù)存儲系統(tǒng)對應碼的編碼和符號擴展，I/O設備的外部接口采用AD8582是兩通道的動態(tài)增益控制電路，依次與5409A數(shù)據(jù)總線連接，通過外部接口電源和內(nèi)核電源協(xié)調供電，實現(xiàn)對數(shù)據(jù)的不間斷采樣和存儲，輸出的波形幅度數(shù)據(jù)具有較好的自適應性。綜上分析，本文設計的大數(shù)據(jù)云存儲優(yōu)化構架系統(tǒng)的硬件集成電路的實現(xiàn)過程如圖7所示。

2.2 系統(tǒng)的軟件設計與實現(xiàn)

在上述進行了大數(shù)據(jù)存儲系統(tǒng)的硬件設計的基礎上，進行大數(shù)據(jù)存儲系統(tǒng)架構結構的軟件設計，軟件設計建立在ALTERA公司新推出的MAX7000AE軟件開發(fā)平臺基礎上，軟件設計的流程包括中斷服務程序的開發(fā)、串口配置程序的設計、DSP串口初始化程序等，首先創(chuàng)建LabWindows/CVI工程文件，根據(jù)編寫的PCI卡驅動程序，通知DSP取數(shù)，采用時鐘同步模塊進行大數(shù)據(jù)的多通道采樣，返回的HANDLE（句柄），采用DeviceIoControl（）、ReadFile（）控制系統(tǒng)硬件和設定參數(shù)。外部接口片選信號利用匯編指令PORTW，PORTR進行串口控制，配置引腳寄存器，設定RCR[1，2]和XCR[1，2]，先對SPCR1（串口接收控制寄存器）和SPCR2（串口發(fā)送控制寄存器）執(zhí)行大數(shù)據(jù)的寫入請求，接收堆棧彈出返回指令后，大數(shù)據(jù)存儲系統(tǒng)內(nèi)的CVI面板實時顯示大數(shù)據(jù)的采樣結果和存儲空間，根據(jù)上述思想，實現(xiàn)對大數(shù)據(jù)存儲的軟件設計，大數(shù)據(jù)存儲系統(tǒng)軟件設計實現(xiàn)流程如圖8所示。

3 系統(tǒng)調試與實驗結果分析

為了測試本文設計的大數(shù)據(jù)存儲系統(tǒng)架構模型的性能，進行仿真實驗。實驗中，大數(shù)據(jù)的存儲主機的PC機為32/64位保護模式，在 600 MHz的時鐘速率下執(zhí)行大數(shù)據(jù)的采樣和寫入，外部設備接口、DMA控制器支持 32位和40位的浮點運算，內(nèi)核邏輯電流為2.90 A，內(nèi)核邏輯電壓為1.3 V，參考電壓VREF設置為VDD_IO的[12]，調節(jié) SCLK1和SCLK2之間的時序偏差，通過時鐘同步控制和鏈路數(shù)據(jù)的配置，實驗中，數(shù)據(jù)量為100 MB～1 GB，以100 MB為單位實現(xiàn)數(shù)據(jù)的寫入和存儲，根據(jù)上述實驗環(huán)境和參數(shù)設定，結合本文設計的系統(tǒng)硬件電路和軟件模塊，進行程序加載寫入，進行數(shù)據(jù)存儲性能分析和對比，為了對比系統(tǒng)的性能，采用本文方法和傳統(tǒng)方法，在不同的存儲開銷和干擾下，以大數(shù)據(jù)存儲的信息融合的歸一化投影值為測試指標，得到大數(shù)據(jù)存儲的性能對比結果如圖9所示。

由圖9可見，采用本文設計的大數(shù)據(jù)存儲系統(tǒng)進行大數(shù)據(jù)存儲，具有較好的抗干擾性和數(shù)據(jù)融合性能，降低數(shù)據(jù)存儲開銷，提高數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)調度效率，展示了較好的應用價值。

4 結 語

通過對大數(shù)據(jù)存儲系統(tǒng)的優(yōu)化設計，降低了存儲系統(tǒng)的空間開銷和抗干擾能力。提出一種基于時鐘同步與高速模塊內(nèi)部觸發(fā)的大數(shù)據(jù)存儲中的優(yōu)化架構結構設計方法。采用時鐘同步技術進行存儲系統(tǒng)的總線實時調度，采用高速模塊內(nèi)部觸發(fā)機制取得總線控制權，提高了數(shù)據(jù)的轉發(fā)傳送性能，系統(tǒng)設計包括了硬件模塊設計和軟件設計兩大部分。由系統(tǒng)設計和仿真實驗分析得出，該系統(tǒng)具有較好的數(shù)據(jù)存儲性能，執(zhí)行效率較高，穩(wěn)定性較好。

參考文獻

[1] CAO Junwei， LI Keqin， STOJMENOVIC I. Optimal power allocation and load distribution for multiple heterogeneous multi?core server processors across clouds and data centers [J]. IEEE transactions on computers， 2014， 63（1）： 45?58.

[2] 田剛，何克清，王健，等.面向領域標簽輔助的服務聚類方法[J].電子學報，2015，43（7）：1266?1274.

[3] 衛(wèi)星，張建軍，石雷，等.云計算數(shù)據(jù)中心服務器數(shù)量動態(tài)配置策略[J].電子與信息學報，2015，37（8）：2007?2013.

[4] URGAONKAR R， KOZAT U C， IGARASHI K， et al. Dynamic resource allocation and power management in virtualized data centers [C]// Proceedings of IEEE/IFIP Network Operations and Management Symposium （NOMS）. Osaka， Japan： IEEE， 2010： 479?486.

[5] CHONG F T， HECK M J R， RANGANATHAN P， et al. Data center energy efficiency： improving energy efficiency in data centers beyond technology scaling [J]. IEEE design & test， 2014， 31（1）： 93?104.

[6] LI Jian， SHUANG Kai， SU Sen， et al. Reducing operational costs through consolidation with resource prediction in the cloud [C]// Proceedings of 12th IEEE/ACM International Symposium on Cloud and Grid Computing （CCGrid）. Ottawa， Canada： IEEE， 2012： 793?798.

[7] WANG Lin， ZHANG Fa， ARJONA A J， et al. GreenDCN： a general framework for achieving energy efficiency in data center networks [J]. IEEE journal on selected areas in communications， 2014， 32（1）： 4?15.

[8] 崔永君，張永花.基于特征尺度均衡的Linux系統(tǒng)雙閾值任務調度算法[J].計算機科學，2015，42（6）：181?184.