王 琦，王 壯，程 翥，苗可可

（1.國(guó)防科技大學(xué) 電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙410073；2.95972部隊(duì)，甘肅 酒泉735000）

0 引 言

數(shù)據(jù)采集記錄系統(tǒng)的本質(zhì)是信號(hào)的變換和存儲(chǔ)，一個(gè)好的、全面的、穩(wěn)定的多通道高速數(shù)據(jù)采集記錄系統(tǒng)［1，2］需要解決好高速模擬－數(shù)字轉(zhuǎn)換、精準(zhǔn)時(shí)鐘同步、精確數(shù)據(jù)同步、高速數(shù)據(jù)傳輸、大數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)控制、硬件接口、通道擴(kuò)展以及采集功能模式設(shè)計(jì)等問(wèn)題。目前，大部分多通道高速數(shù)據(jù)采集記錄系統(tǒng)均采用單板設(shè)計(jì)模式，即將實(shí)際需求的所有采集通道設(shè)計(jì)在一個(gè)電路板上，使用單個(gè)或多個(gè)FPGA 等控制運(yùn)算單元進(jìn)行數(shù)據(jù)控制，然后通過(guò)標(biāo)準(zhǔn)接口將數(shù)據(jù)發(fā)送至存儲(chǔ)單元存儲(chǔ)。這樣的設(shè)計(jì)通用性較差、采集通道很難擴(kuò)展、采集控制和人機(jī)交互設(shè)計(jì)比較復(fù)雜。

為解決這些問(wèn)題，本文運(yùn)用模塊式思想設(shè)計(jì)了一種通道可擴(kuò)展的多通道高速數(shù)據(jù)采集同步記錄系統(tǒng)，并對(duì)其核心模塊進(jìn)行了邏輯設(shè)計(jì)。整體設(shè)計(jì)方面，系統(tǒng)由時(shí)鐘模塊、采集模塊、存儲(chǔ)模塊和主板控制器組成，各模塊接口均采用通用標(biāo)準(zhǔn)協(xié)議，數(shù)量可以任意擴(kuò)展。

1 系統(tǒng)模塊式設(shè)計(jì)

如圖1所示，系統(tǒng)由主板控制器通過(guò)PCIE［3］接口分別控制時(shí)鐘模塊、采集模塊、存儲(chǔ)模塊；時(shí)鐘模塊輸出的精準(zhǔn)同步時(shí)鐘信號(hào)與觸發(fā)信號(hào)控制采集模塊，使得各采集通道同步采集，各路采集數(shù)據(jù)同步存儲(chǔ)；采集模塊通過(guò)ADC芯片、時(shí)鐘芯片、SDRAM、FPGA 芯片等［4］，將模擬信號(hào)模數(shù)轉(zhuǎn)換、打包、緩存、發(fā)送，同時(shí)能夠條件式輸出判決信號(hào)，觸發(fā)時(shí)鐘模塊，實(shí)現(xiàn)對(duì)周期脈沖等特定信號(hào)的采集，F(xiàn)PGA 內(nèi)設(shè)計(jì)的各功能通過(guò)Wishbone總線［5］進(jìn)行控制；存儲(chǔ)模塊采用raid陣列［6］，通過(guò)控制多塊固態(tài)硬盤，實(shí)現(xiàn)數(shù)據(jù)的高速存儲(chǔ)。主板控制器集成有INFINIBAND （IB）高速數(shù)據(jù)互聯(lián)接口，用于系統(tǒng)整體擴(kuò)展時(shí)，系統(tǒng)間的數(shù)據(jù)共享。

系統(tǒng)工作時(shí)，外部模擬信號(hào)耦合輸入采集模塊，在時(shí)鐘模塊的同步時(shí)鐘控制下，采集模塊對(duì)數(shù)據(jù)進(jìn)行采集，并對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)運(yùn)算，與閾值比較后會(huì)產(chǎn)生判決信號(hào)觸發(fā)時(shí)鐘板輸出同步觸發(fā)信號(hào)。當(dāng)觸發(fā)條件滿足時(shí)，時(shí)鐘模塊輸出的同步觸發(fā)信號(hào)觸發(fā)采集模塊對(duì)數(shù)據(jù)進(jìn)行打包、緩存與上傳，主板控制器將采集模塊上傳的數(shù)據(jù)寫入存儲(chǔ)模塊，存儲(chǔ)模塊對(duì)寫入的數(shù)據(jù)進(jìn)行永久存儲(chǔ)。

系統(tǒng)可以主板內(nèi)各模塊擴(kuò)展，也可以主板間整體擴(kuò)展，如圖2所示，主板控制器0控制時(shí)鐘模塊0、其它主板控制器和人機(jī)交互以及觸發(fā)信號(hào)的選擇工作。在IB 交換機(jī)下，各主板通過(guò)高速IB 接口實(shí)現(xiàn)交叉互聯(lián)，由主機(jī)統(tǒng)一控制，各模塊產(chǎn)生的觸發(fā)信號(hào)也由主機(jī)控制選擇，選擇的觸發(fā)信號(hào)輸出到時(shí)鐘模塊觸發(fā)其輸出觸發(fā)信號(hào)。若每個(gè)采集模塊能夠?qū)崿F(xiàn)8路AD 采集，時(shí)鐘模塊能輸出4 路時(shí)鐘信號(hào)和觸發(fā)信號(hào)，那么時(shí)鐘模塊一級(jí)級(jí)聯(lián)可以實(shí)現(xiàn)128路同步AD采集，所有采集通道均在時(shí)鐘模塊0的控制下高速同步采集，在同一觸發(fā)信號(hào)的控制下高速同步存儲(chǔ)。

整個(gè)系統(tǒng)中，采集模塊是核心模塊，其工作性能直接影響到整個(gè)系統(tǒng)的性能，因此下面重點(diǎn)介紹了采集模塊的結(jié)構(gòu)設(shè)計(jì)和FPGA 內(nèi)的功能程序設(shè)計(jì)。

2 采集模塊模塊式設(shè)計(jì)

為了提高系統(tǒng)的擴(kuò)展性能，采集模塊采用通用接口，為了實(shí)現(xiàn)高數(shù)數(shù)據(jù)采集、運(yùn)算，使用基于硬件電路處理的FPGA 作為運(yùn)算與控制單元。

圖1 系統(tǒng)整體結(jié)構(gòu)

圖2 系統(tǒng)采集通道擴(kuò)展結(jié)構(gòu)

2.1 采集模塊結(jié)構(gòu)

如圖3所示，采集模塊使用FPGA 芯片作為控制和運(yùn)算單元，外設(shè)包括高速AD 芯片、精確時(shí)鐘芯片、大容量SDRAM、Flash芯片等。一塊FPGA 芯片可以外設(shè)多路AD、多塊SDRAM，同時(shí)采集板上集成有外部時(shí)鐘輸入、外部觸發(fā)輸入、判決信號(hào)輸出、PCIE等接口。

圖3 采集模塊硬件結(jié)構(gòu)

外部輸入的同步時(shí)鐘信號(hào)通過(guò)精確時(shí)鐘芯片分配給各路AD 芯片，控制數(shù)據(jù)采集，保證同模塊各路之間和不同模塊之間的采集時(shí)鐘同步；觸發(fā)信號(hào)輸入FPGA，控制數(shù)據(jù)傳輸轉(zhuǎn)存，保證同模塊各路之間和不同模塊之間的數(shù)據(jù)同步存儲(chǔ)；大容量SDRAM 組對(duì)數(shù)據(jù)進(jìn)行緩存，緩存數(shù)據(jù)通過(guò)PCIE接口輸出［7］，上位機(jī)的控制命令也通過(guò)PCIE 接口［8］發(fā)送至FPGA；Flash存儲(chǔ)硬件程序、初始化參數(shù)、校準(zhǔn)數(shù)據(jù)等。

2.2 FPGA模塊式設(shè)計(jì)

為了保證數(shù)據(jù)高效采集傳輸，關(guān)鍵在于采集模塊的邏輯設(shè)計(jì)，需要重點(diǎn)解決兩個(gè)問(wèn)題：采集模塊FPGA 各外設(shè)與邏輯功能的控制問(wèn)題和FPGA 采集數(shù)據(jù)的傳輸問(wèn)題［9］。采集模塊外設(shè)的邏輯控制需要設(shè)計(jì)片上總線，F(xiàn)PGA 采集數(shù)據(jù)的傳輸需要設(shè)計(jì)板間數(shù)據(jù)高速互聯(lián)接口。

由于采集模塊FPGA 外設(shè)多，F(xiàn)PGA 內(nèi)部邏輯功能繁雜，必須有一個(gè)可靠的、統(tǒng)一的、可擴(kuò)展的控制總線進(jìn)行控制管理，結(jié)構(gòu)如圖4片上總線協(xié)議虛線框中所示。片上總線架構(gòu)有很多，目前使用較多的幾種片上總線標(biāo)準(zhǔn)有ARM 的AMBA 總線、Silicore的Wishbone總線、IBM 公司的CoreConnect總線、Altera的Avalon總線和OCP－IP設(shè)計(jì)的OCP 總線，而Wishbone總線除了共享總線互聯(lián)外，還能實(shí)現(xiàn)交叉總線、點(diǎn)對(duì)點(diǎn)總線的互聯(lián)方式，因此在采集模塊功能控制中采用Wishbone總線［5］。

圖4 FPGA 邏輯結(jié)構(gòu)

圖4中FPGA 邏輯結(jié)構(gòu)主要包括兩大部分內(nèi)容，數(shù)據(jù)上行模塊和片上總線模塊，此外還有外設(shè)的AD 芯片、時(shí)鐘芯片、Flash芯片等的驅(qū)動(dòng)模塊以及PCIE數(shù)據(jù)互聯(lián)模塊。

數(shù)據(jù)上行要解決數(shù)據(jù)同步采集、同步數(shù)據(jù)傳輸、分路打包［10］、數(shù)據(jù)緩存等問(wèn)題，圖4數(shù)據(jù)上行虛線框中為數(shù)據(jù)上行邏輯結(jié)構(gòu)。數(shù)據(jù)進(jìn)入FPGA 后，數(shù)據(jù)預(yù)處理模塊對(duì)每一路采集的信號(hào)進(jìn)行預(yù)處理，包括增益校準(zhǔn)、直流校準(zhǔn)、前視緩存、觸發(fā)統(tǒng)計(jì)判決量計(jì)算、數(shù)字下變頻 （DDC）［11］、數(shù)據(jù)打包等，在觸發(fā)信號(hào)有效情況下按照VITA－49格式對(duì)數(shù)據(jù)打包，包頭信息內(nèi)含點(diǎn)數(shù)、時(shí)間、通道編號(hào)、包編號(hào)和用戶可鍵盤輸入的參數(shù)等信息，通過(guò)路由控制進(jìn)入SDRAM 緩存，數(shù)據(jù)從SDRAM 出來(lái)后，與溫度報(bào)警信號(hào)、溢出報(bào)警信號(hào)等數(shù)據(jù)進(jìn)行幀打包，通過(guò)PCIE接口上傳。

圖5所示為數(shù)據(jù)預(yù)處理模塊的數(shù)據(jù)控制邏輯結(jié)構(gòu)。主要包括AD 數(shù)據(jù)接收、前視FIFO 緩存、數(shù)據(jù)校準(zhǔn)、DDC、數(shù)據(jù)位調(diào)整等模塊。

采集數(shù)據(jù)進(jìn)入FPGA 后，分兩路分別進(jìn)行處理：一路進(jìn)行統(tǒng)計(jì)判決量計(jì)算，得到判決信號(hào)輸出；另一路進(jìn)入前視FIFO，從前視FIFO 出來(lái)之后經(jīng)過(guò)校準(zhǔn)、DDC、數(shù)據(jù)位調(diào)整后進(jìn)行打包，數(shù)據(jù)打包要在同一觸發(fā)信號(hào)下進(jìn)行，其模塊設(shè)計(jì)如圖6所示。前視FIFO 前視大小、數(shù)據(jù)校準(zhǔn)等都可通過(guò)寄存器控制。

圖5 數(shù)據(jù)預(yù)處理模塊邏輯結(jié)構(gòu)

圖6 數(shù)據(jù)打包模塊邏輯結(jié)構(gòu)

外部觸發(fā)信號(hào)進(jìn)入FPGA 使得觸發(fā)有效或者寄存器設(shè)置觸發(fā)有效后，觸發(fā)信號(hào)產(chǎn)生模塊會(huì)根據(jù)寄存器設(shè)置，產(chǎn)生寬度可設(shè)定的單穩(wěn)觸發(fā)信號(hào)，或者產(chǎn)生有效寬度可設(shè)定、間隔可設(shè)定、周期可設(shè)定的自恢復(fù)觸發(fā)信號(hào)；這些觸發(fā)信號(hào)經(jīng)過(guò)選擇器控制VITA－49包頭信息產(chǎn)生、數(shù)據(jù)堆疊，產(chǎn)生的包頭信息進(jìn)入緩存，調(diào)整與緩存中堆疊的AD 數(shù)據(jù)進(jìn)行對(duì)齊，再按照打包標(biāo)準(zhǔn)數(shù)據(jù)寬度并行輸出。

3 系統(tǒng)實(shí)例

按照前文設(shè)計(jì)，實(shí)現(xiàn)了一套由一個(gè)時(shí)鐘模塊、兩個(gè)采集模塊、兩個(gè)存儲(chǔ)模塊和一個(gè)主板控制器構(gòu)成的采集系統(tǒng)，實(shí)現(xiàn)了16通道、14bit、180 MHz連續(xù)采集，并對(duì)獲得的數(shù)據(jù)進(jìn)行了測(cè)試。

3.1 系統(tǒng)實(shí)現(xiàn)

實(shí)現(xiàn)的系統(tǒng)中，時(shí)鐘模塊采用Xilinx FPGA 控制TICDCE72010時(shí)鐘芯片輸出4路同步時(shí)鐘信號(hào)，同時(shí)輸出4路同步觸發(fā)信號(hào)，設(shè)計(jì)有外部時(shí)鐘輸入、觸發(fā)輸入接口和8line PCIE gen1 接口。存儲(chǔ)模塊使用raid陣列管理控制器搭載8塊250 MB 固態(tài)硬盤進(jìn)行高速存儲(chǔ)，存儲(chǔ)速度可達(dá)3.2GB／s。采集模塊使用Xilinx V6FPGA 作為控制和運(yùn)算單元，結(jié)構(gòu)如圖7所示。

圖7中，實(shí)際設(shè)計(jì)的采集模塊硬件結(jié)構(gòu)使用PCIE gen2接口，F(xiàn)PGA 外設(shè)4個(gè)最高250M 采樣頻率、14bit采樣位數(shù)、2 通道的 LTC2157－14 AD 采集芯片，1 個(gè) TICDCE72010時(shí)鐘芯片，4 個(gè)1GB SDRAM 芯片，1 個(gè)128 MB Flash芯片，設(shè)計(jì)有外部時(shí)鐘輸入、觸發(fā)輸入接口和8line PCIE gen2接口，輸入采用交流耦合輸入，輸入峰－峰值為1.5V。

圖7 實(shí)現(xiàn)的采集模塊硬件結(jié)構(gòu)

3.2 性能測(cè)試

采集模塊采用PCIE gen2X8接口，數(shù)據(jù)實(shí)際傳輸速度可以達(dá)到3GB／s，在主板控制器控制下，AD 采集數(shù)據(jù)永久記錄速度平均為2.8GB／s，可實(shí)現(xiàn)8路14bit 180 MHz連續(xù)采集。前視大小最大為8192 個(gè)點(diǎn)，可以鍵盤觸發(fā)、GPS觸發(fā)、信號(hào)幅度觸發(fā)、帶寬能量觸發(fā)，觸發(fā)門限等參數(shù)可設(shè)置，采集樣式有單穩(wěn)采集、自恢復(fù)采集，采集點(diǎn)數(shù)、間隔、周期等參數(shù)可設(shè)置。圖8為用200 MHz對(duì)峰－峰值1 V、頻率10 MHz的正弦信號(hào)進(jìn)行采集后計(jì)算的功率譜。如圖8所示，相對(duì)峰峰值1V 的正弦信號(hào)，系統(tǒng)各頻點(diǎn)噪聲功率均在－100dB以下。

圖8 10 MHz正弦信號(hào)功率譜

圖9所示為不同采集模塊上的兩路AD 用200 MHz對(duì)峰－峰值1V、頻率1 MHz的同一個(gè)正弦信號(hào)進(jìn)行采集后計(jì)算的相位差隨時(shí)間的抖動(dòng)。如圖9所示，由系統(tǒng)噪聲、采樣頻率等引起的兩路信號(hào)相位差在固定均值兩邊隨機(jī)抖動(dòng)，均值為－0.1030度，標(biāo)準(zhǔn)差1.58×10－4度，可以看出兩路信號(hào)是在固定相位差周圍小范圍內(nèi)抖動(dòng)的，固定相位差可以通過(guò)調(diào)整時(shí)鐘芯片與數(shù)據(jù)對(duì)齊進(jìn)行補(bǔ)償，相位差小范圍的抖動(dòng)需要根據(jù)實(shí)際需求進(jìn)行相應(yīng)評(píng)估。

圖10 所示為采集模塊某一AD 采集通道對(duì)1 K－100 MHz信號(hào)的帶通特性。圖10中，采集模塊的3dB 帶寬為50K－100 MHz，500K－100 MHz內(nèi)帶寬平坦度較好。

圖9 不同板AD 采集同一信號(hào)的相位差與時(shí)間關(guān)系

圖10 1K－100 MHz信號(hào)帶通特性曲線

4 結(jié)束語(yǔ)

整個(gè)系統(tǒng)在系統(tǒng)結(jié)構(gòu)、各模塊結(jié)構(gòu)、運(yùn)算單元程序設(shè)計(jì)等方面均采用模塊化設(shè)計(jì)，使得系統(tǒng)采集通道數(shù)、各個(gè)功能等都能夠擴(kuò)展，并且上位機(jī)容易控制，方便二次開發(fā)。

實(shí)現(xiàn)的系統(tǒng)采集模塊采用PCIE 2.0X8 接口，數(shù)據(jù)采集記錄速度達(dá)到2.8GB／s以上，能夠14bit 180 MHz的連續(xù)采樣，時(shí)鐘模塊一級(jí)級(jí)聯(lián)能夠?qū)崿F(xiàn)128路同步采集記錄。系統(tǒng)同步性能穩(wěn)定，信號(hào)通帶較平坦，系統(tǒng)噪聲較小。

［1］ZHAO Ruiguo，MA Jie，HE Zhiyong，et al.Design and application of high－speed acquisition database for liquid rocket engine［J］.Journal of Rocket Propulsion，2011，37 （3）：60－64（in Chinese）.［趙瑞國(guó)，馬杰，何志勇，等.液體火箭發(fā)動(dòng)機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫(kù)設(shè)計(jì)與應(yīng)用［J］.火箭推進(jìn)，2011，37 （3）：60－64.］

［2］FENG Ni，ZHANG Huixin.Design and application of highspeed acquisition and storage system of telemetry digital video signal［J］.Computer Measurement and Control，2013，21（1）：279－281 （in Chinese）.［馮妮，張會(huì)新.遙測(cè)數(shù)字視頻信號(hào)高速采集存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用 ［J］.計(jì)算機(jī)測(cè)量與控制，2013，21 （1）：279－281.］

［3］Keron MJ，Gardner FM.Interpolation in PCIE fundamentals［J］.IEEE Transaction on Communications，2010，41 （3）：501－507.

［4］WANG Jialiang，ZHAO Shuguang.PCI－E Interface implementation and DMA engine design with FPGA ［J］.Computer Technology and Development，2011，21 （6）：181－184 （in Chinese）. ［王嘉良，趙曙光.用FPGA 實(shí)現(xiàn)PCI－E 接口和DMA 控制器設(shè)計(jì) ［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2011，21 （6）：181－184.］

［5］XIA Hong，HAO Chun’e，YAN Jiangyu.Design and verification of AHB－WISHBONE bidirectional bridge ［J］.Computer Engineering and Design，2011，32 （6）：2201－2204 （in Chinese）. ［夏宏，郝春娥，閆江毓.雙向AHB－WISHBONE 總線橋的設(shè)計(jì)與驗(yàn)證 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2011，32 （6）：2201－2204.］

［6］ZHANG Yuankai，CAI Huizhi，LIU Yao，et al.High speed storage system based on PCIe and RAID5 ［J］.Control and Automation Publication Group，2010，26 （12）：3－4 （in Chinese）.［張?jiān)獎(jiǎng)P，蔡惠智，劉垚，等.基于PCIe和RAID5的高速存儲(chǔ)系統(tǒng)設(shè)計(jì)［J］.微計(jì)算機(jī)信息，2010，26 （12）：3－4.］

［7］SUN Xiaoye.High Speed SG DMA data transmission system based on PCIE ［J］.Computer Technology and Development，2013，23 （9）：195－198 （in Chinese）. ［孫曉曄.基于PCIE的SG DMA 高速數(shù)據(jù)傳輸系統(tǒng) ［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2013，23 （9）：195－198.］

［8］LI Muguo，HUANG Ying，LIU Yuzhi.Design of DMA transmission with PCIe bus interface based on FPGA ［J］.Computer Measurement and Control，2013，21 （1）：233－235 （in Chinese）.［李木國(guó)，黃影，劉于之.基于FPGA 的PCIe總線接口的DMA 傳輸設(shè)計(jì) ［J］.計(jì)算機(jī)測(cè)量與控制，2013，21（1）：233－235.］

［9］LI Lisi，CUI Zhihua，YIN Ye，et al.Design and verification of DMA controller of PCIe based on FPGA ［J］.Computer Measurement and Control，2014，22 （4）：1166－1168 （in Chinese）.［李麗斯，崔志華，殷曄，等.基于FPGA 的PCIe總線DMA 控制器的設(shè)計(jì)與驗(yàn)證 ［J］.計(jì)算機(jī)測(cè)量與控制，2014，22 （4）：1166－1168.］

［10］SUN Tingting，HUANG Jie.Reassemble packets of 3Gcore network based on FPGA ［J］.Computer Engineering and Design，2010，31 （8）：1641－1644 （in Chinese）.［孫婷婷，黃杰.基于FPGA 的3G 核心網(wǎng)數(shù)據(jù)包重組方法 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010，31 （8）：1641－1644.］

［11］TIAN Liyu，YUAN Yidan，LI Xiaoyang，et al.Design and implementation of the on－line configurable digital down converter（DDC）based on FPGA ［J］.Transactions of Beijing Institute of Technology，2013，33 （3）：311－316 （in Chinese）.［田黎育，袁一丹，李曉陽(yáng)，等.基于FPGA 的在線可重配置數(shù)字下變頻的設(shè)計(jì)與實(shí)現(xiàn) ［J］.北京理工大學(xué)學(xué)報(bào)，2013，33 （3）：311－316.］