黃 晨，汪文明，張義超，岳 瑋

(北京宇航系統(tǒng)工程研究所，北京 100076)

基于國(guó)產(chǎn)CPU的并行冗余計(jì)算機(jī)系統(tǒng)研究

黃 晨，汪文明，張義超，岳 瑋

(北京宇航系統(tǒng)工程研究所，北京 100076)

目前國(guó)家不斷推進(jìn)的國(guó)產(chǎn)自主可控信息系統(tǒng)建設(shè)，其核心國(guó)產(chǎn)計(jì)算機(jī)系統(tǒng)由于技術(shù)成熟度低、市場(chǎng)推廣晚等原因，暴露出可靠性低、穩(wěn)定性差的問(wèn)題，直接導(dǎo)致系統(tǒng)功能無(wú)法成功應(yīng)用;圍繞國(guó)產(chǎn)化計(jì)算機(jī)系統(tǒng)的并行冗余架構(gòu)開(kāi)展研究，通過(guò)計(jì)算機(jī)系統(tǒng)架構(gòu)的軟硬件設(shè)計(jì)，以及高速緩存一致性架構(gòu)、高速互聯(lián)總線和三狀態(tài)轉(zhuǎn)換機(jī)制方法的應(yīng)用，基于國(guó)產(chǎn)CPU 并行冗余計(jì)算機(jī)系統(tǒng)，可以有效消除備份計(jì)算機(jī)系統(tǒng)進(jìn)行當(dāng)班切換時(shí)，存在的切換時(shí)間延時(shí)和切換過(guò)程數(shù)據(jù)丟失的問(wèn)題;通過(guò)試驗(yàn)驗(yàn)證，該系統(tǒng)可以完成計(jì)算機(jī)系統(tǒng)中CPU處理器和功能橋片故障模式的容錯(cuò)處理，并保障信息數(shù)據(jù)的完整性和實(shí)時(shí)性，有效提高設(shè)備中計(jì)算機(jī)系統(tǒng)的工作可靠性與穩(wěn)定性。

并行冗余計(jì)算機(jī)系統(tǒng)； HyperTransport總線；高速緩存一致性協(xié)議

0 引言

然而計(jì)算機(jī)系統(tǒng)作為電氣系統(tǒng)的控制中樞與數(shù)據(jù)中心，其地位和作用都是舉足輕重的，計(jì)算機(jī)系統(tǒng)絲毫的差錯(cuò)與謬誤的出現(xiàn)，輕則能夠造成任務(wù)的延誤，重則可能危及到全局成敗。

為了提升國(guó)產(chǎn)計(jì)算機(jī)系統(tǒng)的可靠性，目前的電氣系統(tǒng)在應(yīng)用時(shí)通常都采用雙計(jì)算機(jī)系統(tǒng)的設(shè)計(jì)，主從計(jì)算機(jī)系統(tǒng)采用相同的初始設(shè)置，一旦主計(jì)算機(jī)系統(tǒng)出現(xiàn)工作異常，經(jīng)指揮決策后，關(guān)閉主計(jì)算機(jī)系統(tǒng)，啟動(dòng)從計(jì)算機(jī)系統(tǒng)來(lái)代替原計(jì)算機(jī)，繼續(xù)完成相關(guān)工作，保證任務(wù)的繼續(xù)完成。然而這種工作模式存在著一定的弊端，首先，該模式下，由主計(jì)算機(jī)系統(tǒng)到從計(jì)算機(jī)系統(tǒng)的切換需要一定的等待時(shí)間，然而在某些特定工作場(chǎng)合下，設(shè)備的工作停滯是難以承受的；其次，計(jì)算機(jī)系統(tǒng)切換后，必定存在一定程度的數(shù)據(jù)丟失，或者進(jìn)程丟失，往往會(huì)帶來(lái)不可挽回的損失。為了解決備份計(jì)算機(jī)系統(tǒng)切換所存在的隱患，本文對(duì)基于國(guó)產(chǎn)CPU處理器的并行冗余計(jì)算機(jī)系統(tǒng)進(jìn)行針對(duì)性研究，旨在提升國(guó)產(chǎn)計(jì)算機(jī)系統(tǒng)的工作可靠性。

1 系統(tǒng)結(jié)構(gòu)及原理

本并行冗余計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)組成如圖1所示，包含主從兩個(gè)計(jì)算機(jī)系統(tǒng)，兩個(gè)計(jì)算機(jī)系統(tǒng)的硬件組成基本相同，每個(gè)計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)均按照機(jī)箱插卡模塊的樣式完成設(shè)計(jì)，通過(guò)VPX接口插入設(shè)備機(jī)箱的插槽之中，兩個(gè)模塊之間的互連總線經(jīng)VPX接口與機(jī)箱背板完成走線。

圖1 并行冗余計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)圖

兩個(gè)計(jì)算機(jī)系統(tǒng)構(gòu)成分布式存儲(chǔ)結(jié)構(gòu)。多個(gè)存儲(chǔ)單元與處理單元分布在整個(gè)系統(tǒng)之中，通過(guò)專門的互連網(wǎng)絡(luò)結(jié)構(gòu)連接在一起組成分布式的共享內(nèi)存空間。每一個(gè)處理器可以訪問(wèn)自己的存儲(chǔ)器，也可以訪問(wèn)其他處理器的存儲(chǔ)器或共享的存儲(chǔ)器。通過(guò)硬件維護(hù)的高速緩存一致性協(xié)議，使得各個(gè)處理器對(duì)于本地及遠(yuǎn)程存儲(chǔ)單元的影響都是統(tǒng)一的[1]。

正常工作時(shí)，由主計(jì)算機(jī)系統(tǒng)的芯片組完成系統(tǒng)控制與數(shù)據(jù)管理工作，從計(jì)算機(jī)系統(tǒng)的芯片組通過(guò)16位的HT(HyperTransport)總線跟蹤主計(jì)算機(jī)系統(tǒng)處理器的進(jìn)程操作及工作狀態(tài)，包括CPU進(jìn)程信息、電子盤存儲(chǔ)信息等，并在從計(jì)算機(jī)系統(tǒng)的電子盤之中同步備份主計(jì)算機(jī)系統(tǒng)的電子盤中的操作數(shù)據(jù)，利用高速緩存一致性協(xié)議，保證兩個(gè)計(jì)算機(jī)系統(tǒng)的處理器核、內(nèi)存以及電子盤之間的數(shù)據(jù)與緩存狀態(tài)均保持一致。正常工作時(shí)信號(hào)通路如圖2所示。

圖2 正常工作時(shí)信號(hào)通路示意圖

當(dāng)主計(jì)算機(jī)系統(tǒng)的橋片或者接口芯片出現(xiàn)問(wèn)題，導(dǎo)致工作異常時(shí)，主計(jì)算機(jī)系統(tǒng)的處理器可以通過(guò)HT總線將信息或指令傳輸給從計(jì)算機(jī)系統(tǒng)的處理器，通過(guò)從計(jì)算機(jī)系統(tǒng)所具有的橋片或接口芯片繼續(xù)完成系統(tǒng)工作或任務(wù)。橋片故障時(shí)信號(hào)通路如圖3所示。

圖3 橋片故障時(shí)信號(hào)通路示意圖

當(dāng)主計(jì)算機(jī)系統(tǒng)的處理器出現(xiàn)異常時(shí)，從計(jì)算機(jī)系統(tǒng)的處理器將依靠HT總線接口的硬件所支持的系統(tǒng)高速緩存一致性維護(hù)，達(dá)到系統(tǒng)工作的近似無(wú)縫切換，保證系統(tǒng)工作的正常，CPU故障時(shí)信號(hào)通路如圖4所示。避免了由于計(jì)算機(jī)系統(tǒng)的工作異常，導(dǎo)致工作流程終止，甚至重要數(shù)據(jù)丟失等難以挽回的危害，從而有效提高系統(tǒng)可靠性，實(shí)現(xiàn)了計(jì)算機(jī)系統(tǒng)的熱備冗余備份。

呂凌子把5萬(wàn)元現(xiàn)金重新揣回了家。呂凌子原以為5萬(wàn)元可以將事情做個(gè)了斷，然而事情并沒(méi)有朝著她所期待的方向發(fā)展，并沒(méi)有她想象中那么順利。

圖4 CPU故障時(shí)信號(hào)通路示意圖

2 系統(tǒng)硬件設(shè)計(jì)

出于安全性和自主性考慮，本計(jì)算機(jī)系統(tǒng)采用中國(guó)科學(xué)院計(jì)算所自主研發(fā)的龍芯3A CPU處理器作為核心處理器開(kāi)展研究。

本并行冗余計(jì)算機(jī)系統(tǒng)包含主備兩個(gè)計(jì)算機(jī)系統(tǒng)，構(gòu)成雙冗余模式，如圖5所示。

圖5 并行計(jì)算機(jī)系統(tǒng)架構(gòu)組成

兩個(gè)計(jì)算機(jī)系統(tǒng)的硬件組成設(shè)計(jì)基本相同，均由CPU單元、南北橋單元、存儲(chǔ)單元、接口單元4部分組成。CPU單元主要包含龍芯3A四核處理器；南北橋單元主要由RS780E北橋芯片和SB710南橋芯片構(gòu)成；存儲(chǔ)單元?jiǎng)t包括DDR內(nèi)存、啟動(dòng)配置ROM和電子硬盤3大類；接口擴(kuò)展芯片則依據(jù)系統(tǒng)需求具體設(shè)計(jì)，可以包含網(wǎng)絡(luò)信號(hào)、串并行接口總線、視頻信號(hào)、音頻信號(hào)等等。 兩個(gè)芯片組之間通過(guò)16位HyperTransport總線接口實(shí)現(xiàn)兩個(gè)CPU間互連，利用高速緩存一致性協(xié)議，保證兩處理器核間數(shù)據(jù)及指令緩存的一致性。

并行計(jì)算機(jī)系統(tǒng)利用龍芯3A處理器內(nèi)部結(jié)構(gòu)搭建并行互連體系結(jié)構(gòu)，結(jié)構(gòu)示意圖如圖6所示。

圖6 并行互連體系架構(gòu)示意圖

CPU芯片內(nèi)含有4個(gè)處理器核，每個(gè)處理器核內(nèi)具有獨(dú)立的一級(jí)數(shù)據(jù)緩存和一級(jí)指令緩存，一級(jí)緩存由各處理器核私有；芯片內(nèi)的二級(jí)高速緩存被片內(nèi)的所有處理器核共享，根據(jù)地址可以分成供并行訪問(wèn)的4個(gè)交錯(cuò)體。每個(gè)芯片具有兩級(jí)AXI交叉開(kāi)關(guān)，X1和X2，處理器核通過(guò)X1訪問(wèn)二級(jí)緩存塊，二級(jí)緩存通過(guò)X2訪問(wèn)兩個(gè)內(nèi)存控制器，內(nèi)存地址分布和二級(jí)緩存地址分布一致，以簡(jiǎn)化二級(jí)緩存和內(nèi)存之間的通路并降低二級(jí)緩存訪問(wèn)失效的延遲[2]。

HT控制器通過(guò)DMA控制器與X1相連，由DMA負(fù)責(zé)IO的DMA控制及片間、IO訪問(wèn)和處理器訪問(wèn)之間的數(shù)據(jù)一致性維護(hù)，由于交叉開(kāi)關(guān)不區(qū)分處理器端口和互連端口，HT接口也可視為特殊的處理器處理。

互連結(jié)構(gòu)體系中的存儲(chǔ)單元與處理器節(jié)點(diǎn)可以分布在系統(tǒng)內(nèi)不同位置，其中的存儲(chǔ)單元可以通過(guò)互連網(wǎng)絡(luò)被各個(gè)處理器所共享?；ミB體系結(jié)構(gòu)中采用X-Y路由算法，點(diǎn)到點(diǎn)的路由是固定的，可以保證點(diǎn)對(duì)點(diǎn)數(shù)據(jù)包嚴(yán)格有序傳輸；每個(gè)模塊均會(huì)被分配給一個(gè)與邏輯位置相關(guān)的全局ID號(hào)，以決定轉(zhuǎn)發(fā)端口路由。

CPU級(jí)間互連的HyperTransport總線是基于報(bào)文的、點(diǎn)對(duì)點(diǎn)串行鏈路結(jié)構(gòu)，將芯片內(nèi)部低頻并行信號(hào)通過(guò)發(fā)送端物理層DA轉(zhuǎn)換接口處理為高頻串行信號(hào)，每個(gè)時(shí)鐘沿傳輸并行信號(hào)中的一位，通過(guò)LVDS信號(hào)傳輸線，到達(dá)接收端，再由接收端物理層AD轉(zhuǎn)換接口還原為低速并行信號(hào)。HT總線信號(hào)分為三類：

1)鏈路信號(hào)：32位CAD傳輸信號(hào)、1位CTL控制信號(hào)、4位CLK時(shí)鐘信號(hào)，用于控制、傳輸數(shù)據(jù)；

2)復(fù)位信號(hào)：PWROK和RESET信號(hào)，用于初始化和復(fù)位鏈路；

3)管理信號(hào)：LDTSTOP和LDTREQ信號(hào)。

HT總線采用單向點(diǎn)對(duì)點(diǎn)傳輸技術(shù)，將CAD信號(hào)分成兩組，按照不同方向單向傳輸，可達(dá)GB/s，在處理器芯片上按照接收端和發(fā)送端分別處理，傳輸效率與有效帶寬均遠(yuǎn)大于雙向信號(hào)總線，簡(jiǎn)化板級(jí)設(shè)計(jì)工作。

HT總線采用包交換方式進(jìn)行信號(hào)傳輸，將總線操作分為控制包和數(shù)據(jù)包兩大類，控制包還包括讀命令包、寫(xiě)命令包、讀響應(yīng)包、寫(xiě)響應(yīng)包，每組傳輸總線使用一位控制信號(hào)線來(lái)區(qū)分傳輸?shù)臑榭刂瓢€是數(shù)據(jù)包。

HT總線采用虛通道技術(shù)，將HT協(xié)議劃分為三種不同的數(shù)據(jù)流：無(wú)響應(yīng)請(qǐng)求通道、需響應(yīng)請(qǐng)求通道、響應(yīng)通道，將一個(gè)物理鏈路劃分為若干相互獨(dú)立的邏輯通道。針對(duì)這三種通道，還設(shè)置了六種緩沖區(qū)類型，實(shí)現(xiàn)每個(gè)虛通道的緩沖流控自行維護(hù)，避免命令之間的互鎖，提供了亂序執(zhí)行的基礎(chǔ)條件，實(shí)現(xiàn)不同數(shù)據(jù)流在同一信號(hào)線上的并發(fā)傳輸，提高總線傳輸?shù)男屎托阅躘3]。

3 系統(tǒng)軟件設(shè)計(jì)

并行冗余計(jì)算機(jī)系統(tǒng)采用基于目錄的高速緩存一致性協(xié)議，系統(tǒng)內(nèi)共享二級(jí)緩存與各個(gè)處理器核內(nèi)私有指令緩存和數(shù)據(jù)緩存之間的數(shù)據(jù)一致性，由系統(tǒng)中共享存儲(chǔ)層次的目錄維護(hù)。目錄與其數(shù)據(jù)的存儲(chǔ)位置相關(guān)聯(lián)，目錄的管理由各個(gè)存儲(chǔ)單元所在的存儲(chǔ)節(jié)點(diǎn)目錄決定，目錄控制器存儲(chǔ)的相關(guān)一致性信息包括存儲(chǔ)單元的狀態(tài)和擁有此存儲(chǔ)單元備份的處理器號(hào)。

每個(gè)共享存儲(chǔ)單元的狀態(tài)由這個(gè)共享存儲(chǔ)單元自身維護(hù)，這個(gè)狀態(tài)標(biāo)識(shí)了當(dāng)前這個(gè)共享存儲(chǔ)單元在其它處理節(jié)點(diǎn)中私有緩存的使用方式，并且記錄了哪些處理器的私有高速緩存中擁有該共享存儲(chǔ)單元的備份。系統(tǒng)中任意一個(gè)處理器需要對(duì)共享存儲(chǔ)單元進(jìn)行操作時(shí)，都直接與這個(gè)共享存儲(chǔ)單元本身交互，由這個(gè)共享存儲(chǔ)單元的狀態(tài)控制器再與其它處理器中的緩存?zhèn)浞萁换?，通過(guò)一致性協(xié)議控制整個(gè)系統(tǒng)中的緩存數(shù)據(jù)一致性。

龍芯3A處理器的一級(jí)緩存由各處理器私有，二級(jí)緩存和內(nèi)存采用全局編制，由所有處理器共享。緩存塊的目錄信息在宿主二級(jí)緩存中維護(hù)，目錄使用32位寬度的位向量來(lái)記錄擁有每個(gè)緩存?zhèn)浞莸囊患?jí)緩存編號(hào)，因此硬件能自動(dòng)維護(hù)各指令和數(shù)據(jù)緩存之間的一致性，同時(shí)也就維護(hù)了全系統(tǒng)各級(jí)存儲(chǔ)結(jié)構(gòu)間的數(shù)據(jù)一致性。

一級(jí)緩存塊采用三狀態(tài)轉(zhuǎn)換機(jī)制，無(wú)效狀態(tài)、共享狀態(tài)和獨(dú)占狀態(tài)，無(wú)效表示這個(gè)緩存塊中沒(méi)有有效數(shù)據(jù)，獨(dú)占表示這個(gè)緩存塊中的數(shù)據(jù)有效且未經(jīng)修改，共享表示這個(gè)緩存塊中的數(shù)據(jù)已經(jīng)被修改而且還未寫(xiě)回下級(jí)緩存。三種狀態(tài)的相互轉(zhuǎn)移圖如圖7所示。

圖7 并行互連體系架構(gòu)示意圖

4 實(shí)驗(yàn)結(jié)果與分析

并行冗余計(jì)算機(jī)系統(tǒng)工作主頻為800 MHz，將系統(tǒng)工作周期設(shè)定為125 μs，主副計(jì)算機(jī)系統(tǒng)同步周期設(shè)定每間隔125 ms主副計(jì)算機(jī)系統(tǒng)完成一次硬盤數(shù)據(jù)同步備份。通過(guò)在計(jì)算機(jī)系統(tǒng)二次供電母線增加功能開(kāi)關(guān)的方式，進(jìn)行故障注入，分別將主計(jì)算機(jī)系統(tǒng)的CPU處理器或接口橋片的供電關(guān)斷，實(shí)現(xiàn)應(yīng)急故障模擬。經(jīng)測(cè)試驗(yàn)證，該并行冗余計(jì)算機(jī)系統(tǒng)可以通過(guò)加載CPU寄存器信息和內(nèi)存信息，實(shí)現(xiàn)計(jì)算機(jī)系統(tǒng)運(yùn)算及通信內(nèi)容的無(wú)縫切換，而依靠CPU芯片內(nèi)的Cache一致性設(shè)計(jì)和三狀態(tài)轉(zhuǎn)換機(jī)制，成功保障了寄存器信息與內(nèi)存信息的高度同步性。

5 結(jié)束語(yǔ)

本文首先對(duì)于并行冗余計(jì)算機(jī)系統(tǒng)的功能應(yīng)用進(jìn)行了介紹與分析，然后又介紹了并行冗余計(jì)算機(jī)系統(tǒng)的構(gòu)成，并對(duì)于該系統(tǒng)的硬件和軟件設(shè)計(jì)的關(guān)鍵技術(shù)進(jìn)行了細(xì)致全面的分析，為該系統(tǒng)的實(shí)現(xiàn)提供了基礎(chǔ)與參考，最后通過(guò)故障注入方式，對(duì)于系統(tǒng)的容錯(cuò)備份功能進(jìn)行了驗(yàn)證。并行冗余計(jì)算機(jī)系統(tǒng)在的應(yīng)用，對(duì)于國(guó)產(chǎn)自主可控計(jì)算機(jī)設(shè)備的可靠性改進(jìn)具有重要意義，為任務(wù)的成功完成提供有效支撐。

[1] Chen D, Su H, Yew P. The impact of synchronization and granularity on parallel systems[C]. Proceedings of 17th Annual International Symposium on Computer Architecture, 1990,239-248.

[2] 王煥東,高 翔,陳云霽,等.龍芯3號(hào)互聯(lián)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J],計(jì)算機(jī)研究與發(fā)展,2008(45):2001-2010.

[3] HyperTranspon Technology Consortium. Hyper TransportTM1/O Link Specification Revision 1.03.http://www.bypertransprot.org/default.cfm?page=Hyper[EB/OL].TransportSpecificationslx, 2008-11-20.

Research of Parallel Redundant Computer System Based on Domestic CPU

Huang Chen, Wang Wenming, Zhang Yichao, Yue Wei

(BeiJing Institute of Aerospace Systems Engineering,Beijing 100076,China)

The construction of the domestic information system at present the country continues to advance, the core of the domestic computer system due to the low degree of technological maturity, market promotion and other reasons later exposed, low reliability, poor stability, led directly to the system function cannot be successfully applied. The parallel redundant architecture research on localization of computer system, the hardware and software design of computer system architecture, application and conversion mechanism method of cache coherence architecture, high-speed interconnection bus and three state, domestic CPU parallel computer system based on redundancy, can effectively eliminate the backup computer system on duty when switching the switch time delay the problem of data loss and switching process. Through the test, the system can complete the fault-tolerant computer system of CPU processor and the function of bridge chip fault modes, and ensure the completeness and timeliness of information data, effectively improving the working reliability and stability of the computer system in equipment.

parallel redundant computer system; HyperTransport bus; cache coherent protocol

2017-02-13；

2017-03-31。

黃 晨(1986-)，男，山東龍口人，工程師，主要從事重點(diǎn)研究信息應(yīng)用系統(tǒng)線路綜合設(shè)計(jì)方向的研究。

1671-4598(2017)07-0257-03

10.16526/j.cnki.11-4762/tp.2017.07.064

TP3

A