程司農(nóng)張 昭朱 鵬劉 智王 林徐廣磊張玉亮雷 革

1（中國科學(xué)院高能物理研究所 北京 100049）

2（散裂中子源科學(xué)中心 東莞 523803）

3（中國科學(xué)院大學(xué) 北京 100049）

高性能的加速器對運行的可靠性和穩(wěn)定性提出了更高的要求，而加速器龐大的設(shè)備數(shù)量、極高的設(shè)備精度和性能要求導(dǎo)致對外部干擾非常敏感，給加速器的高效可靠運行帶來了很大的挑戰(zhàn)。分析加速器運行過程中常規(guī)保存的歷史數(shù)據(jù)，可以判斷和處理大部分故障，而對于發(fā)生的少數(shù)快速故障過程，由于常規(guī)方式保存的歷史數(shù)據(jù)時間粒度不夠，導(dǎo)致無法對這類快速故障過程進行有效分析。

當故障發(fā)生時，將若干系統(tǒng)在故障發(fā)生時刻前后一段時間內(nèi)具有高時間相關(guān)性和高時間分辨率的數(shù)據(jù)（即時間數(shù)據(jù)）進行獲取和存儲，利用這些數(shù)據(jù)重建快速故障發(fā)生的過程，從而定位和判斷故障產(chǎn)生的根源，此即為基于高精度時間數(shù)據(jù)的加速器故障分析系統(tǒng)的基本過程。在2002年，歐洲核子中心（Conseil Européen pour la Recherche Nucléaire,CERN）針對大型強子對撞機（Large Hadron Collider，LHC）提出了加速器故障分析系統(tǒng)，其主要包括如下4個部分：高精度時間戳、故障觸發(fā)、數(shù)據(jù)采集與呈現(xiàn)以及數(shù)據(jù)存儲［1］。2008年，CERN利用該系統(tǒng)對LHC的束流測試數(shù)據(jù)進行了分析，并為他們對相關(guān)數(shù)據(jù)分析提供了寶貴經(jīng)驗［2］。在2016～2017年，美國國家同步加速器光源（National Synchrotron Light Source II，NSLS-II）［3］與中國臺灣光源（Taiwan Photon Source，TPS）［4］均在其加速器上對故障分析系統(tǒng)進行了評估，且對提高加速器運行的可靠性起到了很重要的作用。

為了能夠準確獲取到故障發(fā)生時刻的數(shù)據(jù)，可采用網(wǎng)絡(luò)實時獲取與存儲數(shù)據(jù)，這將給網(wǎng)絡(luò)傳輸與存儲空間帶來很大的壓力。以中國散裂中子源（China Spallation Neutron Source，CSNS）加速器束流損失探測系統(tǒng)為例，每小時產(chǎn)生的數(shù)據(jù)量約為41 GB，保存全部的束流損失歷史數(shù)據(jù)幾乎不可能［5］。而在設(shè)備級前端使用帶有數(shù)據(jù)緩存功能的硬件設(shè)備，采用同步觸發(fā)的方式進行數(shù)據(jù)鎖存和獲取，可以極大減少數(shù)據(jù)傳輸時占用的網(wǎng)絡(luò)帶寬與數(shù)據(jù)存儲空間，即在收到同步觸發(fā)信號后，鎖存前端硬件設(shè)備緩存區(qū)的數(shù)據(jù)，再將其讀取并存儲到服務(wù)器。

基于全局高精度時間戳及觸發(fā)式數(shù)據(jù)鎖存與獲取，本文實現(xiàn)了基于高精度時間數(shù)據(jù)的加速器故障分析樣機（以下簡稱故障分析樣機），全局高精度時間戳基于事件定時系統(tǒng)實現(xiàn)，可為相關(guān)硬件系統(tǒng)記錄的數(shù)據(jù)打上全局高精度時間戳，時間戳精度好于16 ns；全局數(shù)據(jù)鎖存觸發(fā)信號使用事件定時鏈路進行傳輸。本文將介紹故障分析樣機的總體設(shè)計和軟件設(shè)計以及該樣機實驗結(jié)果的分析。

1 總體設(shè)計

故障分析樣機的總體設(shè)計如圖1所示，主要包括兩個核心部分：全局高精度時間戳的實現(xiàn)、數(shù)據(jù)組裝與獲取分析。故障數(shù)據(jù)的全局高精度時間戳是分析故障原因的關(guān)鍵因素之一。本樣機基于高性能銣原子鐘和事件定時系統(tǒng)實現(xiàn)了全局的高精度時間戳，為時間數(shù)據(jù)提供全局的高精度時間戳。事件定時系統(tǒng)是以事件發(fā)生器（Event Generator，EVG）和事件接收器（Event Receiver，EVR）為主體進行搭建的一級或多級星型結(jié)構(gòu)的定時系統(tǒng)。

圖1 故障分析樣機總體架構(gòu)圖Fig.1 Schematic diagram of failure analysis system prototype architecture

故障分析樣機的另一核心部分為數(shù)據(jù)組裝與獲取分析，用于將帶高精度時間戳的數(shù)據(jù)按照預(yù)定義的數(shù)據(jù)結(jié)構(gòu)進行組裝和發(fā)布?；竟ぷ鬟^程為：1）當主站的事件發(fā)生器接收到故障觸發(fā)信號后，發(fā)送事件碼到各個子站，子站將數(shù)據(jù)緩存區(qū)的數(shù)據(jù)進行鎖存，不再刷新數(shù)據(jù)；2）驅(qū)動程序從事件接收器獲取全局的高精度時間戳，從數(shù)據(jù)采集卡獲取硬件信息和緩存數(shù)據(jù)，并將這些信息按照EPICS 7規(guī)范類型［6］組裝成結(jié)構(gòu)化數(shù)據(jù)；3）上層軟件程序?qū)Y(jié)構(gòu)化數(shù)據(jù)進行獲取分析，為操作員分析故障原因提供參考。

2 全局高精度時間戳的實現(xiàn)

大科學(xué)裝置中建立全局時間戳常用的方式有：NTP（Network Time Protocol）、PTP（Precision Time Protocol）［7］以及事件定時系統(tǒng)等。由于NTP同步精度會受網(wǎng)絡(luò)負載與網(wǎng)絡(luò)波動的影響，同步精度一般在1～50 ms范圍［8］；用PTP實現(xiàn)全局的高精度時間戳，需大范圍增加專用發(fā)收設(shè)備及鏈路，這并不適用于已經(jīng)建有并成功運行事件定時系統(tǒng)的加速器裝置中；而基于事件定時系統(tǒng)發(fā)送和接收時間戳，則可以提高時間戳的精度，并且事件定時系統(tǒng)廣泛應(yīng)用于國外內(nèi)加速器裝置中［9-13］。

事件定時系統(tǒng)的EVG產(chǎn)生并行的分布式總線時鐘信號和事件碼，經(jīng)由光電轉(zhuǎn)換模塊，將事件流發(fā)送到EVR，EVR將事件流恢復(fù)為分布式總線時鐘信號和事件碼，并產(chǎn)生與EVG事件鐘鎖相的事件鐘作為EVR的基準時鐘［13］。因此，只需在各個前端硬件設(shè)備處安裝EVR與控制器，作為不同的子站，即可與主站進行全局的高精度時間戳同步。本文介紹的故障分析樣機，事件鐘頻率為125 MHz，由信號源提供的500 MHz高頻信號分頻產(chǎn)生。

2.1 全局高精度時間戳的設(shè)計與實現(xiàn)

故障分析樣機中實現(xiàn)的基于事件定時的全局高精度時間戳，下稱事件時間（Event Time），其關(guān)鍵在于時間的秒部分與納秒部分的產(chǎn)生和獲取，事件時間的設(shè)計方案如圖2所示，硬件設(shè)備主要包括銣原子鐘、EVG和EVR，其中銣原子鐘用于提供高精度秒脈沖信號（Pulse Per Second，PPS）、10 MHz時鐘信號和NTP時間。

圖2 事件時間的設(shè)計方案Fig.2 Design scheme of the Event Time

EVG的秒時間獲取程序，即UTC（Coordinated Universal Time）秒數(shù)獲取模塊，通過NTP協(xié)議獲取UTC時間并鎖定，并對鎖定后的UTC時間進行截斷處理，只保留UTC時間的秒部分（下稱UTC秒數(shù)），該UTC秒數(shù)作為定時主站秒時間的初始值，并根據(jù)PPS對秒時間進行自加運算，以保持和UTC秒數(shù)的同步并減少網(wǎng)絡(luò)波動帶來的影響。銣原子鐘的PPS信號到來后，定時主站把32位秒時間轉(zhuǎn)換為32個事件碼（0對應(yīng)0x70，1對應(yīng)0x71），并保證在本秒內(nèi)發(fā)送到事件定時網(wǎng)絡(luò)中所有的定時子站，作為定時子站下一秒的時間基準。同時，定時主站程序還周期性判斷定時主站維持的秒時間和通過NTP獲取的UTC秒數(shù)是否相同，以此判斷事件時間的秒時間是否正確。

EVR使用EVG發(fā)送的高精度分布式時鐘作為納秒時間的計數(shù)器時鐘，計數(shù)器的值經(jīng)換算后轉(zhuǎn)化為納秒時間。因此，各子站的秒時間與納秒時間可實現(xiàn)全局同步。

為了防止EVR的32位納秒計數(shù)器計數(shù)值溢出，每當定時主站的EVG接收到PPS信號時，都會發(fā)送0x7D事件碼到EVR，EVR接收到該事件碼后，將32位納秒計數(shù)器復(fù)位。

事件時間不僅可以為硬件數(shù)據(jù)提供硬時標，也可以用作實驗物理和工業(yè)控制系統(tǒng)（Experimental Physics and Industrial Control System）［14］的時間源。利 用EPICS的generalTime［15］框 架，為 過 程 變 量（Process Variables，PV）［16］提 供 高 精 度 時 間 戳。generalTime框架用來管理系統(tǒng)中的多個時間源，注冊的時間源優(yōu)先級高低決定其調(diào)用順序的先后，如圖3所示。故障分析樣機在generalTime框架中注冊了三種時間源，其中系統(tǒng)時間（OS Clock）的優(yōu)先級最低，NTP Time的優(yōu)先級次之，Event Time的優(yōu)先級最高。若當前使用的時間源報錯，generalTime將會使用次優(yōu)先級的時間源作為當前時間源。

圖3 EPICS generalTime框架Fig.3 Framework of EPICS generalTime

2.2 全局高精度時間戳的自身報錯處理

當事件鏈路損壞或EVG未收到來自銣原子鐘的PPS信號時，事件時間將會出現(xiàn)錯誤，若沒有及時進行錯誤處理，會導(dǎo)致當前事件時間不可信，因此設(shè)計了事件時間發(fā)生錯誤報警程序和事件鏈路恢復(fù)重新鎖定UTC時間程序。事件時間狀態(tài)判斷邏輯如圖4所示。通過計算判斷0x7D事件碼是否被接收以及事件時間秒時間是否均勻增加，基于二者的結(jié)果，判斷事件時間的狀態(tài)。

圖4事件時間狀態(tài)判斷邏輯Fig.4 Judgment logic of the Event Time status

圖4 中Judge Event Time status，即為判斷事件時間內(nèi)部狀態(tài)，其邏輯框圖如圖5所示。事件時間錯誤處理的功能：當未接收到0x7D事件時，事件時間的狀態(tài)為ERROR；當重新接收到0x7D事件碼時，則將事件時間與NTP Time的秒時間同步，使事件時間恢復(fù)正常。

圖5 Event Time內(nèi)部狀態(tài)判斷邏輯框圖Fig.5 Logic diagram of the Event Time internal status

為了能夠監(jiān)測當前事件時間的狀態(tài)，以及統(tǒng)計事件時間發(fā)生錯誤的總次數(shù)，設(shè)計了兩個PV，用于顯示這些信息。

2.3 全局高精度時間戳的同步精度與準確度

為了減少事件時間與銣原子鐘精確時間的誤差，將信號源與銣原子鐘的10 MHz信號同步，圖6為信號源產(chǎn)生的500 MHz信號與銣原子鐘的10 MHz時鐘信號同步前后的波形。當不同子站EVR與主站EVG連接使用的光纖長度不等時，會導(dǎo)致不同子站的事件時間有一定的偏差。因此，在子站程序中加入時間修正，使得不同長度的傳輸光纖下，EVR提供的事件時間保持同步。

圖6 500 MHz信號與10 MHz時鐘信號同步前(a)、同步后(b)的測量截圖Fig.6 Screen capture of the unsynchronized(a)and synchronized(b)signals between 500 MHz vs.10 MHz

為了測試事件時間的同步精度，設(shè)計了兩個實驗，測量兩個子站的EVR提供的事件時間差值。1）兩個子站的EVR均使用550 m的光纖與主站的EVG相連。以2 Hz的頻率進行測量，10萬次測量后，交換兩個EVR與EVG連接的光纖，繼續(xù)測量10萬次，均未有一次偏差。2）兩個子站的EVR分別使用550 m的光纖、3 m光纖與主站的EVG相連。進行時間修正后，同樣以2 Hz的頻率進行測量，1 200次測量后，約600次出現(xiàn)1個計數(shù)時鐘周期的偏差，出現(xiàn)該現(xiàn)象的原因是不同長度光纖產(chǎn)生的事件時間差，不嚴格為計數(shù)時鐘的整數(shù)倍。

綜合兩個實驗的結(jié)果可知，不同子站之間的事件時間同步精度最差為1個計數(shù)時鐘的周期，測量實驗中使用的計數(shù)時鐘頻率為62.5 MHz，即：

為了測量事件時間相對于GPS時間的準確度，設(shè)計了如圖7所示的實驗，測量EVG接收PPS信號后產(chǎn)生的脈沖信號的抖動Jitter。

圖7 時間戳的準確度測量結(jié)構(gòu)框圖Fig.7 Block diagram of the timestamp accuracy measurement

EVG的接收到PPS信號后，會產(chǎn)生0x7D事件碼并發(fā)送給EVR，EVR接收到該事件碼后將產(chǎn)生脈沖信號，利用示波器測量該脈沖信號相對計數(shù)時鐘的Jitter。示波器測量的結(jié)果如圖8所示。

圖8 PPS信號抖動測量Fig.8 Measurement of the PPS signal jitter

圖8 中的實驗結(jié)果顯示，PPS觸發(fā)信號的Jitter均值為50.0 ps。

結(jié)合PPS信號的Jitter以及事件時間計數(shù)周期對事件時間準確度的影響，可得出事件時間的準確度為：

3 數(shù)據(jù)組裝與獲取分析程序?qū)崿F(xiàn)

數(shù)據(jù)獲取的實驗框圖如圖9所示，實現(xiàn)了事件時間的獲取，模擬故障信號、數(shù)據(jù)鎖存信號以及故障觸發(fā)信號的生成。兩個子站的EVR1、EVR2均使用550 m的光纖與主站的EVG連接，并對二者進行延時補償，使它們的時間戳與EVR3的時間戳保持一致。由EVR3產(chǎn)生具有一定延時的模擬故障信號1與模擬故障信號2，分別發(fā)送到數(shù)據(jù)采集卡1與數(shù)據(jù)采集卡2；在發(fā)出模擬故障信號延時一段時間后，EVR3再產(chǎn)生一路模擬故障觸發(fā)信號到EVG，EVG收到故障觸發(fā)信號后，產(chǎn)生故障觸發(fā)事件碼并發(fā)送到所有的EVR；EVR1與EVR2收到故障觸發(fā)事件碼后，產(chǎn)生兩路鎖存信號，分別發(fā)送到數(shù)據(jù)采集卡1與數(shù)據(jù)采集卡2，用于數(shù)據(jù)鎖存。此后，驅(qū)動程序讀取子站的數(shù)據(jù)采集卡1與數(shù)據(jù)采集卡2中鎖存的數(shù)據(jù)，高精度時間戳分別從子站的EVR1與EVR2中獲取。

圖9 數(shù)據(jù)獲取實驗框圖Fig.9 Block diagram of the data acquisition experiment

為能準確且方便地獲取設(shè)備數(shù)據(jù)的具體信息，對數(shù)據(jù)的結(jié)構(gòu)做出了規(guī)定：包含了設(shè)備所屬系統(tǒng)名稱（systemName）和子系統(tǒng)名稱（subSystem）、設(shè)備名稱（deviceName）、設(shè)備卡號（cardNo）、數(shù)據(jù)采樣頻率（dataFreq）、時間戳（timeStamp）以及鎖存的數(shù)據(jù)（dataList）。

為統(tǒng)一獲取這些信息，基于EPICS 7的規(guī)范類型（Normative Types，NT），設(shè)計了一種結(jié)構(gòu)化數(shù)據(jù)，用于將這些信息進行整合，該結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)如圖10所示。EPICS 7的規(guī)范類型定義了一些基于pvData的通用數(shù)據(jù)類型，可以將多個PV的信息進行組合，例如NTScalar、NTTable等類型［6，17］，圖10為樣機使用的符合規(guī)范類型的數(shù)據(jù)結(jié)構(gòu)定義，該結(jié)構(gòu)化數(shù)據(jù)給出了與設(shè)備相關(guān)的所有標量數(shù)據(jù)。

圖10 結(jié)構(gòu)化數(shù)據(jù)定義Fig.10 Design of the structure data

EPICS 7的pvget命令［18］可以將結(jié)構(gòu)化數(shù)據(jù)的信息以json格式打印。利用python獲取該結(jié)構(gòu)化數(shù)據(jù)中的信息，并編寫數(shù)據(jù)可視化程序，將結(jié)構(gòu)化數(shù)據(jù)中dataList存儲的數(shù)據(jù)可視化，方便進行故障分析。

4 故障分析樣機搭建與測試

故障分析樣機搭建時，硬件設(shè)備使用了銣原子鐘、信號源、EVG、EVR以及數(shù)據(jù)采集卡，其中數(shù)據(jù)采集卡用于提供模擬數(shù)據(jù)；軟件采用vxWorks作為操作系統(tǒng)，使用EPICS 7的IOC以提供PV。

如圖11所示，從兩個數(shù)據(jù)采集卡中讀取到的一次模擬故障數(shù)據(jù)，且存儲在結(jié)構(gòu)化數(shù)據(jù)的dataList中。數(shù)據(jù)采集卡數(shù)據(jù)緩存區(qū)的采樣頻率為100 MHz，因此，每兩個數(shù)據(jù)點的時間間隔為10 ns。

圖11 從不同站點讀取的結(jié)構(gòu)化數(shù)據(jù)Fig.11 Structure data from different test stations of the experiment

將兩個模擬故障信號的延時分別設(shè)置為0 ns與1 000 ns，鎖存信號延時均設(shè)置為4 μs。利用python編寫程序，將兩個結(jié)構(gòu)化數(shù)據(jù)中dataList存儲的數(shù)據(jù)進行呈現(xiàn)，由于兩個數(shù)據(jù)采集卡獲取到的數(shù)據(jù)的時間戳相同，因此呈現(xiàn)的兩組數(shù)據(jù)的橫坐標得以對齊，如圖12所示。這說明事件時間是可靠的；兩組數(shù)據(jù)中的故障數(shù)據(jù)相差100個數(shù)據(jù)點，因此，故障發(fā)生的時間間隔為1 μs，與設(shè)置的延時間隔相同。從實驗的結(jié)果可知，若故障數(shù)據(jù)產(chǎn)生于故障觸發(fā)信號到達前，則這些數(shù)據(jù)均可采集到，并且可以區(qū)分兩組數(shù)據(jù)中的故障點位置，與實驗的預(yù)期相符合。

圖12 模擬故障數(shù)據(jù)的采集分析Fig.12 Data collection and analysis of simulated failure event

5 結(jié)語

本文設(shè)計并實現(xiàn)了基于高精度時間數(shù)據(jù)的加速器故障分析樣機，可用于分析加速器運行時出現(xiàn)的快速故障過程，定位故障產(chǎn)生的根本原因。該故障分析樣機的可行性已經(jīng)在實驗室得到了驗證，即將應(yīng)用于CSNS加速器。后續(xù)將在數(shù)據(jù)存儲以及數(shù)據(jù)分析和呈現(xiàn)等方面進行進一步的開發(fā)。

作者貢獻聲明程司農(nóng)：設(shè)計實驗方案，實驗硬件環(huán)境搭建，實施研究，論文撰寫和修改；張昭：參與方案設(shè)計，參與研究過程和問題討論；朱鵬：參與實驗環(huán)境搭建；劉智、王林、徐廣磊：參與方案設(shè)計；張玉亮：負責(zé)方案提出，論文修改指導(dǎo)，研究經(jīng)費支持；雷革：負責(zé)方案提出，論文修改指導(dǎo)。