国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于非關(guān)系型數(shù)據(jù)庫的衛(wèi)星參數(shù)存儲(chǔ)與處理

2018-12-26 09:02:39楊揚(yáng)笛吳海燕
關(guān)鍵詞:有效載荷數(shù)據(jù)挖掘衛(wèi)星

楊揚(yáng)笛,吳海燕,李 虎

(1.中國科學(xué)院國家空間中心 衛(wèi)星運(yùn)控技術(shù)實(shí)驗(yàn)室,北京 100190;2.中國科學(xué)院大學(xué),北京 100049)

0 引 言

隨著我國空間信息技術(shù)的發(fā)展,空間探測器也越來越多地出現(xiàn)在任務(wù)中。然而包含于空間探測器中的科學(xué)衛(wèi)星,產(chǎn)生的數(shù)據(jù)也日益增多,對(duì)其計(jì)算能力、存儲(chǔ)系統(tǒng)、通信速度提出了挑戰(zhàn)??茖W(xué)衛(wèi)星處在軌運(yùn)行階段,產(chǎn)生的數(shù)據(jù)種類繁多,一顆衛(wèi)星有效載荷可以達(dá)到幾十個(gè)之多;數(shù)據(jù)產(chǎn)生速度快,以工程數(shù)據(jù)為例,速度可達(dá)每秒幾MB甚至幾十MB;數(shù)據(jù)量非常大,在長達(dá)幾個(gè)月甚至幾年的運(yùn)行時(shí)間里,會(huì)產(chǎn)生高達(dá)幾百GB甚至幾十TB的海量衛(wèi)星工程數(shù)據(jù)及科學(xué)數(shù)據(jù)。如何發(fā)展前沿技術(shù),以滿足衛(wèi)星運(yùn)控中海量數(shù)據(jù)處理的要求,包括對(duì)其的存儲(chǔ)與管理、分析和共享等等,是值得研究和思考的。

這些數(shù)據(jù)對(duì)于科學(xué)衛(wèi)星在軌運(yùn)行提供載荷常規(guī)運(yùn)行控制、有效載荷性能趨勢分析、故障預(yù)測等顯得非常重要。

1 衛(wèi)星工程數(shù)據(jù)處理需求

隨著我國航天事業(yè)的不斷發(fā)展,針對(duì)衛(wèi)星平臺(tái)的狀態(tài)診斷研究日益成熟,但針對(duì)有效載荷狀態(tài)診斷的研究水平卻未見提高。有效載荷承擔(dān)著對(duì)地觀測、空間科學(xué)探測及空間科學(xué)實(shí)驗(yàn)等多項(xiàng)任務(wù)。由此可見,提高有效載荷的狀態(tài)診斷處理能力,對(duì)于增加任務(wù)完成質(zhì)量和保證衛(wèi)星的高可靠性,有著重要的實(shí)際意義[1]。對(duì)于復(fù)雜的有效載荷,在現(xiàn)有技術(shù)水平下很難保證其在任務(wù)中不出問題。衛(wèi)星的有效載荷有其獨(dú)有的特征[2]:

(1)故障危害大。一些小問題可能導(dǎo)致龐大的有效載荷不能完成預(yù)定任務(wù),造成經(jīng)濟(jì)損失。

(2)運(yùn)行環(huán)境特殊,不確定性因素多。不管是高低溫、電磁干擾,還是流行撞擊以及廢棄飛行器的影響,都對(duì)有效載荷的正常工作提出了嚴(yán)峻的挑戰(zhàn)。

(3)資源和能源的限制使得有效載荷的計(jì)算資源有限,能源獲取方式缺乏甚至是沒有,因此很多情況下需要地面干預(yù)。

綜上所述,很多時(shí)候不能寄希望于衛(wèi)星進(jìn)行自我診斷和檢查,需要地面支撐系統(tǒng)對(duì)衛(wèi)星工程數(shù)據(jù)進(jìn)行大規(guī)模的診斷和排查,而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫顯然不能滿足這樣的要求。因此,衛(wèi)星工程數(shù)據(jù)的存儲(chǔ)方式和研究手段就成了當(dāng)前重要的課題之一[3]。

2 非關(guān)系型數(shù)據(jù)庫的應(yīng)用

2.1 海量數(shù)據(jù)處理現(xiàn)狀

國外很早就開始了有關(guān)大數(shù)據(jù)的研究。1989年在底特律召開的第11屆國際人工智能聯(lián)合會(huì)議,提出了KDD(knowledge discovery in database)的概念,此后的KDD國際會(huì)議由于參與人數(shù)過多,主辦方?jīng)Q定轉(zhuǎn)變?yōu)槟陼?huì)。第四屆知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘國際學(xué)術(shù)會(huì)議于1998年在美國紐約舉行,30多家軟件公司借此機(jī)會(huì)展現(xiàn)了自己最新的研究成果。

相比之下,國內(nèi)雖然起步較晚,但各個(gè)方面都在快速發(fā)展。我國互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)發(fā)布了一個(gè)報(bào)告,指出了中國大數(shù)據(jù)技術(shù)和服務(wù)市場2012-2016年的預(yù)測情況:市場規(guī)模將會(huì)有巨大發(fā)展,由2011年的7 760萬美元直沖2016年的6.17億美元,未來5年的復(fù)合增長率高達(dá)51.4%,市場規(guī)模增長近7倍。在國內(nèi),大數(shù)據(jù)技術(shù)正在引起越來越多的企業(yè)和個(gè)人的關(guān)注。將大數(shù)據(jù)作為重點(diǎn)項(xiàng)目的公司不但有阿里巴巴、騰訊、百度等,作為國內(nèi)互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)源地和創(chuàng)新高地的中關(guān)村,這里的企業(yè)也致力于在大數(shù)據(jù)發(fā)展與研究中貢獻(xiàn)自己的一份力量。

隨著計(jì)算機(jī)技術(shù)的發(fā)展,存儲(chǔ)空間已經(jīng)不再是科學(xué)人員和研究人員首要考慮的問題。困擾他們的問題已經(jīng)變成了如何從大量的數(shù)據(jù)中快速或者盡快提取出有用的信息。要解決這個(gè)問題,不僅要從算法上提高查詢和處理的效率,同樣對(duì)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫提出了一定的挑戰(zhàn)。在2009年之后,非關(guān)系型數(shù)據(jù)庫技術(shù)突飛猛進(jìn)。迄今為止,非關(guān)系型數(shù)據(jù)庫數(shù)量已經(jīng)破百,各有各的優(yōu)勢。

2.2 非關(guān)系型數(shù)據(jù)庫存儲(chǔ)

非關(guān)系型數(shù)據(jù)庫,最初的意義是現(xiàn)代互聯(lián)網(wǎng)級(jí)別的數(shù)據(jù)庫。但這個(gè)詞的含義在2009年之后變得豐富起來。非關(guān)系型數(shù)據(jù)庫的特點(diǎn)包括:關(guān)系不如傳統(tǒng)關(guān)系型數(shù)據(jù)庫那樣緊湊,豐富的技術(shù)支持,簡單的API,基于事件的組成(而非ACID),海量數(shù)據(jù)的支持,等等。其中Hadoop/HBase以其跨平臺(tái)和多節(jié)點(diǎn)的優(yōu)勢發(fā)展迅速[4],而ElasticSearch和MongoDB以其快速的讀寫效率在各個(gè)開源的非關(guān)系型數(shù)據(jù)庫中脫穎而出,而Redis則以鍵值對(duì)的形式對(duì)memcached類關(guān)系型數(shù)據(jù)庫起到了很好的補(bǔ)充作用。

Hadoop/HBase的海量數(shù)據(jù)處理技術(shù)基于MapReduce并行計(jì)算模式,能很好地滿足現(xiàn)代航天計(jì)劃在工程數(shù)據(jù)信息存儲(chǔ)和計(jì)算方面的需求。

MongoDB介于關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫之間,為非關(guān)系型數(shù)據(jù)庫中最具有關(guān)系型數(shù)據(jù)庫屬性的,也是功能最豐富的。

ElasticSearch是一個(gè)基于Lucene的搜索引擎式數(shù)據(jù)庫。它提供了一個(gè)分布式的支持多用戶能力的全文搜索引擎,并提供了基于RESTful的Web接口。

Redis是一個(gè)開源的(BSD Licensed),基于內(nèi)存的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。它支持的數(shù)據(jù)結(jié)構(gòu)包括字符串、哈希值、列表、集合、排序集合、點(diǎn)陣圖、地理坐標(biāo)信息等。

2.3 大規(guī)模數(shù)據(jù)挖掘模型與算法現(xiàn)狀

數(shù)據(jù)挖掘指從大量數(shù)據(jù)中提取或“挖掘”信息,是從儲(chǔ)存在各種數(shù)據(jù)庫(包括傳統(tǒng)關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫等)的繁雜無用的數(shù)據(jù)中發(fā)掘或者提煉出有用的信息的過程[5-6]。數(shù)據(jù)挖掘是一個(gè)交叉學(xué)科領(lǐng)域,涉及多個(gè)學(xué)科。數(shù)據(jù)挖掘的任務(wù)可以分為兩大類:描述的和預(yù)測的。具體來說,可以分為:概念類描述;挖掘頻繁模式、關(guān)聯(lián)和相關(guān);分類和預(yù)測;聚類分析;離群點(diǎn)分析;演變分析[7-8]。

綜上所述,針對(duì)工程數(shù)據(jù)的數(shù)據(jù)挖掘能夠分析工程數(shù)據(jù)在合法值內(nèi)變化對(duì)衛(wèi)星帶來的影響,如有效載荷漸漸失效的情況,以及有效載荷數(shù)據(jù)周期變長的情況,還有衛(wèi)星工程參數(shù)的變化情況等[9]。

3 衛(wèi)星工程參數(shù)存儲(chǔ)與研究

3.1 工程數(shù)據(jù)的分類

從數(shù)據(jù)分析和數(shù)據(jù)整理的角度出發(fā),根據(jù)數(shù)據(jù)類型可將工程數(shù)據(jù)分為整型、枚舉型、浮點(diǎn)型。

工程參數(shù)中整型與枚舉型分為標(biāo)識(shí)字和狀態(tài)字。屬于標(biāo)識(shí)字的有幀同步字段、衛(wèi)星識(shí)別字段等,一般來說在衛(wèi)星的整個(gè)壽命內(nèi)為固定值,它的二進(jìn)制碼保持不變,多以十六進(jìn)制形式保存;狀態(tài)字則表明了衛(wèi)星上設(shè)備的工作狀態(tài),除了根據(jù)衛(wèi)星狀態(tài)的變化而變化,地面指令控制等因素也會(huì)對(duì)其造成影響[3]。

工程參數(shù)中浮點(diǎn)型主要包括溫度、電壓、電流、壓力等物理量。由于這些值是連續(xù)變化的,正常的采集值應(yīng)該是連續(xù)的。太陽光照強(qiáng)度、設(shè)備工作狀態(tài)等因素會(huì)影響溫度參數(shù)的變化;電壓分為一次電源電壓和二次電源電壓,由電池工作狀態(tài)決定;電流顯示了星上設(shè)備的工作情況,在設(shè)備的開關(guān)機(jī)狀態(tài)下一般固定在兩個(gè)狀態(tài);貯箱溫度以及燃料剩余量等因素影響著星上壓力值的變化。

3.2 工程數(shù)據(jù)變化規(guī)律研究

對(duì)于在軌衛(wèi)星的歷史工程數(shù)據(jù)的分析和未來工程數(shù)據(jù)的預(yù)測,對(duì)其參數(shù)變化規(guī)律進(jìn)行研究至少要(但不限于)考慮以下幾種狀況[10]:

(1)數(shù)據(jù)平穩(wěn)變化或維持在一穩(wěn)定值附近;

(2)無狀態(tài)、測控事件發(fā)生而參數(shù)卻有階躍性的跳變;

(3)與衛(wèi)星狀態(tài)變化、測控事件發(fā)生相關(guān)聯(lián)的工程參數(shù)變化;

(4)參數(shù)于某值附近周期性變化。

對(duì)于上面四種情況,從已有算法中選擇了四種具有代表性的數(shù)據(jù)分析處理方法,分別是基于多項(xiàng)式擬合外推的方式、基于求和自回歸滑動(dòng)平均模型的時(shí)間序列的方式、非參數(shù)回歸算法、基于神經(jīng)網(wǎng)絡(luò)的預(yù)測技術(shù)。

基于多項(xiàng)式擬合外推是根據(jù)衛(wèi)星歷史和實(shí)時(shí)工程數(shù)據(jù),使用多項(xiàng)式擬合參數(shù)變化曲線,得到擬合公式,再使用該公式對(duì)未來數(shù)據(jù)外推,并預(yù)測其發(fā)展變化狀況的一種預(yù)測方法。這種方法基于以下兩點(diǎn):衛(wèi)星工程參數(shù)沒有跳躍式變化;假設(shè)所研究的與工程參數(shù)有關(guān)的分系統(tǒng)結(jié)構(gòu)、功能等沒有太大變化。該方法對(duì)于周期性隨時(shí)間變化不大的工程數(shù)據(jù)有很好的效果,因此對(duì)于平穩(wěn)變化的工程參數(shù)一旦有了微小的變化率,則可以擬合出其失效或者降低至次級(jí)性能的時(shí)間。

基于求和自回歸滑動(dòng)平均模型(ARMA模型)的時(shí)間序列的方式可以研究差分平穩(wěn)序列的變化情況。因?yàn)楹芏喾瞧椒€(wěn)序列差分后能夠顯示出許多平穩(wěn)序列的性質(zhì),此時(shí)的非平穩(wěn)序列稱為差分平穩(wěn)序列[11]。

ARMA預(yù)測模型的預(yù)測過程如下:根據(jù)觀測模型,獲取數(shù)值序列;對(duì)觀測數(shù)值進(jìn)行差分運(yùn)算;對(duì)數(shù)據(jù)進(jìn)行檢驗(yàn),例如白噪聲;建立ARMA的模型進(jìn)行預(yù)測;對(duì)數(shù)據(jù)使用模型進(jìn)行再一次的檢查。該方法多用于工程參數(shù)固定周期變化以及恒定在某一值附近的需要預(yù)測的參數(shù)[12]。

基于非參數(shù)回歸的回歸函數(shù)一般表示為:

gn(X)=W1(X1)Y1+W2(X2)Y2+…+Wi(Xi)Yi

其中,Y為一維觀測隨機(jī)向量;X為n維隨機(jī)自變量;(Xi,Yi)為第i次觀測值;Wi(Xi)為權(quán)函數(shù)。

非參數(shù)回歸就是在gn(X)毫不知情的情況下,利用已有的觀測值(Xi,Yi),利用X值去估計(jì)可能的Y值。因?yàn)椴恍枰_的數(shù)學(xué)模型,所以適合對(duì)隨時(shí)間變化的非線性系統(tǒng)進(jìn)行預(yù)測。

此處,對(duì)衛(wèi)星某些工程參數(shù)比較適合用此預(yù)測方法。因?yàn)榛诜菂?shù)回歸的方法是建立在大量歷史數(shù)據(jù)的基礎(chǔ)上的,符合暗物質(zhì)衛(wèi)星當(dāng)前的狀況。由于無需建立預(yù)測模型即可進(jìn)行預(yù)測,衛(wèi)星工程參數(shù)中許多周期性比較明顯的參數(shù)均可以使用此方法進(jìn)行預(yù)測。

誤差反向后傳(back propagation,BP)網(wǎng)絡(luò),是目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系,而無需事先揭示描述這種映射關(guān)系的數(shù)學(xué)方程。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層(hidden layer)和輸出層(output layer)。它的學(xué)習(xí)規(guī)則是使用梯度下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小[13-14]。

一般的BP算法過程為:網(wǎng)絡(luò)初始化;輸入第一個(gè)學(xué)習(xí)樣本;求中間層的輸入和輸出;求輸出層的輸入和輸出;計(jì)算輸出層的誤差;計(jì)算中間層的誤差;調(diào)整各層連接之間的權(quán)值;輸入下一個(gè)學(xué)習(xí)樣本。

先確定好訓(xùn)練次數(shù)和期望誤差,再進(jìn)行算法的學(xué)習(xí)過程。當(dāng)訓(xùn)練次數(shù)達(dá)到或者低于期望誤差值即可停止訓(xùn)練。

該預(yù)測模型適用于緩變的工程數(shù)據(jù)預(yù)測,適合具有大量歷史訓(xùn)練樣本的數(shù)據(jù)的工程數(shù)據(jù)預(yù)測。但由于該方法需求的樣本數(shù)量巨大,以及訓(xùn)練的方式復(fù)雜,所以當(dāng)其他預(yù)測方法無法滿足數(shù)據(jù)需求時(shí),可作為一種替補(bǔ)的工程數(shù)據(jù)處理預(yù)測方法。

3.3 工程數(shù)據(jù)挖掘示例

在暗物質(zhì)衛(wèi)星以及其他衛(wèi)星的運(yùn)行過程中,有很多值得分析的工程數(shù)據(jù)。比如太陽能帆板的電壓和電流判斷其壽命的問題。

首先分析衛(wèi)星的工程數(shù)據(jù)在數(shù)據(jù)庫中的格式,該衛(wèi)星的地面支撐系統(tǒng)使用了Oracle的PTSQL數(shù)據(jù)庫管理其數(shù)據(jù)。工程數(shù)據(jù)儲(chǔ)存在一個(gè)大表中,由于大表是以接收時(shí)間為主鍵存儲(chǔ)工程數(shù)據(jù)的,所以不利于分析比較某一項(xiàng)工程數(shù)據(jù)的變化值。

將一段時(shí)間內(nèi)的工程數(shù)據(jù)導(dǎo)出,并導(dǎo)入到相應(yīng)的非關(guān)系型數(shù)據(jù)庫。由于只關(guān)心帆板的電壓和電流讀數(shù),所以在導(dǎo)出數(shù)據(jù)表以及導(dǎo)入非關(guān)系型數(shù)據(jù)庫時(shí),只選擇導(dǎo)出導(dǎo)入和與電壓電流有關(guān)的數(shù)據(jù)。

通過第一種數(shù)據(jù)處理方法處理將近三個(gè)月的數(shù)據(jù)得出:太陽能帆板工作情況良好,電壓值和電流值在工作狀態(tài)下穩(wěn)定,暫時(shí)對(duì)其工作情況沒有影響。

4 結(jié)束語

通過使用四種非關(guān)系型數(shù)據(jù)庫進(jìn)行衛(wèi)星工程數(shù)據(jù)的分析和處理,提出了四種只需關(guān)注于對(duì)有效載荷工作情況有影響的工程數(shù)據(jù)的處理方法,尤其是適合于基于非關(guān)系型數(shù)據(jù)庫的工程數(shù)據(jù)存儲(chǔ)方式,與傳統(tǒng)關(guān)系型數(shù)據(jù)相比具備快速的優(yōu)勢。

[1] 王 帆.基于故障樹的空間有效載荷故障診斷系統(tǒng)研究[D].北京:中國科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心),2007.

[2] 福島洋介,石濱直樹.航天器的遙測數(shù)據(jù)采集分析[J].控制工程,2002(5):36-41.

[3] 秦 巍,郭永富.一種基于歷史遙測數(shù)據(jù)的在軌衛(wèi)星故障預(yù)警系統(tǒng)[J].航天器工程,2010,19(6):40-45.

[4] ZIKOPOULOS P,EATON C.Understanding big data:analytics for enterprise class Hadoop and streaming data[M].[s.l.]:McGraw-Hill Osborne Media,2011.

[5] ZAKI M J, PARTHASARATHY S, OGIHARA M,et al.New algorithms for fast discovery of association rules[C]//Proceedings of 3rd international conference on knowledge discovery and data mining.California:AAAI Press,1997:238-286.

[6] ZAKI M J.Scalable algorithms for association mining[J].IEEE Transactions on Knowledge and Data Engineering,2000,12(3):372-390.

[7] SHVACHKO K,KUANG Hairong,RADIA S,et al.The Hadoop distributed file system[C]//Proceedings of 26th IEEE symposium on mass storage systems and technologies.Piscataway,NJ:IEEE Press,2010:1-10.

[8] DEAN J,GHEMAWAT S.MapReduce:simplified data processing on large clusters[C]//Proceedings of the 6th conference on symposium on opearting systems design & implementation.Berkeley,CA,USA:USENIX Association,2008:10.

[9] 劉明吉,王秀峰,黃亞樓.數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理[J].計(jì)算機(jī)科學(xué),2000,27(4):54-57.

[10] 趙紅毅,任國恒.ID3算法在衛(wèi)星遙測數(shù)據(jù)分析中的應(yīng)用[J].西安工業(yè)大學(xué)學(xué)報(bào),2010,30(5):491-494.

[11] 王 環(huán),郭義琪,秦 巍,等.構(gòu)建多航天器在軌管理支持平臺(tái)[J].航天器工程,2007,16(3):114-119.

[12] 李瑞瑩,康 銳.基于ARMA模型的故障率預(yù)測方法研究[J].系統(tǒng)工程與電子技術(shù),2008,30(8):1588-1591.

[13] 周永進(jìn),蔡惠華,尹遜震,等.改進(jìn)的BP網(wǎng)絡(luò)及其在數(shù)據(jù)預(yù)測中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(27):150-151.

[14] 王一夫,陳松喬,陳 安.海量數(shù)據(jù)預(yù)測模型設(shè)計(jì)及案例分析[J].計(jì)算機(jī)工程與應(yīng)用,2005,41(19):170-173.

猜你喜歡
有效載荷數(shù)據(jù)挖掘衛(wèi)星
理念牽引 機(jī)制創(chuàng)新 人才驅(qū)動(dòng) 做有效載荷創(chuàng)新發(fā)展領(lǐng)跑者
miniSAR遙感衛(wèi)星
面向有效載荷數(shù)字化研制的標(biāo)準(zhǔn)化工作轉(zhuǎn)型初探
探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
衛(wèi)星有效載荷研制流程的策劃與推進(jìn)
靜止衛(wèi)星派
科學(xué)家(2019年3期)2019-08-18 09:47:43
基于并行計(jì)算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
電力與能源(2017年6期)2017-05-14 06:19:37
Puma" suede shoes with a focus on the Product variables
一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
基于GPGPU的離散數(shù)據(jù)挖掘研究
裕民县| 滕州市| 吉林市| 孟津县| 乌鲁木齐市| 德江县| 鹿泉市| 师宗县| 临汾市| 汉寿县| 库尔勒市| 浮梁县| 康乐县| 顺平县| 瑞昌市| 汉川市| 安西县| 博客| 耿马| 大厂| 大方县| 白玉县| 西安市| 西吉县| 永城市| 顺平县| 高唐县| 铁岭市| 石阡县| 苏尼特右旗| 彭泽县| 正宁县| 诏安县| 绿春县| 沽源县| 淅川县| 宁波市| 车险| 阿鲁科尔沁旗| 保康县| 奉节县|