陳穎 李奇穎 趙陽(yáng) 陳潔 王祥

（1.北京易華錄信息技術(shù)股份有限公司 北京市 100043 2.國(guó)電龍?jiān)措姎庥邢薰?北京市 100039）

1 前言

在5G時(shí)代到來(lái)后，數(shù)據(jù)爆發(fā)式增長(zhǎng)，從PB到ZB的裂變，人類社會(huì)已步入海量數(shù)據(jù)新時(shí)代，全球的數(shù)據(jù)量以超過(guò)50%的平均年增速增長(zhǎng)，IDC咨詢公司在數(shù)字宇宙研究報(bào)告中預(yù)測(cè)全球的數(shù)據(jù)總量到2020年將超過(guò)40ZB。

在數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素和重要的戰(zhàn)略資源的數(shù)字經(jīng)濟(jì)時(shí)代，傳統(tǒng)的磁存儲(chǔ)解決方案已經(jīng)無(wú)法適應(yīng)海量數(shù)據(jù)長(zhǎng)效存儲(chǔ)、數(shù)據(jù)價(jià)值挖掘、數(shù)據(jù)安全性、綠色化發(fā)展等需求。首先，磁存儲(chǔ)運(yùn)行環(huán)境建設(shè)和運(yùn)行成本、能耗成本、設(shè)備更換成本和數(shù)據(jù)遷移成本等總體擁有成本(Total Cost of Ownership, TCO)高昂。這直接導(dǎo)致數(shù)據(jù)不能長(zhǎng)期保存且很多數(shù)據(jù)不能保存，數(shù)據(jù)蘊(yùn)藏的價(jià)值無(wú)法傳承下來(lái)，數(shù)據(jù)共享、盤活、開發(fā)利用率太低。其次，數(shù)據(jù)安全性和可靠性低。磁性介質(zhì)易受病毒攻擊篡改，可靠性不高，數(shù)據(jù)遷移時(shí)存在損壞風(fēng)險(xiǎn)，同時(shí)，我國(guó)在傳統(tǒng)的存儲(chǔ)技術(shù)方面沒(méi)有話語(yǔ)權(quán)，縱觀全球存儲(chǔ)市場(chǎng)，磁盤、磁帶存儲(chǔ)的設(shè)備、介質(zhì)、技術(shù)被希捷、西部數(shù)據(jù)、東芝、日立等西方發(fā)達(dá)國(guó)家壟斷，國(guó)內(nèi)廠商幾乎沒(méi)有任何話語(yǔ)權(quán)，尤其是在美國(guó)嚴(yán)重打壓華為的形式下，數(shù)據(jù)安全保障的重要性和急迫性凸顯。最后，2020年3月的中共中央政治局常務(wù)委員會(huì)議中首次將數(shù)據(jù)中心納入到新型基礎(chǔ)設(shè)施建設(shè)范圍中，但目前的數(shù)據(jù)中心能耗過(guò)大，綠色數(shù)據(jù)中心建設(shè)已經(jīng)成為了社會(huì)各界共同關(guān)注的焦點(diǎn)問(wèn)題。

在工業(yè)領(lǐng)域，工業(yè)大數(shù)據(jù)是制造業(yè)數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展的基礎(chǔ)性戰(zhàn)略資源，是提升企業(yè)生產(chǎn)力、競(jìng)爭(zhēng)力和創(chuàng)新力的關(guān)鍵要素，對(duì)于支撐智能制造和工業(yè)轉(zhuǎn)型升級(jí)方面有著舉足輕重的作用。目前各國(guó)都在如火如荼發(fā)展工業(yè)互聯(lián)網(wǎng)，作為工業(yè)全要素、全產(chǎn)業(yè)鏈、全價(jià)值鏈連接的樞紐，工業(yè)互聯(lián)網(wǎng)平臺(tái)通過(guò)工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)全面采集產(chǎn)品設(shè)計(jì)、生產(chǎn)工藝、設(shè)備運(yùn)行、運(yùn)營(yíng)管理等海量工業(yè)數(shù)據(jù)資源，很多工業(yè)現(xiàn)場(chǎng)采集到的數(shù)據(jù)由于存儲(chǔ)成本過(guò)高且數(shù)據(jù)量過(guò)大導(dǎo)致無(wú)法有效存儲(chǔ)。另一方面，工業(yè)數(shù)據(jù)通常具有數(shù)據(jù)生命周期特征，初始訪問(wèn)頻度很高的熱數(shù)據(jù)，經(jīng)過(guò)一段時(shí)間就會(huì)變?yōu)槔鋽?shù)據(jù)，累積的冷數(shù)據(jù)一般占據(jù)總數(shù)據(jù)量的80%以上，冷數(shù)據(jù)并非失去價(jià)值，冷數(shù)據(jù)占據(jù)了存儲(chǔ)設(shè)備的絕大部分空間，用熱數(shù)據(jù)的存儲(chǔ)方式保存冷數(shù)據(jù)必將消耗大量資源。

隨著5G、VR等技術(shù)的應(yīng)用，視頻、圖片、音頻等非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，目前的關(guān)系型數(shù)據(jù)庫(kù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的支持較差。在信息安全級(jí)別要求較高的金融、電力等行業(yè)，數(shù)據(jù)的丟失將帶來(lái)不可估量的損失，數(shù)據(jù)災(zāi)備顯得尤為重要。因此，如何降低工業(yè)大數(shù)據(jù)的存儲(chǔ)成本、提高N次挖掘利用率、保障數(shù)據(jù)安全性也是當(dāng)前工業(yè)大數(shù)據(jù)存儲(chǔ)領(lǐng)域亟待解決的問(wèn)題。為激發(fā)工業(yè)數(shù)據(jù)資源要素潛力，工業(yè)和信息化部2020年5月出臺(tái)了《關(guān)于工業(yè)大數(shù)據(jù)發(fā)展的指導(dǎo)意見》，支持企業(yè)建設(shè)工業(yè)大數(shù)據(jù)中心，引導(dǎo)工業(yè)企業(yè)開展數(shù)據(jù)資源編目工作，實(shí)現(xiàn)工業(yè)大數(shù)據(jù)大范圍、深層次、高質(zhì)量集成匯聚，實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的融合和存儲(chǔ)。目前，企業(yè)級(jí)數(shù)據(jù)中心、行業(yè)級(jí)數(shù)據(jù)中心缺乏對(duì)存儲(chǔ)的數(shù)據(jù)計(jì)算處理，淡化了數(shù)據(jù)中心的平臺(tái)作用，同時(shí)，工業(yè)大數(shù)據(jù)中心能耗問(wèn)題一直是學(xué)術(shù)界和企業(yè)廣泛關(guān)注和研究的熱點(diǎn)，為了進(jìn)一步降低數(shù)據(jù)中心能耗，冷數(shù)據(jù)存儲(chǔ)正成為時(shí)下的“熱”點(diǎn)問(wèn)題。

相比磁盤、磁帶存儲(chǔ)，藍(lán)光存儲(chǔ)技術(shù)對(duì)運(yùn)行環(huán)境要求不高，在常溫條件即可運(yùn)行，無(wú)需空凋制冷恒溫恒濕環(huán)境，不需要高標(biāo)準(zhǔn)的機(jī)房環(huán)境，環(huán)境建設(shè)和運(yùn)行成本低，能耗低，防電磁干擾強(qiáng)，在長(zhǎng)期存儲(chǔ)周期內(nèi)無(wú)需倒換介質(zhì)，避免了介質(zhì)倒換的成本和風(fēng)險(xiǎn)，具有低功耗、低成本、耐用性強(qiáng)、安全可靠等優(yōu)點(diǎn)，并且新一代藍(lán)光存儲(chǔ)技術(shù)采用藍(lán)色激光進(jìn)行讀寫操作，在存儲(chǔ)密度、讀寫速度、容量等方面都有突破性進(jìn)展。光磁關(guān)鍵指標(biāo)對(duì)比如表1所示。

表1：光磁關(guān)鍵指標(biāo)對(duì)比

如何安全、可靠、低成本的長(zhǎng)期存儲(chǔ)海量數(shù)據(jù)已成為新數(shù)據(jù)時(shí)代工業(yè)、金融等很多領(lǐng)域面臨的難題。本文結(jié)合光、磁（包括電）存儲(chǔ)的不同特點(diǎn)，把光存儲(chǔ)的長(zhǎng)壽命、低功耗、高存儲(chǔ)密度、高數(shù)據(jù)安全性優(yōu)勢(shì)與磁存儲(chǔ)的高性能相結(jié)合，提出一種工業(yè)大數(shù)據(jù)光磁電一體化智能存儲(chǔ)技術(shù)，可以低成本實(shí)現(xiàn)工業(yè)大數(shù)據(jù)的災(zāi)備、歸檔以及海量非結(jié)構(gòu)化數(shù)據(jù)云存儲(chǔ)，助力企業(yè)級(jí)、行業(yè)級(jí)綠色數(shù)據(jù)中心的建設(shè)。

2 光磁電一體化智能存儲(chǔ)技術(shù)架構(gòu)

2.1 藍(lán)光存儲(chǔ)技術(shù)

本文所采用的藍(lán)光存儲(chǔ)技術(shù)創(chuàng)單張光盤存儲(chǔ)容量世界紀(jì)錄，以波長(zhǎng)為405nm的藍(lán)色激光讀寫，采用無(wú)機(jī)相變材料作為物理記錄層，用材料的晶態(tài)/非晶態(tài)記錄數(shù)據(jù)0/1，采用碼間干擾消除技術(shù)，軌道密度225nm/軌道，線密度47.9nm/bit，從物理介質(zhì)層面保障數(shù)據(jù)的安全存儲(chǔ)，單個(gè)光盤容量可達(dá)500GB，讀取速度可達(dá)375MB/s。為了對(duì)比區(qū)別，也給出了500GB容量與100GB容量、300GB容量的軌道布局。

藍(lán)光光驅(qū)采用耐腐蝕性的鋁合金光學(xué)基臺(tái)，以玻璃鏡片代替?zhèn)鹘y(tǒng)的樹脂鏡片，傳動(dòng)部分采用耐磨的樹脂材料，驅(qū)動(dòng)器具備故障自診斷功能。每個(gè)光盤匣由12張光盤組成，每個(gè)光盤匣容量可達(dá)6TB，每個(gè)藍(lán)光存儲(chǔ)單元包含76個(gè)光盤匣，每個(gè)光盤庫(kù)可包含7個(gè)存儲(chǔ)單元，單光盤庫(kù)可包含532張光盤，容量可達(dá)3.19PB，單光盤庫(kù)工作功耗約160W，待機(jī)功耗僅為7W，能耗是同等存儲(chǔ)力磁存儲(chǔ)機(jī)柜的22.6%，默認(rèn)提供3副本功能，支持RAID0/5/6，可以提供高達(dá)19N數(shù)據(jù)可靠性保證，數(shù)據(jù)壽命可達(dá)100年以上。在不中斷業(yè)務(wù)的情況下，可在現(xiàn)有節(jié)點(diǎn)或增加新節(jié)點(diǎn)實(shí)來(lái)現(xiàn)存儲(chǔ)空間的大規(guī)模在線擴(kuò)展，分布式的光盤庫(kù)通過(guò)集群可實(shí)現(xiàn)EB級(jí)海量數(shù)據(jù)存儲(chǔ)，把文件以對(duì)象方式進(jìn)行切片存儲(chǔ)，向單臺(tái)光盤庫(kù)刻錄數(shù)據(jù)的速率可達(dá)375MB/s以上的高吞吐量。采用扁平結(jié)構(gòu)，無(wú)單節(jié)點(diǎn)瓶頸，任何類型節(jié)點(diǎn)都可平滑擴(kuò)容，提供高并發(fā)訪問(wèn)能力，以支撐更多數(shù)量用戶訪問(wèn)。

2.2 技術(shù)架構(gòu)

該基于藍(lán)光存儲(chǔ)技術(shù)的工業(yè)大數(shù)據(jù)光磁電一體化智能存儲(chǔ)技術(shù)以光盤庫(kù)技術(shù)為核心，利用了社會(huì)生活中普適的“二八定律”，20%的溫?zé)釘?shù)據(jù)采用電存儲(chǔ)和磁存儲(chǔ)的方式，80%的冷數(shù)據(jù)采用藍(lán)光存儲(chǔ)的方式，通過(guò)合理利用存儲(chǔ)資源、分級(jí)存儲(chǔ)、冷熱轉(zhuǎn)換提供安全可靠高效的存儲(chǔ)方式，有效解決了全部采用電磁存儲(chǔ)成本高、能耗大、安全性差的問(wèn)題，技術(shù)架構(gòu)如圖1所示，主要由藍(lán)光存儲(chǔ)層、熱磁存儲(chǔ)層、調(diào)度管理層、訪問(wèn)接口層組成。

圖1：工業(yè)大數(shù)據(jù)光磁電一體化智能存儲(chǔ)技術(shù)架構(gòu)

藍(lán)光存儲(chǔ)層用于海量冷數(shù)據(jù)的長(zhǎng)期可靠存儲(chǔ)，主要由藍(lán)光光盤庫(kù)和管理服務(wù)器DAM組成，管理系統(tǒng)自主研發(fā)自主可控，管理系統(tǒng)具有刻錄、查詢、備份和恢復(fù)等功能。光盤庫(kù)與管理服務(wù)器DAM通過(guò)SAS接口一對(duì)一連接，光盤庫(kù)的所有操作指令都通過(guò)管理服務(wù)器DAM來(lái)發(fā)出。光盤庫(kù)是對(duì)象存儲(chǔ)方式，因此管理服務(wù)器DAM存放著光盤庫(kù)對(duì)象存儲(chǔ)數(shù)據(jù)的索引信息。光盤庫(kù)存儲(chǔ)資源的使用由上層數(shù)據(jù)調(diào)度管理軟件進(jìn)行統(tǒng)一分配。

熱磁存儲(chǔ)層用來(lái)存儲(chǔ)熱數(shù)據(jù)的磁盤（包括閃盤）存儲(chǔ)。在分布式系統(tǒng)架構(gòu)下，熱磁存儲(chǔ)通常是存儲(chǔ)節(jié)點(diǎn)服務(wù)器本地的磁盤，在要求熱磁存儲(chǔ)容量較大或集中存儲(chǔ)環(huán)境下，也可以采用外置的磁盤陣列。熱磁存儲(chǔ)主要面向?qū)η岸藨?yīng)用的即時(shí)響應(yīng)，需要較高的I/O性能，因此通常采用高轉(zhuǎn)速SAS磁盤或閃盤。熱磁存儲(chǔ)容量沒(méi)有統(tǒng)一規(guī)格，需要根據(jù)實(shí)際應(yīng)用需求進(jìn)行配置，一般可用容量至少為所需存儲(chǔ)的熱磁數(shù)據(jù)量的2倍。各熱磁節(jié)點(diǎn)配置的存儲(chǔ)容量應(yīng)該相同，節(jié)點(diǎn)服務(wù)器配置和磁盤或閃盤配置的類型、規(guī)格也應(yīng)該相同，以保證性能的均衡。

調(diào)度管理層是在分布式文件系統(tǒng)之上建立的對(duì)象數(shù)據(jù)分級(jí)存儲(chǔ)管理機(jī)制，包括整合存儲(chǔ)資源、用戶數(shù)據(jù)分片處理、數(shù)據(jù)保護(hù)策略設(shè)定、數(shù)據(jù)糾刪碼生成或多副本分布存儲(chǔ)管理、熱磁讀寫緩存區(qū)創(chuàng)建/監(jiān)測(cè)/撤銷、數(shù)據(jù)生命周期管理、光盤庫(kù)存儲(chǔ)資源劃分和使用、數(shù)據(jù)冷熱區(qū)轉(zhuǎn)存等。同時(shí)，在本層還會(huì)在節(jié)點(diǎn)間進(jìn)行讀寫負(fù)載均衡調(diào)度以及節(jié)點(diǎn)或存儲(chǔ)資源失效后的業(yè)務(wù)調(diào)度與數(shù)據(jù)重建恢復(fù)等，以便始終提供高性能、高可用的存儲(chǔ)服務(wù)。

訪問(wèn)接口層提供S3、Glacier、NFS、CIFS等存儲(chǔ)服務(wù)協(xié)議，是業(yè)務(wù)應(yīng)用系統(tǒng)和光磁電一體化智能存儲(chǔ)系統(tǒng)聯(lián)接的接口，提供面向?qū)ο蟠鎯?chǔ)的RESTful API和專用的SDK，支持Java、C++、GO等。業(yè)務(wù)應(yīng)用系統(tǒng)通過(guò)存儲(chǔ)網(wǎng)關(guān)可直接調(diào)用S3、Swift或Glacier API進(jìn)行讀寫訪問(wèn)，通過(guò)Swift 接口提供對(duì)象存儲(chǔ)，將數(shù)據(jù)首先寫入上層的磁存儲(chǔ)層，然后按照數(shù)據(jù)生命周期管理策略把冷數(shù)據(jù)遷移到下層的藍(lán)光存儲(chǔ)層，通過(guò)Glacier接口提供歸檔存儲(chǔ)，將數(shù)據(jù)直接歸檔到藍(lán)光存儲(chǔ)層中，如圖2所示。針對(duì)既有的業(yè)務(wù)應(yīng)用系統(tǒng)，該光磁電一體化存儲(chǔ)技術(shù)也提供NFS/CIFS的訪問(wèn)方式，在業(yè)務(wù)適配方面具有良好的靈活性。

圖2：數(shù)據(jù)訪問(wèn)接口

2.2.1 拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)

該存儲(chǔ)技術(shù)架構(gòu)在具體實(shí)現(xiàn)上采用一個(gè)主管理節(jié)點(diǎn)多代理節(jié)點(diǎn)的拓?fù)浼軜?gòu)，主管理節(jié)點(diǎn)負(fù)責(zé)管理數(shù)據(jù)庫(kù)，單進(jìn)程掃描數(shù)據(jù)庫(kù)并生成任務(wù)，然后把生產(chǎn)的相關(guān)任務(wù)放入Rabbit MQ 隊(duì)列。代理節(jié)點(diǎn)向下對(duì)接磁存儲(chǔ)資源池和藍(lán)光存儲(chǔ)資源池，從Rabbit MQ隊(duì)列上獲取任務(wù)，根據(jù)任務(wù)內(nèi)容對(duì)磁存儲(chǔ)資源池和藍(lán)光存儲(chǔ)資源池進(jìn)行操作，代理節(jié)點(diǎn)單進(jìn)程執(zhí)行任務(wù)，每次必須執(zhí)行完成當(dāng)前任務(wù)之后才去Rabbit MQ 隊(duì)列嘗試獲取新任務(wù)消息。

2.2.2 數(shù)據(jù)庫(kù)設(shè)計(jì)

通過(guò)部署在存儲(chǔ)網(wǎng)關(guān)上的磁存儲(chǔ)數(shù)據(jù)庫(kù)和藍(lán)光存儲(chǔ)數(shù)據(jù)庫(kù)對(duì)不同介質(zhì)中的數(shù)據(jù)進(jìn)行管理，讀取藍(lán)光存儲(chǔ)層中的數(shù)據(jù)時(shí)，訪問(wèn)的數(shù)據(jù)會(huì)暫存在熱磁存儲(chǔ)的讀緩存區(qū)，然后根據(jù)數(shù)據(jù)生命周期管理規(guī)則判斷是否需要從緩存區(qū)刪除，使用歸檔存儲(chǔ)的應(yīng)用數(shù)據(jù)不再以磁存儲(chǔ)作為緩存，不使用數(shù)據(jù)生命周期管理策略，不使用熱磁空間中轉(zhuǎn)或緩存。

針對(duì)光磁電不同的存儲(chǔ)介質(zhì)，對(duì)磁存儲(chǔ)資源池和藍(lán)光存儲(chǔ)資源池分別搭建管理數(shù)據(jù)庫(kù)，用于對(duì)資源池內(nèi)的數(shù)據(jù)進(jìn)行管理，磁存儲(chǔ)資源池基于Openstack Swift對(duì)象存儲(chǔ)開源架構(gòu)進(jìn)行數(shù)據(jù)庫(kù)設(shè)計(jì)，對(duì)象存儲(chǔ)層次結(jié)構(gòu)分為account/container/object，在每個(gè)account下通過(guò)用戶名對(duì)用戶的磁存儲(chǔ)資源池?cái)?shù)據(jù)庫(kù)進(jìn)行劃分和管理，用戶可通過(guò)增加container用于存儲(chǔ)數(shù)據(jù)對(duì)象（object）?；赟wift的一致性哈希算法，為確保數(shù)據(jù)的尋址和管理，數(shù)據(jù)對(duì)象(object)的管理表中已具備相關(guān)內(nèi)容。

藍(lán)光存儲(chǔ)資源池?cái)?shù)據(jù)庫(kù)同樣基于account/container/object的邏輯架構(gòu)進(jìn)行設(shè)計(jì)，由于藍(lán)光存儲(chǔ)與磁盤存儲(chǔ)在數(shù)據(jù)管理上存在邏輯和技術(shù)上的區(qū)別，磁存儲(chǔ)基于Openstack Swift架構(gòu)的一致性哈希算法將數(shù)據(jù)對(duì)象（object）與磁盤虛擬存儲(chǔ)空間進(jìn)行關(guān)聯(lián)，藍(lán)光存儲(chǔ)是將數(shù)據(jù)對(duì)象（object）存儲(chǔ)在光盤中，光盤匣是藍(lán)光光盤庫(kù)的基本存儲(chǔ)單元，機(jī)械臂將光盤匣（magazine）放入光驅(qū)進(jìn)行數(shù)據(jù)刻錄、讀取，因此，藍(lán)光存儲(chǔ)在數(shù)據(jù)對(duì)象（object）描述上不同于磁盤存儲(chǔ)，藍(lán)光存儲(chǔ)數(shù)據(jù)庫(kù)中應(yīng)該描述數(shù)據(jù)對(duì)象（object）與光盤匣（magazine）之間的關(guān)系。藍(lán)光存儲(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)架構(gòu)如圖3所示。

圖3：藍(lán)光存儲(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)架構(gòu)

如2.2中所述，每臺(tái)藍(lán)光光盤庫(kù)都有各自的管理服務(wù)器DAM，因此，數(shù)據(jù)對(duì)象(object)所在的藍(lán)光光盤庫(kù)可以通過(guò)管理服務(wù)器DAM的編號(hào)和IP地址定位到，然后通過(guò)藍(lán)光光盤庫(kù)各自的光盤匣（magazine）位置編排模式定位數(shù)據(jù)對(duì)象(object)存儲(chǔ)的具體光盤匣，最后通過(guò)數(shù)據(jù)對(duì)象在光盤匣存儲(chǔ)中的名稱實(shí)現(xiàn)藍(lán)光存儲(chǔ)資源池中數(shù)據(jù)對(duì)象(object)的尋址，3組藍(lán)光存儲(chǔ)單元的企業(yè)級(jí)藍(lán)光光盤庫(kù)中光盤匣的定位編號(hào)示意圖如圖4所示。

圖4：企業(yè)級(jí)藍(lán)光光盤庫(kù)中光盤匣的定位編號(hào)示意圖

磁存儲(chǔ)資源池和藍(lán)光存儲(chǔ)資源池之間會(huì)產(chǎn)生冷數(shù)據(jù)歸檔存儲(chǔ)業(yè)務(wù)，當(dāng)代理節(jié)點(diǎn)執(zhí)行了冷數(shù)據(jù)歸檔任務(wù)之后，為了明確原來(lái)磁存儲(chǔ)資源池存儲(chǔ)該冷數(shù)據(jù)的空間被刪除了還是被回收了，在磁存儲(chǔ)數(shù)據(jù)表和藍(lán)光存儲(chǔ)數(shù)據(jù)表中增加“status”項(xiàng)以明確數(shù)據(jù)對(duì)象(object)的具體存儲(chǔ)位置。如表2所示。

表2：數(shù)據(jù)表中status值

2.2.3 冷熱數(shù)據(jù)轉(zhuǎn)換

為實(shí)現(xiàn)海量數(shù)據(jù)低成本存儲(chǔ)的目的，將“冷數(shù)據(jù)”從磁存儲(chǔ)資源池存入藍(lán)光存儲(chǔ)資源池中。

主管理節(jié)點(diǎn)接收到用戶請(qǐng)求或通過(guò)設(shè)定的自定義條件進(jìn)行智能判斷，形成對(duì)于某一個(gè)數(shù)據(jù)對(duì)象的冷數(shù)據(jù)歸檔或冷數(shù)據(jù)調(diào)用操作命令，然后將該操作命令發(fā)送到命令隊(duì)列中，由空閑的代理節(jié)點(diǎn)接受任務(wù)。當(dāng)命令為冷數(shù)據(jù)歸檔時(shí)，調(diào)用Swift協(xié)議調(diào)取磁存儲(chǔ)資源池的數(shù)據(jù)，通過(guò)HTTP Restful API 接口向管理服務(wù)器DAM進(jìn)行請(qǐng)求，由管理服務(wù)器DAM執(zhí)行數(shù)據(jù)錄入藍(lán)光存儲(chǔ)資源池的操作。當(dāng)接收到冷數(shù)據(jù)調(diào)用請(qǐng)求時(shí)，或者調(diào)用Glacier 協(xié)議調(diào)取藍(lán)光存儲(chǔ)資源池的數(shù)據(jù)，采用Glacier提供的Glacier API 接口向管理服務(wù)器DAM進(jìn)行請(qǐng)求，由管理服務(wù)器DAM處理后直接由業(yè)務(wù)系統(tǒng)調(diào)用，或通過(guò)Swift提供的HTTP Restful API接口向管理服務(wù)器DAM進(jìn)行請(qǐng)求，由管理服務(wù)器DAM執(zhí)行數(shù)據(jù)錄入熱存儲(chǔ)資源池的操作。

為盡可能減少機(jī)械臂和光驅(qū)的使用頻度以延長(zhǎng)工作壽命，在執(zhí)行歸檔操作中，將從同一個(gè)順序查詢空閑的光盤匣，在保證當(dāng)前使用的光盤匣存儲(chǔ)空間不足以存儲(chǔ)當(dāng)前歸檔冷數(shù)據(jù)時(shí)再申請(qǐng)使用下一個(gè)空光盤匣，同時(shí)，自定義設(shè)定歸檔數(shù)據(jù)容量和歸檔執(zhí)行周期，并進(jìn)行智能判斷，從而有效避免因個(gè)別閑歇性的小存儲(chǔ)量歸檔任務(wù)造成光驅(qū)的頻繁使用和大批小存儲(chǔ)量的“冷數(shù)據(jù)”不能歸檔。歸檔任務(wù)結(jié)束之后，釋放管理服務(wù)器DAM資源并更改表2 中status值。

3 TCO對(duì)比結(jié)果

總擁有成本TCO包括建設(shè)成本、維護(hù)成本、運(yùn)營(yíng)成本、數(shù)據(jù)遷移成本、介質(zhì)保管成本。

按照100PB數(shù)據(jù)分別存儲(chǔ)10年、100年計(jì)算，藍(lán)光存儲(chǔ)3.6TB光盤匣、硬盤存儲(chǔ)8TBHDD與磁帶存儲(chǔ)LTO7（6TB）的按年累計(jì)的單GB數(shù)據(jù)量的總體擁有成本TCO對(duì)比，從第一年開始藍(lán)光存儲(chǔ)的TCO就要低于硬盤存儲(chǔ)和磁帶存儲(chǔ)，在第1年，藍(lán)光存儲(chǔ)的TCO分別是硬盤存儲(chǔ)和磁帶存儲(chǔ)的0.777和0.999倍。在第10年，藍(lán)光存儲(chǔ)的TCO分別是硬盤存儲(chǔ)和磁帶存儲(chǔ)的0.451和0.462倍。隨著存儲(chǔ)年限的增長(zhǎng)，藍(lán)光存儲(chǔ)低TCO優(yōu)勢(shì)愈加明顯。

按照100PB數(shù)據(jù)存儲(chǔ)20年計(jì)算，藍(lán)光存儲(chǔ)與騰訊云存儲(chǔ)的按年累計(jì)的單GB數(shù)據(jù)量的TCO對(duì)比，在初始運(yùn)行的前6年，藍(lán)光存儲(chǔ)的TCO高于云存儲(chǔ)的TCO，由于云存儲(chǔ)每年的持續(xù)投入非常高，云存儲(chǔ)TCO在第7年超過(guò)藍(lán)光存儲(chǔ)TCO，并且持續(xù)走高，在第20年藍(lán)光存儲(chǔ)的TCO僅是騰訊云存儲(chǔ)TCO的1/4。

4 電力行業(yè)應(yīng)用

電力企業(yè)大數(shù)據(jù)來(lái)源于電力生產(chǎn)和電能使用的發(fā)、輸、變、配、用、調(diào)各個(gè)環(huán)節(jié)，包含了資產(chǎn)數(shù)據(jù)、電網(wǎng)運(yùn)行和設(shè)備監(jiān)測(cè)數(shù)據(jù)、電力營(yíng)銷數(shù)據(jù)、電力企業(yè)管理數(shù)據(jù)等。隨著電力信息化的深入發(fā)展以及智能電網(wǎng)的普及，關(guān)系型數(shù)據(jù)、文本型數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)和非結(jié)構(gòu)化的圖像、聲音、視頻數(shù)據(jù)等各種類型的電力企業(yè)業(yè)務(wù)數(shù)據(jù)呈海量增長(zhǎng)，這些數(shù)據(jù)大多分散保存在本地系統(tǒng)中，存在數(shù)據(jù)信息孤島，難以共享，不易被檢索分析，安全維護(hù)性差，浪費(fèi)系統(tǒng)資源，運(yùn)維費(fèi)用高等諸多問(wèn)題。

智能生產(chǎn)控制和智能管理是智慧電廠建設(shè)的兩個(gè)工作重心，基于光磁電一體化智能存儲(chǔ)技術(shù)實(shí)現(xiàn)對(duì)電力生產(chǎn)系統(tǒng)與管理系統(tǒng)數(shù)據(jù)進(jìn)行長(zhǎng)期安全歸檔與備份，拓?fù)浣Y(jié)構(gòu)如圖5所示。

圖5：基于光磁電一體化智能存儲(chǔ)技術(shù)的數(shù)據(jù)歸檔與備份拓?fù)浣Y(jié)構(gòu)

同時(shí)，基于該光磁電一體化智能存儲(chǔ)技術(shù)的智慧電廠智能管理平臺(tái)(Intelligent Management System, IMS)技術(shù)架構(gòu)如圖6所示。

圖6：基于光磁電一體化智能存儲(chǔ)技術(shù)的智慧電廠IMS平臺(tái)技術(shù)架構(gòu)

該IMS平臺(tái)對(duì)實(shí)施工程現(xiàn)場(chǎng)與車間進(jìn)行實(shí)時(shí)監(jiān)控，提升了電廠在安全、運(yùn)行、經(jīng)營(yíng)、營(yíng)銷等方面的智能管控和智能決策水平，實(shí)現(xiàn)了主動(dòng)安全管控、設(shè)備故障預(yù)警、售電輔助決策，實(shí)現(xiàn)高效一體化管理，提升了市場(chǎng)的競(jìng)爭(zhēng)力和適應(yīng)性。如圖7所示。

圖7：IMS平臺(tái)部分成效——智慧燃料

隨著電力系統(tǒng)數(shù)據(jù)日益龐大，數(shù)據(jù)中心成為了電力系統(tǒng)信息化的核心。下一步將研究基于光磁電一體化智能存儲(chǔ)技術(shù)的電力行業(yè)綠色數(shù)據(jù)中心的建設(shè)。

5 結(jié)論

新技術(shù)、新應(yīng)用驅(qū)動(dòng)了以數(shù)據(jù)作為最重要的資源的新數(shù)據(jù)時(shí)代的到來(lái)，存儲(chǔ)作為新數(shù)據(jù)的載體，也變得更加重要。本文提出一種工業(yè)大數(shù)據(jù)光磁電一體化智能存儲(chǔ)技術(shù)，單張藍(lán)光光盤容量突破500GB，創(chuàng)世界單張光盤存儲(chǔ)容量記錄，在2020年單張藍(lán)光光盤容量將突破1T，該技術(shù)綜合了藍(lán)光存儲(chǔ)、磁盤存儲(chǔ)和固態(tài)盤存儲(chǔ)的優(yōu)點(diǎn)，可提供低成本、低能耗、高安全、高性能、高可靠、長(zhǎng)壽命的EB級(jí)高低頻冷溫?zé)釘?shù)據(jù)一體化智能存儲(chǔ)管理服務(wù)，提供全量數(shù)據(jù)分層存儲(chǔ)，滿足不同數(shù)據(jù)類型、不同生命周期、不同業(yè)務(wù)類型的全場(chǎng)景存儲(chǔ)需求，可實(shí)現(xiàn)對(duì)有價(jià)值的數(shù)據(jù)應(yīng)收盡收、應(yīng)存盡存，解決數(shù)據(jù)爆發(fā)增長(zhǎng)與數(shù)據(jù)有效存儲(chǔ)和利用之間的矛盾，解決了海量數(shù)據(jù)長(zhǎng)效存儲(chǔ)中存在的難題，降低了海量數(shù)據(jù)存儲(chǔ)能耗和成本，提高了數(shù)據(jù)存儲(chǔ)安全性和可靠性。該技術(shù)已經(jīng)在檔案和金融行業(yè)廣泛應(yīng)用，海量溫、冷數(shù)據(jù)長(zhǎng)期高效存儲(chǔ)技術(shù)2016年被工信部列入綠色數(shù)據(jù)中心先進(jìn)適用技術(shù)目錄（第一批），光磁電一體化大數(shù)據(jù)云儲(chǔ)存管理平臺(tái)2018年被工信部列入大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點(diǎn)示范項(xiàng)目名單，將該技術(shù)應(yīng)用于工業(yè)大數(shù)據(jù)將助力企業(yè)級(jí)和行業(yè)級(jí)綠色數(shù)據(jù)中心建設(shè)，實(shí)現(xiàn)工業(yè)大數(shù)據(jù)大范圍、深層次、高質(zhì)量集成匯聚，實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的融合和存儲(chǔ)。