陸衛(wèi)東

摘 要：隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和移動(dòng)互聯(lián)等信息技術(shù)的飛速發(fā)展，使云存儲(chǔ)管理成為了可能。移動(dòng)互聯(lián)網(wǎng)的興起將越來(lái)越多的實(shí)體、個(gè)人、設(shè)備聯(lián)系在了一起?；ヂ?lián)網(wǎng)已不僅僅是虛擬經(jīng)濟(jì)，它是主體經(jīng)濟(jì)中不可分割的一部分。經(jīng)濟(jì)社會(huì)的每一個(gè)細(xì)胞都需要與互聯(lián)網(wǎng)相連，互聯(lián)網(wǎng)與萬(wàn)物共生共存。這已經(jīng)成為時(shí)代發(fā)展的大趨勢(shì)。

關(guān)鍵詞：互聯(lián)網(wǎng)+；物聯(lián)網(wǎng)；云存儲(chǔ)；大數(shù)據(jù)

中圖分類號(hào)：G627；TP311.132 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2016.14.020

當(dāng)今社會(huì)，移動(dòng)互聯(lián)網(wǎng)正以前所未有的廣度和深度加速推動(dòng)經(jīng)濟(jì)的轉(zhuǎn)型升級(jí)，推動(dòng)社會(huì)的進(jìn)步和發(fā)展，它已經(jīng)成為了經(jīng)濟(jì)轉(zhuǎn)型的新動(dòng)力，人們工作、生活的新方式。隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、智慧城市等多領(lǐng)域技術(shù)與移動(dòng)互聯(lián)網(wǎng)的跨界融合，人與人之間的關(guān)系變得越來(lái)越親密，人們將進(jìn)入“互聯(lián)網(wǎng)+”的智慧生活新時(shí)代。

近幾年，隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)行業(yè)發(fā)生著日新月異的變化?；ヂ?lián)網(wǎng)由原本的WEB1.0時(shí)代過(guò)渡到了WEB2.0 時(shí)代，逐漸顯示出原創(chuàng)性、互動(dòng)性、聚合性3個(gè)特征。由此用戶與互聯(lián)網(wǎng)之間的交互方式發(fā)生了巨大的變化，用戶從內(nèi)容的被動(dòng)接收者成為了內(nèi)容的創(chuàng)造者?；ヂ?lián)網(wǎng)已經(jīng)成為了用戶彰顯個(gè)性的場(chǎng)所——越來(lái)越多的人在互聯(lián)網(wǎng)上創(chuàng)建了播客、博客和相冊(cè)等與個(gè)人相關(guān)的內(nèi)容。這些變化大大豐富了互聯(lián)網(wǎng)的內(nèi)容，大量個(gè)性圖片和文章的涌現(xiàn)為互聯(lián)網(wǎng)相關(guān)支撐平臺(tái)的建設(shè)提出了更高的要求。

由于互聯(lián)網(wǎng)數(shù)據(jù)主要依托于用戶，所以，用戶上傳的私人數(shù)據(jù)成為了互聯(lián)網(wǎng)行業(yè)的主要數(shù)據(jù)源?；ヂ?lián)網(wǎng)的主要數(shù)據(jù)包括圖片、視頻、文章等相關(guān)的數(shù)據(jù)信息。數(shù)目龐大的小文件——每天產(chǎn)生的上百萬(wàn)張圖片、FLASH、文章等大約幾十千字節(jié)的小文件將會(huì)給存儲(chǔ)系統(tǒng)帶來(lái)巨大的壓力。用現(xiàn)有存儲(chǔ)系統(tǒng)檢索上億數(shù)量文件的速度很難令人滿意，同時(shí)，由于單目錄下文件數(shù)量受限，文件管理也極為困難。隨著數(shù)據(jù)文件的不斷增加，快速定位檢索文件也成為了存儲(chǔ)系統(tǒng)的主要考量標(biāo)準(zhǔn)之一。

2015年，這種變革在教育上體現(xiàn)得最為明顯，慕課、K12在線教育（小學(xué)到高中的12年中小學(xué)在線教育）、在線外語(yǔ)培訓(xùn)、在線職業(yè)教育等細(xì)分領(lǐng)域規(guī)模迅速擴(kuò)大，“互聯(lián)網(wǎng)+”正以迅雷不及掩耳之勢(shì)推動(dòng)傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。在“互聯(lián)網(wǎng)+”的大時(shí)代下，產(chǎn)業(yè)結(jié)構(gòu)與發(fā)展將直接由大眾參與決定。隨著大眾自主性的提升，以消費(fèi)者為核心的“產(chǎn)業(yè)互聯(lián)網(wǎng)”將逐漸取代以企業(yè)為核心的“消費(fèi)互聯(lián)網(wǎng)”。這一變革將為存在諸多痛點(diǎn)的教育產(chǎn)業(yè)帶來(lái)巨大的機(jī)遇和挑戰(zhàn)。個(gè)性化和互動(dòng)化等創(chuàng)新模式的出現(xiàn)也為社會(huì)發(fā)展提供了無(wú)限的想象空間。

1 云系統(tǒng)

根據(jù)校園信息化的發(fā)展趨勢(shì)和未來(lái)走向，需要打破傳統(tǒng)觀念的束縛，引進(jìn)現(xiàn)代化“云系統(tǒng)”完成校園教學(xué)和學(xué)習(xí)——結(jié)合云計(jì)算、云存儲(chǔ)、平板電腦、個(gè)人電腦等相關(guān)產(chǎn)品和技術(shù)，形成方便教學(xué)和學(xué)習(xí)的整體數(shù)據(jù)存儲(chǔ)與分發(fā)方案，充分發(fā)揮教師協(xié)同教學(xué)的能力，并為校園內(nèi)其他應(yīng)用系統(tǒng)提供數(shù)據(jù)存儲(chǔ)資源。利用“云系統(tǒng)”可以將教師資料和學(xué)生資料通過(guò)個(gè)人存儲(chǔ)賬號(hào)存放在云存儲(chǔ)中，通過(guò)PC終端、移動(dòng)終端隨時(shí)、隨地獲取教學(xué)和學(xué)習(xí)資源，使教學(xué)與學(xué)習(xí)不再有地域的局限性，達(dá)到校園教學(xué)無(wú)處不在、隨時(shí)可獲取的效果。同時(shí)，云存儲(chǔ)系統(tǒng)也能支撐起校園科研、網(wǎng)站、數(shù)據(jù)、娛樂(lè)存儲(chǔ)等信息化內(nèi)容，實(shí)現(xiàn)校園海量數(shù)據(jù)的統(tǒng)一存儲(chǔ)和管理，從而提升網(wǎng)站的訪問(wèn)效率和教學(xué)與學(xué)習(xí)效率，完全實(shí)現(xiàn)校園信息化的構(gòu)想。云系統(tǒng)的構(gòu)成及其應(yīng)用情況如圖1所示。

目前，教育行業(yè)的應(yīng)用類型比較廣，包括了科研、音視頻教學(xué)、圖書館、網(wǎng)盤、網(wǎng)站數(shù)據(jù)等多種應(yīng)用類型?？蒲兄饕槍?duì)的是教學(xué)科研，偏向于高性能計(jì)算行業(yè)；音視頻教學(xué)主要是

存儲(chǔ)校園教學(xué)等視頻；圖書館主要存放海量的電子圖書；網(wǎng)盤主要是存放個(gè)人數(shù)據(jù)，比如教學(xué)課件、私人文檔和圖書等；網(wǎng)站數(shù)據(jù)主要包括校園內(nèi)的網(wǎng)站信息。在此過(guò)程中主要存在以下問(wèn)題：①小文件數(shù)量比較多。當(dāng)單目錄下文件數(shù)量過(guò)多時(shí)，如何存儲(chǔ)和快速檢索文件是急需解決的問(wèn)題。②數(shù)據(jù)量迅速增加。當(dāng)數(shù)據(jù)呈爆炸式增長(zhǎng)時(shí)，如果存儲(chǔ)系統(tǒng)沒(méi)有靈活的可擴(kuò)展性，存儲(chǔ)平臺(tái)的添加和管理將會(huì)變得異常困難。③高互動(dòng)性。負(fù)責(zé)流媒體文件的內(nèi)容交付式網(wǎng)絡(luò)需要提供文件快速交付，用戶絕不會(huì)容忍緩慢的視頻播放、暫停緩沖或網(wǎng)站中斷。研究表明，網(wǎng)絡(luò)用戶能夠承受等待信息檢索的時(shí)間是2 s。④Cache命中率低。用戶為了提高文件的訪問(wèn)效率，往往會(huì)在前端配置一個(gè)稍大容量的緩存。但是，由于小文件的數(shù)量極其龐大，應(yīng)用對(duì)這些文件訪問(wèn)的隨機(jī)性非常高，使得Cache的命中率極低，緩存失去了應(yīng)有的作用，導(dǎo)致應(yīng)用時(shí)需要直接到后端存儲(chǔ)系統(tǒng)上讀取數(shù)據(jù)，給存儲(chǔ)系統(tǒng)造成了極大的壓力。

1.1 存儲(chǔ)系統(tǒng)性能需求分析

基于存儲(chǔ)局域網(wǎng)技術(shù)，為了滿足各種應(yīng)用的數(shù)據(jù)庫(kù)數(shù)據(jù)備份需求，必須強(qiáng)化數(shù)據(jù)存儲(chǔ)核心，選擇集群存儲(chǔ)服務(wù)器和網(wǎng)絡(luò)架構(gòu)。其基本性能需求分析如下。

1.1.1 性能擴(kuò)展

在存儲(chǔ)系統(tǒng)中，處理器主要具備I/O處理、Cache控制管理、數(shù)據(jù)傳輸控制和一些智能化的軟件功能。其采用的存儲(chǔ)設(shè)備必須具有良好的性能擴(kuò)展性能，可以將單個(gè)任務(wù)分布式的存儲(chǔ)在多臺(tái)存儲(chǔ)服務(wù)器中，屏蔽掉單個(gè)硬盤或者服務(wù)器對(duì)外提供存儲(chǔ)服務(wù)而造成的數(shù)據(jù)讀寫瓶頸。

1.1.2 數(shù)據(jù)緩存機(jī)制

對(duì)于數(shù)據(jù)庫(kù)訪問(wèn)應(yīng)用，存儲(chǔ)系統(tǒng)需要擁有緩存機(jī)制，將所有經(jīng)常被訪問(wèn)的數(shù)據(jù)存儲(chǔ)在緩存池中，以方便用戶直接從緩存中調(diào)取經(jīng)常被訪問(wèn)的數(shù)據(jù)，且緩存池容量無(wú)需設(shè)置限制。

1.1.3 海量數(shù)據(jù)高效檢索效率

隨著DB業(yè)務(wù)的不斷發(fā)展，存儲(chǔ)系統(tǒng)需要支撐起數(shù)十萬(wàn)乃至數(shù)萬(wàn)IOPS的訪問(wèn)需求給備份系統(tǒng)，減少文件備份對(duì)比時(shí)間，提高存儲(chǔ)系統(tǒng)的備份效率。

1.2 存儲(chǔ)系統(tǒng)可靠性分析

備份存儲(chǔ)系統(tǒng)可靠性是整體系統(tǒng)可靠性工作中的重中之重。一旦在線存儲(chǔ)發(fā)生嚴(yán)重故障，備份存儲(chǔ)系統(tǒng)必須確保數(shù)據(jù)的完整性、可靠性和可用性，避免出現(xiàn)業(yè)務(wù)服務(wù)全面停滯和數(shù)據(jù)資源被損壞的情況。因此，備份存儲(chǔ)系統(tǒng)必須要有強(qiáng)有力的可靠性保障。如果采用傳統(tǒng)的RAID數(shù)據(jù)保護(hù)技術(shù)，只能從硬盤級(jí)別保護(hù)數(shù)據(jù)。隨著數(shù)據(jù)的增加，磁盤數(shù)量越來(lái)越多，容量越來(lái)越大，硬盤故障率也在不斷提高。在這種情況下，不僅數(shù)據(jù)的恢復(fù)時(shí)間長(zhǎng)，而且在恢復(fù)數(shù)據(jù)時(shí)，RAID機(jī)制的存儲(chǔ)系統(tǒng)幾乎處于不可用的狀態(tài)。由此可知，RAID技術(shù)已經(jīng)不能滿足實(shí)際應(yīng)用需求。從數(shù)據(jù)的安全性和應(yīng)用的連續(xù)性考慮，要求存儲(chǔ)系統(tǒng)在單機(jī)任意數(shù)量磁盤損壞、整機(jī)宕機(jī)、單網(wǎng)絡(luò)損壞、單控制器損壞的情況下，都能夠保證業(yè)務(wù)數(shù)據(jù)的安全性，即這些故障發(fā)生時(shí)，用戶可以繼續(xù)使用備份存儲(chǔ)系統(tǒng)。

數(shù)據(jù)中心內(nèi)部備份系統(tǒng)需要通過(guò)高速內(nèi)網(wǎng)來(lái)連接，在數(shù)據(jù)中心內(nèi)實(shí)現(xiàn)網(wǎng)絡(luò)快速互通，確保數(shù)據(jù)能快速實(shí)現(xiàn)容災(zāi)備份，使任意業(yè)務(wù)數(shù)據(jù)在整個(gè)系統(tǒng)中都有完整的冗余數(shù)據(jù)，確保數(shù)據(jù)的安全性和可靠性，并且確保在線存儲(chǔ)異常時(shí)備份數(shù)據(jù)無(wú)異常。

1.3 可維護(hù)性分析

備份存儲(chǔ)系統(tǒng)的基礎(chǔ)建設(shè)設(shè)施應(yīng)采用通用服務(wù)器硬件設(shè)備搭建，無(wú)需搭建專用硬件，可利用通用的X86架構(gòu)服務(wù)器搭建備份存儲(chǔ)系統(tǒng)，降低硬件成本，提升硬件更換的靈活度。在系統(tǒng)的可維護(hù)性上，備份存儲(chǔ)系統(tǒng)對(duì)設(shè)備的控制力度需要?jiǎng)澐值接脖P級(jí)別，方便運(yùn)維人員對(duì)系統(tǒng)進(jìn)行系統(tǒng)化維護(hù)。當(dāng)探測(cè)到有不穩(wěn)定硬盤出現(xiàn)時(shí)，可以按需自動(dòng)遷移任意硬盤中的數(shù)據(jù)到其他正在服務(wù)的正常磁盤中，采用掛載備份存儲(chǔ)系統(tǒng)中任意級(jí)別目錄的方式讓各方應(yīng)用形成數(shù)據(jù)隔離，并在擴(kuò)容后實(shí)現(xiàn)在線的遷移數(shù)據(jù)，直到各個(gè)存儲(chǔ)服務(wù)器中的數(shù)據(jù)均衡為止。同時(shí)，還可以根據(jù)現(xiàn)有服務(wù)器的運(yùn)行情況提出在線更換所有老舊設(shè)備的方案，以增強(qiáng)整套備份存儲(chǔ)系統(tǒng)的可維護(hù)性。在管理上，要有獨(dú)立的存儲(chǔ)管理軟件，管理軟件需要嵌入所有備份存儲(chǔ)系統(tǒng)的功能參數(shù)，以方便運(yùn)維人員管理，實(shí)現(xiàn)單點(diǎn)單人管理數(shù)拍字節(jié)的存儲(chǔ)空間，緩解企業(yè)運(yùn)維人員的壓力。

1.4 擴(kuò)展性分析

根據(jù)數(shù)據(jù)存儲(chǔ)的特點(diǎn)，需要實(shí)時(shí)、不間斷地寫入數(shù)據(jù)，而且對(duì)備份存儲(chǔ)系統(tǒng)的擴(kuò)展性有非常高的要求。在容量方面，可以根據(jù)應(yīng)用系統(tǒng)的需求進(jìn)行擴(kuò)容設(shè)置。擴(kuò)容時(shí)，對(duì)服務(wù)器數(shù)量和硬盤容量沒(méi)有任何限制。另外，該系統(tǒng)可以滿足任意數(shù)量的存儲(chǔ)服務(wù)器和任意容量的存儲(chǔ)硬盤性能方面的要求。在具體工作中，可以隨著存儲(chǔ)服務(wù)器數(shù)量的增加整體備份存儲(chǔ)系統(tǒng)的聚合帶寬，以一個(gè)近線性增長(zhǎng)的趨勢(shì)增加。在增加容量的同時(shí)，整體存儲(chǔ)服務(wù)器的性能也在不斷提高，并且擴(kuò)容方式簡(jiǎn)單、便捷，可以實(shí)現(xiàn)10 min/人擴(kuò)展數(shù)百太字節(jié)的存儲(chǔ)空間。

1.5 備份高效性

備份存儲(chǔ)系統(tǒng)需要高效備份業(yè)務(wù)數(shù)據(jù)，并快速完成，按需恢復(fù)所需數(shù)據(jù)，確保在線系統(tǒng)出現(xiàn)問(wèn)題時(shí)備份存儲(chǔ)系統(tǒng)可以快速恢復(fù)業(yè)務(wù)數(shù)據(jù)，甚至業(yè)務(wù)系統(tǒng)可以直接切換到備份系統(tǒng)上執(zhí)行相關(guān)任務(wù)，確保業(yè)務(wù)的連續(xù)性。

2 云存儲(chǔ)的解決之道

為了應(yīng)對(duì)多種復(fù)雜類型的應(yīng)用，包括高性能計(jì)算、音視頻存儲(chǔ)、海量小文件和網(wǎng)盤類存儲(chǔ)，存儲(chǔ)系統(tǒng)必須采用統(tǒng)一式的存儲(chǔ)架構(gòu)，在兼容多種應(yīng)用的同時(shí)提供不同應(yīng)用系統(tǒng)所需的效果。采用高性能，高安全性、穩(wěn)定性的集群存儲(chǔ)系統(tǒng)架構(gòu)，可以滿足對(duì)數(shù)據(jù)空間的需求和管理。其主要具備以下幾個(gè)特點(diǎn)：①可管理億級(jí)的海量文件，具有極高的文件檢索效率。存儲(chǔ)系統(tǒng)必須擁有高效率的多元數(shù)據(jù)服務(wù)器集群技術(shù)和高效的海量文件檢索技術(shù)，在存放上億文件的同時(shí)保持極高的文件檢索效率。這樣，在單個(gè)目錄下高效管理數(shù)萬(wàn)個(gè)文件的同時(shí)，仍然能夠提供每秒數(shù)萬(wàn)的文件檢索率。②系統(tǒng)在單一文件系統(tǒng)下可以擴(kuò)展到艾字節(jié)。在擴(kuò)展的過(guò)程中，可以保持高性能和高可靠性。單一的文件系統(tǒng)可以降低管理維護(hù)的復(fù)雜度，提高其使用效率。③存儲(chǔ)系統(tǒng)采用專有訪問(wèn)協(xié)議調(diào)取數(shù)據(jù)，可以根據(jù)互聯(lián)網(wǎng)訪問(wèn)數(shù)據(jù)的特點(diǎn)進(jìn)行數(shù)據(jù)的調(diào)取、優(yōu)化，在提供極高的訪問(wèn)速度的同時(shí)降低訪問(wèn)的延遲性，提高用戶的訪問(wèn)體驗(yàn)。④可以把經(jīng)常被訪問(wèn)的數(shù)據(jù)貯存在系統(tǒng)內(nèi)存中，讓用戶在內(nèi)存中直接調(diào)取熱點(diǎn)數(shù)據(jù)，減小熱點(diǎn)數(shù)據(jù)對(duì)系統(tǒng)造成的壓力。⑤提供網(wǎng)盤類應(yīng)用，在方便教師教學(xué)的同時(shí)可以隨時(shí)隨地訪問(wèn)相關(guān)數(shù)據(jù)，并且切合校園網(wǎng)盤使用模式有針對(duì)性地定制網(wǎng)盤系統(tǒng)，以滿足校園網(wǎng)盤的相關(guān)使用需求。⑥有效解決了千人以上同時(shí)視頻點(diǎn)播、網(wǎng)絡(luò)化考試的問(wèn)題。當(dāng)訪問(wèn)量比較高時(shí)，讀寫速度不得低于30 M。⑦使用私有云存儲(chǔ)系統(tǒng)為每位教師分配一個(gè)空間，教師可以在校園內(nèi)的家里、辦公室、教室和學(xué)生宿舍的電腦上用同一個(gè)賬號(hào)登錄，并且產(chǎn)生一個(gè)本地虛擬盤，無(wú)需下載原有數(shù)據(jù)，本地不留任何數(shù)據(jù)。這樣，在單位編輯過(guò)的文件保存到云盤后，回到家里或宿舍打開云盤里的文件，就能輕松完成沒(méi)做完的工作。⑧利用云盤可以安全備份重要文件。有了云盤，我們可以與移動(dòng)硬盤、U盤等移動(dòng)儲(chǔ)存設(shè)備說(shuō)再見(jiàn)，解決了教師機(jī)容易中病毒、數(shù)據(jù)丟失的問(wèn)題。⑨采用集群架構(gòu)，使用高效的數(shù)據(jù)讀寫技術(shù)，提供可擴(kuò)展的聚合帶寬，可動(dòng)態(tài)擴(kuò)容增長(zhǎng)性能，以提高整套信息基礎(chǔ)架構(gòu)的數(shù)據(jù)快速交付能力，減少硬件的投資風(fēng)險(xiǎn)。同時(shí)，還可以靈活地在線擴(kuò)展，滿足業(yè)務(wù)不斷發(fā)展而產(chǎn)生的數(shù)據(jù)存儲(chǔ)需求。⑩采用全局高可用技術(shù)消除硬件單點(diǎn)故障，不用擔(dān)心磁盤損壞和服務(wù)器宕機(jī)等問(wèn)題會(huì)導(dǎo)致數(shù)據(jù)丟失或者業(yè)務(wù)中斷。任何硬件故障都會(huì)由系統(tǒng)內(nèi)置的故障恢復(fù)流程自動(dòng)處理。這樣，能夠保證業(yè)務(wù)在極端惡劣的環(huán)境中有序進(jìn)行。

參考文獻(xiàn)

[1]阿爾文·托夫勒，海蒂·托夫勒.再造新文明[M].北京：中信出版社，2006.

[2]馬克·貝尼奧夫，卡萊爾·阿德勒.云攻略[M].北京：海天出版社，2010.

[3]邁爾·舍恩伯格，庫(kù)克耶.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革[M].杭州：浙江人民出版社，2013.

[4]張冬.大話存儲(chǔ)——存儲(chǔ)系統(tǒng)底層架構(gòu)原理極限剖析（終極版）[M].北京：清華大學(xué)出版社，2015.

〔編輯：白潔〕