張華
(鄭州幼兒師范高等??茖W(xué)校 河南省鄭州市 450000)
早在20世紀(jì)90年代開始網(wǎng)絡(luò)就成為了社會范圍內(nèi)的一種便捷信息媒介被人們所認(rèn)知,并且在當(dāng)時就已經(jīng)意識到了規(guī)模龐大計算資源的優(yōu)勢所在,其應(yīng)用前景也非常廣闊,開始著重地將研究工作放在大規(guī)模分布式計算資源方面。大數(shù)據(jù)、云計算作為近年來的領(lǐng)域熱點話題,大多數(shù)IT 企業(yè)、行業(yè)人士認(rèn)為這也是下一代計算機網(wǎng)絡(luò)應(yīng)用軟件技術(shù)的核心架構(gòu),在節(jié)約成本的同時不需要耗費大量的精力,現(xiàn)實意義顯著。
大數(shù)據(jù)的爆炸式增長讓網(wǎng)絡(luò)當(dāng)中積累了規(guī)模龐大的數(shù)據(jù)資源,能夠持續(xù)地收集互聯(lián)網(wǎng)內(nèi)產(chǎn)生的各類數(shù)據(jù)。且存儲技術(shù)的發(fā)展也讓大規(guī)模數(shù)據(jù)的存儲工作變得更加簡單而便捷,例如機器學(xué)習(xí)、信息檢索等數(shù)據(jù)處理技術(shù)的快速發(fā)展在最近幾年達(dá)到了非常高的水準(zhǔn),數(shù)據(jù)當(dāng)中的高層次挖掘過程變得容易,企業(yè)組織通過大數(shù)據(jù)當(dāng)中有價值的信息和知識分析,也可以獲得巨大的經(jīng)濟(jì)價值和商業(yè)價值。以傳統(tǒng)的數(shù)據(jù)分析目標(biāo)來看,通過對數(shù)據(jù)進(jìn)行分析后獲取領(lǐng)域內(nèi)部的知識生成決策支持系統(tǒng),可以隨著技術(shù)的發(fā)展和進(jìn)步逐漸地演變?yōu)閿?shù)據(jù)可視化。在商業(yè)智能概念正式提出后,數(shù)據(jù)科學(xué)和數(shù)據(jù)庫知識挖掘工作變得更加關(guān)鍵。因為數(shù)據(jù)的累積和數(shù)據(jù)規(guī)模的擴(kuò)大讓數(shù)據(jù)種類變得多樣化,且數(shù)據(jù)快速積累之后大數(shù)據(jù)服務(wù)讓傳統(tǒng)的分析工具無法滿足存儲和處理的需求。具體而言,數(shù)據(jù)規(guī)模龐大必然會對系統(tǒng)的計算能力和性能提出新的要求,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法有效滿足現(xiàn)階段的數(shù)據(jù)存儲和查詢需要。此外,數(shù)據(jù)價值會伴隨著時間的流逝而降低,傳統(tǒng)的數(shù)據(jù)挖掘方法在大數(shù)據(jù)分析過程當(dāng)中會面臨著效率較低、實時性缺陷等情況。在實際應(yīng)用模式下,大數(shù)據(jù)服務(wù)應(yīng)用模式和大數(shù)據(jù)服務(wù)關(guān)鍵技術(shù)可以對服務(wù)構(gòu)建過程進(jìn)行分解,從微觀角度基于云平臺的優(yōu)勢來給出關(guān)鍵技術(shù)問題的解決方案,包括數(shù)據(jù)處理、分析算法的設(shè)計和實現(xiàn)等。
例如在云環(huán)境下通用的大數(shù)據(jù)服務(wù)應(yīng)用模式可以從分層的角度來確定核心功能的關(guān)鍵技術(shù),例如數(shù)據(jù)資源手機、組合方案評估、服務(wù)任務(wù)規(guī)劃和分析算法設(shè)計等。我們通過具體的應(yīng)用場景和軟件服務(wù)模式就可以了解到數(shù)據(jù)應(yīng)用要求下的不同特征。例如對于股市數(shù)據(jù)的分析環(huán)節(jié)就涉及到兩個方面的內(nèi)容,一是分布在不同環(huán)境下的股市數(shù)據(jù)資源,這些數(shù)據(jù)內(nèi)容是對股市發(fā)展動態(tài)進(jìn)行預(yù)測的主要參考對象(例如門戶網(wǎng)站、經(jīng)濟(jì)網(wǎng)站的大數(shù)據(jù)資源和信息輿論數(shù)據(jù)都可以挖掘出比較有價值的信息用于預(yù)測)。同時,將這些數(shù)據(jù)進(jìn)行存儲后,就可以使用大數(shù)據(jù)處理工具或是算法來對這些數(shù)據(jù)內(nèi)容展開分析,精確定位其中有價值的部分。綜合來看諸如此類的數(shù)據(jù)都可以被作為數(shù)據(jù)分析服務(wù)的構(gòu)建流程內(nèi)容,然后使用不同類型的應(yīng)用模式對其中的關(guān)鍵技術(shù)要點進(jìn)行概括,包括股市和數(shù)據(jù)資源的收集、數(shù)據(jù)處理的任務(wù)規(guī)劃、云端服務(wù)的資源評估和資源選擇內(nèi)容等。在實際的應(yīng)用環(huán)節(jié),可以通過對云端豐富資源的分析和數(shù)據(jù)來優(yōu)化現(xiàn)有的資源服務(wù),并且高效化地構(gòu)建和部署數(shù)據(jù)資源等。特別是對于一些中小企業(yè)甚至是個人來說,大數(shù)據(jù)服務(wù)與基礎(chǔ)設(shè)施建設(shè)工作都非常重要,無論是企業(yè)、組織甚至是個人都需要通過云端資源和服務(wù)來正確地規(guī)劃工具和算法,對這些大數(shù)據(jù)進(jìn)行收集、處理和利用。值得一提的是云計算的的發(fā)展讓一大批數(shù)據(jù)處理技術(shù)與工具得到了廣泛應(yīng)用(如MapReduce 的Hadoop 開源技術(shù)),推動了服務(wù)與開發(fā)效率的顯著提高,可以為構(gòu)建高效的大數(shù)據(jù)服務(wù)和挖掘大數(shù)據(jù)中有價值的信息提供了技術(shù)參考與技術(shù)資源。
從基本的處理流程來看,我們可以提出一個大數(shù)據(jù)環(huán)境下通用的數(shù)據(jù)服務(wù)應(yīng)用方案,整體而言,應(yīng)用模式需要以服務(wù)構(gòu)建過程為應(yīng)用機制,融合數(shù)據(jù)資源的查找、任務(wù)規(guī)劃和分析算法的相關(guān)內(nèi)容等,這樣一來也能實現(xiàn)基于大數(shù)據(jù)服務(wù)應(yīng)用需求的任務(wù)規(guī)劃方案,將各個任務(wù)劃分為不同的子任務(wù)之后,再使用云端的存儲服務(wù)和計算服務(wù)來進(jìn)行資源的組合和需求分析。在這里提出的大數(shù)據(jù)計算機軟件應(yīng)用包括幾個不同的層次,即數(shù)據(jù)資源層、資源收集層、任務(wù)層、評估層和算法實現(xiàn)層,不同層次的核心功能存在著明顯差異。數(shù)據(jù)資源層指的是在云當(dāng)中的數(shù)據(jù)資源集合,可以通過各個數(shù)據(jù)來源獲取信息,也可以通過網(wǎng)絡(luò)當(dāng)中的不同用戶所提供。特別是大數(shù)據(jù)環(huán)境之下這些數(shù)據(jù)資源也可以根據(jù)云服務(wù)得到封裝。資源的查找層則是按照服務(wù)需求從數(shù)據(jù)資源層當(dāng)中查找定位并匹配服務(wù)相關(guān)的數(shù)據(jù)資源,整合而形成待處理的大數(shù)據(jù)資源作為服務(wù)輸入內(nèi)容。任務(wù)層則是根據(jù)應(yīng)用需求負(fù)責(zé)對大數(shù)據(jù)處理過程和任務(wù)規(guī)劃的模塊,復(fù)雜的數(shù)據(jù)處理計算任務(wù)可以被拆分至一組功能之內(nèi),劃分為一個個獨立的子任務(wù)。相比而言子任務(wù)的功能會更加單一,單個的云服務(wù)則可以滿足其對于計算資源、存儲方面的實際需求。子任務(wù)之間的協(xié)同工作模式下,借助評估層對任務(wù)層生成的人物進(jìn)行UI 規(guī)劃,對現(xiàn)有的組合方案內(nèi)容進(jìn)行準(zhǔn)確評估。大數(shù)據(jù)處理過程本身的計算環(huán)節(jié)比較復(fù)雜,如果某一個服務(wù)導(dǎo)致數(shù)據(jù)處理延遲或是失敗之后就會面臨著重新執(zhí)行數(shù)據(jù)處理任務(wù)的風(fēng)險以影響到用戶的體驗。
最后的算法實現(xiàn)層可以完成服務(wù)的整體部署和執(zhí)行過程。以當(dāng)前最常見與最有代表性的Hadoop 技術(shù)來說,并行計算框架可以給數(shù)據(jù)處理與分析提供了強大的技術(shù)支持,結(jié)合數(shù)據(jù)處理和分析的應(yīng)用需求之后來實現(xiàn)大數(shù)據(jù)的查詢與計算,獲取其中更加有價值的信息和知識。當(dāng)然我們收集網(wǎng)絡(luò)當(dāng)中分布在不同平臺和不同數(shù)據(jù)節(jié)點的資源之后,可以按照任務(wù)規(guī)劃模式將復(fù)雜的計算任務(wù)劃分至多個互相功能獨立的子任務(wù)當(dāng)中,保障數(shù)據(jù)處理過程的計算效率。實際的應(yīng)用環(huán)節(jié),也可以考慮將管理重心放在具體的算法實現(xiàn)和任務(wù)執(zhí)行層,以應(yīng)用開發(fā)的方式實現(xiàn)工作當(dāng)中的各項要求[1]。某些特殊情況下也可以通過數(shù)據(jù)服務(wù)相關(guān)的實際案例提出解決方案在應(yīng)用環(huán)節(jié)的可能性分析。
隨著云計算技術(shù)應(yīng)用的普及和推廣,針對可能存在的安全風(fēng)險,需要從人的角度進(jìn)行綜合考慮,以便于在處理某些關(guān)鍵的敏感信息時產(chǎn)生不同類型的數(shù)據(jù)泄露風(fēng)險。因此,云計算服務(wù)商需要能夠提供訪問層面的具體信息,例如操作日志內(nèi)容等。用戶的數(shù)據(jù)文件在云計算環(huán)境之下的存儲區(qū)域?qū)τ脩舳允俏粗獌?nèi)容,此時用戶應(yīng)該具備查詢數(shù)據(jù)的權(quán)利,涉及到數(shù)據(jù)區(qū)域、數(shù)據(jù)恢復(fù)、調(diào)查支持等多個方面的內(nèi)容??傮w而言云計算服務(wù)提供了一個相對較大的存儲資源池,并且池子當(dāng)中包含了所有用戶的信息和數(shù)據(jù)文件等。這些數(shù)據(jù)在大數(shù)據(jù)環(huán)境下本身是不可控的,云計算服務(wù)供應(yīng)商應(yīng)該自覺地接受審計和認(rèn)證,以便于在遵從規(guī)定的基礎(chǔ)上做好數(shù)據(jù)的精確化管理,避免數(shù)據(jù)冗余或是其它極端問題以引起用戶的損失。當(dāng)然,對于數(shù)據(jù)安全工作而言,任何用戶都需要長期且穩(wěn)定的數(shù)據(jù)管理服務(wù),在云計算服務(wù)商內(nèi)部產(chǎn)生的數(shù)據(jù)遷移也不可對用戶數(shù)據(jù)或信息的完整性產(chǎn)生嚴(yán)重影響。
從架構(gòu)角度分析,包含信息管理和數(shù)據(jù)安全相關(guān)的操作性問題會根據(jù)相關(guān)的法律法規(guī)作出要求,其中傳統(tǒng)安全與業(yè)務(wù)相關(guān)的各項云操作與云計算可能出現(xiàn)的安全風(fēng)險也應(yīng)包含在內(nèi)。安全系統(tǒng)和硬件虛擬化等問題也要得到控制,在遵循審計監(jiān)管規(guī)章制度和數(shù)據(jù)完整性的要求下落實好監(jiān)督管理方面的問題。盡管云計算存在一些比較復(fù)雜的安全問題,但與傳統(tǒng)的計算模型香港比,云計算的安全優(yōu)勢仍然體現(xiàn)得非常突出。其優(yōu)勢集中表現(xiàn)在高度集合管理方式,既能夠?qū)崿F(xiàn)對整個云計算系統(tǒng)的監(jiān)管和控制,同時也能將一些重要的數(shù)據(jù)全部存儲在云端,這樣一來無論是防護(hù)還是監(jiān)控工作都能落到實處。對于大多數(shù)用戶而言,他們只需要向云服務(wù)端提出操作請求,就能被提供很多高效化的信息或是開源應(yīng)用程序,在很大程度上避免了一些組織或個人利用惡意手段竊取信息的可能性[2]。
云計算下的安全防護(hù)模式并不像是傳統(tǒng)的計算模式一樣能夠進(jìn)行安全域劃分,但是可以基于環(huán)境要求采取多個層次和多個級別的安全域設(shè)計,且全局和局部策略之間的互操作模式也能夠?qū)崿F(xiàn)安全的信息、數(shù)據(jù)維護(hù)。在高效的服務(wù)和可靠的監(jiān)管模式之下不會受到嚴(yán)重的時間、空間限制。
從數(shù)據(jù)訪問的動態(tài)操作與訪問控制來看,云計算環(huán)境下大部分的數(shù)據(jù)文件進(jìn)行動態(tài)操作,包括數(shù)據(jù)插入、數(shù)據(jù)修改和數(shù)據(jù)刪除等。在訪問過程當(dāng)中將這些動態(tài)數(shù)據(jù)進(jìn)行操作之后,所有和數(shù)據(jù)文件相關(guān)的驗證信息全部由CDC 重新生成。
插入操作本身是數(shù)據(jù)文件當(dāng)中最為基本的動態(tài)操作內(nèi)容,比起后續(xù)的修改和刪除操作而言是一項更加復(fù)雜的動態(tài)操作。在方案控制環(huán)節(jié),可以將插入操作定義為數(shù)據(jù)文件之前的特定數(shù)據(jù)塊之后再插入一個新的數(shù)據(jù)塊,數(shù)據(jù)塊和之前的特定數(shù)據(jù)信息會被存儲在同一個服務(wù)器的節(jié)點當(dāng)中。CDC 計算出新數(shù)據(jù)塊的哈希值之后會需要插入的數(shù)據(jù)塊創(chuàng)建信息。
數(shù)據(jù)的修改操作則是應(yīng)用環(huán)節(jié)最為頻繁的動態(tài)操作類型,如果方案將基本的數(shù)據(jù)進(jìn)行修改之后,就可以使用心得數(shù)據(jù)塊對這些內(nèi)容進(jìn)行更換。按照方案要求,修改完畢之后的數(shù)據(jù)和修改之前的存儲節(jié)點保持相同,方案當(dāng)中對于數(shù)據(jù)的修改和操作并不會改變服務(wù)器的節(jié)點邏輯結(jié)構(gòu)。
對于數(shù)據(jù)的刪除操作而言,可以將數(shù)據(jù)文件特定數(shù)據(jù)塊之后的數(shù)據(jù)進(jìn)行刪除,然后將方案的具體操作步驟進(jìn)行綜合管理[3]。
資源規(guī)劃和地區(qū)間發(fā)展不平衡問題讓現(xiàn)階段的很多地區(qū)存在醫(yī)療服務(wù)問題,經(jīng)濟(jì)發(fā)達(dá)地區(qū)的患者數(shù)量龐大,但醫(yī)療資源也相對較多,一些分布廣泛的基層醫(yī)院在資源水平上比較欠缺?,F(xiàn)代醫(yī)療信息化進(jìn)程的不斷深入和推進(jìn)讓醫(yī)療軟件在醫(yī)療機構(gòu)當(dāng)中得到了廣泛應(yīng)用,且醫(yī)療領(lǐng)域產(chǎn)生的數(shù)據(jù)量呈現(xiàn)出快速增長的趨勢,與患者相關(guān)的信息都會被記錄下來(就診病歷、影像學(xué)信息、費用記錄等)。這些豐富的醫(yī)療大數(shù)據(jù)資源可以在不同的群體之間進(jìn)行醫(yī)療數(shù)據(jù)的共享,并且根據(jù)用戶需求構(gòu)建出新的數(shù)據(jù)服務(wù)。例如從診斷的要求來看,構(gòu)建大數(shù)據(jù)云環(huán)境下的醫(yī)療大數(shù)據(jù)服務(wù)實例可以提升對于疾病的診斷信息和服務(wù)應(yīng)用模式,將大數(shù)據(jù)處理任務(wù)分解成為不同的子任務(wù)后,就可以使用可信的組合評估方法來選擇出最佳的服務(wù)組合方案[4]。
在病例分析環(huán)節(jié),為了幫助患者使用疾病診斷服務(wù)來排查疾病內(nèi)容,可以根據(jù)歷史電子病例當(dāng)中的相似信息進(jìn)行疾病分析,作為排查和評估的主要依據(jù),確定所患疾病后再進(jìn)行掛號。此外,執(zhí)行大數(shù)據(jù)分析并參考數(shù)據(jù)分析的結(jié)果就可以得到相應(yīng)的服務(wù)與大數(shù)據(jù)處理流程,完成數(shù)據(jù)資源的收集、任務(wù)規(guī)劃、病例信息的篩選和整合等。
大數(shù)據(jù)環(huán)境的逐漸成熟讓傳統(tǒng)的計算機軟件技術(shù)成為了一種可擴(kuò)展的資源使用方式,為構(gòu)建大數(shù)據(jù)服務(wù)提供了強大的技術(shù)支撐。從成本和性能兩個方面綜合來看,實際應(yīng)用環(huán)節(jié)越來越多的企業(yè)和組織會將大數(shù)據(jù)處理相關(guān)的內(nèi)容遷移到云平臺或是網(wǎng)絡(luò)環(huán)境下進(jìn)行,因此未來的服務(wù)內(nèi)容將面臨著多個方面的挑戰(zhàn),所提出的方案在應(yīng)用環(huán)節(jié)的可行性分析也不可或缺。