胡瑩
摘要:云環(huán)境下,大數(shù)據(jù)技術(shù)的應(yīng)用有利于提供豐富的數(shù)據(jù)信息資源,滿足人們獲取信息資源需要。同時(shí),為促進(jìn)其作用有效發(fā)揮,應(yīng)該提高技術(shù)水平,確保大數(shù)據(jù)技術(shù)的安全與可靠,使其更好發(fā)揮作用。該文對(duì)云環(huán)境下的大數(shù)據(jù)關(guān)鍵技術(shù)進(jìn)行初步的探討和分析,并分析了大數(shù)據(jù)關(guān)鍵技術(shù)面臨的挑戰(zhàn),提出相應(yīng)的完善措施,希望能為實(shí)際工作開展提供啟示。
關(guān)鍵詞:云環(huán)境;大數(shù)據(jù);關(guān)鍵技術(shù);節(jié)能技術(shù);數(shù)據(jù)容錯(cuò)技術(shù)
當(dāng)今世界,計(jì)算機(jī)和信息技術(shù)迅猛發(fā)展。云計(jì)算和大數(shù)據(jù)逐漸滲透到人們的日常生活和學(xué)習(xí)當(dāng)中,為人們生活和工作提供便利。同時(shí),為促進(jìn)其作用有效發(fā)揮,應(yīng)該把握大數(shù)據(jù)的關(guān)鍵技術(shù),促進(jìn)技術(shù)水平提高,促進(jìn)其作用有效發(fā)揮,更好滿足人們生活和工作需要,讓云計(jì)算和大數(shù)據(jù)技術(shù)有效服務(wù)于人們的生活與工作。
1.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)的作用
技術(shù)需求是大數(shù)據(jù)關(guān)鍵技術(shù)開發(fā)和應(yīng)用首先需要明白的內(nèi)容,對(duì)后續(xù)技術(shù)開發(fā)和具體應(yīng)用發(fā)揮指導(dǎo)作用。具體是指對(duì)云環(huán)境下大數(shù)據(jù)技術(shù)在性能、功能、設(shè)計(jì)等方面的期望。需求分析的目的是闡述大數(shù)據(jù)技術(shù)的目的及意義,為大數(shù)據(jù)技術(shù)作用的發(fā)揮和有效應(yīng)用提供指導(dǎo)。
1.1為大數(shù)據(jù)技術(shù)的應(yīng)用創(chuàng)造條件
計(jì)算機(jī)和大數(shù)據(jù)技術(shù)在應(yīng)用中,不僅推動(dòng)信息技術(shù)的現(xiàn)代化,還能提升技術(shù)管理水平。尤其是在數(shù)據(jù)應(yīng)用和處理工作中,更需要開發(fā)相應(yīng)的技術(shù)系統(tǒng),把握大數(shù)據(jù)的關(guān)鍵技術(shù),順應(yīng)這種趨勢(shì),對(duì)大數(shù)據(jù)進(jìn)行有效處理,促進(jìn)工作水平提高。同時(shí)在技術(shù)開發(fā)和應(yīng)用過(guò)程中,還要考慮技術(shù)的可擴(kuò)展性以及與其他技術(shù)的兼容性,為技術(shù)升級(jí)和更新創(chuàng)造良好條件。大數(shù)據(jù)關(guān)鍵技術(shù)應(yīng)用中,應(yīng)該進(jìn)行綜合全面考慮,應(yīng)用信息技術(shù)和互聯(lián)網(wǎng)技術(shù),進(jìn)行技術(shù)管理、系統(tǒng)管理、用戶管理等各項(xiàng)功能操作,為大數(shù)據(jù)的有效利用,作用的充分發(fā)揮創(chuàng)造條件。
1.2促進(jìn)大數(shù)據(jù)技術(shù)管理水平提高和作用的有效發(fā)揮
總的來(lái)說(shuō),云環(huán)境下,大數(shù)據(jù)處理流程如圖1所示,其關(guān)鍵技術(shù)具備以下幾項(xiàng)功能:滿足技術(shù)更新和升級(jí)需要,注意技術(shù)研發(fā)和創(chuàng)新,大數(shù)據(jù)技術(shù)具備讓管理員與用戶互動(dòng)的功能,采用科學(xué)管理模式促進(jìn)技術(shù)管理效率提高,大數(shù)據(jù)技術(shù)滿足系統(tǒng)開發(fā),技術(shù)創(chuàng)新和發(fā)展的需要。在具備這些功能的前提下,合理進(jìn)行云環(huán)境下的信息系統(tǒng)設(shè)計(jì),促進(jìn)大數(shù)據(jù)技術(shù)管理水平提高,為大數(shù)據(jù)技術(shù)水平提升和作用的充分發(fā)揮創(chuàng)造便利。
2.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)的類型
云環(huán)境下,大數(shù)據(jù)技術(shù)的類型更加豐富,作用更為明顯,能有效滿足系統(tǒng)運(yùn)行需要,為人們生活和工作提供便利。具體來(lái)說(shuō),大數(shù)據(jù)關(guān)鍵技術(shù)包括以下幾種類型。
2.1JSP技術(shù)
大數(shù)據(jù)和云環(huán)境的具體應(yīng)用中,為保證數(shù)據(jù)安全可靠,應(yīng)該注重先進(jìn)技術(shù)的應(yīng)用,為人們使用計(jì)算機(jī)構(gòu)建先進(jìn)、安全、可靠的工作平臺(tái)。同時(shí)也方便信息資料查閱,滿足人們使用信息資源的需要。同時(shí),在云環(huán)境大數(shù)據(jù)支持下,能夠加快設(shè)備運(yùn)行速度,方便信息資料查詢,讓使用計(jì)算機(jī)的工作流程得到簡(jiǎn)化,有利于提升工作效率。云環(huán)境下,JSP技術(shù)的組件性能較高,技術(shù)難度低,方便信息資料的使用和維護(hù)。并且系統(tǒng)的獨(dú)立性強(qiáng)度,具有兼容性特征,能夠重復(fù)使用,操作起來(lái)簡(jiǎn)單方便,具有良好的兼容性,可以有效滿足大數(shù)據(jù)運(yùn)行需要,為各項(xiàng)活動(dòng)開展創(chuàng)造條件。具體工作中,JSP技術(shù)向客戶端發(fā)出請(qǐng)求,并在服務(wù)器支持下轉(zhuǎn)換和編譯,高效處理發(fā)出的請(qǐng)求,滿足人們使用的需要。
2.2Java Bean技術(shù)
JavaBean技術(shù)是一段Java小程序,利用Java語(yǔ)言編寫,結(jié)構(gòu)簡(jiǎn)單,使用方便,在系統(tǒng)運(yùn)行中發(fā)揮積極作用,它的主要構(gòu)成內(nèi)容包括屬性、事件、方法。每個(gè)JavaBean技術(shù)可以實(shí)現(xiàn)一個(gè)較為獨(dú)特的功能,通過(guò)對(duì)該技術(shù)的組合和應(yīng)用,可以生成新的應(yīng)用程序,為人們使用計(jì)算機(jī)創(chuàng)造條件。JavaBean還能實(shí)現(xiàn)一次性編寫,使用簡(jiǎn)單,操作方便,不受時(shí)間和地點(diǎn)束縛,為云環(huán)境下使用該技術(shù)提供便利。
2.3JDBC技術(shù)
具體是指Java數(shù)據(jù)庫(kù)連接技術(shù),主要構(gòu)成內(nèi)容包括接口和類,采用的是Java語(yǔ)言進(jìn)行編寫,可用于執(zhí)行SQL語(yǔ)句。具體的程序開發(fā)和應(yīng)用中,利用Java語(yǔ)言就可以完成數(shù)據(jù)庫(kù)應(yīng)用程序的編寫任務(wù)。大數(shù)據(jù)環(huán)境下,JDBC技術(shù)具有重要作用,可以建立與數(shù)據(jù)庫(kù)之間的密切聯(lián)系,方便數(shù)據(jù)庫(kù)信息傳遞和使用,并有效處理數(shù)據(jù)庫(kù)的返回結(jié)果。通過(guò)JDBC技術(shù)的應(yīng)用,能提高系統(tǒng)性能,確保工作平臺(tái)有效開展各項(xiàng)活動(dòng),節(jié)約技術(shù)運(yùn)行時(shí)間,提高設(shè)備綜合性能,讓數(shù)據(jù)庫(kù)有效發(fā)揮作用。
2.4SQL Server數(shù)據(jù)庫(kù)
SQL Server數(shù)據(jù)庫(kù)也是大數(shù)據(jù)環(huán)境下重要的技術(shù)類型,它不僅能存儲(chǔ)大量數(shù)據(jù),還方便數(shù)據(jù)資料查詢,滿足用戶使用信息資源需要,進(jìn)而提高數(shù)據(jù)處理效率,確保信息技術(shù)處理效果。具體來(lái)說(shuō),云環(huán)境下,SQL Server數(shù)據(jù)庫(kù)的綜合性能高,系統(tǒng)管理工作水平高,具備強(qiáng)大的數(shù)據(jù)信息處理能力,能夠保證數(shù)據(jù)安全,并具有強(qiáng)大的數(shù)據(jù)復(fù)制和管理功能。有利于提供良好的平臺(tái)開發(fā)條件,方便用戶操作,促進(jìn)數(shù)據(jù)處理水平提升。
2.5節(jié)能技術(shù)
云環(huán)境下,節(jié)能技術(shù)扮演著十分重要的角色。它包括硬件和軟件兩個(gè)組成部分,硬件部分通過(guò)節(jié)能體系與節(jié)能結(jié)構(gòu)來(lái)實(shí)現(xiàn),軟件部分通過(guò)節(jié)點(diǎn)動(dòng)態(tài)運(yùn)作方式來(lái)實(shí)現(xiàn)。通過(guò)該技術(shù)的應(yīng)用,能有效降低云環(huán)境的能耗。
2.6數(shù)據(jù)容錯(cuò)技術(shù)
該技術(shù)的應(yīng)用能提高大數(shù)據(jù)信息的可靠性,利用多樣數(shù)據(jù)丟失后可以方便找回的特征,進(jìn)而對(duì)數(shù)據(jù)進(jìn)行處理。但該技術(shù)可能加大系統(tǒng)能耗,需要利用復(fù)制容錯(cuò)技術(shù)和糾刪碼容錯(cuò)技術(shù)(如圖2所示)恢復(fù)和改進(jìn)。
2.7云存儲(chǔ)技術(shù)
云存儲(chǔ)技術(shù)也是非常關(guān)鍵的內(nèi)容,主要包括存儲(chǔ)虛擬化技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、分布式存儲(chǔ)技術(shù)、數(shù)據(jù)備份技術(shù)、存儲(chǔ)加密技術(shù)等。
3.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)的保障措施
云環(huán)境下,為確保大數(shù)據(jù)關(guān)鍵技術(shù)作用的有效發(fā)揮,應(yīng)該提供相應(yīng)的保障措施,創(chuàng)造良好的硬件和系統(tǒng)運(yùn)行環(huán)境,并加強(qiáng)大數(shù)據(jù)的安全管理工作。
3.1合理配置硬件運(yùn)行環(huán)境
包括服務(wù)器和PC客戶端,服務(wù)器由文件、數(shù)據(jù)、應(yīng)用程序服務(wù)器組成。最好采用3T以上硬盤,4G內(nèi)存,Core雙核四線程以上處理器,選用DELL、HPJBM任意一款服務(wù)器即可,采用四核CPU、32G內(nèi)存、500G硬盤,可以同時(shí)支持幾百臺(tái)PC機(jī)訪問(wèn)。PC客戶端最低標(biāo)準(zhǔn)為Intel Celeron處理系統(tǒng)、512M內(nèi)存、160G硬盤。通過(guò)保證硬件環(huán)境,滿足云環(huán)境和大數(shù)據(jù)運(yùn)行需要,為促進(jìn)大數(shù)據(jù)技術(shù)作用的有效發(fā)揮奠定基礎(chǔ)。
3.2確保系統(tǒng)運(yùn)行環(huán)境良好
大數(shù)據(jù)運(yùn)行環(huán)境方面,系統(tǒng)在Windows平臺(tái)上運(yùn)行,只需Windows Server2000~2003以上的操作系統(tǒng)即可,客戶端在Win—dows XP上運(yùn)行。并對(duì)開發(fā)工具進(jìn)行有效利用與整合,既滿足大數(shù)據(jù)運(yùn)行需要,還能提高運(yùn)行效率,方便大數(shù)據(jù)系統(tǒng)以后的更新和升級(jí),也便利系統(tǒng)功能的拓展與完善。在大數(shù)據(jù)運(yùn)行環(huán)境方面,選用SQL Server2000,同時(shí)還合理應(yīng)用Aeeess,Oracle,Sybose,SQL Server等,以滿足系統(tǒng)開發(fā)需要,完善數(shù)系統(tǒng)功能,提高大數(shù)據(jù)工作效率。一般而言,系統(tǒng)運(yùn)行和開發(fā)環(huán)境為:Windows 2003 Advanced Server/XP+Tomcat 6.x,主要工具為Drearnweaver&O,MyEclipe&5,同時(shí)還根據(jù)系統(tǒng)設(shè)計(jì)需要合理采用Tomcat6.0,SOL Server 2000,Windows XP操作系統(tǒng)。這樣既滿足大數(shù)據(jù)運(yùn)行需要,還能完善系統(tǒng)設(shè)置,也為大數(shù)據(jù)更新和升級(jí)、功能進(jìn)一步完善創(chuàng)造條件。
3.3采取相應(yīng)的安全保障措施
一方面,為保障大數(shù)據(jù)的安全,與Internet連接設(shè)置防護(hù)墻技術(shù),進(jìn)行用戶權(quán)限設(shè)置,設(shè)置安全密碼,安裝防病毒軟件,去掉測(cè)試賬號(hào)和共享賬號(hào)。另一方面,為保障大數(shù)據(jù)的安全,嚴(yán)格限制管理權(quán)限和用戶訪問(wèn)權(quán)限,使用安全的密碼,設(shè)置強(qiáng)度高的密碼,重視記錄數(shù)據(jù)庫(kù)日志的審核與管理。另外為保證權(quán)限級(jí)別安全,系統(tǒng)還給不同用戶分配不同訪問(wèn)權(quán)限,禁止未注冊(cè)用戶訪問(wèn),對(duì)用戶名和密碼進(jìn)行校驗(yàn)和審核,防止非法訪問(wèn),確保數(shù)據(jù)信息安全。建立并落實(shí)安全管理制度,加強(qiáng)云環(huán)境和大數(shù)據(jù)運(yùn)行的管理,杜絕不法分子篡改數(shù)據(jù),實(shí)現(xiàn)有效保障大數(shù)據(jù)安全的目的。
4.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)面臨的挑戰(zhàn)及展望
由于管理措施不健全,一些工作人員的技術(shù)水平偏低,制約大數(shù)據(jù)關(guān)鍵技術(shù)作用的發(fā)揮,需要采取完善措施。
4.1面臨的挑戰(zhàn)
例如,網(wǎng)絡(luò)發(fā)展滯后,加大數(shù)據(jù)處理難度?;蛘邤?shù)據(jù)丟失,可能導(dǎo)致數(shù)據(jù)的真實(shí)性不足。此外,個(gè)性信息安全泄露也是需要解決的問(wèn)題。
4.2展望
在數(shù)據(jù)存儲(chǔ)位置對(duì)數(shù)據(jù)進(jìn)行處理,做好數(shù)據(jù)評(píng)估和分析工作,從大量數(shù)據(jù)中精確定位,進(jìn)而收集高質(zhì)量的數(shù)據(jù)進(jìn)行處理。注重?cái)?shù)據(jù)資料收集,確保數(shù)據(jù)樣本全面和真實(shí),提高數(shù)據(jù)處理結(jié)果的可靠性。注重防護(hù)墻技術(shù)、密鑰技術(shù)的應(yīng)用,有效保障數(shù)據(jù)安全,避免個(gè)人信息泄露。
5.結(jié)束語(yǔ)
總之,云環(huán)境下,為促進(jìn)大數(shù)據(jù)關(guān)鍵技術(shù)作用的有效發(fā)揮,應(yīng)該結(jié)合具體需要,合理選擇相應(yīng)的技術(shù)措施,完善系統(tǒng)功能,并加強(qiáng)安全管理。作為工作人員,也要重視大數(shù)據(jù)關(guān)鍵技術(shù)的創(chuàng)新,善于總結(jié)經(jīng)驗(yàn),提高系統(tǒng)技術(shù)水平,促進(jìn)大數(shù)據(jù)作用的有效發(fā)揮。