黃瑞國

摘要：隨著我國社會經(jīng)濟(jì)與技術(shù)的發(fā)展與進(jìn)步，我國以全面進(jìn)入網(wǎng)絡(luò)信息化時代，計算機(jī)技術(shù)也在不斷地創(chuàng)新與改革，為人們的日常生活便利帶來了很大的作用。在這個信息化的新時代中，人們每天所接觸的信息量數(shù)以萬計。能夠取得有效的信息，不僅可以節(jié)約時間，還能滿足各種不同的需求。大數(shù)據(jù)技術(shù)及大數(shù)據(jù)測試技術(shù)正是現(xiàn)在社會發(fā)展的需求，在此基礎(chǔ)上，該文就著重分析了大數(shù)據(jù)測試技術(shù)的特點(diǎn)及難點(diǎn)，并且研究了其發(fā)展前景。

關(guān)鍵詞：大數(shù)據(jù)；測試技術(shù)；發(fā)展前景

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）27-0001-02

在互聯(lián)網(wǎng)、云計算等一些網(wǎng)絡(luò)技術(shù)的推動下，其數(shù)據(jù)也越發(fā)膨脹，規(guī)模也呈現(xiàn)幾倍上升趨勢，目前我們已正式跨入大數(shù)據(jù)時代，開發(fā)其中所蘊(yùn)含的信息及“寶藏”是我國乃至國外研究人員的目標(biāo)。如今社會的發(fā)展需要大數(shù)據(jù)技術(shù)，因?yàn)槠鋽?shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、種類繁多，人們可以從其中獲取更多具有價值性的信息。

1 淺析大數(shù)據(jù)

1.1 大數(shù)據(jù)的概念

由于云時代的到來，大數(shù)據(jù)技術(shù)也吸引了國內(nèi)外研究人員的注意力。顧名思義，大數(shù)據(jù)就是由大量結(jié)構(gòu)化的數(shù)據(jù)構(gòu)成的大型數(shù)據(jù)倉庫，是一種觀察世界的全新手段和方法，利用其思維與處理技術(shù)構(gòu)成一個數(shù)據(jù)庫，從而創(chuàng)建一個透明化的世界關(guān)系結(jié)構(gòu)。從互聯(lián)網(wǎng)發(fā)展至今，大數(shù)據(jù)是這個過程的一個象征性技術(shù)，在云技術(shù)不斷地創(chuàng)新及改革上，這些難以收集也不好運(yùn)用的數(shù)據(jù)被研究人員科學(xué)合理地進(jìn)行利用，隨著我國各行各業(yè)的不斷發(fā)展，大數(shù)據(jù)也會在此過程中為其提供一系列有利的價值。[1]

1.2 大數(shù)據(jù)的特征

大數(shù)據(jù)運(yùn)用現(xiàn)在的軟件技術(shù)是很難收集及存儲、分析共享的，國內(nèi)外研究人員用了四個V概括了大數(shù)據(jù)的基本特征。

1.2.1 （Volume）數(shù)據(jù)體量大。

在此技術(shù)的發(fā)展過程中，已經(jīng)由原先的TB級別躍升為目前的PB級別，其數(shù)據(jù)量最高可達(dá)200PB。目前我國普通的計算機(jī)容量是TB量級，一些大型企業(yè)是EB量級。

1.2.2 （Variety）數(shù)據(jù)類型多

大數(shù)據(jù)技術(shù)具有多樣式的特征，所以主要有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)兩種形式。非結(jié)構(gòu)數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)相對比，后者是以文本為主，前者的種類則眾多，主要有網(wǎng)絡(luò)中的日志、視頻、音頻、圖片等，這對數(shù)據(jù)的處理能力也有較高要求。

1.2.3 （Velocity）處理速度快

處理速度快是大數(shù)據(jù)技術(shù)與傳統(tǒng)數(shù)據(jù)技術(shù)最明顯的特征，具國內(nèi)外研究學(xué)者分析，在2020年，全球數(shù)據(jù)的使用量可能會達(dá)到35.2ZB之多。在這么多數(shù)據(jù)的面前，大數(shù)據(jù)就充分地發(fā)揮了其自身特性，為企業(yè)的可持續(xù)發(fā)展起到重要作用。

1.2.4 （Value）價值密度低

在大數(shù)據(jù)中，其價值密度是與數(shù)據(jù)量成反比的。對于使用現(xiàn)金的計算機(jī)算法準(zhǔn)確地對數(shù)據(jù)中的價值進(jìn)行有效提純，是目前國內(nèi)外研究大數(shù)據(jù)技術(shù)的一個難點(diǎn)也要點(diǎn)。

在如今這個發(fā)展迅速的時代，大數(shù)據(jù)技術(shù)已經(jīng)成為了網(wǎng)絡(luò)技術(shù)可持續(xù)發(fā)展的趨勢和要點(diǎn)，在我國各行各業(yè)包括研究界都有廣泛應(yīng)用。大數(shù)據(jù)技術(shù)具有高性能、高效率及方便管理等優(yōu)點(diǎn)，其本身的結(jié)構(gòu)和系統(tǒng)設(shè)計的也較為復(fù)雜，所以對大數(shù)據(jù)測試技術(shù)的研究還是比較薄弱的。[2]

2 淺析大數(shù)據(jù)技術(shù)的特點(diǎn)

2.1 大數(shù)據(jù)基礎(chǔ)上發(fā)明的軟件被廣泛應(yīng)用

近幾年隨著大數(shù)據(jù)技術(shù)在我國各行各業(yè)都被廣泛應(yīng)用，使其走向信息化和科技化。其中在大數(shù)據(jù)技術(shù)基礎(chǔ)上發(fā)明的Hadoop分布式處理軟件、Hbase數(shù)據(jù)庫及一些可視化軟件都對我國行業(yè)的發(fā)展有著重要的意義。

2.2 大數(shù)據(jù)的智能處理技術(shù)

大數(shù)據(jù)技術(shù)是從海量的數(shù)據(jù)中獲取有效的數(shù)據(jù)并且進(jìn)行智能處理分析，人們可以從中發(fā)現(xiàn)對自己有用的信息、知識及創(chuàng)造無窮的智慧，對今后我國社會的發(fā)展有重要的作用。在此前提下，就必須在大數(shù)據(jù)中引進(jìn)智能處理技術(shù)，將大數(shù)據(jù)的分析、管理等技術(shù)與人工智能相融合，目前我國機(jī)器的數(shù)據(jù)自動分析、語言理解及自動識別等一些智能技術(shù)已經(jīng)和大數(shù)據(jù)技術(shù)工作的流程完美融合。[3]

2.3 非結(jié)構(gòu)化數(shù)據(jù)處理正在迅速發(fā)展

上文說到非結(jié)構(gòu)化數(shù)據(jù)處理與傳統(tǒng)的處理技術(shù)不同，其是以圖片、視頻及音頻等數(shù)據(jù)展現(xiàn)的，隨著云技術(shù)時代的到來，此類信息也越來越多。所以我國目前對非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)越來越有需求，非結(jié)構(gòu)化數(shù)據(jù)技術(shù)中的采集技術(shù)等也正在不斷地創(chuàng)新及發(fā)展。

2.4 分布式處理架構(gòu)

上文說到大數(shù)據(jù)技術(shù)有多種處理技術(shù)，其處理方法也是隨著社會的進(jìn)步而不斷創(chuàng)新的，傳統(tǒng)的處理方式已經(jīng)無法滿足現(xiàn)如今社會人們的需求。在人們對此不斷創(chuàng)新及摸索的過程中，在大數(shù)據(jù)技術(shù)中發(fā)現(xiàn)了分布式處理架構(gòu)，此時它也成了其的主要處理數(shù)據(jù)方式，這是時代在發(fā)展與進(jìn)步的表現(xiàn)。在分布式處理架構(gòu)中，分布式文件系統(tǒng)、處理數(shù)據(jù)庫及編程環(huán)境等一系列的技術(shù)在今天都被人們廣泛應(yīng)用與各行各業(yè)中。[4]

3 大數(shù)據(jù)測試技術(shù)

3.1 大數(shù)據(jù)測試流程

大數(shù)據(jù)測試的主要流程如圖1。

大數(shù)據(jù)的分析處理流程主要可分為5個階段：

1）采集。大數(shù)據(jù)在分析處理中的采集是運(yùn)用其中的數(shù)據(jù)庫來進(jìn)行接收來自客戶端的數(shù)據(jù)，比如Web客戶端、App客戶端等等，并且客戶端用戶可以通過大數(shù)據(jù)中的這些數(shù)據(jù)庫對信息進(jìn)行收集、查詢、處理等工作。[5]比如傳統(tǒng)的MySQL數(shù)據(jù)庫及Oracle數(shù)據(jù)庫是用來保存一些日常數(shù)據(jù)的，除了這些數(shù)據(jù)庫，Redis等一些NoSQL數(shù)據(jù)庫也可采集數(shù)據(jù)。大數(shù)據(jù)分析處理中采集的特點(diǎn)就是在并發(fā)數(shù)高。

2）導(dǎo)入、預(yù)處理。大數(shù)據(jù)處理過程中采集時擁有很多數(shù)據(jù)庫，對于這么龐大的數(shù)據(jù)進(jìn)行科學(xué)分析遠(yuǎn)遠(yuǎn)是不夠的，還是要將這些數(shù)據(jù)導(dǎo)入到一個大型的集中數(shù)據(jù)庫，在此之前將其進(jìn)行簡單的預(yù)處理。其中Sqoop和Flunm等一些工具就可以將這些數(shù)據(jù)進(jìn)行互相操作。其中導(dǎo)入和預(yù)處理的特點(diǎn)就是導(dǎo)入量大，每秒可導(dǎo)入百兆或者千兆。

3）統(tǒng)計分析數(shù)據(jù)。將大量的數(shù)據(jù)導(dǎo)入到一個大型的集中數(shù)據(jù)庫中，通過使用分布式技術(shù)來對其中的數(shù)據(jù)進(jìn)行分析、匯總等。統(tǒng)計分析數(shù)據(jù)的特點(diǎn)就是導(dǎo)入量大，其查詢數(shù)據(jù)量也大，請求較多。Hadoop此產(chǎn)品是使用最多的。

4）數(shù)據(jù)挖掘。與前面三個階段不同的是，數(shù)據(jù)挖掘并沒有預(yù)先設(shè)定其主題，而是在現(xiàn)有的數(shù)據(jù)中進(jìn)行各種計算，以達(dá)到預(yù)算的效果，從而達(dá)到復(fù)雜數(shù)據(jù)分析的要求。比較有名的算法主要有K-means（聚類）、SVM（統(tǒng)計學(xué)習(xí)）及naive Bayes（分類），工具主要有Mahout。[6]數(shù)據(jù)挖掘的過程中的特點(diǎn)是看數(shù)據(jù)中文件的格式是否都達(dá)到要求。

5）數(shù)據(jù)分析。當(dāng)大數(shù)據(jù)測試分析過程結(jié)束之后，產(chǎn)生的數(shù)據(jù)會被自動的移至其倉庫中或者系統(tǒng)中。然后對其中的數(shù)據(jù)進(jìn)行分析，這就是大數(shù)據(jù)處理技術(shù)所要解決的問題。數(shù)據(jù)分析過程的特點(diǎn)是要在具體的數(shù)據(jù)下才能使業(yè)務(wù)更加流暢，并且能夠有效的分析其數(shù)據(jù)，從而得出科學(xué)有效的策略。

4 大數(shù)據(jù)測試技術(shù)未來發(fā)展前景的分析

對于我國社會技術(shù)的發(fā)展現(xiàn)狀來看，大數(shù)據(jù)技術(shù)在未來的發(fā)展前景也是非?？捎^的，大數(shù)據(jù)技術(shù)在我國各行各業(yè)中都得到了廣泛的應(yīng)用。目前我國大數(shù)據(jù)技術(shù)公司有三種：技術(shù)類、創(chuàng)新類、數(shù)據(jù)類，但是不斷是那種數(shù)據(jù)公司，對于我國社會發(fā)展都是不可缺少的。其中技術(shù)類大數(shù)據(jù)公司被我們所熟知的主要是一些IT公司，他們注重的是數(shù)據(jù)的處理；創(chuàng)新類大數(shù)據(jù)公司注重的是富有想象力的員工，能夠面對相同數(shù)據(jù)擁有自己獨(dú)特的簡介，并且能夠有所創(chuàng)新；數(shù)據(jù)類大數(shù)據(jù)公司是與我們?nèi)祟惾粘Ｉ钕嚓P(guān)的，比如一些客戶端（新浪、百度、淘寶等），或者一些大型的連鎖企業(yè)、金融企業(yè)等，這些企業(yè)都有大量的數(shù)據(jù)，不過其中有價值的信息也比較容易被忽略。[7]不管是哪類數(shù)據(jù)公司，大數(shù)據(jù)技術(shù)會在今后社會發(fā)展中越來越好。

1）在云計算基礎(chǔ)上的數(shù)據(jù)分析測試平臺將會更加完善

在社會飛速發(fā)展的這幾年，其中云計算技術(shù)發(fā)展也甚是迅速，在此基礎(chǔ)上其的應(yīng)用范圍也越來越大，這也包括大數(shù)據(jù)技術(shù)在云計算技術(shù)中的應(yīng)用。云技術(shù)的發(fā)展也為大數(shù)據(jù)技術(shù)的發(fā)展提供了一個較好地處理平臺和技術(shù)，還為其提供了全新的計算方式、更大的存儲空間及資源等等。另外，創(chuàng)新后的云計算技術(shù)也具備相對豐富的IT資源，這也為大數(shù)據(jù)技術(shù)的發(fā)展提供了良好的資源，在兩者都不斷創(chuàng)新的基礎(chǔ)上，大數(shù)據(jù)技術(shù)平臺也會日益成熟，其處理水平也會得到明顯的提升。

2）大數(shù)據(jù)技術(shù)中的數(shù)據(jù)分析將會進(jìn)一步發(fā)展

在大數(shù)據(jù)技術(shù)分析處理中，數(shù)據(jù)分析有著重要的地位，隨著社會的發(fā)展，其也將會逐漸成為大數(shù)據(jù)技術(shù)中的核心技術(shù)。大數(shù)據(jù)技術(shù)主要是對大量數(shù)據(jù)進(jìn)行智能處理，從其中獲取有效的信息，要想在今后的發(fā)展中實(shí)現(xiàn)此功能，就要對數(shù)據(jù)進(jìn)行分析處理。此過程則是數(shù)據(jù)分析的基礎(chǔ)，所以數(shù)據(jù)分析在今后的創(chuàng)新發(fā)展中會得到進(jìn)一步的發(fā)展，其大數(shù)據(jù)測試技術(shù)也會得到創(chuàng)新及發(fā)展。[8]

5 結(jié)束語

總而言之，隨著我國社會經(jīng)濟(jì)及技術(shù)的不斷發(fā)展與創(chuàng)新，信息化時代也將到來，大數(shù)據(jù)技術(shù)也稱為了我國人民在日常生活中不可缺少的一部分，在我國各行各業(yè)的發(fā)展中都有著重要的作用。在互聯(lián)網(wǎng)技術(shù)和云計算技術(shù)發(fā)展的促進(jìn)中，大數(shù)據(jù)技術(shù)在未來的發(fā)展也將更加智能、先進(jìn)，也將會涉及我國更多的行業(yè)領(lǐng)域，為我國人民生活中創(chuàng)造出更大的便利，為我國科技的創(chuàng)新及發(fā)展提供新的技術(shù)。

參考文獻(xiàn)：

[1] 李鵬飛， 盧瑾， 辛一. 基于專利的大數(shù)據(jù)技術(shù)發(fā)展情報分析及戰(zhàn)略研究[J]. 情報雜志， 2014（9）： 45-50.

[2] 王驍. 基于Hadoop大數(shù)據(jù)平臺資源及用戶行為檢測技術(shù)的研究[D]. 北京： 北京交通大學(xué)， 2015.

[3] 李紀(jì)舟， 葉小新， 丁云峰， 等. 大數(shù)據(jù)關(guān)鍵技術(shù)、主要特點(diǎn)及發(fā)展趨勢[J]. 電信技術(shù)研究， 2013（3）： 58-64.

[4] 代亮， 陳婷， 許宏科， 等. 大數(shù)據(jù)測試技術(shù)研究[J]. 計算機(jī)應(yīng)用研究， 2014， 31（6）： 1606-1611.

[5] 吳韶鴻. 大數(shù)據(jù)開源技術(shù)發(fā)展研究[J]. 現(xiàn)代電信科技， 2014（8）： 17-22.

[6] 郭麗娟. 大數(shù)據(jù)的特點(diǎn)及未來發(fā)展趨勢[J]. 信息通信， 2014（10）： 195-195.

[7] 趙濤. 基于云計算的軟件測試技術(shù)探索與研究[D]. 西安： 西安電子科技大學(xué)， 2014.

[8] 梁志國. 大數(shù)據(jù)時代計量校準(zhǔn)理論與技術(shù)的發(fā)展展望[J]. 計測技術(shù)， 2015， 35（6）： 6-9.