文| 吳珊珊
大數(shù)據(jù)網(wǎng)絡(luò)信息基礎(chǔ)技術(shù)是國家階段性重要基礎(chǔ)技術(shù)成果之一。目前我國大數(shù)據(jù)產(chǎn)業(yè)信息采集技術(shù)已經(jīng)廣泛應(yīng)用于各種類型的企業(yè)中。鑒于此,以數(shù)據(jù)為研究對(duì)象、專業(yè)性強(qiáng)、嚴(yán)謹(jǐn)性強(qiáng)的統(tǒng)計(jì)應(yīng)積極面對(duì)大數(shù)據(jù)的趨勢,促進(jìn)其快速發(fā)展。
大數(shù)據(jù)是一個(gè)完整的概念。它的“大”不是指數(shù)量,而是指“整體”,從現(xiàn)代統(tǒng)計(jì)學(xué)的發(fā)展角度看,大數(shù)據(jù)統(tǒng)計(jì)學(xué)是以統(tǒng)計(jì)學(xué)原理作為基礎(chǔ),借助現(xiàn)代的信息數(shù)據(jù)處理技術(shù),記錄和分析各種類型的統(tǒng)計(jì)數(shù)據(jù)。
新統(tǒng)計(jì)理論的發(fā)展和誕生,需要在改變傳統(tǒng)統(tǒng)計(jì)理論思維的基礎(chǔ)上進(jìn)行,所謂改變傳統(tǒng)的統(tǒng)計(jì)思維是指通過數(shù)據(jù)分析,研究和理解事物的發(fā)展與生存、聯(lián)系和發(fā)展規(guī)律,而大數(shù)據(jù)只是給數(shù)據(jù)分析過程增加了難度。因此,新的統(tǒng)計(jì)思維應(yīng)從數(shù)據(jù)理解、數(shù)據(jù)采集和數(shù)據(jù)分析三個(gè)方面進(jìn)行變革。(1)理解數(shù)據(jù)的思維變化。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)在數(shù)據(jù)源、數(shù)據(jù)類型、數(shù)據(jù)量化方法等方面都有不同:從數(shù)據(jù)源的角度看,傳統(tǒng)數(shù)據(jù)來源于具有明確身份和目的的人或物,而大數(shù)據(jù)是來源于目前物聯(lián)網(wǎng)中所有的可以被記錄的信號(hào);從數(shù)據(jù)類型上分析,傳統(tǒng)的數(shù)據(jù)有特殊的數(shù)據(jù)格式和標(biāo)準(zhǔn),而大數(shù)據(jù)的形式多樣,沒有格式標(biāo)準(zhǔn),大數(shù)據(jù)的信息是非結(jié)構(gòu)化的;從數(shù)據(jù)定量的方法,傳統(tǒng)的數(shù)據(jù)是依賴于固定的、程序化的方式進(jìn)行定量分析,而大數(shù)據(jù)由于其非結(jié)構(gòu)化的數(shù)據(jù)量化而難以實(shí)現(xiàn)。(2)數(shù)據(jù)收集中的思維變化。傳統(tǒng)思維下的數(shù)據(jù)采集是以目的為導(dǎo)向的,大數(shù)據(jù)的到來使得數(shù)據(jù)量無限膨脹,因此在數(shù)據(jù)采集前不需要專門調(diào)查,但由于大數(shù)據(jù)的無限膨脹性,有必要考慮如何篩選、提煉,因此,新的思路應(yīng)該是將數(shù)據(jù)收集作為識(shí)別、排序、提煉、提取和存儲(chǔ)數(shù)據(jù)的過程。(3)分析數(shù)據(jù)的思維變化。傳統(tǒng)的思維模式下的定量分析和數(shù)據(jù)處理主要經(jīng)歷了三個(gè)主要的階段:一是定量分析依靠對(duì)經(jīng)驗(yàn)的判斷,尋找定量分析的出發(fā)點(diǎn)和方向;二是按照”假設(shè)驗(yàn)證”的方法和思路對(duì)數(shù)據(jù)進(jìn)行定量統(tǒng)計(jì)分析;最后是通過經(jīng)驗(yàn)判斷,得出結(jié)論。
從以上對(duì)“統(tǒng)計(jì)新思維”的分析和論述中我們可以清楚地看出,統(tǒng)計(jì)新思維的變化,主要是體現(xiàn)在對(duì)大數(shù)據(jù)的理解、數(shù)據(jù)采集和數(shù)據(jù)分析的新思維上。具體來說,為了處理大數(shù)據(jù),需要進(jìn)行以下更改。(1)個(gè)人、群體和樣本定義方式的變化。傳統(tǒng)的統(tǒng)計(jì)分析是先確定總體范圍,再收集個(gè)別數(shù)據(jù),但大數(shù)據(jù)的持續(xù)到來往往會(huì)使個(gè)別的數(shù)據(jù)系統(tǒng)處于變化的狀態(tài),此外,由于符號(hào)或其他稱謂的使用具有重疊和異質(zhì)性,很難確定身份在數(shù)據(jù)識(shí)別的過程中。(2)統(tǒng)計(jì)研究目標(biāo)的變化。統(tǒng)計(jì)學(xué)的主要研究方向和目標(biāo)之一就是要了解事物的變化和不確定性。為了更好地達(dá)到這一研究目標(biāo),目前統(tǒng)計(jì)學(xué)的主要研究方向和目標(biāo)首先就是要深入地研究和了解大數(shù)據(jù)的變化和不確定性。(3)資料整理分類方法的變更。傳統(tǒng)思維下的數(shù)據(jù)整理和分類需要事先制定計(jì)劃,并考慮到標(biāo)志、指標(biāo)、分類標(biāo)志、分組規(guī)則等內(nèi)容,對(duì)收集到的數(shù)據(jù)進(jìn)行有針對(duì)性的處理,大數(shù)據(jù)在來源、內(nèi)容、表達(dá)形式等方面都是不可預(yù)測的,只能從先進(jìn)行數(shù)據(jù)排序并從后完善的數(shù)據(jù)角度出發(fā)來進(jìn)行數(shù)據(jù)分類,選擇對(duì)數(shù)據(jù)進(jìn)行分類的方法。(4)更新對(duì)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的理解。結(jié)構(gòu)化數(shù)據(jù)是指在傳統(tǒng)思維下不依賴公網(wǎng)系統(tǒng),而是以特殊方式采集的數(shù)據(jù);非結(jié)構(gòu)化的數(shù)據(jù)實(shí)際上本身就是結(jié)構(gòu)化的大數(shù)據(jù),但很難用傳統(tǒng)的統(tǒng)計(jì)分析指標(biāo)或圖標(biāo)對(duì)大數(shù)據(jù)進(jìn)行準(zhǔn)確量化,然而,隨著互聯(lián)網(wǎng)和大數(shù)據(jù)結(jié)構(gòu)化時(shí)代的到來和發(fā)展,我們發(fā)現(xiàn)生活中有很多的時(shí)候我們需要從非結(jié)構(gòu)化的數(shù)據(jù)中獲取大量的結(jié)構(gòu)化數(shù)據(jù)和有價(jià)值的結(jié)構(gòu)化信息,因此,有必要把它們看作是互補(bǔ)的。(5)抽樣調(diào)查功能變化。傳統(tǒng)大數(shù)據(jù)思維下的數(shù)據(jù)采集嚴(yán)重地依賴抽樣調(diào)查,抽樣調(diào)查的主要功能之一就是需要通過采集樣本的方式來推斷出數(shù)據(jù)總體的特征,但隨著大數(shù)據(jù)的時(shí)代到來,可以將采集樣本數(shù)據(jù)總體特征無限期地進(jìn)行整體化。這樣,抽樣調(diào)查的功能就變成了:隨著驗(yàn)證在大數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行比較,以及從混合數(shù)據(jù)中快速挖掘和檢測分析。(6)統(tǒng)計(jì)研究方法的變化。傳統(tǒng)的研究方法主要是歸納推理,即先從現(xiàn)有的樣本數(shù)據(jù)中分類歸納得出具體的樣本數(shù)據(jù)信息特征,再通過歸納推斷出其總體的樣本特征,但是大數(shù)據(jù)僅靠一般樣本特征的歸納推理樣本數(shù)據(jù)是不夠的。還需要找出更深層次的關(guān)聯(lián),找出更具體的規(guī)律或結(jié)論,這就是演繹推理。(7)數(shù)據(jù)分析目的的變更。大數(shù)據(jù)內(nèi)容豐富、覆蓋面廣,在分析數(shù)據(jù)時(shí)容易陷入錯(cuò)誤的思維,有鑒于此,我們必須改變數(shù)據(jù)分析的目的,在相關(guān)分析的基礎(chǔ)上進(jìn)行因果分析,通過互補(bǔ)性挖掘數(shù)據(jù)的最大值。(8)傳統(tǒng)統(tǒng)計(jì)技術(shù)的更新。傳統(tǒng)的大數(shù)據(jù)統(tǒng)計(jì)分析技術(shù)在企業(yè)數(shù)據(jù)采集和分析的過程中已經(jīng)發(fā)揮了既定的作用,但是大數(shù)據(jù)的出現(xiàn)使得原有的統(tǒng)計(jì)分析技術(shù)在應(yīng)用上顯得單一和過時(shí),最好的解決辦法就是充分依靠新興技術(shù)作為現(xiàn)代大數(shù)據(jù)和信息技術(shù)的支撐和輔助,可以有效彌補(bǔ)傳統(tǒng)統(tǒng)計(jì)和信息技術(shù)的不足。
大數(shù)據(jù)的快速到來迫使國家統(tǒng)計(jì)部門做出了相應(yīng)的政策調(diào)整和變化,本文基于大數(shù)據(jù)和新的統(tǒng)計(jì)思路,詳細(xì)分析了應(yīng)該做出的變化,希望能為統(tǒng)計(jì)的長遠(yuǎn)發(fā)展提供方向。