技術的發(fā)展,大數(shù)據(jù)的問世加速了數(shù)字地球進程,從而完成了“地球裝進計算機”向“地球大數(shù)據(jù)”的變遷,在全球氣候變化、救災減災、食品安全、新能源開發(fā)和智慧城市等方面也有了突破性進
我們正面臨全球變化的嚴重挑戰(zhàn),解決之道就是數(shù)據(jù)。不僅僅是搜集數(shù)據(jù),而是通過對現(xiàn)有數(shù)據(jù)的分析,預測未來的模擬數(shù)據(jù),預測未來的全球變
上個月IDC的“數(shù)字宇宙”研究報告指出,全球數(shù)據(jù)總量將以每兩年翻一番的速度持續(xù)增長。去年只有20%的數(shù)據(jù)與云相關,幾年之后將翻倍至40%,這是一個非常重要的數(shù)據(jù)。如今在全球數(shù)據(jù)的分布中,中國占了13%。6年以后,全球21%的數(shù)據(jù)將在中國,這將是占全球五分之一的數(shù)據(jù),所以說中國所擁有的數(shù)據(jù)在國際上舉足輕重。
大數(shù)據(jù)的持續(xù)發(fā)展
有一位尊敬的學者曾經(jīng)講到:“信息科學的發(fā)展使人們難以預料,如果你想讓哪一個人犯錯誤,那么你就讓他預測5年以后信息技術的發(fā)展?!弊鳛槲覀冊朴嬎?、大數(shù)據(jù)實際上也是同樣的原理,大數(shù)據(jù)目前在哪個位置上對我們將來的研究是至關重要的。
1997年第一篇大數(shù)據(jù)文章的起源,2004年里程碑式的發(fā)展,2006年持續(xù)發(fā)揮作用作用, 2011年,大數(shù)據(jù)獲得成功。
科學領域?qū)Υ朔浅V匾暎?年前在科技領域,大家最為尊崇的兩大期刊,一個是《自然》,一個是《科學》。《自然》對很多人來說,它做了很多有關生命起源的專題,像大爆發(fā),像東北鳥的起源等等,但是6年前《自然》雜志也出版了大數(shù)據(jù)的???。2009年《第四范式》出版是一個非常重要的里程碑,后續(xù)有2010年《無處不在的數(shù)據(jù)》,3年前《科學》??渤鰜砹???萍冀绲闹匾?、全球的重視,引起了聯(lián)合國足夠的重視,聯(lián)合國的一個報告白皮書《大數(shù)據(jù)促發(fā)展,挑戰(zhàn)與機遇》接踵而至,緊接著兩年前高德納的4V定義,同時在我們這個領域也發(fā)表了一篇文章,提出了大數(shù)據(jù)與數(shù)字地球的關系。
然而,雖然目前在大數(shù)據(jù)方面熱度最高的國家是印度,但是我們國家有關決策部門對此重視程度也是相當高,特別是近一兩年反映在我國部署的973計劃、863計劃,也包括我國的經(jīng)信委也在部署大數(shù)據(jù)科學計劃,工業(yè)部門和一些地方也在做同樣的計劃。
同樣在國際組織上,可以看到都在不斷地推動發(fā)展和全球計劃,OECD發(fā)布了《探索數(shù)據(jù)驅(qū)動型創(chuàng)新》報告,指出利用數(shù)據(jù)來刺激提升生產(chǎn)力,充分發(fā)揮大數(shù)據(jù)的潛能,造福人類,進一步闡述了大數(shù)據(jù)未來的潛力和作用。國際科聯(lián)在2011年之前就開始做戰(zhàn)略規(guī)劃,在2012—2017年的戰(zhàn)略規(guī)劃中特別強調(diào)了數(shù)據(jù)、信息對于科學驅(qū)動的著手,在數(shù)據(jù)中間特別強調(diào)了大數(shù)據(jù)的作用。
大數(shù)據(jù)在科研領域的發(fā)展現(xiàn)狀
作為國際科聯(lián)的一個委員會,CODATA——國際科聯(lián)科學數(shù)據(jù)委員會也專門召開了一個大數(shù)據(jù)會議,邀請了DWS等重要的數(shù)據(jù)組織,同時也邀請了國科聯(lián)的未來地球計劃,邀請了全球綜合減災計劃,以及83個國家和72個國際組織構成的一個政府間國際組織。前段時間,我在的中科院遙感數(shù)字研究所也召開了相關會議,大家討論的就是大數(shù)據(jù)到底對我們的學科發(fā)展能帶來什么,大數(shù)據(jù)為全球的科學計劃起到了什么樣的重要作用。
為了做這樣的研討,在全球范圍內(nèi)我們做了一些基礎性工作。比如以BIGDATA為關鍵詞進行檢索,出現(xiàn)相關文章一千多篇,半數(shù)都是SCI收錄的文章。從國家分布來看,如果說以40篇為一個界限,超過40篇的有七個國家,從文章發(fā)表來看,中國有181篇僅次于印度,位居全球第二從中可以看到中國對大數(shù)據(jù)的研究發(fā)展是鼓舞人心的。
關于大數(shù)據(jù)的定義,仍在不斷的探討之中,其中4V是大家感興趣的重要話題。大數(shù)據(jù)時代以及大數(shù)據(jù)計算的本質(zhì)特征在于從模型驅(qū)動到數(shù)據(jù)驅(qū)動范式的轉變以及數(shù)據(jù)密集型科學方法的確立。
如今科學范式也出現(xiàn)了轉化,幾千年前以實驗為手段描述自然,數(shù)百年前利用模型和歸納方法進行論證的分支出現(xiàn)了,過去數(shù)十年進行計算分支仿真模擬,現(xiàn)在當大數(shù)據(jù)時代到來時,將理論、實驗、計算仿真等統(tǒng)一起來形成了新的密集計算。
舉一個例子,是一個很久遠的故事,喜歡天文的先生們都知道第谷,他的助手開普勒建立了一個偉大的理論。這中間我們描述大數(shù)據(jù)與大科學是一個什么樣的關系,然后大科學中我們要有系列的知識發(fā)現(xiàn),講方法論、講挑戰(zhàn),這種挑戰(zhàn)我們規(guī)定為三個H。
大科學裝置要催生帶領一系列的大數(shù)據(jù),以中國科學院遙感與數(shù)字地球研究所為例,每天都在誕生大量的衛(wèi)星和航空數(shù)據(jù),這樣的大科學投資強度大、學科交叉,產(chǎn)生的大數(shù)據(jù)為大科學的誕生奠定了堅實的基礎。例如在高能物理領域,每年投入很多,重要的是產(chǎn)生了很多數(shù)據(jù),這些數(shù)據(jù)為科學家?guī)砹酥匾獧C遇。因為是需要通過分析和推斷“上帝粒子”是否存在,從數(shù)據(jù)和圖形的分析中來揭示這些現(xiàn)象,所以“上帝粒子”的產(chǎn)生和發(fā)展與大數(shù)據(jù)有著重要的、密切的關系。
其次,人類基因組是一個偉大的計劃,如果沒有大數(shù)據(jù),如今人類基因組可能很難有如此豐富的成果?,F(xiàn)在有很多人在做多年來產(chǎn)生序列的數(shù)據(jù),這需要很多的存儲、分析和計算能力去完成。我們正面臨全球變化的嚴重挑戰(zhàn),解決之道就是數(shù)據(jù)。不僅僅是搜集數(shù)據(jù),而是通過對現(xiàn)有數(shù)據(jù)的分析,預測未來的模擬數(shù)據(jù),預測未來的全球變化。一百年之后全球是變暖了,還是變冷了,十萬年之后,人類是否還能在地球上居住,其實都要靠數(shù)據(jù)去建立,可以說這些數(shù)據(jù)為氣候的長期變化都可以提供堅實的基礎。
再者,大數(shù)據(jù)與天文方面的例子更是不勝枚舉,我們從地面對天文的觀測也是建立在大數(shù)據(jù)的基礎之上,其重要性體現(xiàn)在有了大數(shù)據(jù),也就相當于擁有了各種探測設備一樣。
簡而言之可以看出科學大數(shù)據(jù)一些非常重要的特征,復雜性、綜合性、全球性等多種特點融于一身。大數(shù)據(jù)特別是科學大數(shù)據(jù)也有若干外部特征,從內(nèi)容、體量、速率、手段等等來講,具備著五大特征。它的內(nèi)部特征包括超高維度、高度計算復雜性、高度的不確定性。大數(shù)據(jù)研究方法論一個是量、一個是質(zhì)、一個是用,三個方面互為因果、互相促進。
數(shù)字地球驅(qū)動的發(fā)展情況
1999年中國科學家發(fā)起召開全球國際第一次數(shù)字地球會議,從此數(shù)字地球在全球范圍內(nèi)廣泛的傳播。2006年國際數(shù)字地球?qū)W會誕生,創(chuàng)建了《國際數(shù)字地球?qū)W報》等刊物。當前發(fā)展勢頭良好,數(shù)字地球研究在全球范圍內(nèi)碩果累累,過去15年來長足的發(fā)展,提出的數(shù)字地球理念的85%已經(jīng)實現(xiàn)。。
數(shù)字地球的建立基于各方面的數(shù)據(jù),其中觀測數(shù)據(jù)非常重要。過去半個世紀以來,國際的對地觀測衛(wèi)星的發(fā)展一浪高過一浪,從最早全球14個衛(wèi)星發(fā)展到現(xiàn)在每年都有十幾顆衛(wèi)星上天??梢钥吹街袊磥硎陮Φ赜^測衛(wèi)星的發(fā)展,未來中國遙感衛(wèi)星的數(shù)量要居世界前列,還要發(fā)射一系列遙感衛(wèi)星和其他衛(wèi)星,不僅發(fā)射中國的衛(wèi)星,還要有強大的接收能力,所在的遙感地球所的地面接收系統(tǒng)能覆蓋全國,也能接收覆蓋亞洲將近70%的數(shù)據(jù)。最近還要在北極建站,實現(xiàn)一個理念,國家的利益延伸到哪,我們的空間信息保障能力就建立在哪。
15年前有記者問我什么是數(shù)字地球?我說我不懂,但是要讓我講給中學生聽,數(shù)字地球就是把我們的地球裝進我的計算機。15年前過去了,現(xiàn)在從科學角度來講,你問我什么是數(shù)字地球?我可以從一個角度來講,數(shù)字地球就是地球大數(shù)據(jù)。
依據(jù)這個新的觀點,數(shù)字地球一些理念出來了,并且研究探討了數(shù)字地球的一系列科學問題,包括大數(shù)據(jù)的動態(tài)匯聚,數(shù)據(jù)密集型的地球計算,要素的呈現(xiàn)理論與方法等等。我們現(xiàn)在所做的理論研究、高技術發(fā)展,特別對我們這樣一個發(fā)展中國家來說,最終還是要用在經(jīng)濟社會發(fā)展的一些領域,那么將來新一代數(shù)字地球構造起來是做什么呢?在此特別提煉五個重要的數(shù)字地球構造發(fā)展方向:一是全球變化;二是減災防災;三是新能源開發(fā)利用;四是農(nóng)業(yè)食品安全;五是數(shù)字城市和智慧城市的發(fā)展。
因此,從大數(shù)據(jù)的理念來構造新一代的數(shù)字地球,其實還是建立一個虛擬地球,虛擬地球事實上服務于未來的地球,使全球環(huán)境可持續(xù)發(fā)展。我們生活在這個地球上,都有責任和理念來建立未來的數(shù)字地球,讓人類的生活更加美好。
(以上內(nèi)容系根據(jù)郭華東院士在“2014第六屆中國云計算大會”上的演講整理而成)