喬朝飛
(國家測繪地理信息局測繪發(fā)展研究中心,北京 100830)
最近一段時(shí)間,“大數(shù)據(jù)(big data)”一詞快速升溫,逐漸成為IT領(lǐng)域的熱門詞匯,受到越來越多的關(guān)注,影響力甚至超過了云計(jì)算、物聯(lián)網(wǎng)等。一些業(yè)內(nèi)專家預(yù)測,大數(shù)據(jù)時(shí)代即將到來。那么,究竟什么是大數(shù)據(jù),它的出現(xiàn)將給測繪地理信息行業(yè)帶來什么影響?測繪地理信息工作應(yīng)該如何應(yīng)對(duì)?筆者在此不揣簡陋,談一些粗淺的看法。
2011年3 月29 日,奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》(Big Data Research and Development Initiative)(以下簡稱《倡儀》),旨在提升利用大量復(fù)雜數(shù)據(jù)集合獲取知識(shí)和洞見的能力,并將為此投入兩億美元以上資金?!冻h》提出,將提升美國利用收集的龐大而復(fù)雜的數(shù)字資料提煉真知灼見的能力,協(xié)助加速科學(xué)、工程領(lǐng)域創(chuàng)新步伐,強(qiáng)化美國國土安全,轉(zhuǎn)變教育和學(xué)習(xí)模式?!冻h》還承諾將在科學(xué)研究、環(huán)境保護(hù)、生物醫(yī)藥研究、教育及國家安全等領(lǐng)域利用大數(shù)據(jù)技術(shù)進(jìn)行突破[1]。
2011年10 月,全球知名咨詢公司麥肯錫公司的季刊刊登的一篇文章指出:數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,逐漸成為重要的生產(chǎn)因素,大數(shù)據(jù)將成為企業(yè)的新興資產(chǎn),形成企業(yè)競爭力的重要基礎(chǔ);企業(yè)需要開始認(rèn)真思考,是否能夠充分利用海量數(shù)據(jù)的潛力,并設(shè)法應(yīng)對(duì)可能的威脅;人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。
維基百科對(duì)大數(shù)據(jù)的定義是:“指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”。大數(shù)據(jù)具有數(shù)據(jù)量大(volume)、種類多(variety)和速度快(velocity)等特點(diǎn),涉及互聯(lián)網(wǎng)、經(jīng)濟(jì)、生物、醫(yī)學(xué)、天文、氣象、物理等眾多領(lǐng)域。
大數(shù)據(jù)與以前的數(shù)據(jù)的區(qū)別在于:以往的數(shù)據(jù)多是結(jié)構(gòu)化的,是非個(gè)性化的數(shù)據(jù)。而進(jìn)入2012年,非結(jié)構(gòu)化數(shù)據(jù)的比例將達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上。大數(shù)據(jù)通常與數(shù)據(jù)分析與挖掘、數(shù)據(jù)倉庫、商業(yè)智能及開源云計(jì)算架構(gòu)等諸多熱點(diǎn)話題聯(lián)系在一起[2]。
全球著名的信息技術(shù)咨詢商國際數(shù)據(jù)公司(IDC)的研究表明,數(shù)字領(lǐng)域存在著1.8萬億GB的數(shù)據(jù)。企業(yè)數(shù)據(jù)正在以55%的速度逐年增長??萍疾┛途W(wǎng)站表示,如今只需兩天就能創(chuàng)造出自文明誕生以來到2003年所產(chǎn)生的數(shù)據(jù)總量?,F(xiàn)代企業(yè)正在經(jīng)歷規(guī)?;?、多樣化、高速化的數(shù)據(jù)挑戰(zhàn),大數(shù)據(jù)已成為重要的時(shí)代特征[3]。
筆者認(rèn)為,大數(shù)據(jù)并非是一個(gè)突然冒出的新鮮事物,其與以前的數(shù)據(jù)爆炸、數(shù)據(jù)挖掘等是一脈相承的。大數(shù)據(jù)與其說是一項(xiàng)技術(shù),不如說是由于不斷增長的數(shù)據(jù)量和數(shù)據(jù)種類而逐漸衍生出來的一種現(xiàn)象[3]。
大數(shù)據(jù)的出現(xiàn)有其歷史的必然。今天,數(shù)據(jù)成本下降促使數(shù)據(jù)量急劇增長,而新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)使數(shù)據(jù)類型增多,各種非結(jié)構(gòu)化的數(shù)據(jù)又增加了大數(shù)據(jù)的復(fù)雜性。如今,各種電子商務(wù)、社交網(wǎng)站層出不窮,不同性別、年齡的用戶有著各種喜好、需求,由此產(chǎn)生了大量非結(jié)構(gòu)化的數(shù)據(jù)。如淘寶網(wǎng)目前每天活躍數(shù)據(jù)量已經(jīng)超過50 TB,共有4億條產(chǎn)品信息和2億多名注冊用戶在上面活動(dòng),每天超過4000萬人次訪問[2]。全球最流行的社交網(wǎng)站Facebook已經(jīng)擁有8億個(gè)用戶,每天用戶之間溝通、交流的信息的數(shù)量之大可想而知。面對(duì)如此龐大的數(shù)據(jù)量,有眼光的企業(yè)開始對(duì)數(shù)據(jù)進(jìn)行深加工,挖掘數(shù)據(jù)中蘊(yùn)含的豐富信息。
事實(shí)上,大數(shù)據(jù)的應(yīng)用離大眾生活并不遠(yuǎn)。如一些用戶經(jīng)常在一些電子商務(wù)網(wǎng)站上購書,隨著購買記錄的增多,網(wǎng)站會(huì)根據(jù)用戶的購買記錄,向用戶推薦一些可能感興趣的圖書。事實(shí)上,這些網(wǎng)站利用的是一種所謂推薦引擎的技術(shù)[4],這種技術(shù)能夠綜合利用用戶的行為、屬性,對(duì)象的屬性、內(nèi)容、分類,以及用戶之間的社交關(guān)系等,挖掘用戶的喜好和需求,主動(dòng)向用戶推薦其感興趣或者需要的對(duì)象。數(shù)據(jù)表明,這種主動(dòng)服務(wù)的效果是顯而易見的,那些在電子商務(wù)網(wǎng)站被推薦過商品的用戶,有三分之一的人會(huì)根據(jù)這些推薦購買商品[4]。
大數(shù)據(jù)時(shí)代的來臨,對(duì)政府、企業(yè)、公眾帶來的影響是深遠(yuǎn)的。
對(duì)于政府來說,應(yīng)用大數(shù)據(jù)技術(shù),可以建設(shè)相關(guān)的智慧工程,提升應(yīng)急處理能力和安全防范能力,提升各部門的服務(wù)效率。奧巴馬政府發(fā)布大數(shù)據(jù)研發(fā)倡議后,美國國家科學(xué)基金會(huì)(NSF)、國家衛(wèi)生研究院(NIH)、國防部(DOD)、能源部(DOE)、國防部高級(jí)研究局(DARPA)、地質(zhì)調(diào)查局(USGS)等6個(gè)聯(lián)邦部門和機(jī)構(gòu)承諾,將投入超過2億美元資金用于研發(fā)“從海量數(shù)據(jù)信息中獲取知識(shí)所必需的工具和技能”,并披露了多項(xiàng)正在進(jìn)行中的聯(lián)邦政府計(jì)劃。如地質(zhì)調(diào)查局通過給科學(xué)家提供深入分析的場所和時(shí)間、最高水平的計(jì)算能力和理解大數(shù)據(jù)集的協(xié)作工具,催化在地理系統(tǒng)科學(xué)的創(chuàng)新思維[1]。
對(duì)于企業(yè)來說,大數(shù)據(jù)在推動(dòng)企業(yè)變革的同時(shí),也產(chǎn)生了新的商機(jī)。在大數(shù)據(jù)時(shí)代,企業(yè)需要重新思考已有的IT模式,并將推動(dòng)企業(yè)進(jìn)行又一次基于信息革命的業(yè)務(wù)轉(zhuǎn)型,將有關(guān)技術(shù)與企業(yè)運(yùn)營管理實(shí)踐相結(jié)合,使企業(yè)能夠借助大數(shù)據(jù)帶來的大洞察,獲取更多的商業(yè)價(jià)值和發(fā)展機(jī)會(huì),在激烈的市場競爭中脫穎而出[3]。
對(duì)于公眾來說,可以通過大數(shù)據(jù)技術(shù)享受到方便快捷的服務(wù),如網(wǎng)上購物、餐飲和旅游咨詢等。電子商務(wù)網(wǎng)站利用大數(shù)據(jù)技術(shù),如推薦引擎技術(shù),通過分析用戶在網(wǎng)上的消費(fèi)習(xí)慣,能夠“讀懂”消費(fèi)者的心理,及時(shí)向消費(fèi)者提供其可能會(huì)感興趣的產(chǎn)品和服務(wù)。
全球互聯(lián)網(wǎng)巨頭都已意識(shí)到大數(shù)據(jù)時(shí)代數(shù)據(jù)的重要意義。包括EMC、惠普、IBM、微軟在內(nèi)的全球IT巨頭紛紛通過收購大數(shù)據(jù)相關(guān)廠商來實(shí)現(xiàn)技術(shù)整合,可見其對(duì)大數(shù)據(jù)的重視。2012年5月17日,在北京召開的“智慧的分析洞察”論壇上,IBM正式發(fā)布了基于業(yè)務(wù)分析洞察(BAO)理論基礎(chǔ)之上的IBM智慧的分析洞察(smarter analytics)戰(zhàn)略,以幫助企業(yè)將洞察力轉(zhuǎn)化為行動(dòng)力[3]。IBM在此時(shí)提出大數(shù)據(jù)平臺(tái)戰(zhàn)略,其目的顯而易見,它正在以自己的優(yōu)勢瓜分這塊龐大而誘人的蛋糕。
如今,大數(shù)據(jù)在IT領(lǐng)域風(fēng)生水起,其核心思想對(duì)于測繪地理信息工作發(fā)展有很多啟示,提供了新的機(jī)遇。
長期以來,測繪地理信息部門的主要任務(wù)是生產(chǎn)基礎(chǔ)地理信息數(shù)據(jù)。西部測圖工程、1∶5萬基礎(chǔ)地理信息數(shù)據(jù)庫更新的完成,標(biāo)志著數(shù)字中國地理空間框架初步建成;海島(礁)測繪工程的開展,彌補(bǔ)了海洋基礎(chǔ)地理信息數(shù)據(jù)的不足;資源三號(hào)衛(wèi)星的發(fā)射成功,突破了高分辨率衛(wèi)星影像的瓶頸;通過基礎(chǔ)航空攝影獲取了大量遙感影像資料??梢哉f,當(dāng)前基礎(chǔ)地理信息數(shù)據(jù)已極大豐富。然而,問題在于,守著這樣一座數(shù)據(jù)金山,測繪地理信息部門卻沒有很好地加以利用。
毋庸置疑的是,測繪地理信息部門擁有的是名副其實(shí)的大數(shù)據(jù),僅西部測圖工程的成果,數(shù)據(jù)量就達(dá)到13.4 TB。大數(shù)據(jù)時(shí)代的到來,對(duì)于測繪地理信息部門具有重要意義,某種程度上講,能否使用好手中的大數(shù)據(jù),盤活這些數(shù)據(jù)資產(chǎn),直接關(guān)系到測繪地理信息部門未來發(fā)展的成與敗。
令人高興的是,國家測繪地理信息局已認(rèn)識(shí)到充分利用基礎(chǔ)地理信息數(shù)據(jù)加強(qiáng)公共服務(wù)的重要性,正在加快開展地理國情監(jiān)測,不斷完善地理信息公共平臺(tái)天地圖的功能,加快推進(jìn)地理信息大數(shù)據(jù)的應(yīng)用。
今后,測繪地理信息部門應(yīng)在不斷更新現(xiàn)有基礎(chǔ)地理信息數(shù)據(jù)的基礎(chǔ)上,著力加強(qiáng)數(shù)據(jù)的應(yīng)用。
數(shù)據(jù)挖掘技術(shù)的發(fā)展水平,直接關(guān)系到基礎(chǔ)地理信息數(shù)據(jù)開發(fā)利用程度的好壞。目前,地理信息數(shù)據(jù)挖掘技術(shù)遠(yuǎn)遠(yuǎn)不能適應(yīng)開發(fā)應(yīng)用的需要。因此,國家測繪地理信息局應(yīng)組織有關(guān)科研力量,大力開展地理信息數(shù)據(jù)挖掘基礎(chǔ)理論和應(yīng)用研究。特別是如今測繪地理信息部門掌握著豐富的遙感影像資料,應(yīng)加大從影像中獲取有用信息的研究。
在重大測繪地理信息工程建設(shè)中注重開展數(shù)據(jù)應(yīng)用。在開展地理國情監(jiān)測時(shí),選取若干事關(guān)大局、事關(guān)民生的領(lǐng)域,創(chuàng)建若干典型應(yīng)用范例,進(jìn)而帶動(dòng)全國范圍內(nèi)地理國情監(jiān)測的開展。應(yīng)加強(qiáng)天地圖的開發(fā)應(yīng)用,在有關(guān)部門廣泛開展調(diào)研,了解部門實(shí)際需求,開發(fā)相應(yīng)的應(yīng)用系統(tǒng)。
測繪地理信息部門作為重要參與者的智慧城市建設(shè),與大數(shù)據(jù)關(guān)系緊密。智慧城市是數(shù)字城市發(fā)展的更高階段,是城市發(fā)展的新范式,從城市中每個(gè)人的生活方式到每個(gè)產(chǎn)業(yè)的生產(chǎn)方式,以及城市的運(yùn)營和管理方式都將智慧化。建設(shè)智慧城市,只有利用大數(shù)據(jù),才能獲得突破性改善。智慧城市中,存在著大量傳感器,只有利用大數(shù)據(jù)技術(shù),結(jié)合地理位置數(shù)據(jù),才能進(jìn)行深層次分析和應(yīng)用。
大數(shù)據(jù)時(shí)代的來臨,可能預(yù)示著新的、甚至是破壞性業(yè)務(wù)模式的誕生,即所謂“破壞式”創(chuàng)新。大數(shù)據(jù)意味著大商機(jī),對(duì)于地理信息企業(yè)而言,誰能抓住大數(shù)據(jù)帶來的商機(jī),誰就能在激烈的競爭中立于不敗之地。這里僅以基于位置的服務(wù)(location based service,LBS)為例,說明大數(shù)據(jù)給地理信息企業(yè)帶來的機(jī)遇。
LBS曾經(jīng)一度被業(yè)界寄予厚望,然而,最近其發(fā)展卻離大家的預(yù)想有較大距離。大數(shù)據(jù)時(shí)代的來臨,有可能使LBS重新煥發(fā)活力。
LBS與移動(dòng)互聯(lián)網(wǎng)聯(lián)系緊密。移動(dòng)互聯(lián)網(wǎng)目前發(fā)展迅猛,過不了多久,使用移動(dòng)互聯(lián)網(wǎng)的用戶數(shù)量將會(huì)超過使用個(gè)人電腦上網(wǎng)的用戶。PPLive公司首席執(zhí)行官,前微軟虛擬地球創(chuàng)始人陶闖博士認(rèn)為:“移動(dòng)互聯(lián)網(wǎng)+LBS”的商業(yè)模式未來將呈爆炸性增長。
大數(shù)據(jù)與LBS結(jié)合,將給精準(zhǔn)營銷帶來良好機(jī)遇[5]。越來越多的用戶通過手機(jī)上網(wǎng)看新聞、看視頻、娛樂或者購物,通過對(duì)用戶所在位置的周邊信息進(jìn)行多層次分類,如詳細(xì)匯總餐飲、培訓(xùn)、娛樂、購物等信息,把有效的廣告推送給用戶,向不同需求的用戶提供個(gè)性化的服務(wù)。這種商業(yè)模式下,LBS服務(wù)商需要和擁有大量用戶信息的網(wǎng)站(如社交網(wǎng)站)進(jìn)行合作,共同開發(fā)實(shí)用系統(tǒng),同時(shí)要注意保護(hù)用戶隱私。
大數(shù)據(jù)時(shí)代的到來,給測繪地理信息創(chuàng)新發(fā)展帶來了良好機(jī)遇。當(dāng)前,海量的地理信息數(shù)據(jù)遠(yuǎn)未被充分利用,測繪地理信息部門、地理信息企業(yè)要認(rèn)識(shí)到大數(shù)據(jù)技術(shù)帶來的深刻影響,未雨綢繆,盡早制定有關(guān)規(guī)劃,加大對(duì)地理信息數(shù)據(jù)開發(fā)應(yīng)用的研究,充分挖掘地理信息數(shù)據(jù)這一金礦,促進(jìn)數(shù)據(jù)的廣泛、深入應(yīng)用。
[1] 王忠.美國推動(dòng)大數(shù)據(jù)技術(shù)發(fā)展的戰(zhàn)略價(jià)值及啟示[J].中國發(fā)展觀察,2012(6):44-45.
[2] 姜其平.大數(shù)據(jù)時(shí)代到來[J].互聯(lián)網(wǎng)周刊,2012(2):6.
[3] 耿秋,孟劍.大數(shù)據(jù)時(shí)代:機(jī)遇?挑戰(zhàn)?[J].中國新時(shí)代,2012(6):60-61.
[4] 袁楚.推薦引擎:經(jīng)常在使用卻很難被關(guān)注[J].互聯(lián)網(wǎng)天地,2011(9):50-51.
[5] 薛雯漪.營銷大數(shù)據(jù)挖掘,拷問數(shù)據(jù)分析硬實(shí)力[J].聲屏世界·廣告人,2012(8):44-45.