仇舒蕾 張宇浩

本文根據(jù)具體數(shù)據(jù)與具體應(yīng)用要求，規(guī)劃了一些圖譜來完成技術(shù)大數(shù)據(jù)的可視化。文章設(shè)計(jì)和完成的科技圖譜軟件，把不同種類的科技資源、信息根據(jù)不同需求進(jìn)行可視化，形成相關(guān)圖譜，展現(xiàn)可視化結(jié)果為客戶帶來科學(xué)的交互功能。

如今社會(huì)每天日均會(huì)形成大量信息，其包括入人們生活的各個(gè)方面，人們也由此進(jìn)到大數(shù)據(jù)時(shí)代。想要充分利用數(shù)據(jù)，必須要有和大數(shù)據(jù)相符合的數(shù)據(jù)分析水平，以對(duì)大數(shù)據(jù)實(shí)現(xiàn)獲取、保存和分析，獲取其中的價(jià)值用于具體生產(chǎn)中，是當(dāng)下重要的研究內(nèi)容。

大數(shù)據(jù)技術(shù)

現(xiàn)如今人們具有多樣化的數(shù)據(jù)載體，這類數(shù)據(jù)載體持續(xù)形成、傳輸數(shù)據(jù)，獲取這些數(shù)據(jù)中潛藏的信息，用在具體生產(chǎn)工作中，可引導(dǎo)人們更高效地分析局勢，做出科學(xué)決策。以往的單臺(tái)主機(jī)在運(yùn)算和存儲(chǔ)上無法滿足信息分析處理需求，由此衍生出了大數(shù)據(jù)系統(tǒng)。大數(shù)據(jù)系統(tǒng)具有從大量數(shù)據(jù)中迅速獲取有用內(nèi)容的能力，當(dāng)前已有許多與大數(shù)據(jù)相關(guān)科技產(chǎn)生，包括大規(guī)模并行處理信息庫、信息挖掘、分布式文件軟件、分布式信息庫、云計(jì)算系統(tǒng)以及互聯(lián)網(wǎng)存儲(chǔ)等。

科技譜圖軟件的設(shè)計(jì)和實(shí)現(xiàn)

1.系統(tǒng)設(shè)計(jì)

（1）技術(shù)資源信息分析圖

實(shí)現(xiàn)對(duì)每一種信息分析結(jié)論的可視化，形成柱狀圖與餅狀圖，基于柱狀圖體現(xiàn)信息種類與數(shù)量，基于餅狀圖體現(xiàn)信息構(gòu)成與各部分占據(jù)的比例。其具備以下3種功能：交互操作，客戶能夠在餅狀圖與柱狀圖上獲取具體資料；轉(zhuǎn)換功能，轉(zhuǎn)換顯示不同種類信息分析結(jié)論的可視化展現(xiàn)；搜索功能，搜索各個(gè)城市的信息分析結(jié)論。

（2）技術(shù)資源分布熱力圖

基于技術(shù)資源分布熱力圖，可于城市地圖上對(duì)技術(shù)資源信息實(shí)現(xiàn)可視化。在城市地圖上通過特別高亮的模式展現(xiàn)每種信息所處的地理范圍，表明信息所處位置，以覆蓋物方式表述信息的布局密度。點(diǎn)擊地圖中的標(biāo)注產(chǎn)生提示數(shù)據(jù)，展現(xiàn)該標(biāo)注所處位置的數(shù)據(jù)資料，比如名稱、部位和數(shù)據(jù)等內(nèi)容，提供每種信息的熱力圖。

2.系統(tǒng)實(shí)現(xiàn)

2.1系統(tǒng)實(shí)現(xiàn)條件

該系統(tǒng)選擇Java語言在Eclipse開發(fā)條件下研發(fā)，采取 SpreingMVC結(jié)構(gòu)，以Tomcat用作信息中間件。于Eclipse內(nèi)建立一個(gè)Web頁面，下載可視化軟件Echarts與D3的開發(fā)包，把開發(fā)包插進(jìn)Eclipse開發(fā)條件中。下載SpringMVC結(jié)構(gòu)所要依靠的Spring jar包，把JAR包融進(jìn)項(xiàng)目內(nèi)。根據(jù)系統(tǒng)邏輯規(guī)劃與開發(fā)結(jié)構(gòu)在項(xiàng)目內(nèi)建立每層結(jié)構(gòu)包，在包內(nèi)建立項(xiàng)目的Java文件展開編程任務(wù)。

2.2技術(shù)資源大數(shù)據(jù)處置系統(tǒng)

大數(shù)據(jù)處理系統(tǒng)依靠開源分布式計(jì)算結(jié)構(gòu)Hadoop，涉及規(guī)范的Hadoop部件，像HBase，Solr，Hive，Gangh等，帶來可視化的分布和控制工具。系統(tǒng)支持大數(shù)據(jù)運(yùn)轉(zhuǎn)環(huán)境基于類似SQL或是JSON的形式來訪問Hadoop軟件內(nèi)的其余部件模塊Hive，HBase，HDFS內(nèi)的文件。

針對(duì)實(shí)施預(yù)處理的信息，在大數(shù)據(jù)系統(tǒng)內(nèi)借助大數(shù)據(jù)處理系統(tǒng)完成存儲(chǔ)與分析，根據(jù)具體的可視化要求及可視化主體，獲得可視化的信息。大數(shù)據(jù)處理系統(tǒng)如圖1所示。

在大數(shù)據(jù)處理系統(tǒng)內(nèi)，首先建立Hive信息倉庫，通過信息預(yù)處理集成信息，對(duì)收集的技術(shù)資源信息進(jìn)行劃分，分析信息的可視化主題，對(duì)應(yīng)至原始信息表與相關(guān)信息項(xiàng)，實(shí)現(xiàn)最后的表結(jié)構(gòu)規(guī)劃。按照規(guī)劃的表結(jié)構(gòu)創(chuàng)建Hive信息倉庫，展開信息加載，按照已創(chuàng)建的信息空間，從原本信息庫內(nèi)抽取出相關(guān)的信息存進(jìn)Hadoop的HDFS文件軟件內(nèi)，借助Sqoop技術(shù)完成信息導(dǎo)入。