徐義杰
(合肥市第八中學,合肥 230000)
2018年5月26日,“2018中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會”在貴陽開幕。習近平總書記在賀信中關于大力發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的重要指示引起各界熱烈反響。隨著科學技術水平的發(fā)展,信息交流成為當今社會一項重要的活動,大數(shù)據(jù)也成為信息交流中不可缺少的一部分。通過采集數(shù)據(jù),以及使用大數(shù)據(jù)云計算等相關技術分析信息本身及其相關聯(lián)系,進而發(fā)展大數(shù)據(jù)產(chǎn)業(yè),已經(jīng)在各行各業(yè)得到了廣泛的應用。無論是物流產(chǎn)業(yè),還是醫(yī)療方面的問題,龐大的人口基數(shù)都帶動了人們對數(shù)據(jù)的需求。物聯(lián)網(wǎng)與大數(shù)據(jù)的緊密聯(lián)系,促進了相關產(chǎn)業(yè)的迅速發(fā)展,給人們的生活帶來了更多便捷與方便。
數(shù)據(jù),是指對一件客觀事件進行描述的符號信息,是記錄和表達客觀事物最原始的素材。而大數(shù)據(jù),是指數(shù)量更大的數(shù)據(jù)集合。
大數(shù)據(jù)擁有十分廣泛的數(shù)據(jù)規(guī)模,不同數(shù)據(jù)在大的數(shù)據(jù)集合中高速流轉。而此時的大數(shù)據(jù)不僅具有儲存數(shù)據(jù)的能力,也存在相對應的數(shù)據(jù)分析和處理的能力。由于數(shù)據(jù)體量更大,其具有的單位級也由我們熟知的GB和TB級別上升為PB級的數(shù)據(jù)量。如此大規(guī)模的數(shù)據(jù),必然來自于更加豐富的數(shù)據(jù)來源。大數(shù)據(jù)就包含結構化、半結構化和非結構化的許多種形式,如圖片視頻地理位置等等。面對紛繁復雜的大數(shù)據(jù),信息數(shù)據(jù)的采集也更加強調數(shù)據(jù)的真實性,更注重從身邊發(fā)生的息息相關的事情中獲得信息。數(shù)據(jù)采集可以來自人類活動,包括人們通過互聯(lián)網(wǎng),金融,交通的活動過程的記錄產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)的采集也可以來自計算機,包括計算機信息系統(tǒng)中多媒體形式存在的文件和計算機日志自行記錄的信息。而更大數(shù)據(jù)的采集量帶來的更加準確的分析也體現(xiàn)了大數(shù)據(jù)價值密度低的特點。
大數(shù)據(jù)處理技術區(qū)別于原始的小規(guī)模數(shù)據(jù)的處理方式,它差不多能夠處理文章,音頻,視頻等各種各樣形式的數(shù)據(jù)。處理分析了這些數(shù)據(jù)后,大數(shù)據(jù)依靠云計算將分析結果分布在可供更多人共享的平臺中。大數(shù)據(jù)技術包括大數(shù)據(jù)的采集和預處理,大數(shù)據(jù)儲存與管理,大數(shù)據(jù)計算模式與系統(tǒng)和大數(shù)據(jù)分析等幾個方面的內容。
大數(shù)據(jù)的采集和預處理首先要將數(shù)據(jù)整合成有效且高效的數(shù)據(jù)集,方法包括基于物化或聯(lián)邦數(shù)據(jù)庫引擎等多種方法。對于來源不同的數(shù)據(jù),還要對他們進行再次檢查以消除相似想重復的信息。
大數(shù)據(jù)的儲存和應用充分聯(lián)系到之后大數(shù)據(jù)的相關應用,面對大規(guī)模,多來源的數(shù)據(jù),需要區(qū)分度更高的訪問接口,而傳統(tǒng)的信息儲存方式無法滿足這一需求。在目前大數(shù)據(jù)的環(huán)境下,比較適用的數(shù)據(jù)儲存方式包括分布式文件系統(tǒng)和分布式數(shù)據(jù)庫。更多開發(fā)部門也在不斷嘗試新的方式進行更優(yōu)化的信息儲存。
大數(shù)據(jù)計算模式與系統(tǒng)的出現(xiàn)是由于大數(shù)據(jù)要面對已區(qū)分的不同格式的數(shù)據(jù)而采取不同的計算分析模式。區(qū)別于原始的簡單數(shù)據(jù)計算,大數(shù)據(jù)計算模式主要包括批計算處理,流式計算處理等。這些大數(shù)據(jù)的計算模式就更加強調數(shù)據(jù)的時效性,以最快速度對數(shù)據(jù)進行分析并得到結果,避免大量待計算數(shù)據(jù)的滯留而降低其余步驟的效率。
百度百科中這樣解釋物聯(lián)網(wǎng):“物聯(lián)網(wǎng)(英語:Internet of Things,縮寫IoT)是互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息承載體,讓所有能行使獨立功能的普通物體實現(xiàn)互聯(lián)互通的網(wǎng)絡。”對于物聯(lián)網(wǎng)這個詞,可以將其拆成單個的字進行解釋,指的就是物體與物體通過網(wǎng)絡相互聯(lián)系。在物聯(lián)網(wǎng)的概念中,強調任何物體相互之前都存在著聯(lián)系,而電子科技時代的聯(lián)系則主要指的是信息交流和信息通信。物聯(lián)網(wǎng)的主要核心還是互聯(lián)網(wǎng),強調運用互聯(lián)網(wǎng)的網(wǎng)絡基礎進行更好地相互關聯(lián)。物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈也由于物聯(lián)網(wǎng)的高度擴散性能夠得到充分擴充,包括設備制造商、系統(tǒng)集成商、網(wǎng)絡運營商和平臺供應商。物聯(lián)網(wǎng)的構成環(huán)節(jié)則包括四個方面:以人為主體的實體層,以傳感器網(wǎng)絡為主體的感知層,以通信和互聯(lián)網(wǎng)為主的網(wǎng)絡層和用于實體信息化的應用層。
隨著我們的生活越來越向智能化靠近,物聯(lián)網(wǎng)開始發(fā)揮它所特有的極大地作用。物聯(lián)網(wǎng)越來越多的應用于設備的自動化開啟和自動化調節(jié)等步驟中。
作為物聯(lián)網(wǎng)核心技術的傳感網(wǎng)技術從上世紀末就投入研究,給物聯(lián)網(wǎng)產(chǎn)業(yè)現(xiàn)如今在我國的發(fā)展提供了極其有利的條件。國家也在為物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展保駕護航,早在2013年國務院就印發(fā)相關文件提出要讓物聯(lián)網(wǎng)在各行業(yè)各領域廣泛應用。2017年中國物聯(lián)網(wǎng)大會也在福州召開,大會的主題為“智能物聯(lián),共創(chuàng)智慧生活”到會專業(yè)討論了中國物聯(lián)網(wǎng)發(fā)展大勢。物聯(lián)網(wǎng)作為“互聯(lián)網(wǎng)+先進制造”的必要保證,已經(jīng)投入到生產(chǎn)的各個環(huán)節(jié)中。
物聯(lián)網(wǎng)飛速發(fā)展的同時,也存在其安全與隱私方面的隱患。由于物聯(lián)網(wǎng)要采集大規(guī)模數(shù)據(jù),其各種傳感器也需要在人工智能的監(jiān)管下才可以更高效的運作,這讓我們對人工智能的安全保障提供了更高的要求。其次,物聯(lián)網(wǎng)大規(guī)模采集數(shù)據(jù)的同時,會對個人數(shù)據(jù)和私人信息進行采集,而這些數(shù)據(jù)由于采集成本低可能并不會被銷毀。被永久儲存的個人隱私一旦被非法利用或意外公開,都是對個人隱私的嚴重侵犯。如何采取更兼顧的方式處理好物聯(lián)網(wǎng)產(chǎn)業(yè)的利與弊,是當下物聯(lián)網(wǎng)研究工作人員又一大重要工作目標。
現(xiàn)如今出于大數(shù)據(jù)時代的我們,較多的數(shù)據(jù)并不直接來自人類收集,而是通過傳感器收集信息。物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)也受到IT行業(yè)的重點關注,從微軟公司到谷歌公司,都在全世界范圍內部署了數(shù)據(jù)中心用于采集移動通信終端,汽車,電表等多種終端的物聯(lián)網(wǎng)中的數(shù)據(jù)。若將整個數(shù)據(jù)網(wǎng)絡看作一個個體的人,有了大數(shù)據(jù)的神經(jīng)中樞系統(tǒng)還遠遠不夠,我們還需要物聯(lián)網(wǎng)作為皮膚,眼睛等身體上的一切感官作為獲取信息的工具。大數(shù)據(jù)的廣而泛的數(shù)據(jù)就來源于物聯(lián)網(wǎng)傳感器捕捉到的數(shù)據(jù)。物聯(lián)網(wǎng)所產(chǎn)生的大數(shù)據(jù)也因為其特質,與一般的大數(shù)據(jù)有著不同點。首先,物聯(lián)網(wǎng)大數(shù)據(jù)存在著其獨特的數(shù)據(jù)類型與結構,由于是通過傳感器采集數(shù)據(jù),這其中有可以直接處理的結構化數(shù)據(jù),也還有很多難以直接處理的非結構化的數(shù)據(jù)以及暫時無法被及時處理的數(shù)據(jù),這些數(shù)據(jù)的價值無法第一時間被分析利用就被拋棄為休眠數(shù)據(jù)。其次,物聯(lián)網(wǎng)大數(shù)據(jù)有著更加明顯的時效性和未來預測性。由于傳感器會源源不斷提供數(shù)據(jù),這些數(shù)據(jù)均會以流數(shù)據(jù)的方式不斷流通。有了物聯(lián)網(wǎng)傳感器的迅速采集和大數(shù)據(jù)的迅速分析儲存,人們對數(shù)據(jù)能有更好的感知能力。
作為儲存分析應用效率更高的大數(shù)據(jù),其價值體現(xiàn)就包括以下幾個方面。首先大數(shù)據(jù)可以對消費產(chǎn)品進行及時分析從而改良營銷方式,進行更加精細化的營銷。其次,大數(shù)據(jù)的分析也可以解決分析故障根源,節(jié)省更多成本。大數(shù)據(jù)的充分利用,都是將分析結果更好的重新應用于采集端,重新更好的優(yōu)化物聯(lián)網(wǎng)關聯(lián)的數(shù)據(jù)采集部分。有了大數(shù)據(jù)對數(shù)據(jù)進行更有針對性的分析規(guī)劃,可以更好研究物聯(lián)網(wǎng)中的價值再創(chuàng)造。
中國一直是人口大國,隨著經(jīng)濟科技發(fā)展水平的不斷提高,中國的老齡化問題也越來越嚴重,而老齡化問題中更需要迫切解決的就是醫(yī)療問題。傳統(tǒng)醫(yī)療存在數(shù)據(jù)信息處理慢而導致的效率問題以及技術關系導致的問題分析不準確的缺陷。大數(shù)據(jù)與物聯(lián)網(wǎng)關聯(lián)所帶來的優(yōu)勢在智能醫(yī)療領域就可以得到充分利用。由這兩者所促進構成的智能醫(yī)療系統(tǒng),可以將醫(yī)療人員,醫(yī)療機構和患者充分且緊密的結合起來。首先可以利用物聯(lián)網(wǎng)中的傳感器,對人體的指標,病原問題進行充分的信息采集,廣泛收集患者的生理參數(shù),如體溫、血壓、脈搏等。收集到的數(shù)據(jù)既可以用于及時反饋而減少突發(fā)性身體疾病造成的危害,也可以儲存用于更長遠的數(shù)據(jù)分析。采集到容量大且分析能力優(yōu)秀的大數(shù)據(jù)中,可以將分析結果及時反饋給患者自己,進行及時的自我調控。基于大數(shù)據(jù)信息的共享性,各醫(yī)療機構也可以通過廣泛數(shù)據(jù),了解多數(shù)患者情況,調整醫(yī)療資源的分布,采用更好的醫(yī)療預防及治療方法。智能醫(yī)療能夠全方位感知患者,大數(shù)據(jù)分析輔助治療,更能合理調控調度不合理分配的醫(yī)療資源。有了專業(yè)化的分析和實效化的反饋,大數(shù)據(jù)和物聯(lián)網(wǎng)應用的智能醫(yī)療向更加系統(tǒng)化和專業(yè)化的方面邁進。
沿海地區(qū)雖然有著溫暖潮濕宜人的氣候,不過也一直受到臺風的影響,給社會造成了巨大的人力財力損失。大數(shù)據(jù)與物聯(lián)網(wǎng)在氣象預測方面的作用就顯得尤為重要。智能氣象監(jiān)測不僅可以檢測預防重大災害,還可以對日常氣候空氣狀況進行監(jiān)測分析。傳統(tǒng)的氣象監(jiān)測,需要將采集好的樣本保存好,帶回實驗室監(jiān)測分析后才可得出結果,這樣不僅無法保持時效性,還會存在處理的工作量巨大,易出現(xiàn)分析錯誤的問題。智能氣象監(jiān)測首先可以利用分布廣,效率高的傳感采樣器得到空氣中PM2.5,PM10,一氧化氮等空氣含量信息,將他們直接轉化為可視的,可儲存的數(shù)據(jù)形式,儲存到云系統(tǒng)中進行大數(shù)據(jù)計算。由成千上萬的監(jiān)測站,軌道衛(wèi)星,雷達站構成的物聯(lián)網(wǎng)進行收集數(shù)據(jù),可以達到逐小時逐分鐘的掃描大氣狀況。大數(shù)據(jù)處理的氣象觀測到的數(shù)據(jù),可以實時更新,共享數(shù)據(jù)給廣泛的平臺,并儲存應用于氣象預測。此外,有了大數(shù)據(jù)合理的分析,其對人類生活的服務也有了更大突破,為我們提供了更精細的,更長時間的預報。大數(shù)據(jù)的分析甚至可以為我們是否選擇出行,如何穿著等問題提供更加實質性的參考。有了大數(shù)據(jù)物聯(lián)網(wǎng)所支撐的只能氣象,能夠幫助我們更好的感知并了解氣象,減少氣象問題對我們生產(chǎn)生活的干擾。
伴隨著京東,淘寶等越來越多的網(wǎng)絡購物方式的出現(xiàn),物流企業(yè)作為物資配送的重要環(huán)節(jié)也越來越重要,物流行業(yè)成為十大振興產(chǎn)業(yè)之一。然而傳統(tǒng)物流產(chǎn)業(yè)存在規(guī)模小,運轉慢,基礎設施建設差的問題,尤其是管理不規(guī)范,還會出現(xiàn)路線優(yōu)化不恰當引起的資源浪費問題。大數(shù)據(jù)物聯(lián)網(wǎng)關聯(lián)在智能物流方面的應用首先可以以優(yōu)化路徑的方式降低物流成本,提升物流速度,實現(xiàn)物流的信息化。物聯(lián)網(wǎng)運用其廣泛的信息收集裝置,首先可以監(jiān)管控制物流整個過程中出現(xiàn)的問題,運用時效性及時改善,實現(xiàn)產(chǎn)業(yè)鏈的相互透明化。物聯(lián)網(wǎng)發(fā)現(xiàn)了物流中存在缺陷,就可以利用大數(shù)據(jù)即時調動,提高資源的利用率,整合更多有效資源。大量物流信息流入,大數(shù)據(jù)分析的物流也可以快速制定高效的物流配送方案,選擇最優(yōu)交通方式及路線,給客戶帶來更具速度的體驗,也為企業(yè)本身減少成本。而大數(shù)據(jù)得到的各種反饋,也有助于物流企業(yè)更好的改善自身,尋找更優(yōu)方式服務人們。
大數(shù)據(jù)和物聯(lián)網(wǎng)作為全新的技術,給彼此的發(fā)展起了明顯促進作用,形成了互相完善的良好循環(huán)。這兩個新興高速發(fā)展的產(chǎn)業(yè)相互結合,發(fā)揮其各自優(yōu)勢,將大數(shù)據(jù)物聯(lián)網(wǎng)的關聯(lián)應用于更多產(chǎn)業(yè)。這樣不僅可以實現(xiàn)高質量的大數(shù)據(jù)物聯(lián)網(wǎng)應用,還可以讓更多產(chǎn)業(yè)鏈得到優(yōu)化,服務于人們的生活。在高速高效發(fā)展的同時,也要能經(jīng)受安全問題,實效更新問題等方面的挑戰(zhàn),為人們創(chuàng)造更美好的生活。