郭繼聯(lián)

摘 要： 在網(wǎng)絡(luò)大數(shù)據(jù)處理技術(shù)的快速發(fā)展和廣泛應(yīng)用的前提下，提出基于機會協(xié)作的動漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理機制，通過研究、分析動漫產(chǎn)業(yè)發(fā)展需求，將機會協(xié)作機制引入到網(wǎng)絡(luò)大數(shù)據(jù)采集過程，并設(shè)計動漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理、分析方案。利用網(wǎng)絡(luò)大數(shù)據(jù)實現(xiàn)“技術(shù)+內(nèi)容”的雙軌發(fā)展，構(gòu)建與動漫用戶需求精確匹配的現(xiàn)代動漫產(chǎn)業(yè)發(fā)展體系。通過試驗對動漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)傳輸、采集、處理進行測試，結(jié)果表明設(shè)計的基于機會協(xié)作的動漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)在數(shù)據(jù)吞吐率、傳輸可靠性和系統(tǒng)處理性能等方面表現(xiàn)出了更優(yōu)越的性能，為其他產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)設(shè)計提供了參考依據(jù)。

關(guān)鍵詞： 動漫產(chǎn)業(yè)； 大數(shù)據(jù)處理； 機會協(xié)作； 系統(tǒng)設(shè)計

中圖分類號： TN958?34； TP391.4 文獻標(biāo)識碼： A 文章編號： 1004?373X（2016）09?0041?03

Abstract： On the premise of the fast development and wide application of network big data processing technology， the network big data processing mechanism for animation industry based on opportunity cooperation is proposed. The opportunity coope?ration mechanism is introduced into the network big data acquisition process by researching and analyzing the needs of animation industry development. The network big data processing and analysis schemes for animation industry were designed. The network big data is used to realize the double?track development of ″technology+content″， and construct the modern animation industry development system satisfying the demands of animation users entirely. The network big data transmission， acquisition and processing of the animation industry were tested. The test results show that the designed system based on opportunity cooperation has perfect performances in the aspects of data throughput， transmission reliability， system processing， etc.， and provides the reference basis for the design of network big data processing systems of other industries.

Keywords： animation industry； big data processing； opportunity cooperation； system design

0 引 言

隨著大數(shù)據(jù)時代的到來，動漫產(chǎn)業(yè)與網(wǎng)絡(luò)大數(shù)據(jù)處理技術(shù)進一步融合，使得動漫創(chuàng)意、制作、傳播、消費、服務(wù)構(gòu)成的產(chǎn)業(yè)鏈條越來越依賴互動共生的網(wǎng)絡(luò)生態(tài)系統(tǒng)，從而推動動漫產(chǎn)業(yè)進入躍遷發(fā)展新時期[1]。本文在大數(shù)據(jù)處理、分析技術(shù)的深刻影響下，提出利用大數(shù)據(jù)挖掘、深度分析與可視化結(jié)果重塑我國動漫產(chǎn)業(yè)。通過網(wǎng)絡(luò)技術(shù)為動漫產(chǎn)業(yè)發(fā)展提供重要支撐和平臺，是實現(xiàn)動漫產(chǎn)業(yè)大數(shù)據(jù)處理、分析的前提。

針對動漫產(chǎn)業(yè)在大數(shù)據(jù)采集、傳輸、處理等方面的問題，本文設(shè)計了一種適用于動漫產(chǎn)業(yè)的基于機會協(xié)作的大數(shù)據(jù)處理系統(tǒng)（OCA）[2]。本文的主要工作包括：基于機會協(xié)作技術(shù)建立了數(shù)據(jù)采集模型；分析了動漫產(chǎn)業(yè)互聯(lián)網(wǎng)中節(jié)點到聚合點的大數(shù)據(jù)傳輸可靠性和處理復(fù)雜度規(guī)律，據(jù)此建立大數(shù)據(jù)處理系統(tǒng)。

1 動漫產(chǎn)業(yè)網(wǎng)絡(luò)模型

為了有效提高動漫產(chǎn)業(yè)信息化水平，改善動漫產(chǎn)業(yè)綜合決策，必須保證動漫產(chǎn)業(yè)相關(guān)數(shù)據(jù)科學(xué)化、精確化。利用網(wǎng)絡(luò)技術(shù)，設(shè)計了一個動漫產(chǎn)業(yè)網(wǎng)絡(luò)模型。該模型包括： 采集互聯(lián)網(wǎng)數(shù)據(jù)、機會協(xié)作通信技術(shù)、數(shù)據(jù)處理、實時監(jiān)控等功能，使得網(wǎng)絡(luò)技術(shù)能夠有機地結(jié)合動漫產(chǎn)業(yè)數(shù)據(jù)[3]。動漫產(chǎn)業(yè)大數(shù)據(jù)處理架構(gòu)模型如圖1所示。

本文設(shè)計的動漫產(chǎn)業(yè)網(wǎng)絡(luò)模型包括物理層、協(xié)作層、大數(shù)據(jù)層和應(yīng)用層。其中物理層由互聯(lián)網(wǎng)中提供動漫數(shù)據(jù)的網(wǎng)絡(luò)終端構(gòu)成；協(xié)作層通過應(yīng)用機會協(xié)作通信技術(shù)保障數(shù)據(jù)傳輸?shù)目煽啃浴⒎€(wěn)定性；大數(shù)據(jù)層由自適應(yīng)控制數(shù)據(jù)處理模塊和多樣性應(yīng)用數(shù)據(jù)處理模塊構(gòu)成，負(fù)責(zé)對匯聚的數(shù)據(jù)處理、分析[4]。同時在大數(shù)據(jù)層中建立不同類型數(shù)據(jù)庫，以方便對不同類型數(shù)據(jù)多樣性檢索，進而提高數(shù)據(jù)挖掘效率和精度，數(shù)據(jù)多樣性檢索流程如圖2所示。應(yīng)用層通過多種網(wǎng)絡(luò)傳輸方式為客戶提供大數(shù)據(jù)分析結(jié)果。同時，本網(wǎng)絡(luò)模型架構(gòu)增加了跨層交互接口以實現(xiàn)更多形式的數(shù)據(jù)共享。

2 基于機會協(xié)作的大數(shù)據(jù)處理

2.1 機會協(xié)作機制

2.2 大數(shù)據(jù)處理機制與方法

基于構(gòu)建的機會協(xié)作機制的數(shù)據(jù)傳輸、采集模型，建立多元化的數(shù)據(jù)處理、分析方案[6]。通過數(shù)據(jù)類型的感知特性制定不同的映射機制，以提高系統(tǒng)的數(shù)據(jù)處理能力。本系統(tǒng)采用的大數(shù)據(jù)處理流程如圖3所示。

在實際大數(shù)據(jù)處理系統(tǒng)中，難以準(zhǔn)確預(yù)測用戶需要的數(shù)據(jù)庫類型及數(shù)據(jù)映射。本文在不同數(shù)據(jù)處理作業(yè)之間建立緩沖區(qū)，用于存放多樣性數(shù)據(jù)映射Hash二維矩陣，以便進行排序和最優(yōu)化處理[7]。同時，在數(shù)據(jù)聯(lián)合檢索過程中采用數(shù)據(jù)作業(yè)流交互方式，以實現(xiàn)在數(shù)據(jù)替換時對檢索頻次高、檢索次序合理、交互間隔代價最小的數(shù)據(jù)映射表項以及Hash元素的快速查找。

（1） 設(shè)定初始數(shù)值：[i=1，p=0，Pbit=0]。

（2） 對大數(shù)據(jù)進行機會協(xié)作算法處理，結(jié)合式（3）～式（5）得到[p，][Pbit，]然后更新Hash矩陣和處理作業(yè)編號[i]。

（3） 如果[μ<0.5，]則重新采用機會協(xié)作算法對數(shù)據(jù)流進行優(yōu)化處理。

（4） 否則，繼續(xù)進行數(shù)據(jù)轉(zhuǎn)發(fā)和作業(yè)流處理。

（5） 如果處理作業(yè)編號[i>n]，則本次大數(shù)據(jù)處理結(jié)束；反之返回步驟（2）。

3 系統(tǒng)性能測試

通過2組實驗對機會協(xié)作的大數(shù)據(jù)傳輸機制的可靠性以及動漫產(chǎn)業(yè)的大數(shù)據(jù)處理系統(tǒng)的性能進行驗證與測試。

第一組實驗對系統(tǒng)在傳輸數(shù)據(jù)吞吐量、丟包率和能效三方面進行測試，通過檢測數(shù)據(jù)的數(shù)學(xué)分析和仿真驗證分析基于機會協(xié)作技術(shù)大數(shù)據(jù)處理系統(tǒng)的性能，其中測試數(shù)據(jù)如表1所示，結(jié)果如圖4所示。

通過對大數(shù)據(jù)傳輸性能測試結(jié)果曲線圖研究、分析，表明基于機會協(xié)作技術(shù)的大數(shù)據(jù)傳輸方式相對于傳統(tǒng)數(shù)據(jù)傳輸方式有效地提高了數(shù)據(jù)吞吐量，并且具有較好的可靠性、能效性。

第二組實驗通過實時監(jiān)測系統(tǒng)大數(shù)據(jù)傳輸流持續(xù)[100 min]，以實現(xiàn)系統(tǒng)對大數(shù)據(jù)的采集、檢索成功率進行性能測試，實驗結(jié)果如圖5所示。通過對大數(shù)據(jù)讀取性能、檢索成功率測試結(jié)果曲線圖研究、分析，表明該系統(tǒng)具有較強的數(shù)據(jù)讀取和檢索性能，滿足動漫網(wǎng)絡(luò)大數(shù)據(jù)處理需求。

4 結(jié) 論

針對網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)膹?fù)雜性、高誤碼率和大數(shù)據(jù)多樣性等特點，為保證動漫產(chǎn)業(yè)大數(shù)據(jù)采集的可靠性、高效性。本文提出基于機會協(xié)作的動漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理機制，通過研究、分析動漫產(chǎn)業(yè)發(fā)展需求，將機會協(xié)作機制引入到網(wǎng)絡(luò)大數(shù)據(jù)采集過程，并設(shè)計動漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理、分析方案。通過實驗對系統(tǒng)數(shù)據(jù)傳輸可靠性和大數(shù)據(jù)處理性能進行測試，結(jié)果表明，本系統(tǒng)在數(shù)據(jù)吞吐率、傳輸可靠性和系統(tǒng)處理性能等方面表現(xiàn)出了更優(yōu)越的性能。

參考文獻

[1] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展，2013，50（1）：146?169.

[2] 亓開元，趙卓峰，房俊，等.針對高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實時處理方法[J].計算機學(xué)報，2012，35（3）：477?490.

[3] 田銳，孫利民，劉燕，等.CABRA：車載網(wǎng)絡(luò)中基于協(xié)作的大數(shù)據(jù)傳輸增強機制[J].計算機研究與發(fā)展，2009，46（12）：2076?2084.

[4] Association for the Advancement of Medical Instrumentation. Testing and reporting performance results of cardiac rhythm and ST segment measurement algorithms： ANSI/AAMI EC57?2012 [S]. Arlington： Association for the Advancement of Medical Instrumentation， 2012.

[5] 林闖，陳瑩，黃霽崴，等.服務(wù)計算中服務(wù)質(zhì)量的多目標(biāo)優(yōu)化模型與求解研究[J].計算機學(xué)報，2015（10）：1907?1923.

[6] 賈曉豐.基于物聯(lián)網(wǎng)的大數(shù)據(jù)量實時信息交換策略研究[J].電子政務(wù)，2011（4）：16?20.

[7] 王淑蓉，王長元，喻鈞.基于服務(wù)計算的服務(wù)組合研究[J].現(xiàn)代電子技術(shù)，2012，35（12）：69?71.

[8] WIGAN M R， CLARKE R. Big data′s big unintended consequences [J]. Computer， 2013， 46（6）： 46?53.

[9] 敖莉，舒繼武，李明強.重復(fù)數(shù)據(jù)刪除技術(shù)[J].軟件學(xué)報，2010（5）：916?929.