林民山

摘 要：粗糙集屬性應(yīng)急數(shù)據(jù)存在冗余特征，降低挖掘效率，提出基于信息熵的粗糙集屬性應(yīng)急數(shù)據(jù)去重挖掘算法。將粗糙集理論和信息熵相結(jié)合，離散化處理應(yīng)急數(shù)據(jù)，離散化完成后，約簡對于決策表的條件信息熵大小不產(chǎn)生任何影響的屬性，設(shè)定決策屬性集合和條件屬性集合，選取將同約簡屬性集合B的屬性組合數(shù)目最小的熵值實(shí)現(xiàn)約簡，去除冗余特征，完成應(yīng)急數(shù)據(jù)去重挖掘。以大型船舶應(yīng)急數(shù)據(jù)為研究對象展開數(shù)據(jù)去重挖掘，結(jié)果表明：可有效去重挖掘到船舶旋回性相關(guān)應(yīng)急數(shù)據(jù)，利用數(shù)據(jù)增比特征能夠分析到各因素對船舶旋回性的影響，并且所研究算法的挖掘效率較高，在數(shù)據(jù)量為1400條時(shí)，耗時(shí)僅為0.33 s。

關(guān)鍵詞：信息熵;粗糙集屬性;應(yīng)急數(shù)據(jù);去重挖掘;離散化;約減

中圖分類號(hào)：TP18 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

監(jiān)控預(yù)警信息、突發(fā)事件信息、交互信息等應(yīng)急數(shù)據(jù)信息海量增加的同時(shí)，也為應(yīng)急數(shù)據(jù)帶來的大量重復(fù)性冗余信息，為此，如何實(shí)現(xiàn)應(yīng)急數(shù)據(jù)的快速分析、處理、挖掘是目前亟待解決的問題[1-3]。粗糙集理論是一種新型的處理模糊和不確定知識(shí)的數(shù)學(xué)工具，廣泛應(yīng)用于人工智能、知識(shí)與數(shù)據(jù)發(fā)現(xiàn)以及故障檢測等方面[4]。粗糙集屬性約簡可以在有效保證數(shù)據(jù)分類能力不變的基礎(chǔ)上對不相關(guān)和不重要的屬性進(jìn)行去除，消除冗余特征，有效縮減參與數(shù)據(jù)挖掘的數(shù)據(jù)量，提升數(shù)據(jù)挖掘效率[5]。

在利用粗糙集理論進(jìn)行數(shù)據(jù)挖掘時(shí)，通常要求實(shí)際數(shù)據(jù)形成的決策表中數(shù)據(jù)屬性為離散化表達(dá)，若數(shù)據(jù)為連續(xù)的，則需先進(jìn)行離散化處理，然后再利用基于信息熵的粗糙集屬性約簡去重挖掘應(yīng)急數(shù)據(jù)，獲取知識(shí)結(jié)果簡單易懂的應(yīng)急數(shù)據(jù)[6，7]。

1 基于信息熵的粗糙集屬性應(yīng)急數(shù)據(jù)去重

挖掘算法

1.1 信息熵基本概念

信息熵是信息總體的平均不確定性量度，對于特定信息源而言，信息熵只有一個(gè)，不同信息源的熵值不同。其中信息熵值越大代表變量的不確定性越大[8，9]。

綜上所述，通過設(shè)定決策屬性集合和條件屬性集合，選取將同約簡屬性集合B的屬性組合數(shù)目最小的熵值實(shí)現(xiàn)約簡，去除冗余特征，完成應(yīng)急數(shù)據(jù)去重挖掘。

2 算法驗(yàn)證

為驗(yàn)證提出的應(yīng)急數(shù)據(jù)去重挖掘算法有效性，以某船舶研究部分積累的大量應(yīng)急數(shù)據(jù)為研究對象。采用三臺(tái)機(jī)器搭建Hadoop 集群環(huán)境，每個(gè)節(jié)點(diǎn)的操作系統(tǒng)都是Ubuntu12.04，每臺(tái)機(jī)器的配置如表1所示。

數(shù)據(jù)來源為大連海事大學(xué)航海研究院提供的日本現(xiàn)在持續(xù)運(yùn)營中的40000噸以上的超大型船只主要應(yīng)急數(shù)據(jù)，采用本文算法對該應(yīng)急數(shù)據(jù)實(shí)施離散化處理，結(jié)果如表2所示。屬性C1-C12的程度均用0，1，2，3表示，分別代表程度低、較低、中、高;其中根據(jù)專家知識(shí)評(píng)定可知，最大橫距越小，表明旋回性越好，決策屬性D中，0，1，2，3分別表示旋回性好、較好、一般、差。H表示船號(hào)。

采用本文算法對表1數(shù)據(jù)實(shí)施屬性約簡，獲取：核為{C4，C5，C6，C7，C10}，約簡屬性集為{C4，C5，C6，C7，C10}，將表2約簡后去除重復(fù)集不相容屬性后，獲取到的約簡結(jié)果，即去重挖掘結(jié)果如表3所示。

從表4可以看出，船舶旋回性與各影響因素之間的關(guān)系為，船舶旋回性與方形系數(shù)、垂線間寬度、最大縱距以及深度呈正相關(guān)性;與舵面積比和垂線間長度呈負(fù)相關(guān)性。結(jié)果表明本文算法可有效挖掘到的船舶旋回性與影響因素間的增比變化。

為驗(yàn)證本文算法在數(shù)據(jù)去重挖掘的時(shí)的時(shí)間效率，研究不同應(yīng)急數(shù)據(jù)條數(shù)下的本文算法挖掘所需時(shí)間，結(jié)果如圖3所示。

分析圖3可知，伴隨應(yīng)急數(shù)據(jù)量的增加，算法去重挖掘耗時(shí)呈上升趨勢，當(dāng)數(shù)據(jù)量達(dá)到1400條時(shí)，挖掘耗時(shí)僅為0.33 s，實(shí)驗(yàn)結(jié)果表明，本文算法數(shù)據(jù)去重挖掘效率較高。

對離散化和約簡之后的數(shù)據(jù)進(jìn)行挖掘和對原數(shù)據(jù)進(jìn)行挖掘的對比結(jié)果如圖4所示。

上圖反映了隨著數(shù)據(jù)集規(guī)模的增大，原數(shù)據(jù)空間復(fù)雜度呈指數(shù)增長，離散化以及約簡后的數(shù)據(jù)空間復(fù)雜度呈線性增長，在空間復(fù)雜度上具有很大的優(yōu)勢。主要原因在于數(shù)據(jù)離散化以及約簡后，應(yīng)急數(shù)據(jù)屬性所包含的屬性值種類較少，即數(shù)據(jù)屬性離散化后的空間維數(shù)應(yīng)盡量減少，降低了空間復(fù)雜度，使得數(shù)據(jù)挖掘性能增強(qiáng)。

3 結(jié) 論

通過研究基于信息熵的粗糙集屬性應(yīng)急數(shù)據(jù)去重挖掘算法，利用粗糙集理論可以不依靠任何附加信息，利用隱藏在數(shù)據(jù)中的真實(shí)特性做決策特點(diǎn)以及信息熵可作為信息總體不確定性量度的特點(diǎn)，將二者有效結(jié)合在一起，對應(yīng)急數(shù)據(jù)實(shí)時(shí)去重挖掘，獲取知識(shí)結(jié)構(gòu)清晰、簡單應(yīng)急數(shù)據(jù)，并將其更好的應(yīng)用到各個(gè)領(lǐng)域。

參考文獻(xiàn)

[1] 姜智涵，朱軍，周曉鋒，等.基于信息熵的混合屬性數(shù)據(jù)譜聚類算法[J].計(jì)算機(jī)應(yīng)用研究，2019，36（8）：2256-2260.

[2] 張倚萌， 賈修一， 唐振民. 基于條件信息熵的區(qū)間集決策信息表不確定性度量[J]. 南京理工大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2019， 43（4）：393-401.

[3] 高陽，劉遵仁，紀(jì)俊.基于矩陣保留策略的鄰域粗糙集屬性約簡算法[J].計(jì)算機(jī)應(yīng)用研究，2019，36（12）：3570-3573.

[4] 姚晟，汪杰，徐風(fēng)，等.不完備鄰域粗糙集的不確定性度量和屬性約簡[J].計(jì)算機(jī)應(yīng)用，2018，38（1）：97-103.

[5] 梁律.基于語言值聚合算法的數(shù)據(jù)去重產(chǎn)品選擇[J].控制工程，2018，25（1）：176-182.

[6] MNDEZ P， MEDEIROS M. Density modelling of ionic liquids using the electrolyte Soav-Redlich-Kwong equation of state[J]. The Journal of Chemical Thermodynamics，2017，105：414-422.

[7] 郝艷妮， 吳素萍， 田維麗. 數(shù)據(jù)挖掘算法在葡萄酒信息數(shù)據(jù)分析系統(tǒng)中的研究[J]. 計(jì)算機(jī)科學(xué)， 2017， 44（s1）：491-494.

[8] 于軍，丁博，何勇軍.基于平均多粒度決策粗糙集和NNBC的滾動(dòng)軸承故障診斷[J].振動(dòng)與沖擊，2019，38（15）：209-215.

[9] 陳偉，居江寧.基于大數(shù)據(jù)可視化技術(shù)的審計(jì)線索特征挖掘方法研究[J].審計(jì)研究，2018（1）：16-21.

[10]楊陽，丁家滿， 李海濱， 等. 一種基于Spark的不確定數(shù)據(jù)集頻繁模式挖掘算法[J]. 信息與控制， 2019， 48（3）：257-264.

[11]吳勝磊，溫穎，宋超然，等.融合粗糙集和信息熵的復(fù)合絕緣子污閃狀態(tài)評(píng)估[J].高壓電器，2019，55（6）：131-136.

[12]王征，汪梅.信息熵多屬性約簡的煤粉塵圖像特性機(jī)理[J].西安科技大學(xué)學(xué)報(bào)，2019，39（4）：713-719.

[13]廖寒遜，滕歡，盧光輝.基于MapReduce的電力大數(shù)據(jù)增量式屬性約簡方法[J].電力系統(tǒng)自動(dòng)化，2019，43（15）：186-192.

[14]趙曉君，張立梅，杜坤.基于聚類算法和粗糙集理論的分布式電源狀態(tài)約簡[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2019，31（5）：103-109.

[15]FENG Ting-ting， GUO Yu-chun， CHEN Yi-shuai.A novel user behavioral aggregation method based on synonym groups in online video systems[J].Science China（Information Sciences），2016，59（2）：237-239.