方煒杰，尹澤鋒，鞏曉婷，藍(lán)以信，傅仰耿

(1. 福州大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，福建 福州 350108；2. 福州大學(xué)決策科學(xué)研究所, 福建 福州 350108)

0 引言

專家系統(tǒng)是利用某一領(lǐng)域的專家知識和經(jīng)驗(yàn)構(gòu)建知識庫，用以解決該領(lǐng)域中各種復(fù)雜問題的計算機(jī)系統(tǒng). 置信規(guī)則庫[1](belief rule base，BRB)系統(tǒng)是專家系統(tǒng)的一種實(shí)現(xiàn)，其由傳統(tǒng)的IF-THEN規(guī)則[2]系統(tǒng)發(fā)展而來，采用基于證據(jù)推理的置信規(guī)則庫推理方法[3](belief rule-base inference methodology using the evidential reasoning approach，RIMER). RIMER算法由文獻(xiàn)[3]提出，以Dempster/Shafer證據(jù)理論[4-5]、 決策理論[6]、 模糊理論[7]為基礎(chǔ)，兼具處理定量信息和定性知識的能力，能夠?qū)哂心：淮_定性或概率不確定性的數(shù)據(jù)進(jìn)行建模. BRB系統(tǒng)的前件屬性連接方式有析取[8]和合取兩種，后者的被稱為CBRB(conjunction belief rule-base, CBRB). 文獻(xiàn)[9-11]對現(xiàn)有的CBRB系統(tǒng)進(jìn)行拓展，提出在規(guī)則的前件屬性當(dāng)中加入對各個屬性參考值的置信度，形成擴(kuò)展置信規(guī)則庫系統(tǒng)(extended belief rule-base，EBRB).

RIMER算法由D-S證據(jù)理論的合成法則發(fā)展而來[12]，是基于概率論的理論體系. 在概率論中，多個事件共同發(fā)生的置信度是由各事件的概率相乘所得，因此RIMER算法也通過前件屬性的個體匹配度的乘積計算規(guī)則激活權(quán)重. 然而，從數(shù)學(xué)角度看，兩個乘積相同的個體匹配度分布可能有著不同的極值、 方差等條件. 忽視這些條件，將個體匹配度的乘積對等于規(guī)則的激活程度，在某些應(yīng)用場景中是不合適的.

不確定理論[13]是另一種處理置信度問題的工具，該理論使用不確定測度M(A)來表示對事件A的信任程度，用多個事件不確定測度的交集表示這些事件同時為真的置信度. 在不確定推理[13]計算規(guī)則權(quán)重的過程中，不確定測度的交集以取最小值的方法表示，但直接將這一方法套用在CBRB推理過程中并不能得到合適的效果. 為此，本研究借鑒不確定理論的推理方式，結(jié)合CBRB系統(tǒng)自身的各項參數(shù)對其推理過程進(jìn)行改進(jìn)，提出一種結(jié)合兩者優(yōu)點(diǎn)并適用于大部分?jǐn)?shù)據(jù)集的規(guī)則權(quán)重計算方法，并在EBRB系統(tǒng)上驗(yàn)證改進(jìn)的效果.

1 置信規(guī)則庫(BRB)系統(tǒng)

1.1 CBRB的規(guī)則表示

大部分BRB系統(tǒng)都屬于合取型BRB系統(tǒng)，其由一系列置信規(guī)則組成，而置信規(guī)則是IF-THEN規(guī)則的擴(kuò)展. CBRB系統(tǒng)中的第k條置信規(guī)則表示為：

(1)

1.2 擴(kuò)展置信規(guī)則庫(EBRB)系統(tǒng)

擴(kuò)展置信規(guī)則庫系統(tǒng)是對CBRB系統(tǒng)的擴(kuò)展[9]，也是一種合取型BRB系統(tǒng). EBRB系統(tǒng)中每條規(guī)則的前件是一個前件屬性參考值的置信分布，表示該規(guī)則中各個前件屬性對其每個候選值的匹配度. 具體地，EBRB系統(tǒng)中第k條規(guī)則見下述表示.

(2)

1.3 EBRB系統(tǒng)的推理方法

(3)

之后，由于CBRB系統(tǒng)與EBRB系統(tǒng)中規(guī)則的前件屬性都是以合取“∧”方式連接的，因此二者都采用個體匹配度相乘的方式來計算規(guī)則的激活權(quán)重. 具體地，第k條規(guī)則的激活權(quán)重ωk的計算公式為：

(4)

(5)

這里，

(6)

采用上述公式合成后即可得到離散型的結(jié)果置信分布{(Dn,βn)|n=1, 2, …,N}. 對于分類問題，一般直接選取置信度最大的結(jié)果評價等級作為輸出. 對于回歸問題，則需考慮各個評價等級所對應(yīng)的效用值，按各個評價等級上的置信度對其效用值進(jìn)行加權(quán)，得到數(shù)值型的輸出.

2 基于概率論的推理方法存在的問題

2.1 基于概率論的D-S證據(jù)理論及ER算法

證據(jù)理論起源于1967年Dempster提出的由多值映射導(dǎo)出的上概率和下概率，之后Shafer對其進(jìn)行完善，形成D-S證據(jù)理論[12]. 在證據(jù)理論中，命題由識別框架Θ表示，其子集對應(yīng)表示可能成為答案的事件. 基本信任分配函數(shù)M表示對各個事件A的信任程度，該函數(shù)也稱為概率質(zhì)量函數(shù). 具體的，有：

(7)

不同的信息來源可能對同一個識別框架給出不同的基本信任分配函數(shù). 對此，D-S證據(jù)理論先對不同的證據(jù)進(jìn)行打折，再采用正交合成法來合成結(jié)果. 正交合成法的計算公式也是基于概率乘法的，對兩個基本信任分配函數(shù)M1和M2，合成公式如下：

(8)

在上述理論的基礎(chǔ)上，文獻(xiàn)[14]提出了ER算法，公式(8)即為ER算法遞歸形式的理論基礎(chǔ).

2.2 概率論方法在實(shí)際應(yīng)用中的缺陷

概率論中的合取是以相乘方式體現(xiàn)的，但不同的個體匹配度分布相乘有可能得到同樣的結(jié)果. 例如0.6×0.6×0.6的計算結(jié)果與0.3×0.8×0.9是相同的. 如果這三個數(shù)表示三個事件的概率，那么它們共同發(fā)生的概率就是0.216. 如果這三個數(shù)表示CBRB系統(tǒng)中某條激活規(guī)則的全部三個個體匹配度，那么在現(xiàn)有方法的計算下，該規(guī)則的激活權(quán)重也是0.216.

然而，目前的規(guī)則權(quán)重計算方法并非在所有情況下都是最合適的. 不妨設(shè)想這樣一個應(yīng)用場景：需要對某種機(jī)器的故障檢測進(jìn)行建模，機(jī)器有三個部件，對每個部件記錄運(yùn)行時的參數(shù)，只有三個部件均正常運(yùn)轉(zhuǎn)時，整個機(jī)器才能正常運(yùn)轉(zhuǎn). 現(xiàn)有一條置信規(guī)則和兩條測試數(shù)據(jù)，規(guī)則中的三個前件屬性分別代表機(jī)器中三個部件正常運(yùn)行時的參數(shù)，規(guī)則的分類結(jié)果為機(jī)器能否正常運(yùn)行，兩條數(shù)據(jù)對該規(guī)則的個體匹配度分別是{0.6, 0.6, 0.6}和{0.3, 0.8, 0.9}. 顯然對兩者而言三個部件同時損壞的概率是相等的，但后者無法正常運(yùn)行的可能性更大.

實(shí)際上，計算激活權(quán)重的意義與計算事件共同發(fā)生概率的意義是不同的. 概率論的方法在合成結(jié)果置信分布的應(yīng)用上的確具有理論依據(jù)，但計算激活權(quán)重時，某些情況下個體匹配度的極值比乘積更值得關(guān)注. 上述例子中的問題可以引入不確定推理的思想來解決，基于此，本研究對CBRB系統(tǒng)中規(guī)則激活權(quán)重的計算方式進(jìn)行改進(jìn).

3 基于不確定理論的新規(guī)則權(quán)重計算方法

3.1 不確定理論和不確定推理

不確定理論于2007年由文獻(xiàn)[13]提出，如今已經(jīng)成為數(shù)學(xué)領(lǐng)域的一個分支. 不確定理論能夠?qū)εc置信度有關(guān)的問題進(jìn)行建模. 不確定理論用可度量空間(Γ,L)描述問題. 其中，L代表事件的集合，L中的各個元素Λ均由非空集合Γ中的元素構(gòu)成. 不確定測度M(Λ)表示對Λ的信任程度. 對任意(Γ,L)，有:

(9)

在不確定推理中，一條規(guī)則表示為：如果Xi對應(yīng)于σi, 則Y對應(yīng)于η. 其中，X與Y表示概念，σ與η表示不確定集合. 不確定規(guī)則中的前件屬性同樣是以合取方式連接的. 設(shè)輸入數(shù)據(jù)中的Xi為ai，可以計算出各個M(ai∈σi)，則該不確定規(guī)則的權(quán)重c表示為：

(10)

這里，m表示前件屬性的總數(shù). 依據(jù)規(guī)則權(quán)重對各規(guī)則的后件進(jìn)行加權(quán)平均，即得到不確定推理的結(jié)果. 不確定推理的流程與CBRB系統(tǒng)十分類似. 事實(shí)上，ER算法被認(rèn)為是消解證據(jù)間沖突和處理不確定信息的一種更具魯棒性的加權(quán)平均算法. 但在規(guī)則權(quán)重的計算上，不確定理論更注重個體匹配度中的最小值.

3.2 改進(jìn)的激活權(quán)重計算方法

在計算規(guī)則激活權(quán)重時，若采用不確定理論的計算思想，則規(guī)則的激活權(quán)重與各前件屬性個體匹配度間的關(guān)系可以表示為：

(11)

事實(shí)上，如果直接使用式(11)取代激活權(quán)重計算式(4)中的連續(xù)相乘操作，得到的推理結(jié)果并不理想. 式(11)的不足之處在于完全忽視了規(guī)則中其余個體匹配度的作用，使得信息沒有得到充分有效的利用. 回到上節(jié)2.2中的例子，假設(shè)兩條數(shù)據(jù)的個體匹配度分別是{0.3, 0.6, 0.6}和{0.3, 0.8, 0.9}，那么前者發(fā)生故障的可能性顯然比后者要大. 如果直接使用式(11)進(jìn)行計算，這一差別就不會被體現(xiàn).

(12)

(13)

將新的規(guī)則權(quán)重計算方法應(yīng)用于2.2節(jié)中的例子，則前者激活權(quán)重為0.6(0.6×0.6)-1=0.24，后者激活權(quán)重為0.3(0.8×0.9)-1=0.19. 可見新方法成功區(qū)分了兩者的激活權(quán)重. 再假設(shè)后者的個體匹配度為{0.3, 0.6, 0.6}，則采用新方法計算出其激活權(quán)重為0.3(0.6×0.6)-1=0.03，即隨著其與個體匹配度乘積的降低，規(guī)則的激活權(quán)重也會進(jìn)一步降低. 與傳統(tǒng)的的規(guī)則激活權(quán)重計算方法相比，新方法同樣需要遍歷個體匹配度計算乘積，并可以在這一過程中得到個體匹配度最小值. 此外，新方法也不需要更多的空間開銷，因此其時空復(fù)雜度與舊方法相同.

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)條件

本研究分別在回歸和分類問題上驗(yàn)證新方法的推理能力. 實(shí)驗(yàn)環(huán)境為：Inter(R) Core(TM) i7-6700 CPU @ 3.40 GHz 3.41 GHz；16 GB內(nèi)存；Windows 10操作系統(tǒng)；算法實(shí)現(xiàn)平臺為JetBrains PyCharm Community Edition 2019.1.1 x64；Python版本3.6.5.

4.2 輸油管道泄露問題

輸油管道泄露問題數(shù)據(jù)集來源于一條位于英國的輸油管道發(fā)生泄漏事故時記錄的歷史數(shù)據(jù). 事故發(fā)生時，反映管道泄露大小(leak size，LS)的主要因素為管道輸入流量與輸出流量的差值(flow difference，F(xiàn)D)以及管道內(nèi)部的壓力差值(pressure difference，PD)，基于此，本實(shí)驗(yàn)以FD和PD為前件屬性，以LS為結(jié)果屬性進(jìn)行EBRB系統(tǒng)的構(gòu)建. 前件屬性候選值和結(jié)果評價等級均參照文獻(xiàn)[9]中的標(biāo)準(zhǔn)設(shè)置，由于本實(shí)驗(yàn)修正了文獻(xiàn)[9]中個體匹配度為負(fù)的問題，因此復(fù)現(xiàn)結(jié)果有所不同. 之后，本實(shí)驗(yàn)分別采用文獻(xiàn)[9]中的訓(xùn)練方式和十折交叉驗(yàn)證兩種方法設(shè)計實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果評價指標(biāo)為平均絕對誤差(MAE). 實(shí)驗(yàn)結(jié)果如表1所示.

表1 輸油管道泄露問題對比實(shí)驗(yàn)

在兩個實(shí)驗(yàn)結(jié)果中，采用本研究提出的規(guī)則權(quán)重計算方法后EBRB系統(tǒng)回歸結(jié)果的MAE值相比Liu_EBRB系統(tǒng)分別減少了13.99%和14.12%，本研究方法的改進(jìn)效果得到了驗(yàn)證.

4.3 基于公共數(shù)據(jù)集的分類問題

本研究選取了若干個來自UCI的公共分類數(shù)據(jù)集，與文獻(xiàn)[15]中的部分實(shí)驗(yàn)結(jié)果進(jìn)行對比. 各測試數(shù)據(jù)集的詳細(xì)信息如表2所示，實(shí)驗(yàn)方法均為十折交叉驗(yàn)證. 對于規(guī)則庫的各項參數(shù)，根據(jù)每個前件屬性的取值范圍均勻地設(shè)置5個屬性候選值，結(jié)果評價等級的設(shè)置與分類數(shù)一致. 實(shí)驗(yàn)結(jié)果的評價指標(biāo)為平均分類精度.

表2 其他分類數(shù)據(jù)集信息

表3列出了本研究方法與傳統(tǒng)方法(Liu_EBRB)及其他常用同類方法在10個分類數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果. 實(shí)驗(yàn)結(jié)果中，本研究方法在9個數(shù)據(jù)集上的推理效果都優(yōu)于傳統(tǒng)方法，在5個數(shù)據(jù)集上的推理方法達(dá)到了第一. 即應(yīng)用新方法后EBRB系統(tǒng)在大部分?jǐn)?shù)據(jù)集上的推理精度都有所提升. 這一結(jié)果也說明在許多情況下，最小的個體匹配度與其他個體匹配度相比具有更重要的意義.

表3 分類數(shù)據(jù)集的分類精度對比

注：表中括號數(shù)據(jù)為算法推理精度的排名.

5 結(jié)語