胡星辰,李妍,陳紫健,李文濤,申映華,劉忠
(1.國防科技大學(xué) 系統(tǒng)工程學(xué)院, 湖南 長沙 410073; 2.西南大學(xué) 人工智能學(xué)院,重慶 400715; 3.重慶大學(xué) 經(jīng)濟(jì)與工商管理學(xué)院,重慶 400030)
人類處理問題的一個顯著優(yōu)勢是根據(jù)問題的特性在不同抽象程度中進(jìn)行分析思考[1-3]。隨著人工智能技術(shù)的不斷發(fā)展,當(dāng)前智能系統(tǒng)的研究重點(diǎn)關(guān)注認(rèn)知機(jī)理的理解、分析和模擬[4],著重分析人類的認(rèn)知和信息處理方法,包括人類的學(xué)習(xí)、分析、推理和決策能力等。粒計算(granular computing, GrC)能夠模擬人類思考過程,從抽象角度對問題進(jìn)行分析推理,并反映人類思考和處理信息的過程。作為計算智能中一種新型信息處理范式,粒計算的研究涵蓋了基于不同粒度解決復(fù)雜問題的理論、方法、技術(shù)和工具,屬于人工智能認(rèn)知機(jī)理研究的領(lǐng)域。1996年,文獻(xiàn)[5]首次提出粒計算這一概念,一直沿用至今。1997年,Zadeh[5]在模糊集和模糊系統(tǒng)的基礎(chǔ)上,首次創(chuàng)新性地提出了信息粒度化(information granulation)的概念[6]。文章中討論了不同領(lǐng)域中信息粒的不同表現(xiàn)形式,并將模糊邏輯與其他處理不精確性和不確定性的方法區(qū)分開來。1985年,Hobbs[7]發(fā)表名為“粒度(granularity)”的論文,圍繞信息粒的分解與合并方法進(jìn)行討論。自此,一些研究人員[8-10]先后圍繞信息粒的結(jié)構(gòu)分析、信息表征以及模型框架等問題進(jìn)行探索,國內(nèi)外圍繞粒計算的研究迅速發(fā)展。粗糙集理論的引入[11]為不精確、不完備的問題提供了理論方法。1988年,Lin[8]構(gòu)建了基于鄰域系統(tǒng)的粒度模型。1996年,“詞計算”理論[12]的提出,為基于模糊理論的推理模型奠定基礎(chǔ)。Yao[13]圍繞信息粒的構(gòu)造和計算等基本問題進(jìn)行分析討論。王國胤等[14-15]針對不完備信息系統(tǒng),對于信息粒的規(guī)則表示和分解算法進(jìn)行應(yīng)用研究。基于商空間理論的模型[16-17]的提出,從多粒度的角度為數(shù)據(jù)挖掘提供了新的計算方法和工具。隨著粒計算理論[18-20]的不斷發(fā)展,與其他機(jī)器學(xué)習(xí)方法相結(jié)合的研究不斷涌現(xiàn)。
在粒度神經(jīng)網(wǎng)絡(luò)的概念[21]提出之前,模糊集與神經(jīng)網(wǎng)絡(luò)的協(xié)同研究已經(jīng)不斷發(fā)展。Song等[22]圍繞粒度神經(jīng)網(wǎng)絡(luò)的架構(gòu)、類別和應(yīng)用進(jìn)行系統(tǒng)地總結(jié)。同時,一些學(xué)者開展了粒度神經(jīng)網(wǎng)絡(luò)在分類問題[23]和推薦系統(tǒng)[24]等領(lǐng)域中的應(yīng)用研究。粒度認(rèn)知圖[25]是基于圖學(xué)習(xí)的粒度模型的代表。其目標(biāo)是利用概念集和彼此之間的因果關(guān)系表示問題,已經(jīng)被廣泛應(yīng)用于時間序列分析[26]、自然語言處理[27]等領(lǐng)域中。在決策問題研究中,粒計算也受到了學(xué)界的廣泛關(guān)注,Qin等[28]對粒計算在決策中的應(yīng)用進(jìn)行了系統(tǒng)概述。一些學(xué)者利用云模型[29-30]、三支決策模型[31]、數(shù)據(jù)驅(qū)動的粒度神經(jīng)網(wǎng)絡(luò)模型[32],以及新型的粒度模型[33]在基于信息粒度優(yōu)化分配的覆蓋特異性度量、多粒度語言決策等領(lǐng)域開展了相關(guān)研究。Pedrycz[34]全面總結(jié)信息粒的構(gòu)建和計算方法,詳細(xì)歸納粒計算思想下的數(shù)據(jù)分析方法。在2022年中國人工智能系列白皮書《粒計算與知識發(fā)現(xiàn)》中,將粒計算研究分為基于粒的表征[35-36]、度量[37]、計算[38]和決策[28]4個方面,全面介紹了粒計算框架下理論方法的發(fā)展現(xiàn)狀,同時歸納了粒計算在生物醫(yī)療、智能控制等領(lǐng)域的應(yīng)用,討論分析粒計算的后續(xù)研究方向。
粒度模型主要圍繞模糊集[38-39]、粗糙集[40-41]、商空間[16-17]和云模型[42-43]等理論分析問題。這些粒度模型都在抽象層次以信息粒作為最小單位構(gòu)建一個通用框架,根據(jù)它們對應(yīng)研究目標(biāo)的不同,可以將其分為兩大類[18,24]:將不確定性計算作為研究目標(biāo)的模糊集理論模型[18]和以多粒度計算為目標(biāo)的粗糙集理論模型[40]、商空間理論模型[19]和與模型理論模型[20]等3種模型。Zadeh[5,12]在模糊集理論的基礎(chǔ)上定義信息粒的概念,并基于模糊集合論構(gòu)造以詞為定義域的推理及計算方法,該方法與人類思維方式更為接近。在此基礎(chǔ)上,Pedrycz等[26,44]設(shè)計模糊信息粒構(gòu)建理論框架,進(jìn)一步發(fā)展基于模糊集的粒計算模型。模糊集理論模型通過隸屬度值描述不確定問題,后續(xù)研究不斷擴(kuò)展基于隸屬度函數(shù)計算的理論方法,如區(qū)間模糊集[27,45]和二型模糊集[46]等。粗糙集理論是由Pawlak[11]提出用于解決集合邊界不確定問題的方法,該理論通過近似空間刻畫了目標(biāo)概念的不確定性,并探究知識空間中粒的表示、轉(zhuǎn)換和相互依存等主要問題。大量研究[20,47]對基于粗糙集的粒計算模型進(jìn)行了優(yōu)化,并結(jié)合實(shí)際問題構(gòu)建了模糊粗糙集[47]、多粒度粗糙集[45,48]等模型。結(jié)合人類從不同粒度空間分析問題這一現(xiàn)象,張鈸等[49]結(jié)合商級理論,構(gòu)建了商空間理論模型。商空間理論模型可以由包括問題論域、論域?qū)傩院屯負(fù)浣Y(jié)構(gòu)的三元組表示,并利用“保真原理”和“保假原理”進(jìn)行模型推理。商空間理論模型通過對商空間之間的關(guān)系、綜合、分析和推理進(jìn)行研究,從而求解復(fù)雜問題。張玲等[50]進(jìn)一步將模糊集思想引入了商空間理論,為商空間理論后續(xù)發(fā)展提供了有力理論支撐。在概率論的基礎(chǔ)上,李德毅[51]提出云模型理論,該理論模型面向語言值中的隨機(jī)性、模糊性、關(guān)聯(lián)性等問題進(jìn)行探究,從而能夠?qū)崿F(xiàn)定性定量轉(zhuǎn)換的認(rèn)知模型。相關(guān)學(xué)者圍繞云模型[43]進(jìn)行擴(kuò)展,王國胤等[52]對云模型與粒計算的交叉研究進(jìn)行分析,并進(jìn)行了系統(tǒng)的總結(jié)。
不同理論體系所構(gòu)建的粒度模型存在區(qū)別,但之間也相互關(guān)聯(lián)[16,48]。同時,盡管粒度模型構(gòu)建的方法不同,粒計算的本質(zhì)都是數(shù)據(jù)信息的粒化、計算和推理。在模糊集理論模型中,基于模糊方法的粒度規(guī)則模型在數(shù)據(jù)挖掘的基礎(chǔ)上,增強(qiáng)了模型的魯棒性和可解釋性[53]。由于其高效且實(shí)用性強(qiáng)的特點(diǎn)和優(yōu)勢,近年來吸引了越來越多的關(guān)注和研究。在圍繞信息粒構(gòu)建和以此為基礎(chǔ)的粒度模糊規(guī)則模型構(gòu)建的研究中,以加拿大的Witold[34,46,54]、Oscar等[55-56]為代表的研究團(tuán)隊開展了大量研究。相關(guān)論文相繼在IEEE Transactions on Cybernetics、IEEE Transactions on Fuzzy Systems、IEEE Transactions on Systems, Man, and Cybernetics: Systems、Pattern Recognition、Information Sciences、Knowledge-Based Systems和Applied Soft Computing等高水平期刊上發(fā)表。然而,在國內(nèi)從事該方向的研究人員相對較少,在中文文獻(xiàn)中,也缺乏系統(tǒng)地總結(jié)粒度模糊規(guī)則模型構(gòu)建方法的研究成果。因此,本文聚焦近年來粒度模糊規(guī)則模型的構(gòu)建方法,歸納總結(jié)了當(dāng)前領(lǐng)域中關(guān)鍵問題和重要成果,為相關(guān)研究人員在該領(lǐng)域的進(jìn)一步研究提供參考。
在粒度模糊規(guī)則模型中,聚類方法和模糊規(guī)則模型分別是信息粒化和近似推理的基礎(chǔ),因此本節(jié)圍繞這兩部分進(jìn)行簡要介紹。
聚類方法[57]是近年機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘的研究熱點(diǎn)之一。它通過某種相似性度量劃分?jǐn)?shù)據(jù),使得簇內(nèi)樣本差異盡可能小同時簇間樣本差異盡可能大,從而挖掘數(shù)據(jù)隱藏的結(jié)構(gòu)信息。聚類的實(shí)現(xiàn)依賴數(shù)據(jù)本身屬性信息,無需標(biāo)簽信息,是一種有效的無監(jiān)督數(shù)據(jù)分析方法。模糊聚類算法[57-58]可以構(gòu)造能夠描述模糊邊界的隸屬度函數(shù),是一種軟聚類方法,能夠以模糊相似度描述數(shù)據(jù)的結(jié)構(gòu)和關(guān)系方面發(fā)揮重要作用。其中,模糊C均值(fuzzy Cmeans, FCM)算法[59-60]是一種常用的數(shù)據(jù)挖掘方法。
具體而言,F(xiàn)CM通過最小化目標(biāo)函數(shù)J,不斷迭代優(yōu)化[60]產(chǎn)生聚類中心集合v=[v1,v2,···,vc]和對應(yīng)的隸屬度矩陣Uki。目標(biāo)函數(shù)表示為
式中:m(m>1)為模糊化系數(shù);c為聚類中簇的個數(shù);uki為隸屬度矩陣中的元素,表示數(shù)據(jù)xk對第i個聚類中心的隸屬度值;‖xk-vi‖2為數(shù)據(jù)xk和聚類中心vi之間的歐氏距離。隸屬度函數(shù)和聚類中心表示為
一旦滿足終止條件(如設(shè)置最大迭代次數(shù))便停止迭代。由于聚類過程中的參數(shù)(聚類中心的個數(shù)c和模糊系數(shù)m)對于聚類的性能具有很大影響,相關(guān)的優(yōu)化算法[61-62]不斷提出以應(yīng)對不同問題的需求。
FCM的本質(zhì)特征是將相似的對象組合,整個過程以數(shù)據(jù)為驅(qū)動而無需先驗(yàn)知識,最終聚合的簇能夠?qū)崿F(xiàn)對數(shù)據(jù)的抽象表示。因此FCM是一種形成粒結(jié)構(gòu)的有效工具。在一些研究中,將FCM產(chǎn)生的聚類中心稱作原型。
規(guī)則模型能夠捕獲輸入和輸出空間之間的關(guān)聯(lián)關(guān)系,將復(fù)雜問題合理劃分為一系列子問題,實(shí)現(xiàn)對復(fù)雜信息的局部處理。基于“IF-THEN”(如果…,則…)規(guī)則的模型由于其魯棒性和可解釋性,能夠?qū)崿F(xiàn)復(fù)雜非線性系統(tǒng)的建模[37,63]。通過不同的算法和優(yōu)化方法,基于規(guī)則的模型可以多種形式構(gòu)建。由于模糊建模能夠發(fā)現(xiàn)和挖掘隱藏的數(shù)據(jù)信息,實(shí)現(xiàn)以人為中心的知識表征,因此模糊規(guī)則系統(tǒng)已成為模糊規(guī)則生成的常用框架。在眾多模糊規(guī)則模型的擴(kuò)展方法中,高木關(guān)野(takagi-sugeno, TS)模糊規(guī)則模型[64]將復(fù)雜非線性系統(tǒng)分解為多個局部模型,建模過程簡潔且具有可解釋性,是一種經(jīng)典的模糊規(guī)則模型架構(gòu)。
給定一組輸入-輸出空間的數(shù)據(jù)樣本[x,y],其中x=[x1x2···xn],TS模糊模型的規(guī)則描述為
式中:i=1,2,···;c為規(guī)則的總數(shù);a=[ai0ai1···ain]T為輸入變量的參數(shù)向量;Ui(x)為在n維輸入空間Rn中的隸屬度函數(shù),常被看作一種信息粒。在當(dāng)前的許多研究中采用FCM構(gòu)建信息粒,并基于該信息粒建立模糊規(guī)則模型。規(guī)則中結(jié)論部分fi(x)的形式多樣,一般采用線性函數(shù)表征。一些研究[65]在線性函數(shù)fi(x)中引入信息粒,可以表示為
式中:wi和vi分別對應(yīng)于輸出空間和輸入空間的原型,參數(shù)向量a通過最小二乘法實(shí)現(xiàn)。
在數(shù)值TS模糊模型的設(shè)計中,引入了模糊集的思想,通過構(gòu)建信息粒從原始數(shù)據(jù)空間中挖掘有效信息,進(jìn)而實(shí)現(xiàn)可解釋的規(guī)則推理。值得注意的是,從大量數(shù)據(jù)中選擇合理的有效信息這一思想,與近些年來發(fā)展的原型學(xué)習(xí)(prototype learning)十分相近。原型學(xué)習(xí)[65-67]旨在從樣本空間中尋求包含數(shù)據(jù)信息的原型,有利于減少冗余信息、發(fā)掘數(shù)據(jù)結(jié)構(gòu),是當(dāng)前機(jī)器學(xué)習(xí)的研究重點(diǎn)之一。
信息粒是知識表示和學(xué)習(xí)的關(guān)鍵組件。同時,根據(jù)問題復(fù)雜性的不同,信息粒的大?。ò畔⒘康木唧w程度)也會不同。過細(xì)的信息粒(單個元素)無法從抽象層次上表述問題,過粗的信息粒中信息量過于寬泛,無法學(xué)習(xí)有效信息。因此,信息粒度決定了問題的抽象程度,對于問題的描述和解決至關(guān)重要[35,37]。顯然,信息粒的學(xué)習(xí)和表征由問題驅(qū)動,不存在通用的信息粒度滿足所有問題。在這一部分圍繞信息粒的主要形式和?;c解?;瘷C(jī)制兩部分分析信息粒的構(gòu)建。
在粒計算中,信息粒有多種形式,其中包括:
1)集合(區(qū)間)[68-71]:集合并非通過枚舉法選擇其中的元素,而是通過二分法在區(qū)間[0,1]中的特征函數(shù)描述抽象概念。簡單來說,信息粒中存在的元素必須是唯一確定的,即元素可以在區(qū)間信息粒中或元素不在區(qū)間信息粒中,但不允許兩種情況同時發(fā)生。則在論域X中,映射函數(shù)Φ表示為
2)模糊集[47,54]:由數(shù)據(jù)空間中的元素映射到區(qū)間[0,1]的隸屬度函數(shù)實(shí)現(xiàn)抽象程度的描述,避免二分法嚴(yán)格劃分的要求。隸屬度函數(shù)ΦA(chǔ)表示元素x對于模糊集A的隸屬程度:ΦA(chǔ):x→[0,1],x→ΦA(chǔ)(x),ΦA(chǔ)越大,說明元素屬于集合的程度越高。顯然,區(qū)間集合是模糊集的一種特殊情況。
3)粗糙集[47,72-73]:在難以區(qū)分的元素關(guān)系中,利用近似空間中的近似算子(上近似集和下近似集)描述抽象程度。粗糙集基于分類的思想,根據(jù)現(xiàn)有知識將數(shù)據(jù)劃分。上近似集包括明確可分的元素,下近似包括存在不確定性的元素的最小集合,實(shí)現(xiàn)不確定性的數(shù)據(jù)表征。
4)陰影集[74-76]:根據(jù)某些閾值將元素分為完全屬于某一類,完全不屬于某一類和無法確定。與模糊集有些相似,由于不確定性,無法為陰影元素分配明確的隸屬關(guān)系,因此使用[0,1]區(qū)間中的值進(jìn)行表征。陰影集的構(gòu)建是通過原始空間x到空間{0,[0,1],1}的映射實(shí)現(xiàn)的。
除上述的幾種理論外,還有公理模糊集[77]、概率集[78-79]等。
信號處理問題中存在編碼與解碼過程[80-81],深度學(xué)習(xí)方法存在編碼解碼機(jī)制,這都是信息提取和重建的過程。?;c解?;?granulation and degranulation)的過程類似,目的都是提取信息中的關(guān)鍵特征[35]。人類憑借經(jīng)驗(yàn)知識將某些接近或相似的元素聚合為實(shí)體集合,并以一種合理的抽象層次進(jìn)行感知、分析和推理,推理的結(jié)果用以分析每個具體實(shí)體。該過程中的集合便是信息粒,將相似特征的實(shí)體聚合的過程為?;瘷C(jī)制,解粒化是在已構(gòu)建信息粒的基礎(chǔ)上,實(shí)現(xiàn)原始數(shù)據(jù)的重建。理想情況下,信息??梢杂成涞皆紨?shù)據(jù)空間[82]。在這一部分,本文主要圍繞基于模糊集的?;c解?;瘷C(jī)制進(jìn)行分析。
假設(shè)有一個數(shù)據(jù)集合x={x1,x2,···,xN},其中,xi位于n維度輸入空間Rn。粒化(編碼)是指信息粒集合Ai表征原始數(shù)據(jù)集合x的過程,其中i=1,2,···,c??梢詫⑵湟暈閺脑紨?shù)據(jù)空間到定義在[0,1]區(qū)間的模糊集空間的映射:G:x→[0,1]c。而解?;ń獯a)在?;:┑幕A(chǔ)上,通過某些評價指標(biāo)實(shí)現(xiàn)原始數(shù)據(jù)的重建。解粒化的目標(biāo)可以表示為G-1(G(x))=x,但在實(shí)際情況中,重建數(shù)據(jù)集≈x,其中=G-1(G(x))。映射G-1實(shí)現(xiàn)抽象程度高的空間到抽象程度低的空間的詳細(xì)表征,因此這個過程并不是唯一的。
對于簡單的一維輸入空間,三角模糊函數(shù)能夠?qū)崿F(xiàn)重構(gòu)誤差為零的粒化-解?;瘷C(jī)制[82]。但對于多變量數(shù)據(jù)而言,其他構(gòu)建函數(shù)的方法更為有效。由于實(shí)用性和高效的優(yōu)勢,F(xiàn)CM成為構(gòu)建模糊函數(shù)的一種常用方法。在?;^程中,基于FCM構(gòu)造的原型和隸屬度矩陣描述原始數(shù)據(jù)結(jié)構(gòu),解?;倪^程與聚類的逆問題類似,在已知的原型和隸屬度矩陣的基礎(chǔ)上,重建原始數(shù)據(jù)。一般而言,解?;ㄟ^重建性能指標(biāo)(重建數(shù)據(jù)和原始數(shù)據(jù)之間的重建誤差)指導(dǎo)該過程,重建誤差越小,表明?;瘷C(jī)制越好。此外,一些研究也將聚類性能(如分類精度)指標(biāo)作為重建誤差衡量?;男阅?。
Pedrycz在文獻(xiàn)[35]中首次基于FCM討論與分析粒化-解?;瘷C(jī)制的原理,提出重建誤差:并分析模糊系數(shù)對于重建機(jī)制的影響。為了提高重建的質(zhì)量,Hu等[83]引入原型增強(qiáng)機(jī)制,基于多種群體優(yōu)化算法實(shí)現(xiàn)分區(qū)矩陣的優(yōu)化。Zhang等[36]關(guān)注重構(gòu)誤差的監(jiān)督機(jī)制對于聚類性能的影響,將聚類原型和重構(gòu)數(shù)據(jù)的對偶表達(dá)式引入FCM從而實(shí)現(xiàn)算法增強(qiáng)。Graves等[84]引入核函數(shù)思想,比較原型位于不同特征空間的情況,對數(shù)據(jù)的分類精度和重建誤差進(jìn)行了綜合研究。針對原型優(yōu)化的監(jiān)督機(jī)制的研究[37,85-86]不斷發(fā)展,有助于增強(qiáng)算法的實(shí)用性。Izakian等[87]考慮到時空數(shù)據(jù)的特殊性,通過增廣距離函數(shù)賦予聚類算法更大的靈活性。同時分析重建誤差和預(yù)測誤差評價指標(biāo)指導(dǎo)數(shù)據(jù)重建的過程,成功將模型應(yīng)用于時序數(shù)據(jù)分析。進(jìn)一步,Izakian等[88]將?;?解?;乃枷胍霑r序數(shù)據(jù)異常檢測問題的研究,在設(shè)計框架中,采用?;瘷C(jī)制揭示時序數(shù)據(jù)的潛在結(jié)構(gòu)信息,并將重建誤差作為異常檢測的評價指標(biāo),指導(dǎo)和學(xué)習(xí)異常數(shù)據(jù)的形狀信息。
模糊聚類產(chǎn)生的數(shù)值型表示方法不能完全表征數(shù)據(jù)本質(zhì),超立方體的信息粒結(jié)構(gòu)作為一種替代的增強(qiáng)方案,可以應(yīng)對更高層次的數(shù)據(jù)分析。如Galaviz等[89]以FCM得到的原型為核心,構(gòu)造一種超矩形信息粒(超盒),并提出2種約束策略避免信息粒的重疊。Zhu等[90]圍繞數(shù)值原型進(jìn)行分配合理的信息粒度,通過參與?;?解粒化機(jī)制實(shí)現(xiàn)信息粒的增強(qiáng)。在合理粒度準(zhǔn)則的基礎(chǔ)上,Zhang[91]在?;^程中產(chǎn)生信息粒并利用解?;瘷C(jī)制指導(dǎo)信息粒的優(yōu)化,從而應(yīng)對非理想條件下的源檢測問題。
除此之外,基于矢量量化概念的數(shù)據(jù)重建[92],圍繞不確定性原則實(shí)現(xiàn)的二型模糊集[93-94]等方法的?;?解粒化機(jī)制都對于信息粒的構(gòu)建具有重要意義。基于FCM的?;?解?;瘷C(jī)制的分類與相關(guān)研究如表1所示。
表1 基于FCM的?;饬;瘷C(jī)制的分類與相關(guān)研究Table 1 Classification and studies of granulation-degranulation Mechanism based on FCM
本節(jié)通過不同的?;呗詫α6饶:?guī)則模型的構(gòu)建進(jìn)行系統(tǒng)地分析,首先闡述模糊規(guī)則模型的整體框架,其次結(jié)合現(xiàn)有的理論方法分析不同策略的粒度模型。
現(xiàn)有研究已經(jīng)圍繞模糊規(guī)則模型的設(shè)計和分析進(jìn)行了大量的探索與實(shí)踐,但數(shù)值結(jié)構(gòu)的模型很難與目標(biāo)輸出的模型完全一致。為了應(yīng)對這一問題,引入粒計算的思想,構(gòu)建抽象程度的粒度模型,以彌補(bǔ)模型與目標(biāo)模型之間的差異。模型的框架設(shè)計如圖1所示。
圖1 粒度模糊規(guī)則模型的基本框架Fig.1 Basic framework of granular fuzzy rule-based model
在粒度模糊規(guī)則模型框架中,對于輸入空間x,通過對c個模糊規(guī)則進(jìn)行聚合實(shí)現(xiàn)粒度輸出?;赥S模糊規(guī)則,其粒度模型結(jié)構(gòu)設(shè)計為
規(guī)則可以表現(xiàn)出不同的語義。為了說明基于規(guī)則的建模的本質(zhì),采用基于聚類的粒化機(jī)制。利用聚類算法構(gòu)建信息粒,實(shí)現(xiàn)輸入空間數(shù)據(jù)與區(qū)間信息粒的映射G(Ai(x))的關(guān)聯(lián),從而通過規(guī)則聚合的方式實(shí)現(xiàn)粒度輸出:
本節(jié)分析了2類?;呗栽O(shè)計方法,并對當(dāng)前相關(guān)的研究進(jìn)行討論,如表2所示。
表2 不同粒化策略下的粒度模糊規(guī)則模型Table 2 granular fuzzy rule-based model with different granulation mechanisms
3.2.1 數(shù)值型模糊規(guī)則模型的?;呗?/p>
在合理的粒度分配策略指導(dǎo)下,數(shù)值模型擴(kuò)展為粒度模糊規(guī)則模型。數(shù)值型模糊規(guī)則模型的?;呗钥梢苑譃榛趨?shù)的粒化機(jī)制、基于輸入空間的?;瘷C(jī)制和基于輸入輸出空間的協(xié)同?;瘷C(jī)制3種。
1)基于參數(shù)的?;瘷C(jī)制。
Pedrycz[54]從模糊規(guī)則模型出發(fā),討論粒度模型隱含的基本原理和關(guān)鍵結(jié)構(gòu),并從粒度參數(shù)空間分析粒度模型的基礎(chǔ)設(shè)計過程。圍繞規(guī)則參數(shù)構(gòu)建粒度擴(kuò)展范式,并用符號G(·)描述。隨后,Pedrycz[34]在數(shù)值原型的基礎(chǔ)上,引入抽象程度(信息粒度)增強(qiáng)數(shù)據(jù)關(guān)系的描述,利用合理的粒度原則量化信息粒的質(zhì)量,構(gòu)建由數(shù)據(jù)到數(shù)值原型到粒度原型的范式。Hu[95]借助數(shù)值模糊模型的設(shè)計,將粒度概念引入規(guī)則中的參數(shù),創(chuàng)新性地提出3種參數(shù)空間的粒化策略:局部線性函數(shù)的參數(shù)(a);規(guī)則中的原型(V);將參數(shù)(a)和原型(V)結(jié)合,通過合理的粒度分配策略,將3種參數(shù)空間擴(kuò)展為粒度形式,實(shí)現(xiàn)由數(shù)值空間到粒度空間的轉(zhuǎn)化。值得一提的是,基于FCM算法構(gòu)建的模糊集通常定義于n維空間中,在?;^程中,將原型視為空間Rn中的元素并將其投影到各個維度的坐標(biāo)上以便計算。通過對原型分配不同程度的信息粒度,將其構(gòu)造為一個超矩形,從而模糊集以更為抽象的方式(區(qū)間)揭示輸入數(shù)據(jù)空間中的結(jié)構(gòu)。盡管FCM是描述模糊集的有效工具,但由于其算法本身的限制影響聚類的有效性。從這個角度出發(fā),Zhu[96]利用特征加權(quán)的聚類算法構(gòu)造用于條件部分的模糊集,以降低重構(gòu)誤差。通過對原型的粒度分配,構(gòu)建更為有效的粒度模糊模型。同樣,Hanyu[62]從聚類算法的改進(jìn)入手,使其與規(guī)則結(jié)論部分中非線性映射的方向性保持一致,通過引入閾值區(qū)分規(guī)則,從而構(gòu)建基于區(qū)間信息粒的粒度模型。圍繞參數(shù)空間的3種粒化策略中,基于原型的策略使用最為廣泛。在當(dāng)前研究不斷改進(jìn)的基礎(chǔ)上,所構(gòu)建的粒度模糊模型也被用來解決不同復(fù)雜環(huán)境下的問題。Pedrycz[97]介紹了一種分布式模糊建模方法。在建模過程中采用增廣FCM算法確定粒度參數(shù),引入合理粒度原則指導(dǎo)粒度模糊模型的形成。Li[98]針對大規(guī)模多變量數(shù)據(jù),將模糊規(guī)則與數(shù)據(jù)縮減和降維方法相結(jié)合,通過將原型擴(kuò)展為區(qū)間信息粒形式,構(gòu)建可解釋的粒度模糊規(guī)則框架。
該機(jī)制以數(shù)值向量的參數(shù)為中心,設(shè)計結(jié)構(gòu)可以表示為
式中:G(·)為對數(shù)值參數(shù)向量應(yīng)用某種粒度分配策略,從而生成相對應(yīng)的粒度表征(如A是參數(shù)a的區(qū)間粒度表示)。
2)基于輸入空間的?;瘷C(jī)制。
粒度輸入空間往往是圍繞輸入數(shù)據(jù)構(gòu)建的。一般而言,建模的過程是尋找輸入屬性到輸出空間的映射關(guān)系,粒度輸入空間對于模型起著至關(guān)重要的作用。不同的輸入變量對模型的輸出表現(xiàn)出不同的敏感性,基于輸入空間的?;瘷C(jī)制將這一表現(xiàn)通過信息粒度的設(shè)置進(jìn)行描述。針對這一點(diǎn),Hu[99]圍繞輸入空間提出了一種合理的粒度分配策略并進(jìn)行全局敏感度分析。Song[100]提出了一種層次性粒度分配策略以實(shí)現(xiàn)輸入空間的粒度構(gòu)建。在現(xiàn)實(shí)環(huán)境下數(shù)據(jù)存在不確定性(如信息缺失、高噪聲等),導(dǎo)致后續(xù)的特征學(xué)習(xí)與規(guī)則推理存在誤差。位于輸入空間的信息粒以抽象層次捕獲信息的同時,在一定程度上避免數(shù)據(jù)不確定性的影響。針對這一問題,一些研究圍繞粒度輸入空間構(gòu)建模型。Zhong[101]依賴合理的粒度分配策略,構(gòu)建將估算的缺失屬性表示為信息粒的方法,并提出粒度量化指標(biāo)指導(dǎo)該過程。針對粒度輸入空間中信息粒中心學(xué)習(xí)的這一問題,Hu[102]引入基于概率信息粒度策略的FCM算法進(jìn)行聚類。由于原型是通過聚類和監(jiān)督學(xué)習(xí)方法生成和優(yōu)化,其包含的數(shù)據(jù)特征和輸出空間信息能夠近似表示缺失屬性?;诖耍ㄟ^信息粒度的分配,將輸入空間的估算值擴(kuò)展為區(qū)間信息粒;盡管完整屬性表示為區(qū)間形式,但左右邊界相等,易于區(qū)分。從而利用模糊規(guī)則進(jìn)一步構(gòu)建粒度模糊模型。
該機(jī)制以數(shù)值輸入向量為中心,設(shè)計結(jié)構(gòu)可以表示為
式中:G(x)為對數(shù)值輸入應(yīng)用粒度分配策略,生成輸入信息粒X。
3)基于輸入輸出空間的協(xié)同粒化機(jī)制。
上述信息粒構(gòu)建策略中存在特定模式,即通過粒度參數(shù)實(shí)現(xiàn)輸入到輸出映射,得到區(qū)間形式的粒度輸出。與基于規(guī)則參數(shù)的粒度分配策略不同,Li[103]從規(guī)則聚合的過程入手,考慮到加權(quán)數(shù)據(jù)在一定程度上表示輸出空間的信息,借助合理的粒度分配策略構(gòu)建區(qū)間信息粒,同時利用權(quán)重實(shí)現(xiàn)信息粒大小的縮放。構(gòu)建的粒度模型無需提前進(jìn)行數(shù)值計算,簡化了模型構(gòu)建和推導(dǎo)過程。為了避免基于模糊規(guī)則的回歸模型產(chǎn)生的誤差,Zhu[104]構(gòu)建誤差模型對回歸模型的數(shù)值輸出進(jìn)行指導(dǎo),兩者聚合實(shí)現(xiàn)區(qū)間輸出信息粒的構(gòu)建??紤]到輸入輸出空間相關(guān)聯(lián)的特性,Shen[105]使用改進(jìn)FCM算法提升原型表征性能,并從輸出空間出發(fā),引入知識引導(dǎo)機(jī)制指導(dǎo)信息輸入空間學(xué)習(xí)。Zhang[106]針對分布式環(huán)境中的數(shù)據(jù)特點(diǎn),將數(shù)值模型視為分布式框架的局部表征,以數(shù)值誤差均方根誤差(root mean square error, RMSE)作為局部權(quán)重參數(shù),在聚合過程中引入合理的粒度分配策略實(shí)現(xiàn)區(qū)間粒度輸出。
基于輸入輸出空間的協(xié)同?;瘷C(jī)制的設(shè)計結(jié)構(gòu)如圖2所示。G(x)和G(y?)分別對應(yīng)輸入空間和輸出空間的?;呗浴?/p>
圖2 基于輸入輸出空間的協(xié)同?;瘷C(jī)制結(jié)構(gòu)Fig.2 Diagram of collaborative granulation mechanism based on input-output space
3.2.2 粒度模糊規(guī)則模型直接構(gòu)建策略
比起從數(shù)值結(jié)構(gòu)擴(kuò)展到粒度結(jié)構(gòu)的兩階段過程,一個更簡單的設(shè)計思想是如何直接構(gòu)建信息粒反映原始數(shù)值數(shù)據(jù)的主要特征,實(shí)現(xiàn)粒度輸入和輸出空間的直接映射。
Lu[107]在研究中探討了超盒的幾何結(jié)構(gòu),強(qiáng)調(diào)了信息粒以超盒(多維區(qū)間)的形式出現(xiàn)對于揭示多維變量的本質(zhì)和內(nèi)在關(guān)系的重要性。并以此為基礎(chǔ),在輸入輸出空間直接構(gòu)建信息粒,利用規(guī)則實(shí)現(xiàn)兩者之間的聯(lián)系建立粒度模型。Reyes-Galaviz[89]按照一定原則將輸出數(shù)據(jù)劃分為區(qū)間信息粒,由于輸入數(shù)據(jù)與每個區(qū)間的輸出數(shù)據(jù)密切相關(guān),基于改進(jìn)FCM圍繞數(shù)據(jù)構(gòu)造超盒粒。同時利用2種約束策略對其進(jìn)行優(yōu)化。Lu[108]在文獻(xiàn)[107]的基礎(chǔ)上,通過優(yōu)化算法實(shí)現(xiàn)輸入空間原型的優(yōu)化,以此增強(qiáng)輸出區(qū)間信息粒和原型信息之間的關(guān)聯(lián)結(jié)構(gòu),進(jìn)一步,在文獻(xiàn)[109]中討論3種不同的輸出區(qū)間劃分方法,從而指導(dǎo)具有置信度的輸入超盒粒,圍繞超參數(shù)實(shí)現(xiàn)粒度模糊模型的優(yōu)化。
粒度模型的性能依賴于合理的粒度分配策略,因此本節(jié)首先討論常用的2種粒度分配策略方法,其次總結(jié)常用的性能評估指標(biāo)。
在基于數(shù)值模型的粒化策略中,通過合理的粒度分配策略構(gòu)建粒度結(jié)構(gòu)。當(dāng)初始化的隨機(jī)信息粒度ε分配給某個參數(shù)時,每個參數(shù)被賦予不同的抽象程度。信息粒度的值越高,信息粒的靈活性就越大,但信息粒度ε受到單位區(qū)間的約束。如何給數(shù)值參數(shù)的每個特征分配合理的信息粒度,使得所構(gòu)建的粒度模型具有更高的覆蓋率和特異性是一個核心問題。對于給定的信息粒度ε,粒度分配策略一般有2種形式: 1)均勻?qū)ΨQ的粒度分配策略; 2)非均勻非對稱的粒度分配策略[110]。在這一部分,本文以數(shù)值原型的粒度擴(kuò)展為例,對于2種分配策略進(jìn)行分析。
均勻?qū)ΨQ的粒度分配策略通過對數(shù)值原型分配相同的信息粒度構(gòu)建區(qū)間信息粒:
式中Rix=xmax-xmin。
式中ε0=且Ryi=ymax-ymin。
如圖3(a)所示,針對不同的數(shù)據(jù)特征,均勻?qū)ΨQ分配策略賦予數(shù)值原型同樣的抽象程度,計算復(fù)雜度相對較低。這一方法雖然簡單但是沒有考慮到不同特征的信息量不同這一問題,限制了信息粒對于數(shù)據(jù)的表征能力。
圖3 2種不同的粒度分配策略Fig.3 Two different allocation strategies of information granularity
非均勻非對稱的粒度分配策略認(rèn)為數(shù)值原型中不同特征的每個區(qū)間長度是不相等的:
如圖3(b)所示,對于二維數(shù)值原型,非均勻非對稱的粒度分配策略針對不同特征空間分配了不同程度的信息粒度,構(gòu)造了矩形的信息粒。當(dāng)維度逐漸增加時,信息粒會呈現(xiàn)出不規(guī)則的超立方體。其他參數(shù)的粒度分配策略采用同樣的思想實(shí)現(xiàn)信息粒構(gòu)建。
理想的信息粒應(yīng)該包含盡可能多的數(shù)據(jù)信息,同時需要信息描述得盡可能具體。針對這2個需求,現(xiàn)有的研究工作[111-112]常用2種評價指標(biāo)對于信息粒的性能進(jìn)行評估。以區(qū)間信息粒?=[ω1,ω2]為例進(jìn)行介紹。
覆蓋率(coverage)[82,112]表示了信息粒包含數(shù)據(jù)的多少,可以表示為
式中:card{.}為區(qū)間?包含元素的個數(shù),N為數(shù)據(jù)樣本數(shù)目。
特異性(specificity)[34,54]量化信息粒包含數(shù)據(jù)信息的具體程度,如圖4所示,即保證區(qū)間長度盡可能的小。簡而言之,Qs(?)應(yīng)該表示為區(qū)間長度的單調(diào)遞減函數(shù):Qs(?)=g(length(?))。當(dāng)區(qū)間長度為0時,信息粒退化為數(shù)值形式,如圖5所示。此時信息粒專注于細(xì)節(jié)描述而忽略了高層次的信息表征,Qs=1且Qc=0;當(dāng)區(qū)間長度與論域長度相同時(如圖6所示),信息??梢愿采w所有數(shù)據(jù),Qc=1,但由于信息粒過于寬泛,Qs=0,對于數(shù)據(jù)分析沒有很大幫助。很多研究[54,96]中采用了不同的特異性計算公式,常用的形式計算為
圖5 特異性示意圖:區(qū)間長度為0的信息粒?Fig.5 Diagram of specificity: information granule ? with interval length of 0
圖6 特異性示意圖:區(qū)間長度最大時的信息粒?Fig.6 Diagram of specificity: information granule ? with the largest interval length
式中R為區(qū)間所在論域的長度。
結(jié)合上述信息粒度分配策略,進(jìn)一步討論粒度模糊規(guī)則模型的性能評估指標(biāo)。給定粒度模糊規(guī)則模型的區(qū)間輸出與實(shí)際輸出yk,覆蓋性可以表示為
式中incl(yk,Yk)為區(qū)間輸出Yk包含數(shù)據(jù)樣本yk的數(shù)目。同樣,考慮利用區(qū)間輸出的長度量化特異性:
顯然,覆蓋率和特異性是相互矛盾的,特異性的增加會降低覆蓋率,覆蓋率較高時特異性會降低。為了綜合評估所構(gòu)建的區(qū)間粒度模糊模型,采用2個指標(biāo)的乘積[69]量化粒度模糊規(guī)則模型的整體性能為
式中:參數(shù)β∈[0,1]表示特異性指標(biāo)的重要程度,通過調(diào)整β可以實(shí)現(xiàn)不同問題對于2個指標(biāo)的不同要求。
從式(1)可以看出,由性能指標(biāo)Q表述的區(qū)間粒度模糊模型的性能直接取決于信息粒度ε的值。因此,可以使用以信息粒度ε為變量的曲線下面積(area under curve, AUC)衡量粒度模型的性能[82]:
針對不同的復(fù)雜問題,不同抽象程度的信息粒會影響模型的性能,因此大部分研究[109,113]圍繞面向問題和數(shù)據(jù)的非均勻非對稱策略進(jìn)行。盡管非均勻非對稱策略能夠差異化表征不同維度信息,但無法直接確定信息粒度ε的取值。如第4節(jié)所述,區(qū)間輸出可以用性能指標(biāo)Q來量化。因此,粒度分配問題可以表示目標(biāo)函數(shù)為Q,且存在約束的信息粒度ε的優(yōu)化。傳統(tǒng)的數(shù)學(xué)優(yōu)化方法在求解這一問題時存在困難,因此,現(xiàn)有的研究主要是借助群體智能優(yōu)化技術(shù)實(shí)現(xiàn)粒度分配策略的優(yōu)化。
群體智能優(yōu)化技術(shù)通過模擬動物的群體行為,利用彼此間交互與合作的方式實(shí)現(xiàn)全局問題的優(yōu)化。在群體智能優(yōu)化算法中,粒子群優(yōu)化算法(particle swarm optimization, PSO)、遺傳算法(genetic algorithm, GA)和差分進(jìn)化算法(differential evolution, DE)被廣泛應(yīng)用于各種復(fù)雜問題的求解。PSO的種群大小對求解時間的影響較小,同時搜索空間的連續(xù)性較好,在計算過程中無需解的排序,實(shí)現(xiàn)較為簡單。因此,大量研究[110,113]考慮利用PSO實(shí)現(xiàn)粒度模型的優(yōu)化?;跀?shù)值模型的構(gòu)建的粒度策略,將性能指標(biāo)Q作為PSO的目標(biāo)函數(shù)[101,103,108,111],實(shí)現(xiàn)合理的粒度分配以構(gòu)建高效的粒度模型。此外,在直接構(gòu)建的粒度模糊模型中,如超盒信息粒[89,107],盡管粒度分配策略有所不同,同樣借助了PSO來優(yōu)化模型??紤]到輸出的特異性和覆蓋率對于不同信息粒的復(fù)雜依賴性,一些研究[99]提出了改進(jìn)的粒子群優(yōu)化算法。GA通過交叉變異等特定方式生成新的種群,計算過程中需要排序,參數(shù)設(shè)置相對簡單。DE與GA相似,將變異作為搜索機(jī)制,算法穩(wěn)定性優(yōu)于PSO,因此在粒度模型構(gòu)建過程中也常常采用GA和DE作為優(yōu)化手段[96,112,114]。一些研究[110,114]還采用了多種優(yōu)化方法并對于不同的優(yōu)化技術(shù)下的模型性能進(jìn)行分析。此外,部分研究從優(yōu)化的目標(biāo)函數(shù)出發(fā),將優(yōu)化過程構(gòu)造為多目標(biāo)問題[115]進(jìn)行求解。
粒計算作為認(rèn)知智能的新型范式,能夠模仿人類利用已有知識進(jìn)行高層級的邏輯推理,對于人工智能的研究具有重要意義。粒度模糊規(guī)則模型由于其簡潔性、魯棒性和可解釋性等特點(diǎn),成為計算智能研究的一大熱點(diǎn)。本文著眼于粒度模糊規(guī)則模型,梳理了不同設(shè)計方法的粒度模型,探討了信息粒的構(gòu)建方法,歸納了粒度模糊規(guī)則模型的設(shè)計框架和評估優(yōu)化方法。由于國內(nèi)對于粒度模糊規(guī)則模型的研究缺少系統(tǒng)總結(jié),本文的主要目的是系統(tǒng)歸納粒度模糊模型研究,對于不同粒度構(gòu)建方法及其代表性研究工作的基本機(jī)制、方法和特點(diǎn)進(jìn)行總結(jié)分析,從而促進(jìn)粒度模糊規(guī)則模型的研究,以及粒計算的理論、技術(shù)和應(yīng)用的廣泛發(fā)展。