■任賀騰

（廣東金融學(xué)院）

引 言

復(fù)雜事件處理技術(shù)簡稱為CEP，屬于一種結(jié)合主動數(shù)據(jù)庫、數(shù)據(jù)流處理而形成的新的數(shù)據(jù)處理技術(shù)，能夠應(yīng)對一些較為繁雜的數(shù)據(jù)處理工作，且具有實時性和高效性的特點。這一技術(shù)以事件驅(qū)動為基礎(chǔ)模式，將信息抽象為事件，簡化了原有的復(fù)雜事件，使其成為便于識別的數(shù)據(jù)，用戶根據(jù)數(shù)據(jù)選擇自己關(guān)心的事件，進(jìn)行檢測或者查詢。這種數(shù)據(jù)處理模式降低了處理難度，并且使處理工作有的放矢，提高了數(shù)據(jù)處理效率。當(dāng)前，制造業(yè)在質(zhì)量成本管理方面不斷加大投入，將CEP技術(shù)應(yīng)用其中已經(jīng)成為社會關(guān)注的熱點，應(yīng)該加強(qiáng)研究，有效利用CEP技術(shù)解決質(zhì)量成本管理問題。

1 復(fù)雜事件處理技術(shù)介紹

復(fù)雜事件處理技術(shù)，屬于一種新興技術(shù)，簡稱為CEP，這一技術(shù)最早是由史丹佛大學(xué)的David Luckham與Brian Fraseca提出，隨著有關(guān)方面研究不斷深入，使用范圍不斷拓展，復(fù)雜事件處理技術(shù)已經(jīng)成為世界事件處理方面的主流技術(shù)，能夠根據(jù)實際需求，進(jìn)行有價值信息的提取，將繁瑣復(fù)雜事件簡化。CEP技術(shù)這一功能的發(fā)揮依賴于具有強(qiáng)大的主動數(shù)據(jù)庫。

1.1 相關(guān)定義

（1）簡單事件。對于簡單事件，可以表示為E=（ID，Attrs，Time），ID屬于事件的唯一標(biāo)識，Attrs表示事件的屬性，通常情況下表示為一個屬性集合，即Attrs（A1，A2，...，An），Time標(biāo)識事件發(fā)生的瞬時時間。

（2）復(fù)雜事件。復(fù)雜事件屬于多個基本事件，經(jīng)過CEP系統(tǒng)處理和分析之后，按照相互之間的關(guān)聯(lián)性組成在一起的事件，例如服務(wù)器20分鐘的平均響應(yīng)時間，某個客戶1小時內(nèi)的交易金額等等[1]。從業(yè)務(wù)角度進(jìn)行分析，對于商戶而言，雖然用戶登錄和下單屬于兩個不同的基本事件，如果假設(shè)給予來自不同廣告商用戶一定折扣，則需要將兩個事件組合在一起。復(fù)雜事件可以表示為CE=（Es，Rule，[T1，T2]），其中，Es代表簡單事件集合，Rule代表簡單事件過濾聚合等方面規(guī)則，[T1，T2]屬于時間表征，代表復(fù)雜事件發(fā)生時間跨度。由此可見，復(fù)雜事件并不是在同一時間所有基本事件共同發(fā)生，而是一個過程，且所有基本事件之間需要具有聯(lián)系，否則不能構(gòu)成復(fù)雜事件。

（3）事件表達(dá)式。根據(jù)相關(guān)方面文獻(xiàn)資料的整理和分析，事件表達(dá)式如下所示。具體包含事件源、模式、約束條件、時間約束和返回事件等。

（4）事件運算符。常用的事件運算符如下：“∧”代表事件共同，“∣”代表進(jìn)行事件選擇，“∨”代表進(jìn)行事件合并，“┒”代表否定，“＜”代表事件按照一定順序發(fā)生[2]。

1.2 CEP 系統(tǒng)要素

通常情況下，典型的CEP系統(tǒng)，將會包涵一下要素：

（1）事件處理模式。整個CEP系統(tǒng)需要在事件流上注冊相應(yīng)的事件處理模式，然后通過事件處理模式進(jìn)行事件處理，事件處理模式越多越有效，處理能力越強(qiáng)，處理效果越優(yōu)[3]。通過總結(jié)，主要的處理模式包括：聚合、多事件關(guān)聯(lián)、過濾、事件增強(qiáng)、事件修改、規(guī)則匹配等。

（2）事件處理語言。事件處理語言主要用于描述事件處理過程和模式，例如Stanford Stream DataManager中所提出的持續(xù)查詢語言——CQL，采用類SQL的語法形式，在多數(shù)商業(yè)和開源產(chǎn)品之中，已經(jīng)對CQL進(jìn)行了擴(kuò)展使用。

（3）規(guī)則引擎。規(guī)則引擎根據(jù)復(fù)雜事件的關(guān)鍵組件設(shè)置，對于復(fù)雜事件的基本情況進(jìn)行評價，并匹配相應(yīng)的規(guī)則，給出最終決策，決策的合理性受到匹配規(guī)則合理性的影響[4]。

（4）支撐系統(tǒng)。支撐系統(tǒng)的主要作用在于支持其他系統(tǒng)功能的正常發(fā)揮，能夠起到調(diào)節(jié)、保護(hù)、強(qiáng)化等功能，例如分布式存儲、緩存、線程池、消息隊列等等。

1.3 技術(shù)應(yīng)用要點

復(fù)雜事件處理技術(shù)針對復(fù)雜事件開展具體的處理工作，處理系統(tǒng)具有較強(qiáng)的邏輯分析能力，具體開展工作時，需要注意以下幾點：其一，增強(qiáng)信息采集的及時性、準(zhǔn)確性和全面性，信息屬于整個系統(tǒng)開展工作的基礎(chǔ)，如果有關(guān)質(zhì)量成本的信息失真、失效，那么后續(xù)的分析工作將會失去實際意義。其二，質(zhì)量成本分析必須選擇恰當(dāng)?shù)哪Ｐ?、工具、系統(tǒng)等開展實際工作，當(dāng)前，有關(guān)財務(wù)管理方面的軟件較多，為質(zhì)量成本分析提供了有力支持。其三，質(zhì)量成本分析包含的內(nèi)容主要為損失成本、鑒定成本、預(yù)防成本等，應(yīng)用復(fù)雜技術(shù)進(jìn)行相關(guān)成本分析的過程中，需要兼顧每一個成本因素的特點，通過分析得出客觀結(jié)果，并將結(jié)果有效應(yīng)用于質(zhì)量成本管理治中，起到降低成本的效果。除此以外，質(zhì)量成本管理工作需要注重動態(tài)性和實時性，復(fù)雜事件處理必須及時開展，增強(qiáng)實際效果，做到及時發(fā)現(xiàn)問題，及時解決問題。

2 復(fù)雜事件處理相關(guān)產(chǎn)品與算法

2.1 復(fù)雜事件處理產(chǎn)品

國外有關(guān)復(fù)雜事件處理方面的研究較為深入，相關(guān)的大學(xué)和科研院所對于復(fù)雜事件處理展開了拓展性研究，有關(guān)CEP產(chǎn)品方面，推出了實用性較強(qiáng)的商業(yè)化產(chǎn)品，出現(xiàn)了相關(guān)方面實力較強(qiáng)的研發(fā)公司，例如Microsoft、Oracle、Tibco、IBM、StreamBase等。具有代表性的產(chǎn)品如下：

斯坦福大學(xué)在2001年開始研究流事件處理，開發(fā)的處理系統(tǒng)為Stream Data Manager，使用的語言為類SQL的持續(xù)查詢語言CQL，實現(xiàn)了流數(shù)據(jù)處理模型與關(guān)系型數(shù)據(jù)庫之間的對接。美國加州大學(xué)研發(fā)了數(shù)據(jù)流管理系統(tǒng)，即TelegraphCQ，具有連續(xù)查詢的能力，并且主要針對電信領(lǐng)域，具有較好的應(yīng)用效果。Borealis屬于分布式事件處理引擎，能夠接受一系列事件，并對其進(jìn)行統(tǒng)計、連接、修改、過濾、合并等處理，輸出具有應(yīng)用價值的處理結(jié)果。ESPER屬于應(yīng)用較為廣泛的開源復(fù)雜事件處理系統(tǒng)，在業(yè)務(wù)流程管理、金融行業(yè)實時分析、風(fēng)險監(jiān)測等方面應(yīng)用較多，這一系統(tǒng)可以提供強(qiáng)大的EPL處理語言，描述典型事件處理模式，支持滑動窗口、長度等方面的統(tǒng)計。除此以外，一些互聯(lián)網(wǎng)公司推出了分布式流計算產(chǎn)品，例如Yahoo推出的S4，Twitter推出的Storm等，屬于數(shù)據(jù)流計算的基礎(chǔ)框架產(chǎn)品。

2.2 算法介紹

CEP系統(tǒng)運行過程中，需要對事件進(jìn)行實時統(tǒng)計，與傳統(tǒng)的數(shù)據(jù)庫統(tǒng)計模式相比，事件流具有持續(xù)性、不間斷的特點，因此，需要選擇統(tǒng)計分析的區(qū)間，針對性的開展數(shù)據(jù)統(tǒng)計工作。常見的包括滑動時間窗口、數(shù)量窗口等統(tǒng)計。流事件統(tǒng)計工作開展，面臨的問題主要包括滑動窗口上的聚焦、滑動窗口內(nèi)不同數(shù)值個數(shù)統(tǒng)計。對于數(shù)據(jù)流統(tǒng)計計算的方法主要包括隨機(jī)抽樣法、滑動窗口法、直方圖法、小波技術(shù)法和哈希方法等。

隨機(jī)抽樣法，主要是從數(shù)據(jù)集中抽取具有能夠代表整個數(shù)據(jù)集特征的部分?jǐn)?shù)據(jù)作為樣本，并給予這一樣本集獲得相似的查詢結(jié)果，精度相對較低。直方圖法，將大數(shù)據(jù)集劃分成多個連續(xù)的桶，形成不同的小數(shù)據(jù)集合，每個桶皆具有一個特征值。直方圖的種類包括寬直方圖、V-優(yōu)化直方圖、端偏倚直方圖等。哈希方法，主要用于大數(shù)據(jù)的處理，形成一組哈希函數(shù)，將較大范圍的數(shù)據(jù)映射成較小的范圍，起到化繁為簡的效果。例如，在數(shù)據(jù)流的Distinct Count計算之中，Bloom Filter方法可以使用一小塊小于數(shù)據(jù)集數(shù)據(jù)范圍的內(nèi)存空間表示數(shù)據(jù)集。

在實際應(yīng)用過程中，復(fù)雜產(chǎn)品的不同處理產(chǎn)品和算法需要根據(jù)現(xiàn)狀進(jìn)行選擇，以優(yōu)質(zhì)高效、精準(zhǔn)快速、簡單易行為主，尤其是對于一些復(fù)雜的問題，可以使用多種方法聯(lián)合使用的模式，提高處理效果。

3 基于復(fù)雜事件的質(zhì)量成本處理框架設(shè)計與應(yīng)用

3.1 場景描述

生產(chǎn)制造類企業(yè)產(chǎn)品生產(chǎn)屬于主營業(yè)務(wù)，多采用車間流水作業(yè)模式，為了保證產(chǎn)品質(zhì)量，每個產(chǎn)品皆存在預(yù)防成本，目的是為了保證產(chǎn)品質(zhì)量滿足實際要求，盡量消除不合格產(chǎn)品，減少次品率和故障率。具體工作內(nèi)容如下：根據(jù)實際情況進(jìn)行質(zhì)量保障計劃制定、針對性進(jìn)行員工崗前技能和要求等方面培訓(xùn)、建立產(chǎn)品改進(jìn)措施、新產(chǎn)品評估鑒定所需人工費、機(jī)械費等等。投入預(yù)防成本之后，生產(chǎn)線加工產(chǎn)品的過程中，竟會受到內(nèi)部和外部因素的影響產(chǎn)生一定的損失費用。具體包括不合格品的損失、返修品損失等等。最后，將會涉及到鑒定成本，主要用于鑒定產(chǎn)品是否滿足實際要求，具體包括工序檢驗、成品檢驗和質(zhì)量審核所產(chǎn)生的費用。除此以外，產(chǎn)品鑒定費用還會受到鑒定數(shù)量、鑒定儀器等方面的影響。

3.2 CEP系統(tǒng)部署環(huán)境

CEP系統(tǒng)主要由ActiveMQ集群、CEP應(yīng)用集群、HBase集群組成，其中，ActiveMQ集群屬于企業(yè)公用集群，因此，本次研究主要介紹CEP應(yīng)用集群和HBase集群，詳細(xì)情況如下所示。

（1）CEP應(yīng)用集群設(shè)置。CEP應(yīng)用集群設(shè)置主要包括虛擬機(jī)、OS、CPU等部分，具體情況如表1所示。每一部分皆根據(jù)實際需求進(jìn)行設(shè)置，可以適當(dāng)進(jìn)行改進(jìn)。

表1 CEP應(yīng)用集群

（2）HBase集群。HBase集群能夠存儲CEP的中間數(shù)據(jù)，并且還可以存儲大量的原始事件，便于后續(xù)查詢，因此，需要加大存儲量，詳細(xì)配置情況如表2所示。

表 2 HBase 集群

3.3 處理框架構(gòu)成

結(jié)合CEP技術(shù)的特點，針對制造行業(yè)的質(zhì)量成本處理框架設(shè)計如圖1所示。

圖1 基于復(fù)雜事件的質(zhì)量成本處理框架

（1）事件源則屬于事件來源，相應(yīng)事件皆與質(zhì)量成本管理有關(guān)，數(shù)據(jù)和信息可以反映質(zhì)量成本情況，具體包括生產(chǎn)線相關(guān)設(shè)備數(shù)據(jù)信息，例如RFID讀取設(shè)備、手持機(jī)以及傳感器等。這些設(shè)備將會受到實際情況的影響，產(chǎn)生相應(yīng)的質(zhì)量成本信息，為了保證信息及時有效，應(yīng)該加強(qiáng)信息采集的實時性。

（2）事件預(yù)處理，屬于事件的初步處理環(huán)節(jié)，依據(jù)規(guī)則庫對事件的定義，給出檢測結(jié)果，并將所有收集到的數(shù)據(jù)進(jìn)行統(tǒng)一格式處理。目的是為后續(xù)深度處理奠定基礎(chǔ)。預(yù)處理雖然不夠細(xì)化，但可以在一定程度上降低后續(xù)處理的復(fù)雜性，使相關(guān)的數(shù)據(jù)規(guī)范化，便于識別。

（3）事件緩存，能夠起到調(diào)節(jié)作用，控制相應(yīng)事件上傳速度，根據(jù)需求，適時進(jìn)行事件上傳速度增減控制。主要目的是為了環(huán)節(jié)處理模塊的壓力，避免工作量較大帶來的處理混亂和滯留問題，并通過及時供給處理內(nèi)容而提升處理模塊的工作效率。

（4）事件查詢和反饋，具有傳遞和查詢功能，按照設(shè)置路徑傳遞經(jīng)過處理模塊處理后的用戶查詢信息，并及時接收用戶信息查詢請求。事件查詢和反饋需要體現(xiàn)安全性和及時性，對于事件查詢必須經(jīng)過身份驗證和識別，對于事件反饋需要及時有效，這需要整個系統(tǒng)具有更高的智能化水平。

（5）最上層應(yīng)用模塊，屬于用戶操作平臺，程序設(shè)置包括查詢和接收結(jié)果等，應(yīng)用模塊設(shè)置需要盡量考慮擦操作的便捷性，通過人工與智能化系統(tǒng)的結(jié)合，提升操作效率，減少誤差。

（6）規(guī)則庫，用于規(guī)則生成和提供，規(guī)則制定依據(jù)為用戶查詢的事件，然后上傳到相關(guān)模塊，作為模塊運行的依據(jù)。

3.4 CEP中規(guī)則引擎實現(xiàn)

規(guī)則引擎是由專家系統(tǒng)推理引擎發(fā)展而來，適用于業(yè)務(wù)的多變性特點，屬于CEP系統(tǒng)中重要組成部分，目的是快速進(jìn)行管理決策，有關(guān)規(guī)則引擎的相關(guān)內(nèi)容介紹如下所示。

（1）規(guī)則引擎設(shè)計決策。本次研究選擇的規(guī)則引擎為Drools，屬于世界流行的開源規(guī)則引擎產(chǎn)品，具體算法為基于Charles Forgy’s的RETE算法。便于訪問企業(yè)策略，易于調(diào)整及管理開源業(yè)務(wù)規(guī)則引擎，符合業(yè)內(nèi)標(biāo)準(zhǔn)，具有優(yōu)質(zhì)高效的優(yōu)點。具體包括Inference Engine、ProductionMemory、WorkingMemory、Agenda、Patten Matching 五個部分。其中，Inference Engine 屬于進(jìn)行匹配的引擎。ProductionMemory屬于被訪問的規(guī)則。WorkingMemory屬于被推理機(jī)進(jìn)行匹配的數(shù)據(jù)集合。Agenda代表管理被匹配規(guī)則的執(zhí)行。Patten Matching可以對新的數(shù)據(jù)和被修改的數(shù)據(jù)進(jìn)行規(guī)則的匹配。

（2）規(guī)則語言設(shè)計。對于規(guī)則語言實現(xiàn)工作開展，需要做好以下幾方面工作：其一，合理定義規(guī)則語言。其二，規(guī)則語言在進(jìn)行語法和詞法分析過程中，使用ANTLR，產(chǎn)生抽象語法樹，即AST。其三，使用Vistor模式，進(jìn)行抽象語法樹遍歷，針對不同的Vistor模式可以翻譯成特定底層，或者直接解釋執(zhí)行。

（3）語法規(guī)范設(shè)計。語法規(guī)范最常用的規(guī)則：$event.amount＞100＆＆userId=’frankdoul’,這一規(guī)則屬于布達(dá)爾表達(dá)式。

（4）規(guī)則管理。在整個系統(tǒng)之中，規(guī)則被劃分為規(guī)則組（RuleGroup），每個規(guī)則組具有唯一的規(guī)則，不存在規(guī)則多樣的情況，具體的規(guī)則標(biāo)識為ID（GroupID），每個規(guī)則是由若干條規(guī)則組成的規(guī)則集合，通過制定規(guī)則組ID決定選擇那些規(guī)則進(jìn)行決策。系統(tǒng)中規(guī)則匹配的入口點為RuleMatchService。

（5）規(guī)則引擎應(yīng)用。RuleMatchEP數(shù)與規(guī)則匹配事件處理器，主要作用在于將當(dāng)前事件與某個指定規(guī)則組匹配在一起，并將匹配結(jié)果放置在新事件之中，具體的匹配格式如下所示：

3.5 應(yīng)用分析

結(jié)合上述的處理框架以及引擎，進(jìn)行實際應(yīng)用研究，相關(guān)的數(shù)據(jù)如表3所示。

（1）選擇掃描件間隔為1小時，掃描對象為預(yù)防成本在1.1以上時的產(chǎn)品合格率，具體語言描述如下：

SELECT YIELD FROM patten[every（Pcost＞ 1.1）]-＞ timer：interval（1 hour）。

（2）掃描時間間隔為1小時，掃描預(yù)防成本范圍在1.1和1.2之間、損失成本范圍在1.1和1.2之間的合格率，具體的語言描述如下：

表3 部分質(zhì)量成本數(shù)據(jù)

SELECT YIELD FROM patten[every（1.1 ＜ Pcost＜ 1.2and1.1 ＜ Lcost＜ 1.2）]- ＞ timer：interval（1 hour）。

（3）如果3個連續(xù)預(yù)防成本均值大于1.2，,損失成本均值大于1.3時，進(jìn)行數(shù)據(jù)輸出，相應(yīng)的語言描述如下所示：

select*from pattern.[having avg（Pcost）＞ 1.2and avg（Lcost）＞ 1.3]- ＞ win：length（3）。

4 結(jié) 語

綜上說述，使用復(fù)雜處理技術(shù)進(jìn)行質(zhì)量成本控制，能夠進(jìn)行質(zhì)量成本控制工作復(fù)雜性的簡化處理，獲取處理所需的有效信息，提高處理效率。與此同時，當(dāng)前的CEP技術(shù)相對較為成熟，相關(guān)的產(chǎn)品、系統(tǒng)、算法等不斷進(jìn)行改進(jìn)，本次研究結(jié)合企業(yè)生產(chǎn)場景，建立質(zhì)量成本處理框架，并對相關(guān)的規(guī)則引擎進(jìn)行設(shè)計與介紹，保證規(guī)則能夠適用于當(dāng)前的處理系統(tǒng)，從而更加高效的對企業(yè)的生產(chǎn)工序進(jìn)行檢測與分析，使企業(yè)能夠客觀了解質(zhì)量成本情況，解決問題，改善現(xiàn)狀。