顏仕柱
(中國(guó)航發(fā)哈爾濱東安發(fā)動(dòng)機(jī)有限公司 信息檔案中心,哈爾濱 150066)
目前,大部分的制造企業(yè)都使用物料清單(Bill Of Material,BOM)作為產(chǎn)品數(shù)據(jù)管理(Product Data Management,PDM)的核心基礎(chǔ)數(shù)據(jù)來(lái)管理數(shù)據(jù),同時(shí)也是MES(Manufacturing Execution System)和ERP(Enterprise Resource Planning)系統(tǒng)的基礎(chǔ),在產(chǎn)品研制單位具有廣泛的應(yīng)用價(jià)值。但基于以下四個(gè)方面的原因:(1)產(chǎn)品BOM在不同設(shè)計(jì)生產(chǎn)環(huán)節(jié)有不同的表現(xiàn)形式,如設(shè)計(jì)BOM(EBM)、工藝BOM(PBOM)、制造BOM(MBOM)等,且來(lái)源于企業(yè)的各個(gè)不同部門(mén)甚至不同單位,從而使BOM管理異常復(fù)雜和混亂;(2)隨著相關(guān)技術(shù)的長(zhǎng)期應(yīng)用,包括 Model Based Definition(MBD,譯為基于模型的定義)、Model Based Definition Enterprise(MBE,譯為基于模型的企業(yè),基于模型的企業(yè))等技術(shù)得到了充分的研制,促使BOM所涉及的相關(guān)數(shù)據(jù)出現(xiàn)了結(jié)構(gòu)化、大數(shù)據(jù)等特征;(3)管理BOM的核心平臺(tái)軟件PDM功能越來(lái)越強(qiáng)大,逐步轉(zhuǎn)化為PLM(product lifecycle management,產(chǎn)品生命周期管理),其中所存儲(chǔ)的數(shù)據(jù)規(guī)模越來(lái)越大,具備了工業(yè)大數(shù)據(jù)的許多特征;(4)無(wú)論是本質(zhì)特征,還是表現(xiàn)形式,BOM數(shù)據(jù)的組織與展示都屬于典型的樹(shù)形結(jié)構(gòu),采用傳統(tǒng)的關(guān)系模型進(jìn)行存儲(chǔ),本身就存在掣肘。然而,傳統(tǒng)集中式存儲(chǔ)及基于關(guān)系模型的物料清單管理系統(tǒng)在讀寫(xiě)、存儲(chǔ)、訪(fǎng)問(wèn)、可用性的效率以及相關(guān)性能等方面存在許多問(wèn)題,使其性能受到嚴(yán)重影響,因此,基于NoSQL的云存儲(chǔ)架構(gòu)是未來(lái)發(fā)展的趨勢(shì)之一。
眾所周知,BOM數(shù)據(jù)是企業(yè)的最重要的核心業(yè)務(wù)數(shù)據(jù)之一,通常具有高度機(jī)密性(軍工企業(yè)尤為如此),通常意義上的云存儲(chǔ)架構(gòu)不能保證企業(yè)的保密要求,企業(yè)私有云環(huán)境就成了唯一的選擇方案。
綜上所述,在分析當(dāng)前BOM變化趨勢(shì)及突出問(wèn)題的基礎(chǔ)上,總結(jié)了基于RDB的BOM數(shù)據(jù)管理的不足與性能上的掣肘,考慮到NoSQL技術(shù)在處理大數(shù)據(jù)上的優(yōu)勢(shì)與良好的系統(tǒng)性能等特點(diǎn),本文提出一個(gè)企業(yè)私有云環(huán)境下構(gòu)建基于NoSQL的單一BOM數(shù)據(jù)源系統(tǒng)架構(gòu)。
對(duì)BOM的研究中,文獻(xiàn)[1-4]研究了物料清單所涉及的數(shù)據(jù)結(jié)構(gòu)及優(yōu)化算法;其次, 文獻(xiàn)[5-8]研究了物料清單中的數(shù)據(jù)模型的優(yōu)化算法;再次,文獻(xiàn)[9-11]研究了全生命周期下多物料清單集成技術(shù),分析了物料清單的數(shù)據(jù)變化;文獻(xiàn)[12-15]介紹了對(duì)物料清單的映射轉(zhuǎn)換研究,引出物料清單的映射管理體系。上述研究均以RDB作為底層存儲(chǔ)系統(tǒng),其訪(fǎng)問(wèn)事務(wù)受ACID特性的束縛,且存在數(shù)據(jù)冗余度高、查詢(xún)效率低和數(shù)據(jù)一致性差等問(wèn)題。而NoSQL的易擴(kuò)展、高性能、數(shù)據(jù)結(jié)構(gòu)靈活等優(yōu)勢(shì)使得其在存儲(chǔ)海量數(shù)據(jù)方面是個(gè)有效的解決方案。文獻(xiàn)[16-24]對(duì)基于NoSQL的PDM關(guān)鍵技術(shù)體系進(jìn)行了系統(tǒng)研究,提出了一個(gè) PDM中單一BOM數(shù)據(jù)源的NoSQL數(shù)據(jù)組織,并給出了詳細(xì)的實(shí)現(xiàn)技術(shù),對(duì)本文有很好的啟示作用。
國(guó)內(nèi)近年來(lái)在NoSQL和大數(shù)據(jù)方面的研究有很大進(jìn)展,文獻(xiàn)[25]針對(duì)大數(shù)據(jù)管理的新需求,介紹了大數(shù)據(jù)的特點(diǎn)與支持大數(shù)據(jù)管理系統(tǒng)面臨的關(guān)鍵技術(shù)問(wèn)題的前沿研究和挑戰(zhàn),針對(duì)基于key-value 數(shù)據(jù)模型的 NoSQL 數(shù)據(jù)庫(kù)的相關(guān)研究進(jìn)行了綜述;文獻(xiàn)[26]闡述了大數(shù)據(jù)管理的相關(guān)概念和技術(shù)問(wèn)題,指出在處理大數(shù)據(jù)時(shí),云計(jì)算和NoSQL技術(shù)的結(jié)合具有很大優(yōu)勢(shì);文獻(xiàn)[27]通過(guò)比較RDB、NoSQL兩種技術(shù)的模型特點(diǎn)后,為了徹底解決云計(jì)算的大數(shù)據(jù)量存儲(chǔ)問(wèn)題,設(shè)計(jì)了一種全新的數(shù)據(jù)庫(kù)的數(shù)據(jù)模型。
目前,BOM數(shù)據(jù)幾乎全部集中式地存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)(RDB)中,但在MBD模式下,BOM歷史數(shù)據(jù)大量積累,版本更迭,且出現(xiàn)了越來(lái)越多的準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。此時(shí)BOM數(shù)據(jù)的處理需求與RDB所管理的結(jié)構(gòu)化數(shù)據(jù)有顯著區(qū)別。歸納起來(lái)存在以下幾個(gè)問(wèn)題。
(1)成本較高。企業(yè)需要投入高額的資金,主要由于供應(yīng)商所給的授權(quán)費(fèi)用高。
(2)授權(quán)捆綁問(wèn)題。目前BOM管理軟件是對(duì)授權(quán)進(jìn)行捆綁的,對(duì)企業(yè)而言,“擴(kuò)點(diǎn)”意味大量資金的二次投入,“不擴(kuò)點(diǎn)”則不能滿(mǎn)足使用需求。
(3)二次開(kāi)發(fā)問(wèn)題。物料清單的相應(yīng)軟件無(wú)法直接滿(mǎn)足企業(yè)的需求,企業(yè)需要自己或者委托外包廠商對(duì)軟件進(jìn)行個(gè)性化開(kāi)發(fā),這也產(chǎn)生了更多的成本問(wèn)題。
(4)軟件版本更迭頻繁。物料清單軟件升級(jí)較為頻繁,因此給企業(yè)帶來(lái)了很多不利之處,如資金的大量投入、大量歷史數(shù)據(jù)的遷移、員工的培訓(xùn)和對(duì)新軟件的操作等等。
(5)RDB固有性能問(wèn)題。針對(duì)半結(jié)構(gòu)化或非結(jié)構(gòu)化的BOM數(shù)據(jù),RDB目前在讀寫(xiě)、存儲(chǔ)、訪(fǎng)問(wèn)等方面存在一定的問(wèn)題。
綜上所述,以數(shù)據(jù)為著眼點(diǎn),中國(guó)的智能制造需要盡快研發(fā)具有自主知識(shí)產(chǎn)權(quán)的BOM管理系統(tǒng)。
傳統(tǒng)的BOM系統(tǒng)均以RDB為數(shù)據(jù)存儲(chǔ)系統(tǒng),通常借助于某些專(zhuān)用的軟件平臺(tái)進(jìn)行存儲(chǔ)(如EBOM、PBOM通常都存儲(chǔ)在PDM系統(tǒng)中)。而在企業(yè)私有云環(huán)境下,基于NoSQL的BOM系統(tǒng)則是在企業(yè)內(nèi)部,或在特定的幾個(gè)企業(yè)群內(nèi)(通常為產(chǎn)品的設(shè)計(jì)、制造單位分離,或多單位協(xié)同研制,由專(zhuān)用的網(wǎng)絡(luò)進(jìn)行連接),搭建形成一個(gè)分布式的,集存儲(chǔ)、傳遞、處理應(yīng)用于一體的綜合信息系統(tǒng),并以NoSQL數(shù)據(jù)庫(kù)作為底層數(shù)據(jù)存儲(chǔ)環(huán)境。
在企業(yè)私有云環(huán)境下,BOM作為單一數(shù)據(jù)源進(jìn)行存儲(chǔ)。換句話(huà)說(shuō),在產(chǎn)品研制的不同階段,所有與BOM有關(guān)的信息,都按照時(shí)間先后次序不斷進(jìn)行完善,并按照合理的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ);針對(duì)不同的用戶(hù)群體和不同應(yīng)用需求,按照不同的BOM類(lèi)型予以提取、展現(xiàn)。本文提出的系統(tǒng)架構(gòu)如圖1所示。
圖1 企業(yè)私有云環(huán)境下的單一數(shù)據(jù)源BOM管理系統(tǒng)架構(gòu)
圖1所示架構(gòu)分為兩個(gè)大的層次——私有云存儲(chǔ)平臺(tái)和BOM軟件,包含了基礎(chǔ)設(shè)備層、存儲(chǔ)管理層、應(yīng)用接口層和用戶(hù)訪(fǎng)問(wèn)層四個(gè)功能層次。
(1)設(shè)備管理層。包括企業(yè)服務(wù)器、網(wǎng)絡(luò)設(shè)備、中間件等各類(lèi)硬件資源,以及基于NoSQL的單一BOM數(shù)據(jù)源底層數(shù)據(jù)存儲(chǔ),位于企業(yè)私有云環(huán)境下系統(tǒng)架構(gòu)的最底層,通過(guò)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)等實(shí)現(xiàn)硬軟資源的虛擬化、服務(wù)化。
(2)存儲(chǔ)管理層。包括HDFS(Hadoop Distributed File System,Hadoop分布式文件系統(tǒng))、數(shù)據(jù)備份與容災(zāi)和數(shù)據(jù)流引擎等技術(shù),是企業(yè)私有云存儲(chǔ)的最核心內(nèi)容,同時(shí)也是最難以實(shí)現(xiàn)的部分。通過(guò)多存儲(chǔ)設(shè)備間的協(xié)同工作,對(duì)外提供統(tǒng)一服務(wù),并提供更加強(qiáng)大的數(shù)據(jù)訪(fǎng)問(wèn)性能。其中基于Hadoop架構(gòu)的分布式文件系統(tǒng)保證了海量文件數(shù)據(jù)的有效存儲(chǔ),數(shù)據(jù)備份與容災(zāi)保證了數(shù)據(jù)的完整性與穩(wěn)定性,數(shù)據(jù)加密技術(shù)保證了數(shù)據(jù)的安全性。
(3)應(yīng)用接口層。包括應(yīng)用軟件、集成工具和系統(tǒng)服務(wù)等應(yīng)用,根據(jù)企業(yè)的實(shí)際業(yè)務(wù)需求開(kāi)發(fā)不同的應(yīng)用服務(wù)接口,通過(guò)Web Service、PLM(PDM)等功能,提供相應(yīng)的服務(wù)。另外,數(shù)據(jù)流引擎技術(shù)被用來(lái)保證存儲(chǔ)管理層和應(yīng)用接口層間的傳輸效率。
(4)用戶(hù)訪(fǎng)問(wèn)層,包括數(shù)據(jù)歸檔、數(shù)據(jù)共享和CURD操作等功能,用戶(hù)通過(guò)授權(quán)登錄企業(yè)私有云單一BOM數(shù)據(jù)源系統(tǒng),可以實(shí)時(shí)動(dòng)態(tài)維護(hù)各自的BOM信息,系統(tǒng)按照既定的方案統(tǒng)一存儲(chǔ)。不同用戶(hù)按照自身需求可以從單一數(shù)據(jù)源中獲取不同展現(xiàn)方式和不同展示內(nèi)容的BOM信息。這里可以根據(jù)企業(yè)的不同訪(fǎng)問(wèn)需求,提供不同用戶(hù)的定制化的物料清單服務(wù)。
隨著MBD、MBE技術(shù)在制造業(yè)的廣泛應(yīng)用,對(duì)產(chǎn)品描述的各類(lèi)數(shù)據(jù)(如設(shè)計(jì)、仿真、制造、維保等)均以三維模型方式呈現(xiàn),且融合了諸如構(gòu)型管理(版本加有效性控制)、零部件(產(chǎn)品)成熟度等新的理念,使BOM中的表現(xiàn)形式和內(nèi)容與傳統(tǒng)相比有了較大變化,因而其構(gòu)建技術(shù)與以往相比有較大差別。在企業(yè)私有云環(huán)境下,基于NoSQL的單一數(shù)據(jù)源BOM管理系統(tǒng)構(gòu)建技術(shù)體系可用圖2表示。
圖2 管理系統(tǒng)技術(shù)體系
技術(shù)體系的層次結(jié)構(gòu)主要包括:基于NoSQL的單一BOM數(shù)據(jù)源數(shù)據(jù)組織研究、基于NoSQL的企業(yè)私有云存儲(chǔ)云技術(shù)、面向MBD的基于NoSQL的BOM軟件相關(guān)技術(shù)研究和MBD環(huán)境下的大數(shù)據(jù)管理研究。
單一產(chǎn)品數(shù)據(jù)源(Single Source of Product Data,SSPD)由波音公司在實(shí)施DCAC/MRM計(jì)劃時(shí)提出,將分布在不同物理存儲(chǔ)系統(tǒng)的獨(dú)立異構(gòu)數(shù)據(jù),集成為邏輯上的單一數(shù)據(jù)源,構(gòu)建邏輯上的同構(gòu)數(shù)據(jù)庫(kù)。
單一BOM數(shù)據(jù)源是在企業(yè)私有云環(huán)境下,整合PDM系統(tǒng)中相對(duì)獨(dú)立、異構(gòu)的三種BOM數(shù)據(jù)庫(kù)為同型同構(gòu)數(shù)據(jù)庫(kù),來(lái)實(shí)現(xiàn)物理層上的單一數(shù)據(jù)源,從而保證BOM在全生命周期中的數(shù)據(jù)一致性。
圖3分別給出了SSPD和單一BOM數(shù)據(jù)源的組織結(jié)構(gòu),從圖中可知,與SSPD不同的是,NoSQL中單一BOM數(shù)據(jù)庫(kù)取代RDB中相對(duì)獨(dú)立的EBOM、PBOM和MBOM數(shù)據(jù)庫(kù),在物理層上完成單一數(shù)據(jù)源,而非邏輯層上的SSPD。基于NoSQL的單一BOM數(shù)據(jù)源研究?jī)?nèi)容主要包括異構(gòu)BOM數(shù)據(jù)庫(kù)的整合、單一BOM數(shù)據(jù)源的物理組織與邏輯組織、數(shù)據(jù)的索引優(yōu)化與查詢(xún)優(yōu)化、BOM數(shù)據(jù)的完整性與一致性等技術(shù)。
圖3 SSPD與單一BOM數(shù)據(jù)源
基于企業(yè)網(wǎng)構(gòu)建的企業(yè)私有云,其構(gòu)建與運(yùn)行者、資源提供者和使用者是企業(yè)及其下屬相關(guān)廠所、研究單位等,旨在提高企業(yè)內(nèi)制造能力,優(yōu)化制造資源使用率,減少重復(fù)資源和能力的重復(fù)構(gòu)建,降低企業(yè)投入成本、提高核心競(jìng)爭(zhēng)力。
基于NoSQL的企業(yè)私有云存儲(chǔ)相關(guān)技術(shù)主要包括存儲(chǔ)虛擬化、集群優(yōu)化、分布式文件系統(tǒng)、數(shù)據(jù)和服務(wù)器負(fù)載均衡、數(shù)據(jù)備份和容災(zāi)等技術(shù)。
BOM作為產(chǎn)品全生命周期內(nèi)企業(yè)各部門(mén)信息傳遞的橋梁和紐帶,不同的部門(mén)有著不同形式的BOM視圖,每種視圖與產(chǎn)品的設(shè)計(jì)制造過(guò)程密切相關(guān),因此,保證BOM多視圖映射過(guò)程中的數(shù)據(jù)一致性和完整性至關(guān)重要。
基于NoSQL的BOM多視圖映射相關(guān)研究包括BOM映射數(shù)據(jù)完整性和一致性驗(yàn)證、BOM多視圖映射模型和BOM多視圖映射算法等。
海量數(shù)據(jù)的管理方式中,一般使用PDM軟件挖掘企業(yè)數(shù)據(jù)中相關(guān)高層管理人員和高級(jí)工程師等的信息,通過(guò)這些信息的實(shí)施,提升數(shù)據(jù)的自身價(jià)值,充分利用企業(yè)信息來(lái)實(shí)現(xiàn)價(jià)值提升。
圖4給出了NoSQL的單一BOM數(shù)據(jù)源系統(tǒng)的技術(shù)路線(xiàn)圖,來(lái)描述其設(shè)計(jì)、開(kāi)發(fā)等步驟。
圖4 數(shù)據(jù)源系統(tǒng)實(shí)施技術(shù)路線(xiàn)
(a)基于MBD模式的單一物料清單的數(shù)據(jù)源系統(tǒng)工程難度較大,需要一個(gè)較長(zhǎng)的過(guò)程,由多方進(jìn)行協(xié)同開(kāi)發(fā)來(lái)完成此工程。在完成這種多方下協(xié)同的工程時(shí),首先需要設(shè)計(jì)一個(gè)完善的業(yè)務(wù)架構(gòu);其次還需要有成形的技術(shù)團(tuán)隊(duì)和規(guī)范來(lái)確保工程的順利實(shí)施。
(b)NoSQL技術(shù)的使用是開(kāi)發(fā)本項(xiàng)目的數(shù)據(jù)源數(shù)據(jù)的研發(fā)基礎(chǔ)。由于物料清單數(shù)據(jù)的結(jié)構(gòu)化特征較弱,通過(guò)放大化NoSQL的技術(shù)特點(diǎn)和優(yōu)勢(shì),可以更好地開(kāi)展物理組織和邏輯組織方面的研究,這樣關(guān)系到物料清單數(shù)據(jù)在本文所提環(huán)境下的存儲(chǔ)模式,并影響NoSQL實(shí)現(xiàn)產(chǎn)品結(jié)構(gòu)樹(shù)、產(chǎn)品配置管理等BOM功能在后期開(kāi)發(fā)中的使用。
(c)使用NoSQL來(lái)完善企業(yè)私有云存儲(chǔ)技術(shù)。通過(guò)實(shí)施對(duì)云和MBD/MBE等技術(shù)的融合,本文所涉及的云存儲(chǔ)技術(shù)采用NoSQL技術(shù)作為底層方案,提供包括集群方法、網(wǎng)絡(luò)部署與通信、分布式存儲(chǔ)等高性能功能。
(d)PDM除了可以提供文檔管理和數(shù)據(jù)存儲(chǔ)等功能,還可以作為產(chǎn)品生命周期管理、信息共享等功能的主要技術(shù)支撐方案。因此,需要將本文所涉及的產(chǎn)品的生命周期管理等PDM系統(tǒng)功能作為這部分的研究重點(diǎn)。
(e)整體系統(tǒng)中NoSQL等技術(shù)的應(yīng)用是本文研究?jī)?nèi)容的主要支撐部分。需要對(duì)原型系統(tǒng)進(jìn)行實(shí)施,檢驗(yàn)各項(xiàng)技術(shù),從而達(dá)到技術(shù)向生產(chǎn)轉(zhuǎn)化的效果。
(6)對(duì)MBE的深入研究進(jìn)一步擴(kuò)展了對(duì)PDM的各方面屬性的深入研究,可以保證解決制造企業(yè)的存儲(chǔ)問(wèn)題,并實(shí)現(xiàn)企業(yè)數(shù)據(jù)再利用的價(jià)值,是未來(lái)我國(guó)智能制造的重要組成技術(shù)。
目前,從國(guó)內(nèi)制造企業(yè)的信息化環(huán)境來(lái)看,探索一條大數(shù)據(jù)時(shí)代的具有自主知識(shí)產(chǎn)權(quán)的BOM解決方案,從根本上解決全行業(yè)產(chǎn)品數(shù)據(jù)管理系統(tǒng)受制于國(guó)外大公司的被動(dòng)局面,對(duì)制造型企業(yè)的未來(lái)發(fā)展具有十分重要的戰(zhàn)略意義。借助NoSQL的存儲(chǔ)機(jī)制和靈活的分片功能對(duì)BOM數(shù)據(jù)進(jìn)行組織與部署,可有效避免MBD模式設(shè)計(jì)帶來(lái)的多表連接操作,減少單一BOM數(shù)據(jù)源系統(tǒng)的開(kāi)發(fā)和企業(yè)實(shí)施的周期。同時(shí),基于企業(yè)私有云存儲(chǔ)的單一BOM數(shù)據(jù)源系統(tǒng)打破了傳統(tǒng)BOM系統(tǒng)設(shè)計(jì)和實(shí)施觀念,可以加快MBD生產(chǎn)環(huán)境的建設(shè)和制造企業(yè)的轉(zhuǎn)型升級(jí)。
基于企業(yè)私有云存儲(chǔ)的BOM系統(tǒng)具有高擴(kuò)展性、并發(fā)性強(qiáng)、訪(fǎng)問(wèn)效率高等特點(diǎn),為解決海量數(shù)據(jù)、版本眾多、周期短和高價(jià)值等特征的企業(yè)大數(shù)據(jù)問(wèn)題提供了一個(gè)高效的解決方案。同時(shí),在企業(yè)私有云環(huán)境下,也更好地保證了在數(shù)據(jù)資源化、數(shù)據(jù)共享聯(lián)盟等大數(shù)據(jù)趨勢(shì)下數(shù)據(jù)安全性問(wèn)題,并為大數(shù)據(jù)管理走向知識(shí)化、智能化打下基礎(chǔ)。