国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

醫(yī)保數(shù)據(jù)中臺建設的實踐與思考

2022-03-22 09:01彭思翔倪劍文朱曉娟施鑫杰王雅迪
中國醫(yī)療保險 2022年3期
關鍵詞:中臺數(shù)據(jù)倉庫規(guī)則

黃 越 彭思翔 羅 源 倪劍文 朱曉娟 施鑫杰 梅 好 王雅迪

(1騰訊云計算(北京)有限責任公司 北京 100193;2騰訊科技(深圳)有限公司 深圳 518057)

1 背景

隨著醫(yī)保覆蓋率的不斷提升、醫(yī)保制度的不斷完善,我國對醫(yī)保精細化管理的要求愈發(fā)強烈。信息化作為實現(xiàn)醫(yī)保精細化管理的重要手段,已成為我國醫(yī)保體系建設的必然趨勢,而數(shù)據(jù)中臺作為國家醫(yī)保信息化系統(tǒng)中的重要組成部分,也成為實現(xiàn)醫(yī)保精細化管理的有效途徑。

從2000年-2009年建立的社保管理信息系統(tǒng)核心平臺一版、二版、三版,到2018年國家醫(yī)保局成立后開始進行的全國統(tǒng)一醫(yī)療保障信息平臺建設,醫(yī)保信息化建設已經(jīng)積累了20多年的寶貴經(jīng)驗。在這20多年中,醫(yī)保信息化得到了很大的發(fā)展。在業(yè)務層面,醫(yī)保信息化從主要面向經(jīng)辦發(fā)展到兼顧經(jīng)辦、監(jiān)管、公共服務和決策;在架構層面,醫(yī)保信息化從最初的C/S架構發(fā)展到當前基于政務云和專有云的HSAF架構。此外,伴隨著大量醫(yī)保數(shù)據(jù)的積累,醫(yī)保信息化系統(tǒng)也從面向事務發(fā)展到面向“事務+大數(shù)據(jù)分析”。當前的醫(yī)保信息平臺頂層設計在核心業(yè)務區(qū)中明確規(guī)劃了大數(shù)據(jù)區(qū),并在該區(qū)域內(nèi)通過數(shù)據(jù)中臺來支撐大數(shù)據(jù)的存儲、加工和應用。

在目前的醫(yī)保信息平臺建設中,我國是以“中臺+子系統(tǒng)”的方式進行的。其中,中臺部分包含了業(yè)務中臺和數(shù)據(jù)中臺,業(yè)務中臺是基于國家醫(yī)保局下發(fā)的程序代碼進行部署,數(shù)據(jù)中臺則基于我國發(fā)布的《醫(yī)療保障信息平臺數(shù)據(jù)中臺建設及應用指南》(以下簡稱《指南》),需要各地對建設的內(nèi)容和需求進行消化吸收后再具體建設實施;子系統(tǒng)部分共包含14個子系統(tǒng),遵循強約束、基礎約束和弱約束的原則在下發(fā)的代碼版本上進行建設。

2 數(shù)據(jù)中臺建設的具體架構

數(shù)據(jù)中臺建設需要對《指南》進行深入解讀,結(jié)合醫(yī)保信息平臺建設場景需求,對應具體的內(nèi)容,進而加以建設實施。結(jié)合數(shù)據(jù)中臺建設和大數(shù)據(jù)應用的經(jīng)驗,通過對《指南》中的6大模塊、16大功能需求進行詳細分析,可梳理出數(shù)據(jù)中臺所對應的建設內(nèi)容。

2.1 大數(shù)據(jù)計算引擎

此部分內(nèi)容主要對應建設當前主流的、經(jīng)過實踐的大數(shù)據(jù)存儲和計算引擎,包括Hadoop和Spark等離線計算引擎,以及Spark Streaming和Flink等實時和流式計算引擎,以滿足大吞吐量的計算場景和高實時性的計算場景。

2.2 數(shù)據(jù)集成

此部分內(nèi)容需要包含數(shù)據(jù)采集和數(shù)據(jù)集成兩個模塊。其中,數(shù)據(jù)采集指通過離線同步、實時同步、文件傳輸?shù)确绞?,將新平臺生產(chǎn)的業(yè)務數(shù)據(jù)、地方歷史業(yè)務數(shù)據(jù)、平行委辦局共享數(shù)據(jù)等來自各個數(shù)據(jù)源的數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中臺;數(shù)據(jù)集成則負責將這些縱向(不同時間維度)和橫向(不同空間維度)的數(shù)據(jù)納入同一個框架下進行統(tǒng)一使用。

2.3 數(shù)據(jù)倉庫

該部分內(nèi)容由大數(shù)據(jù)倉庫和數(shù)據(jù)資產(chǎn)管理共同組成。其中,大數(shù)據(jù)倉庫按照《指南》的建議分為緩沖層、操作數(shù)據(jù)層、通用數(shù)據(jù)模型層、數(shù)據(jù)應用層,并承擔相應的功能;數(shù)據(jù)資產(chǎn)管理是大數(shù)據(jù)倉庫的頂層管理系統(tǒng),負責根據(jù)當前大數(shù)據(jù)倉庫的存儲內(nèi)容,實時對其庫表、主題、血緣(指表與表之間的生成關系)、權限等進行梳理,并提供相應的管理和展示界面,方便各醫(yī)保局的大數(shù)據(jù)倉庫管理人員對當前的數(shù)據(jù)資產(chǎn)進行把控。

2.4 數(shù)據(jù)治理

數(shù)據(jù)治理是當前醫(yī)保數(shù)據(jù)中臺建設中的核心部分,包含數(shù)據(jù)標準(模型)管理模塊、數(shù)據(jù)質(zhì)控管理模塊及數(shù)據(jù)轉(zhuǎn)換模塊。其中,數(shù)據(jù)標準(模型)管理模塊管理和融合不同來源、不同版本的數(shù)據(jù)元數(shù)據(jù)、數(shù)據(jù)值域等,以保證數(shù)據(jù)中臺最后提供的數(shù)據(jù)在符合國家標準要求的統(tǒng)一框架下運轉(zhuǎn);數(shù)據(jù)質(zhì)控管理模塊優(yōu)先承載國家下發(fā)的各個版本的質(zhì)控要求,并在此基礎上擴展地方業(yè)務需要的其他質(zhì)控標準;數(shù)據(jù)轉(zhuǎn)換模塊是數(shù)據(jù)中臺工作流的核心模塊,提供從數(shù)據(jù)源到數(shù)據(jù)倉各層的可視化工作流配置,并將數(shù)據(jù)標準和數(shù)據(jù)質(zhì)控融合其中,帶動數(shù)據(jù)中臺的整體運轉(zhuǎn)。

2.5 數(shù)據(jù)服務

數(shù)據(jù)服務主要依照《指南》,通過API接口、數(shù)據(jù)庫接口和數(shù)據(jù)文件接口,提供數(shù)據(jù)寫入和更新等數(shù)據(jù)類服務、數(shù)據(jù)查詢類服務、數(shù)據(jù)運算類服務。

2.6 數(shù)據(jù)應用

數(shù)據(jù)應用主要由應用支撐和應用集市構成。其中,應用支撐包含BI(智能報表分析工具)、可視化大屏、機器學習平臺等組件,在數(shù)據(jù)的基礎上進一步提供數(shù)據(jù)分析和深度加工的支持;應用集市負責托管、分類標記和組織各類醫(yī)保應用。

2.7 數(shù)據(jù)安全體系

數(shù)據(jù)安全體系包含角色權限配置管理、數(shù)據(jù)庫表權限審批管理、數(shù)據(jù)服務脫敏、數(shù)據(jù)查詢行級限制等功能,其從數(shù)據(jù)采集、數(shù)據(jù)存儲到數(shù)據(jù)服務和應用,貫穿于整個數(shù)據(jù)生命周期,因此并未在表格中直接體現(xiàn)(見表1)。

表1 數(shù)據(jù)中臺對應的建設內(nèi)容

3 數(shù)據(jù)中臺建設的實踐與經(jīng)驗

從明確具體的建設框架和功能模塊到實際完成建設還有很長一段路要走。在數(shù)據(jù)中臺建設的實際打磨中,一整套實施方法和路徑逐漸形成,為當前醫(yī)保數(shù)據(jù)中臺標準化的成型及下一步實踐提供了方向。

3.1 實施方法和路徑

實施方法和路徑是實施效果和質(zhì)量的保證,尤其是對于醫(yī)保數(shù)據(jù)中臺這類功能多、對接方多、角色復雜的系統(tǒng)。根據(jù)數(shù)據(jù)中臺建設經(jīng)驗,可總結(jié)出主要的實施步驟。

3.1.1 環(huán)境調(diào)研

部署環(huán)境是一切系統(tǒng)部署實施的基礎,當前數(shù)據(jù)中臺的主要建設目標是采集業(yè)務數(shù)據(jù)、完成省級數(shù)據(jù)上報和支持應用子系統(tǒng)建設,因此至少需要調(diào)研4個環(huán)境情況:一是數(shù)據(jù)中臺本身的部署環(huán)境。這部分主要包括數(shù)據(jù)中臺部署所需的硬件情況、網(wǎng)絡情況等,硬件和網(wǎng)絡配置會直接影響數(shù)據(jù)中臺大數(shù)據(jù)引擎的計算速度、存儲能力和服務調(diào)用效率。二是業(yè)務數(shù)據(jù)源環(huán)境。業(yè)務生產(chǎn)數(shù)據(jù)庫是數(shù)據(jù)中臺的主要數(shù)據(jù)來源,為了防止業(yè)務生產(chǎn)數(shù)據(jù)庫壓力過大,通常將與生產(chǎn)庫主備實時同步的生產(chǎn)備庫作為業(yè)務數(shù)據(jù)源。業(yè)務數(shù)據(jù)源環(huán)境要將數(shù)據(jù)庫的網(wǎng)絡環(huán)境、吞吐能力、是否支持實時同步機制(如:binlog獲?。┑惹闆r調(diào)研清楚,以明確制定數(shù)據(jù)采集策略,并提前申請測試庫進行測試。三是省級交換庫環(huán)境。數(shù)據(jù)上報是省級數(shù)據(jù)中臺建設的使命之一,一方面要確保省級交換庫的版本滿足國家要求,另一方面要確保省級交換庫與國家交換庫及數(shù)據(jù)中臺的網(wǎng)絡已打通,同時需要詳細了解交換庫的讀寫機制(如:XA機制)是否與數(shù)據(jù)中臺的大數(shù)據(jù)環(huán)境相匹配。四是應用數(shù)據(jù)庫環(huán)境。為了提升應用子系統(tǒng)對運算結(jié)果數(shù)據(jù)的統(tǒng)計和查詢速度,在省級平臺建設架構中,往往會在數(shù)據(jù)中臺和應用子系統(tǒng)之間設計大規(guī)模并行分析數(shù)據(jù)庫(MPP庫),因此,需要提前調(diào)研了解MPP庫所使用的產(chǎn)品特性,并提前申請測試庫進行測試。

3.1.2 數(shù)據(jù)歸集

數(shù)據(jù)歸集是數(shù)據(jù)中臺部署完成后的主要任務,主要包含數(shù)據(jù)模型收集、數(shù)據(jù)歸集兩部分。其中,數(shù)據(jù)模型收集包含了數(shù)據(jù)建表所需的元數(shù)據(jù)等信息,需要在數(shù)據(jù)實際歸集前進行創(chuàng)建。在實際工作中,會有大量的數(shù)據(jù)庫表歸集到數(shù)據(jù)中臺(目前數(shù)量級上千),在數(shù)據(jù)中臺會有4個大的數(shù)倉層,因此,在數(shù)據(jù)中臺中會涉及大量的數(shù)據(jù)模型創(chuàng)建工作。為減輕該部分工作所帶來的人力消耗,同時降低人工出錯率,數(shù)據(jù)模型創(chuàng)建主要采用批量收集建立的方式進行。數(shù)據(jù)歸集則可以大致劃分為歷史數(shù)據(jù)歸集和增量數(shù)據(jù)歸集,其中,歷史數(shù)據(jù)歸集采用一次性采集的方式進行,增量數(shù)據(jù)歸集則采用定時任務配置或?qū)崟r任務配置的方式進行周期性采集。

3.1.3 數(shù)據(jù)治理

數(shù)據(jù)治理作為當前數(shù)據(jù)中臺建設的核心使命,主要包括6方面內(nèi)容:一是數(shù)據(jù)質(zhì)控鏈路規(guī)劃。其是指在數(shù)倉各層的工作流中規(guī)劃數(shù)據(jù)質(zhì)控節(jié)點的位置。當前上報國家的庫表為數(shù)據(jù)中臺歸集庫表的一部分,因各地在數(shù)據(jù)應用中存在個性化差異,需要根據(jù)各地的建設需求,優(yōu)先合理化規(guī)劃各條鏈路中的數(shù)據(jù)質(zhì)控規(guī)則及質(zhì)控方式。二是國家質(zhì)控規(guī)則注入。其是指將國家最新版本的交換庫質(zhì)控規(guī)則注入中臺質(zhì)控規(guī)則庫,并通過版本管理的方式對國家交換庫質(zhì)控規(guī)則的更新進行跟進。三是質(zhì)控規(guī)則擴充,針對地方應用需求,對質(zhì)控規(guī)則庫進行擴充及管理。四是質(zhì)控規(guī)則啟用及質(zhì)控報告,按質(zhì)控鏈路規(guī)劃的質(zhì)控方式啟用相應的質(zhì)控規(guī)則集,并對質(zhì)控報告結(jié)果進行跟進。五是質(zhì)控結(jié)果反饋及治理,質(zhì)控問題通??梢苑譃閮纱箢悺獦I(yè)務生產(chǎn)數(shù)據(jù)問題和地方國家標準不一致問題。針對第一類問題,采用反饋至業(yè)務廠商并推動業(yè)務側(cè)改進的方式進行提升,而第二類問題通常是由于地方業(yè)務編碼顆粒度與國家下發(fā)標準不一致而引起的,因此可以通過數(shù)據(jù)轉(zhuǎn)換先行治理,并經(jīng)由合理的方式向國家反饋。六是數(shù)據(jù)上報國家,將國家上報鏈路中治理后的數(shù)據(jù)上傳至省級交換庫,并持續(xù)跟蹤國家側(cè)對上傳數(shù)據(jù)的檢查反饋結(jié)果。

3.1.4 數(shù)據(jù)服務及應用

數(shù)據(jù)服務及應用作為當前數(shù)據(jù)中臺建設的另一核心使命,需要完成以下工作:一是數(shù)據(jù)庫表訪問權限。根據(jù)各個應用子系統(tǒng)建設廠商的使用需求,完成相應數(shù)據(jù)表權限的開放,并控制權限的讀寫設置,避免子系統(tǒng)間產(chǎn)生不必要的影響。二是應用子系統(tǒng)建設支撐。對各應用子系統(tǒng)廠商進行數(shù)據(jù)中臺的使用培訓,并及時解答廠商使用中的各種問題,以確保各應用子系統(tǒng)廠商可以正確地使用數(shù)據(jù)中臺,完成子系統(tǒng)的上線。三是數(shù)據(jù)資產(chǎn)管理發(fā)布。通過數(shù)據(jù)中臺中的“數(shù)據(jù)資產(chǎn)模塊”完成地方數(shù)據(jù)中臺數(shù)據(jù)資產(chǎn)的梳理,并對管理方進行培訓,以保證數(shù)據(jù)資產(chǎn)管理方可以通過數(shù)據(jù)資產(chǎn)模塊,快速、完整、動態(tài)地管理地方數(shù)據(jù)。

3.1.5 上線運維

完成以上任務后,即可進行數(shù)據(jù)中臺正式環(huán)境的整體上線運轉(zhuǎn),但由于數(shù)據(jù)中臺功能多樣,大數(shù)據(jù)環(huán)境運維本身也較為復雜,為保障數(shù)據(jù)中臺的正常運轉(zhuǎn),還需長期持續(xù)運維。

3.2 功能優(yōu)化

醫(yī)保數(shù)據(jù)中臺涉及大量的庫表,需要對接多個系統(tǒng),使用需求較為豐富,因此在實際落地實施的過程中,需針對各功能的使用做出相應的優(yōu)化和改進。

3.2.1 自動批量建表

醫(yī)保場景下涉及數(shù)千個庫表模型的建設,若單純靠人工錄入或以寫腳本的方式建設,在消耗人力、拉長周期的同時,也容易出現(xiàn)人為錯誤。因此,可以通過自動批量導入建表的方式,快速、高質(zhì)量地完成數(shù)據(jù)庫表模型的建立。

3.2.2 自動關聯(lián)大部分質(zhì)控規(guī)則

目前,國家下發(fā)的交換庫質(zhì)控規(guī)則已有數(shù)千條,如此大量的質(zhì)控規(guī)則很難靠人力逐條錄入并維護。在分析國家質(zhì)控規(guī)則庫后,可對規(guī)則進行詳細分類,并將其中絕大部分規(guī)則融入到建表環(huán)節(jié)一同關聯(lián)建立,從而減少質(zhì)控規(guī)則錄入和管理的成本。

3.2.3 多樣化的質(zhì)控方式

在實際建設過程中,各地不同應用及上傳國家的鏈路對質(zhì)控的要求各有不同,因此,在數(shù)據(jù)中臺中,可以通過強質(zhì)控(過濾臟數(shù)據(jù))、弱質(zhì)控(僅生成質(zhì)控報告)和阻斷質(zhì)控(阻斷臟數(shù)據(jù)鏈路)等方式對不同需求場景進行支持。

3.2.4 鏈路數(shù)據(jù)轉(zhuǎn)碼

地方編碼和國家編碼間的差異往往是大部分臟數(shù)據(jù)形成的原因,這其中既有業(yè)務因素,也有歷史因素。為同時保證上傳國家的數(shù)據(jù)質(zhì)量(臟數(shù)據(jù)少)和數(shù)量(總體數(shù)據(jù)多),可以在鏈路中支持數(shù)據(jù)轉(zhuǎn)碼,把既往的“臟數(shù)據(jù)”轉(zhuǎn)化為國家要求的編碼數(shù)據(jù)。

3.2.5 常用功能算子化

一般的數(shù)據(jù)中臺僅支持數(shù)據(jù)同步、數(shù)據(jù)腳本等通用型算子,利用這些算子可以實現(xiàn)當前醫(yī)保數(shù)據(jù)中臺的需求,但這需要編寫大量腳本,工作量較大。為減少工作量,可將數(shù)據(jù)質(zhì)控、數(shù)據(jù)轉(zhuǎn)碼等醫(yī)保場景下常用的操作進行算子化,方便可視化工作流的配置及后期的維護。

4 數(shù)據(jù)中臺建設的痛點及優(yōu)化思路

目前,各地的醫(yī)保數(shù)據(jù)中臺建設已能夠基本滿足當前階段的使用需求,但在各地實際使用的過程中仍存在痛點,亟須優(yōu)化。

4.1 數(shù)據(jù)治理體系

當前的醫(yī)保數(shù)據(jù)中臺已經(jīng)在多個環(huán)節(jié)上引入國家下發(fā)和地方拓展的質(zhì)控規(guī)則,并通過數(shù)據(jù)轉(zhuǎn)換、強弱質(zhì)控等操作滿足了目前建設階段的基本需求。然而在各地的實際使用過程中,仍存在“零散化”的質(zhì)控方式,無法完全滿足整體把控數(shù)據(jù)治理情況、各質(zhì)控環(huán)節(jié)效果展現(xiàn)不夠清晰、部分環(huán)節(jié)仍存在缺失等問題。因此,作為數(shù)據(jù)中臺核心任務的數(shù)據(jù)治理需要向更體系化的方向進行優(yōu)化。結(jié)合既往的經(jīng)驗,數(shù)據(jù)治理體系應當至少實現(xiàn)數(shù)據(jù)標準、數(shù)據(jù)轉(zhuǎn)碼、數(shù)據(jù)對賬、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)在業(yè)務上的聯(lián)動。

4.1.1 數(shù)據(jù)標準

數(shù)據(jù)標準作為數(shù)據(jù)治理的起點,除了目前已經(jīng)涵蓋的元數(shù)據(jù)等數(shù)據(jù)模型信息外,還需包含各個庫表、字段、值域等相關聯(lián)的數(shù)據(jù)質(zhì)控規(guī)則,即數(shù)據(jù)質(zhì)控規(guī)則應當在數(shù)據(jù)模型建立之初就進入到整個體系內(nèi),而不是在后續(xù)工作流中進行補充,這樣一方面可以在整體標準層面維護和掌握所有的質(zhì)控規(guī)則,保證各層數(shù)倉的一致性和透明度,另一方面還可以統(tǒng)一質(zhì)控規(guī)則的分類、標簽等,便于對大量的質(zhì)控規(guī)則進行統(tǒng)一管理和分析。

4.1.2 數(shù)據(jù)轉(zhuǎn)碼

數(shù)據(jù)轉(zhuǎn)碼是醫(yī)保數(shù)據(jù)中臺中最常見、數(shù)量最大的數(shù)據(jù)轉(zhuǎn)化操作之一。為避免不同鏈路手動轉(zhuǎn)碼出現(xiàn)的各類錯誤,需要增加統(tǒng)一的數(shù)據(jù)轉(zhuǎn)碼管理子模塊對數(shù)據(jù)轉(zhuǎn)碼進行管理。數(shù)據(jù)轉(zhuǎn)碼是建立在數(shù)據(jù)標準之上,對不同數(shù)據(jù)標準之間關聯(lián)性的進一步約束。通過該子模塊的增加,整個數(shù)據(jù)中臺中的數(shù)據(jù)將得到進一步規(guī)范。

4.1.3 數(shù)據(jù)對賬

醫(yī)保數(shù)據(jù)中臺涉及多層數(shù)倉,其間的工作流由各個不同廠商共同參與使用和修改。因此,各層數(shù)倉的表間出現(xiàn)各類不一致性的可能性較大,從而導致最后的出口數(shù)據(jù)受到此前鏈路上各節(jié)點數(shù)據(jù)的影響而出錯。為最大限度避免此問題,需要在數(shù)據(jù)治理體系中引入數(shù)據(jù)對賬環(huán)節(jié)。這里的對賬既包括數(shù)據(jù)層面的對賬,如數(shù)據(jù)量、去重后主鍵數(shù)量等,也包括業(yè)務層面的對賬,如參保人數(shù)、就診人數(shù)、基金支出等,以滿足實際工作中對數(shù)據(jù)準確性把控的復雜需求。

數(shù)據(jù)對賬中比較特殊的一類需求是業(yè)務源數(shù)據(jù)庫與數(shù)據(jù)中臺的數(shù)據(jù)對賬。由于該類對賬及后續(xù)數(shù)據(jù)問題的處理均涉及兩個獨立系統(tǒng)之間的聯(lián)動,因此,需要針對兩個系統(tǒng)的設計特性進行特殊的修正處理。醫(yī)保業(yè)務子系統(tǒng)的設計需求使得醫(yī)保業(yè)務庫可進行物理刪除或更新等操作,但是由于業(yè)務庫事務特性和大數(shù)據(jù)倉庫分析特性的區(qū)別,該類操作會引發(fā)兩側(cè)數(shù)據(jù)的不一致。因此,該類對賬問題的修正還需要通過引入實時同步等方式對業(yè)務庫物理操作進行捕獲并同步至數(shù)據(jù)中臺。

4.1.4 數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量指的是整體數(shù)據(jù)質(zhì)量的把控,而不是某個節(jié)點的質(zhì)控報告結(jié)果。整體質(zhì)量把控是建立在數(shù)據(jù)標準和數(shù)據(jù)轉(zhuǎn)碼基礎之上,對整個數(shù)據(jù)中臺各個環(huán)節(jié)中數(shù)據(jù)對賬、數(shù)據(jù)轉(zhuǎn)碼、數(shù)據(jù)質(zhì)控的綜合把控。醫(yī)保數(shù)據(jù)中臺中各層數(shù)倉之間有較為復雜的工作流關聯(lián),若需要每日掌握各級工作流的工作狀態(tài)和生成結(jié)果,需要到各層的表中進行查看和統(tǒng)計。為把控整個中臺的數(shù)據(jù)質(zhì)量,需要添加統(tǒng)一的工作流看板,自動統(tǒng)計各層的工作情況并進行展示,同時支持對工作節(jié)點進行下鉆以掌握具體的工作執(zhí)行細節(jié),從而使管理者能夠快速掌握并定位可能存在的問題。

4.1.5 數(shù)據(jù)資產(chǎn)

數(shù)據(jù)質(zhì)量把控著工作流間數(shù)據(jù)庫表變化導致的數(shù)據(jù)質(zhì)量變化,即工作流上的數(shù)據(jù)質(zhì)量。除工作流上的數(shù)據(jù)質(zhì)量,我們還需要把控從采集到存儲、應用、共享各類節(jié)點上的數(shù)據(jù)質(zhì)量,這就需要一個完整的數(shù)據(jù)資產(chǎn)模塊來完成。當前的醫(yī)保數(shù)據(jù)中臺已支持數(shù)據(jù)資產(chǎn)管理模塊,但是數(shù)據(jù)資產(chǎn)管理模塊主要針對中臺內(nèi)的數(shù)據(jù)資產(chǎn)進行梳理,未形成完整的體系。完整的數(shù)據(jù)資產(chǎn)應實現(xiàn)從數(shù)據(jù)收集到數(shù)據(jù)處理、應用、共享全生命周期的全面覆蓋,需要覆蓋數(shù)據(jù)資產(chǎn)采集(哪里來)、數(shù)據(jù)資源目錄(怎么看)、數(shù)據(jù)資產(chǎn)管理(怎么管)、數(shù)據(jù)共享使用(怎么用)和數(shù)據(jù)安全管理(怎么保證安全)。

4.2 大數(shù)據(jù)倉庫體系

當前的醫(yī)保數(shù)據(jù)中臺已經(jīng)在分布式文件存儲系統(tǒng)上初步形成了分層的大數(shù)據(jù)倉庫,但是醫(yī)保大數(shù)據(jù)倉庫從設計、使用上暫時仍未完全發(fā)揮大數(shù)據(jù)引擎的能力,仍存在各項目數(shù)倉建設規(guī)范不同、數(shù)據(jù)操作在各層數(shù)倉之間劃分不清晰等問題,一方面使得大數(shù)據(jù)引擎的能力受限,另一方面也導致了資源利用不合理。一個完整的大數(shù)據(jù)倉庫體系一般包含大數(shù)據(jù)倉庫規(guī)范、數(shù)據(jù)指標、分析引擎等,結(jié)合既往經(jīng)驗,建議從數(shù)據(jù)倉庫、數(shù)倉應用、新型聯(lián)機分析處理(OLAP)引擎引入方面進行優(yōu)化。

4.2.1 數(shù)據(jù)倉庫優(yōu)化

數(shù)據(jù)倉庫是一切計算和分析的基礎,但因其多分層的結(jié)構也使其使用和維護的難度加大,因此需要在開始便明確數(shù)據(jù)倉庫的建設規(guī)范,并通過權限管理、規(guī)范約束等保證后續(xù)使用符合此規(guī)范,從而避免數(shù)倉使用的混亂。依據(jù)《指南》的規(guī)定及以往的實踐經(jīng)驗,數(shù)據(jù)倉庫優(yōu)化可實行以下細化方案:(見圖1)。

圖1 數(shù)據(jù)倉庫細化方案

其中,各層功能的約定包括以下幾個方面:一是緩沖層(STG層)。緩沖層存儲數(shù)據(jù)源采集到的原始數(shù)據(jù),一方面可以作為后期數(shù)據(jù)溯源或問題數(shù)據(jù)恢復的最初源頭,也可以實現(xiàn)與數(shù)據(jù)源的數(shù)據(jù)對賬,保證采集到的數(shù)據(jù)與數(shù)據(jù)來源一致。二是操作數(shù)據(jù)層(ODS層)。操作數(shù)據(jù)層主要實現(xiàn)元數(shù)據(jù)統(tǒng)一,通過對不同來源數(shù)據(jù)進行結(jié)構轉(zhuǎn)化,保證來自不同數(shù)據(jù)源的同一業(yè)務數(shù)據(jù)的表結(jié)構一致,以實現(xiàn)數(shù)據(jù)結(jié)構的統(tǒng)一,這其中包括醫(yī)保新老系統(tǒng)的元數(shù)據(jù)統(tǒng)一、橫向委辦局的元數(shù)據(jù)統(tǒng)一等。三是明細數(shù)據(jù)層(DWD層)。明細數(shù)據(jù)層在操作數(shù)據(jù)層之后實現(xiàn)明細數(shù)據(jù)的進一步標準化,這其中包含了數(shù)據(jù)去重、內(nèi)涵治理等,在此層后提供的數(shù)據(jù)均為標準化數(shù)據(jù)。四是匯總數(shù)據(jù)層(DWS層)。匯總數(shù)據(jù)層在明細數(shù)據(jù)層之后面向主題進行主題數(shù)倉建設,主題數(shù)倉建設一方面是為提升主題內(nèi)的查詢效率,一方面也希望針對后續(xù)主題使用場景,對某些維度和事實進行預匯總,以便于后續(xù)使用。五是數(shù)據(jù)應用層(ADS層)。數(shù)據(jù)應用層在數(shù)倉的最后面向應用進行進一步的使用優(yōu)化,目前在醫(yī)保數(shù)據(jù)中臺中主要有兩個使用場景,即面向報表應用、面向子系統(tǒng)應用。六是維度數(shù)據(jù)層(DIM層)。維度數(shù)據(jù)層貫穿后幾層的使用,主要提供一致的維度數(shù)據(jù)。維度數(shù)據(jù)主要由主數(shù)據(jù)等組成的高基數(shù)維度表和數(shù)據(jù)字典等組成的低基數(shù)維度表構成。七是臨時數(shù)據(jù)層(TMP層)。臨時數(shù)據(jù)層主要服務于查詢的中間結(jié)果或臨時結(jié)果,不做長期存儲。

各層間數(shù)據(jù)轉(zhuǎn)化約定主要包括以下幾個方面:一是STG到ODS層。由于ODS層主要實現(xiàn)元數(shù)據(jù)統(tǒng)一化,因此,在STG到ODS層的過程中,主要需要完成數(shù)據(jù)轉(zhuǎn)換,包括表結(jié)構、表名、字段類型、字段名的轉(zhuǎn)換等。二是ODS到DWD層。DWD層可實現(xiàn)數(shù)據(jù)的全標準化,因此,在ODS到DWD層的過程中涉及大量的數(shù)據(jù)質(zhì)控和數(shù)據(jù)清洗工作。這里的數(shù)據(jù)質(zhì)控包括國家下發(fā)規(guī)則的質(zhì)控以及地方面向業(yè)務需求的拓展。質(zhì)控的主要目的是通過質(zhì)控規(guī)則發(fā)現(xiàn)數(shù)據(jù)問題,包含清洗前質(zhì)控和清洗后質(zhì)控,而清洗的主要目的是對發(fā)現(xiàn)的數(shù)據(jù)問題進行修正或提出修正建議。在這個過程中的數(shù)據(jù)清洗包括通過智能化手段進行數(shù)據(jù)貫標、數(shù)據(jù)值域的轉(zhuǎn)換,實現(xiàn)數(shù)據(jù)的去重、去除數(shù)據(jù)表間的不一致性、全局或準全局數(shù)據(jù)信息抽取和補全等。三是DWD到DWS層。該步驟中針對規(guī)劃的主題進行數(shù)據(jù)表合并、字段行轉(zhuǎn)列等工作,其實施方式需要兼顧業(yè)務需求及OLAP引擎特性進行具體設計。四是DWS到ADS層。該過程中主要面向具體的使用場景,進行進一步的數(shù)據(jù)轉(zhuǎn)換和聚合,以便于最后的使用,并提升場景中的查詢速率。

4.2.2 數(shù)倉應用優(yōu)化

當前醫(yī)保數(shù)據(jù)中臺對應用的支撐方式主要是各個應用獨立從數(shù)據(jù)中臺中取數(shù)進行分析統(tǒng)計,存在統(tǒng)一指標重復計算多、各應用統(tǒng)計口徑不一致的情況。此外,數(shù)倉應用層的組織方式和表設計暫未針對大數(shù)據(jù)OLAP引擎進行優(yōu)化,難以發(fā)揮引擎的最大優(yōu)勢。為優(yōu)化當前存在的問題,可對各個應用的統(tǒng)計需求重新進行主題化組織,面向主題和引擎特性進行表設計,統(tǒng)一進行指標輸出,這在優(yōu)化問題的同時,也可以在一定程度上避免未來子系統(tǒng)擴展而導致計算需求快速擴張的問題(因為有些指標不再需要重新計算)。

4.2.3 新型聯(lián)機分析處理(OLAP)引擎引入

目前,大數(shù)據(jù)社區(qū)中不斷有新的高性能OLAP引擎推出(如Presto、ClickHouse等),可以將這些引擎引入醫(yī)保數(shù)據(jù)中臺,以進一步提升醫(yī)保數(shù)據(jù)中臺的OLAP性能。

5 總結(jié)與展望

醫(yī)保數(shù)據(jù)中臺是醫(yī)保進一步邁向大數(shù)據(jù)的標志。當前,各地醫(yī)保數(shù)據(jù)中臺的建設為未來醫(yī)保數(shù)據(jù)中臺的發(fā)展打下了堅實的基礎。雖然目前醫(yī)保數(shù)據(jù)中臺的建設離其他行業(yè)完整的數(shù)據(jù)中臺建設仍有一定的距離,但可以預見的是,隨著各地醫(yī)保數(shù)據(jù)中臺使用的深入和數(shù)據(jù)中臺使用需求的增多,醫(yī)保數(shù)據(jù)中臺將會逐漸在各地經(jīng)驗的積累下從“指南”走向“標準”,不斷隨著醫(yī)保大數(shù)據(jù)的應用共同成長,最終實現(xiàn)醫(yī)保大數(shù)據(jù)應用的智能化,并不斷向著智慧化方向發(fā)展。

猜你喜歡
中臺數(shù)據(jù)倉庫規(guī)則
撐竿跳規(guī)則的制定
中臺是媒體轉(zhuǎn)型必經(jīng)之路嗎?
——媒體中臺建設的特點和誤區(qū)
數(shù)獨的規(guī)則和演變
基于數(shù)據(jù)倉庫的數(shù)據(jù)傾斜解決方案研究
關于零售企業(yè)“中臺”建設的研究
汽車制造企業(yè)質(zhì)量中臺研究
以技術開發(fā)中心為中臺,數(shù)字化轉(zhuǎn)型之見解
讓規(guī)則不規(guī)則
TPP反腐敗規(guī)則對我國的啟示
探析電力系統(tǒng)調(diào)度中數(shù)據(jù)倉庫技術的應用
阿巴嘎旗| 习水县| 蕲春县| 潍坊市| 航空| 璧山县| 分宜县| 滦平县| 淅川县| 德令哈市| 霍山县| 连平县| 城步| 宁海县| 丹江口市| 靖西县| 桓仁| 手游| 龙胜| 琼海市| 宝丰县| 安溪县| 阜平县| 工布江达县| 宕昌县| 金川县| 夏津县| 丰镇市| 色达县| 杨浦区| 昌黎县| 高要市| 开鲁县| 庆云县| 华宁县| 灵石县| 东莞市| 蕉岭县| 云南省| 南澳县| 汝州市|