高 翔 黃文康 商志浩 王文婷 楊 珊

(廣西中醫(yī)藥大學(xué)公共衛(wèi)生與管理學(xué)院 南寧530200) (廣西中醫(yī)藥大學(xué)針灸推拿學(xué)院 南寧530200) (廣西中醫(yī)藥大學(xué)公共衛(wèi)生與管理學(xué)院 南寧530200)

1 引言

隨著我國經(jīng)濟(jì)快速發(fā)展，人民生活質(zhì)量得到全面提高，但同時(shí)出現(xiàn)環(huán)境污染、食品安全、工作節(jié)奏加快等問題，養(yǎng)生保健成為備受關(guān)注的熱門話題[1]。中醫(yī)養(yǎng)生是中國傳統(tǒng)的養(yǎng)生保健手段，歷史悠久，成效顯著，具有西方醫(yī)學(xué)無法取代的獨(dú)特優(yōu)勢(shì)。隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)上出現(xiàn)大量的無結(jié)構(gòu)化和半結(jié)構(gòu)化信息與數(shù)據(jù)，傳統(tǒng)的存儲(chǔ)方式已無法滿足數(shù)據(jù)分析和處理需求，從海量數(shù)據(jù)中獲取有價(jià)值信息成為組織和個(gè)人在相關(guān)領(lǐng)域取得成果的關(guān)鍵。雖然利用大數(shù)據(jù)技術(shù)可處理海量數(shù)據(jù)信息，但是由于技術(shù)尚不成熟，面臨著隱私保護(hù)、相關(guān)性預(yù)知等方面的挑戰(zhàn)，是亟需研究的問題[2]。移動(dòng)設(shè)備作為信息化技術(shù)革命的產(chǎn)物，其普及給人們生活帶來極大便利。本研究擬采用移動(dòng)手機(jī)設(shè)備終端應(yīng)用作為應(yīng)用平臺(tái)。在服務(wù)器端，通過Hadoop技術(shù)對(duì)網(wǎng)絡(luò)海量數(shù)據(jù)進(jìn)行提取、清洗和利用，根據(jù)關(guān)鍵詞獲取中醫(yī)養(yǎng)生保健網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)用戶行為習(xí)慣自動(dòng)進(jìn)行匹配。

2 大數(shù)據(jù)概念及其關(guān)鍵技術(shù)

2.1 概念

大數(shù)據(jù)即規(guī)模龐大的數(shù)據(jù)群集，在業(yè)界大數(shù)據(jù)仍然沒有被廣泛接受的準(zhǔn)確定義，即定義不唯一。網(wǎng)絡(luò)中目前已逐漸形成規(guī)模龐大的數(shù)據(jù)群集，且類型多種多樣、結(jié)構(gòu)復(fù)雜冗余。大數(shù)據(jù)技術(shù)擁有強(qiáng)大決策力、洞察力，還可以處理海量級(jí)數(shù)據(jù)以及多樣化信息資源，如何處理并高效利用大數(shù)據(jù)是計(jì)算機(jī)科學(xué)技術(shù)與其他行業(yè)結(jié)合的研究重點(diǎn)。

2.2 關(guān)鍵技術(shù)

2.2.1 Hadoop 由Apache軟件基金會(huì)開發(fā)的開源分布式系統(tǒng)基礎(chǔ)架構(gòu)。有兩個(gè)核心組件：Hadoop分布式文件系統(tǒng)(Hadoop Distribute File System, HDFS)為海量數(shù)據(jù)提供存儲(chǔ); MapReduce為海量數(shù)據(jù)提供計(jì)算。Hadoop運(yùn)作服務(wù)器集群，依托開發(fā)者編寫的程序?qū)嫶髷?shù)據(jù)進(jìn)行分布式模式的管理，適用于大數(shù)據(jù)存儲(chǔ)與分析應(yīng)用，適用幾萬臺(tái)服務(wù)器在集群模式運(yùn)作，支持 PB和TB級(jí)存儲(chǔ)容量。Hadoop最明顯的優(yōu)勢(shì)是可儲(chǔ)存和處理數(shù)據(jù)量龐大且類型冗余復(fù)雜的數(shù)據(jù)，而傳統(tǒng)數(shù)據(jù)庫無法完成。

2.2.2 HDFS 為Hadoop關(guān)鍵組成之一，能夠?qū)崿F(xiàn)大數(shù)據(jù)強(qiáng)大的存儲(chǔ)能力。其提供強(qiáng)大的數(shù)據(jù)存儲(chǔ)功能，很好地解決傳統(tǒng)存儲(chǔ)數(shù)據(jù)規(guī)模龐大、類型復(fù)雜的問題。HDFS是建立于幾萬臺(tái)機(jī)器上的數(shù)據(jù)存儲(chǔ)系統(tǒng)，具有廣闊的使用場景。采用主從式(Master/Slave)架構(gòu)，一般一個(gè)HDFS集群由一個(gè)NameNode和一定數(shù)目的DataNode組成。NameNode是HDFS集群主節(jié)點(diǎn)，其功能是管理數(shù)據(jù)塊的映射、HDFS名字空間以及處理Client請(qǐng)求；DataNode是 HDFS集群從節(jié)點(diǎn)，其功能是對(duì)文件系統(tǒng)數(shù)據(jù)進(jìn)行存儲(chǔ)，處理數(shù)據(jù)塊的讀寫操作。兩個(gè)組成部分配合完成分布式文件存儲(chǔ)。

2.2.3 MapReduce 一個(gè)軟件框架，開發(fā)者可在框架上簡單編寫代碼程序，代碼程序能運(yùn)作于由幾千臺(tái)業(yè)務(wù)機(jī)器構(gòu)成的服務(wù)器的大規(guī)模集群上，再依托一種可行且擁有容錯(cuò)能力的方法并行處理TB級(jí)別的大量數(shù)據(jù)群集。采用Master/Slave架構(gòu)，1個(gè)Master，若干Slave。Master運(yùn)行JobTracker負(fù)責(zé)作業(yè)調(diào)度，定期使用“心跳”向JobTracker報(bào)告任務(wù)進(jìn)度，同時(shí)接受新任務(wù)，Slave運(yùn)行TaskTracker負(fù)責(zé)具體作業(yè)處理。具體架構(gòu)，見圖1。

圖1 MapReduce架構(gòu)

3 基于大數(shù)據(jù)的中醫(yī)養(yǎng)生保健應(yīng)用系統(tǒng)設(shè)計(jì)

3.1 設(shè)計(jì)思路

3.1.1 總體框架(圖2)

圖2 基于大數(shù)據(jù)的中醫(yī)養(yǎng)生保健應(yīng)用系統(tǒng)架構(gòu)

3.1.2 功能結(jié)構(gòu) 基于大數(shù)據(jù)的中醫(yī)養(yǎng)生保健應(yīng)用構(gòu)建在安卓平臺(tái)上，方便用戶隨時(shí)隨地使用。其主要功能是提供用戶個(gè)性化的中醫(yī)養(yǎng)生保健方案、中醫(yī)膳食譜、結(jié)合線下養(yǎng)生館的養(yǎng)生保健法等。功能結(jié)構(gòu)，見圖3。

圖3 系統(tǒng)功能結(jié)構(gòu)

3.1.3 開發(fā)環(huán)境 采用Window+Eclipse+Android+Mysql+Hadoop[3]開發(fā)環(huán)境。Android是一種基于Linux自由且開發(fā)源代碼的操作系統(tǒng)，主要應(yīng)用于移動(dòng)設(shè)備上，具有易用性、便捷式操作等優(yōu)勢(shì)。結(jié)合開發(fā)工具Eclipse在Window上集成，Eclipse開發(fā)工具的插件功能非常強(qiáng)大，可根據(jù)自身需求擴(kuò)展ADT插件，滿足開發(fā)者開發(fā)需求。在數(shù)據(jù)存儲(chǔ)方面，采用Mysql組織和管理傳統(tǒng)數(shù)據(jù)存儲(chǔ)；Hadoop為大數(shù)據(jù)存儲(chǔ)工具，對(duì)復(fù)雜且龐大的數(shù)據(jù)集進(jìn)行存儲(chǔ)。

3.2 數(shù)據(jù)層架構(gòu)

3.2.1 數(shù)據(jù)采集 一是網(wǎng)絡(luò)檢索引擎技術(shù)。網(wǎng)絡(luò)是巨大的資源庫，主要通過搜索引擎技術(shù)如Apache Lucene工具等檢索大量的網(wǎng)絡(luò)信息，根據(jù)中醫(yī)養(yǎng)生保健的療法、癥狀等劃分需求制定規(guī)則，從而篩選出具有統(tǒng)計(jì)分類的中醫(yī)養(yǎng)生保健相關(guān)信息作為數(shù)據(jù)儲(chǔ)備。二是平臺(tái)資源分享?；ヂ?lián)網(wǎng)上有大量中醫(yī)、養(yǎng)生保健等平臺(tái)，可以通過平臺(tái)信息資源對(duì)接方式采集相關(guān)中醫(yī)養(yǎng)生保健信息以及較為完善的病歷。三是網(wǎng)絡(luò)爬蟲。通過編寫一個(gè)簡單程序?qū)崿F(xiàn)數(shù)據(jù)采集，其語言可以是Pyhton、C++、Java、PHP等，捕抓網(wǎng)頁上的信息、數(shù)據(jù)、圖片、文件等，根據(jù)中醫(yī)養(yǎng)生保健相關(guān)的匹配詞進(jìn)行數(shù)據(jù)采集并歸納分類，統(tǒng)計(jì)數(shù)據(jù)。四是數(shù)據(jù)分析。使用數(shù)據(jù)倉庫對(duì)數(shù)據(jù)進(jìn)行清洗、裝載、查詢、展現(xiàn)等，決策選出業(yè)務(wù)邏輯中所需數(shù)據(jù)，實(shí)現(xiàn)“數(shù)據(jù)產(chǎn)生數(shù)據(jù)”的模式。

3.2.2 數(shù)據(jù)存儲(chǔ) 采集的數(shù)據(jù)可分為非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，結(jié)合中醫(yī)養(yǎng)生保健信息高頻出現(xiàn)、高效值的數(shù)據(jù)，優(yōu)先考慮傳統(tǒng)數(shù)據(jù)庫存儲(chǔ)方式并優(yōu)先處理；對(duì)于非結(jié)構(gòu)化、半結(jié)構(gòu)化以及部分結(jié)構(gòu)化數(shù)據(jù)，采用大數(shù)據(jù)模式，即分布式存儲(chǔ)，將大量數(shù)據(jù)云集在服務(wù)器集群中并進(jìn)行挖掘處理，做出中醫(yī)養(yǎng)生保健決策。

3.2.3 數(shù)據(jù)算法 主要目的是對(duì)大數(shù)據(jù)進(jìn)行挖掘，從而提高數(shù)據(jù)提煉的性能。海量數(shù)據(jù)較難處理，往往要達(dá)到需求量大、速度快、精確度高等要求，而傳統(tǒng)的數(shù)據(jù)處理技術(shù)無法滿足其處理需求。本研究采用Apache Mahout[4-5]技術(shù)，其提供一些可擴(kuò)展機(jī)器學(xué)習(xí)的經(jīng)典算法，可以實(shí)現(xiàn)文檔聚類、做出推薦和組織內(nèi)容。Mahout推薦算法分為兩類：基于單機(jī)內(nèi)存算法，基于Hadoop的分步式算法[6]。針對(duì)大數(shù)據(jù)采用基于Hadoop的分步式算法。該算法是將之前單機(jī)執(zhí)行的算法變成MapReduce模式。MapReduce分布式并行計(jì)算的結(jié)構(gòu)是將大數(shù)據(jù)均切分為小數(shù)據(jù)模塊，再結(jié)合Hadoop集群的處理機(jī)進(jìn)行并行處理，使其快捷地完成大數(shù)據(jù)挖掘、分析過程。Mahout協(xié)同過濾推薦實(shí)現(xiàn)的組件，見圖4。

圖4 Mahout協(xié)同過濾推薦實(shí)現(xiàn)的組件

3.3 服務(wù)層

3.3.1 面向用戶 一是用戶精準(zhǔn)詞元匹配中醫(yī)養(yǎng)生保健服務(wù)。用戶根據(jù)自身體征表現(xiàn)以及特點(diǎn)，通過選詞或自定義詞元將信息輸入中醫(yī)養(yǎng)生保健平臺(tái)中，平臺(tái)服務(wù)基于大數(shù)據(jù)篩選高效值，提供用戶精準(zhǔn)的養(yǎng)生保健方案，在用戶實(shí)施方案期間對(duì)其追蹤以反饋效果。二是中醫(yī)養(yǎng)生保健膳食和推拿手法推薦。用戶通過應(yīng)用平臺(tái)可查看中醫(yī)養(yǎng)生保健膳食和手法推薦，膳食信息均由大數(shù)據(jù)通過一年四季、節(jié)

/氣等因素結(jié)合綜合分析而得；推拿手法是根據(jù)用戶已標(biāo)識(shí)的自身體征匹配數(shù)據(jù)高效值來提供服務(wù)。

3.3.2 面向大數(shù)據(jù)平臺(tái) 如線下養(yǎng)生館，中醫(yī)養(yǎng)生保健平臺(tái)通過嚴(yán)格的權(quán)限管理，設(shè)置對(duì)指定場所或公司開放相關(guān)接口權(quán)限，為第3方提供接口服務(wù)，服務(wù)內(nèi)容包括分類詞元信息匹配、養(yǎng)生保健方案生成、計(jì)劃安全性認(rèn)證服務(wù)等，構(gòu)建線下-線上聯(lián)動(dòng)模式。

4 結(jié)語

本文對(duì)基于大數(shù)據(jù)的中醫(yī)養(yǎng)生保健平臺(tái)構(gòu)建進(jìn)行簡要論述，主要包括系統(tǒng)模型、數(shù)據(jù)處理方式、主要功能等。在大眾養(yǎng)生保健的熱潮中資源獲取和數(shù)據(jù)有效性是用戶最主要的需求。而大數(shù)據(jù)處理、有效利用顯得十分重要，是值得研究的方向，如何更好地利用數(shù)據(jù)產(chǎn)生更大價(jià)值需深入思考。