潘云松，劉柏盛

（昆明鐵路局 信息技術(shù)所，昆明 650011）

基于大數(shù)據(jù)分析技術(shù)在鐵路卸車組織優(yōu)化中的研究

潘云松，劉柏盛

（昆明鐵路局 信息技術(shù)所，昆明 650011）

文章介紹鐵路卸車組織管理系統(tǒng)，該系統(tǒng)利用大數(shù)據(jù)分析技術(shù)，解決待卸車動態(tài)分布實時分析、重車在運輸過程的監(jiān)控和預(yù)警、重車到達時間的預(yù)測和預(yù)報，輔助編制卸車計劃，安排貨運專用線或公共貨場使用等問題。系統(tǒng)已在昆明鐵路局試用，取得了很好的經(jīng)濟效益和社會效益。

大數(shù)據(jù)；卸車組織；到達時間預(yù)測；輔助決策

提高卸車組織效率是鐵路運力資源最大限度發(fā)揮作用和鐵路局加速周轉(zhuǎn)，減少經(jīng)營支出、降低物流成本的有效途徑，是確保全年貨運任務(wù)完成和推動鐵路市場化運作關(guān)鍵。做好卸車組織關(guān)鍵是對全局待卸車信息能實時準(zhǔn)確掌握、對重車流能推算與預(yù)警、對到達重車運輸過程進行監(jiān)控；利用計算機輔助編貨運計劃手段，提升生產(chǎn)決策水平。大數(shù)據(jù)技術(shù)已被廣泛應(yīng)用在預(yù)測、輔助決策等方面，取得了很好的效果。如鐵路客運部門通過分析大量客票數(shù)據(jù)發(fā)現(xiàn)客流變化、客流結(jié)構(gòu)等信息指導(dǎo)售票工作。在大數(shù)據(jù)技術(shù)成功應(yīng)用基礎(chǔ)上，研究能夠輔助調(diào)度指揮、優(yōu)化卸車作業(yè)流程的卸車組織管理系統(tǒng)非常重要。

1 現(xiàn)狀分析

1.1 調(diào)度運輸組織方面

目前,昆明鐵路局準(zhǔn)確掌握裝卸車作業(yè)進度能力不夠，計算機不能有效推算出重車到站時間，為調(diào)度編制卸車計劃提供依據(jù)。貨運人員主要靠人工方式了解生產(chǎn)狀況，憑經(jīng)驗安排貨運工作計劃，計算機輔助貨運組織管理運用還很欠缺。

1.2 車站卸車組織方面

（1）目前，車站能夠及時掌握已到達本站的待卸車情況，但對在其它站存放、途中車、管外到本站的車輛情況掌握，以及預(yù)計到達時間預(yù)測不準(zhǔn)，對車站卸車資源調(diào)配沒有依據(jù)。遇大宗貨物集中到達時，由于準(zhǔn)備工作不充分，容易出現(xiàn)貨場貨區(qū)貨位、裝卸勞力及設(shè)備緊張，影響卸車作業(yè)效率。

（2）鐵路局系統(tǒng)反應(yīng)各車站裝卸車能力的基礎(chǔ)數(shù)據(jù)不夠，其中包括：作業(yè)點貨物線線路有效長、有效容車數(shù)，倉庫、雨棚、堆場數(shù)量，常備裝卸設(shè)備及勞力情況，以及貨區(qū)貨位占用、出貨組織、貨裝設(shè)備故障等情況。鐵路局、站段不能全面掌握各車站作業(yè)現(xiàn)場的裝卸車生產(chǎn)情況。這對車流組織及預(yù)警工作造成影響。

（3）由于車站裝卸車作業(yè)能力受到車站接發(fā)列車能力、機車運用、作業(yè)股道取送車效率、運用車輛匹配，以及貨場貨裝設(shè)備能力、裝卸車作業(yè)效率和進出貨組織等多種因素影響。目前，鐵路局尚未全面核查各車站針對車型和貨物品類的裝卸車作業(yè)能力，調(diào)度部門只能憑經(jīng)驗估算車站裝卸車作業(yè)能力，安排卸車計劃并組織車流拉運。遇大宗貨物集中到達，超出車站正常裝卸車作業(yè)能力時，往往現(xiàn)場發(fā)生車流堵塞后才采取解堵措施，影響卸車作業(yè)和車輛運用效率。

2 需求分析

2.1 總體需求

通過大數(shù)據(jù)分析技術(shù)，為貨運調(diào)度人員提供重車實時位置分布和裝載信息、車站卸車進度信息；提醒鐵路局調(diào)度人員對超運到期限的貨車優(yōu)先組織，對途中重車全程監(jiān)控和管理。實現(xiàn)待重車到達時間準(zhǔn)確預(yù)測，輔助調(diào)度人員編制調(diào)車計劃；為車站貨運組織人員提供到達重車詳細信息,做好卸車準(zhǔn)備，實現(xiàn)卸車計劃、卸車作業(yè)、卸車組織分析考核的精細化。

2.2 業(yè)務(wù)需求

（1）對鐵路局管內(nèi)運行貨車編組全程監(jiān)控和預(yù)警。對到運到期限的待卸車預(yù)警；對長期停留在車站的重車（俗稱老牌車）預(yù)警；對車站卸車能力不足預(yù)警（根據(jù)設(shè)定的卸車最大車數(shù)）；對重車越站的車輛預(yù)警。

（2）實現(xiàn)分3個階段重車到達預(yù)報。通過到達貨票推算出貨車應(yīng)到時間（以天為單位），制定遠期卸車計劃；通過預(yù)確報,提前幾個小時掌握分界口接入車流，預(yù)先編制中期卸車計劃；獲得準(zhǔn)確分界口車輛接入信息，編制詳細(近期)卸車計劃，實現(xiàn)重車運行及作業(yè)軌跡全程追蹤。

（3）調(diào)度人員和車站調(diào)度能實時掌握車站貨場專用線使用情況、貨區(qū)貨位、勞力、裝卸設(shè)備情況。

（4）調(diào)度指揮人員能實時掌握車站待卸車、停放在途中車站的待卸車、在途待卸車分布情況,以及分界口接入列車情況。

（5）自動推算2天內(nèi)鐵路局分界口接入車流大致情況、幾小時后車站預(yù)計到達重車情況。

（6）輔助調(diào)度編制計劃。能推算卸車進度即到各時段卸車數(shù)、將要到達重車數(shù)，在此基礎(chǔ)上，推算到下個時間點車站待卸車數(shù)，輔助編制卸車計劃。

2.3 大數(shù)據(jù)分析需求

實現(xiàn)數(shù)據(jù)倉庫與生產(chǎn)系統(tǒng)聯(lián)動，形成一體化決策支持能力。通過數(shù)據(jù)通信技術(shù)、數(shù)據(jù)挖掘技術(shù)，將各種系統(tǒng)數(shù)據(jù)進行集中、整合、加工、數(shù)據(jù)格式轉(zhuǎn)化，建立面向主題分析的數(shù)據(jù)集市，提供各部門360。數(shù)據(jù)分析平臺。

實現(xiàn)與生產(chǎn)系統(tǒng)有效互動，形成智能化、一體化管理。構(gòu)建信息服務(wù)平臺，實現(xiàn)對鐵路局、車站、貨主全方位服務(wù)。通過數(shù)據(jù)挖掘、機器學(xué)習(xí)等手段，支持輔助決策，使鐵路局與車站聯(lián)動構(gòu)成有機整體。

向參與卸車組織的不同崗位提供有針對性信息服務(wù)：（1）鐵路局調(diào)度決策人員全面掌握運輸、經(jīng)營情況，科學(xué)進行調(diào)度指揮；（2）計劃人員側(cè)重于掌握列車現(xiàn)狀和預(yù)計到達重車數(shù)量，制定科學(xué)、合理的計劃；（3）行車調(diào)度和貨運調(diào)度人員關(guān)注計劃落實以及執(zhí)行情況；（4）車站貨運人員能掌握本站將要到達重車、倉庫使用情況、裝卸設(shè)施設(shè)備、勞力的情況，組織車站卸車。

3 技術(shù)方案

3.1 卸車組織管理系統(tǒng)架構(gòu)

（1）數(shù)據(jù)源層：包含原始數(shù)據(jù)，如集成平臺、貨票系統(tǒng)、計劃調(diào)度、車站系統(tǒng)等，集中在鐵路局或分散在車站。數(shù)據(jù)多存儲在數(shù)據(jù)庫，還有照片等非結(jié)構(gòu)化數(shù)據(jù)文件，數(shù)據(jù)增長速度很快。

（2）數(shù)據(jù)提取層：主要實現(xiàn)數(shù)據(jù)同步、數(shù)據(jù)采集、數(shù)據(jù)集中、數(shù)據(jù)清洗、數(shù)據(jù)格式的轉(zhuǎn)換。同步軟件：實現(xiàn)將全局所有車站系統(tǒng)數(shù)據(jù)同步到鐵路局集中數(shù)據(jù)庫；數(shù)據(jù)清洗：將集成平臺、貨票、確報中所包含車輛和裝載信息，經(jīng)過匹配、選擇、格式轉(zhuǎn)換生成車輛軌跡記錄庫（各時間點位置、貨運作業(yè)記錄歷史）；將文件（圖形文件）類型數(shù)據(jù)轉(zhuǎn)換并存入數(shù)據(jù)庫，方便數(shù)據(jù)的分析挖掘。以上功能均采用開源Hadoop技術(shù)實現(xiàn)。

（3）數(shù)據(jù)集市層：用于存放經(jīng)過處理，供分析的中間數(shù)據(jù)庫，包括車輛作業(yè)歷史、當(dāng)前車輛狀態(tài)、判斷策略及知識庫、中間運算結(jié)果和標(biāo)準(zhǔn)基礎(chǔ)字典等庫。

（4）應(yīng)用服務(wù)層：由提供各種基礎(chǔ)應(yīng)用功能和服務(wù)組成。軟件架構(gòu)完全遵循SOA思想，此層設(shè)計重點解決將各業(yè)務(wù)需求分解成粒度不同的基本服務(wù)問題，以適應(yīng)經(jīng)常變化的業(yè)務(wù)需要。

（5）業(yè)務(wù)邏輯層：由到達車流預(yù)測分析、超卸車能力預(yù)警、重車到達預(yù)報、卸車進度分析和預(yù)測、卸車作業(yè)質(zhì)量分析考核、基礎(chǔ)數(shù)據(jù)維護等功能組成，通過調(diào)用應(yīng)用層的基本功能實現(xiàn)。

（6）用戶交互層：針對調(diào)度總長、調(diào)度人員、車務(wù)段、車站貨運員等不同用戶提供不同的交互界面。以電子地圖方式為生產(chǎn)決策者提供全局貨車卸車信息，方便決策者多角度分析生產(chǎn)狀況。為車站貨運內(nèi)勤人員提供察看重車到達、分界口接入等分析功能；貨運外勤人員能通過手持機App應(yīng)用查看和上報待卸車信息；貨主通過短信、微信手段獲得各種信息服務(wù)。

（7）用戶認證和網(wǎng)絡(luò)安全管理：實現(xiàn)所有應(yīng)用認證系統(tǒng)統(tǒng)一管理。應(yīng)用訪問數(shù)據(jù)庫不僅要通過網(wǎng)絡(luò)安全認證，還要通過數(shù)據(jù)庫安全管理認證。這保證了整個系統(tǒng)安全可靠、穩(wěn)定運行。

總體架構(gòu)圖如圖1所示。

3.2 業(yè)務(wù)流程設(shè)計

卸車組織管理系統(tǒng)參與者包括鐵路局調(diào)度人員、車務(wù)段、車站貨運員。

（1）根據(jù)貨票歷史庫中發(fā)到站、制票時間和局分界口接入時間等信息，計算出管外各車站到達局分界口的平均時間，以此為依據(jù)，推算出幾天后到達局分界口的車流，輔助編制遠期車流計劃。

（2）根據(jù)車號識別、集成平臺、行車調(diào)度、計劃調(diào)度等系統(tǒng)數(shù)據(jù)，分析出實際分界口接入車輛信息（中期車流信息）。鐵路局調(diào)度人員對局管內(nèi)重車進行全程監(jiān)控和管理。

（3）本系統(tǒng)完成車輛和貨票信息匹配：找出每輛重車對應(yīng)的貨票，獲得運到期限、收貨人、品類等信息。系統(tǒng)發(fā)現(xiàn)重車超運到期限，就提醒調(diào)度人員提前組織，抓緊拉運。

（4）在運輸過程中，系統(tǒng)通過分析確報、行車調(diào)度、集成平臺等信息，實時監(jiān)控重車越界、重車在站停留時間超時風(fēng)險，發(fā)現(xiàn)則立即提醒鐵路局調(diào)度人員采取措施。

（5）車站貨運人員負責(zé)維護車站的卸車能力數(shù)據(jù)，包括倉庫庫存、專用線、勞力、裝卸設(shè)施設(shè)備，以及分品類、車種、專用線卸車作業(yè)指標(biāo)等。

（6）系統(tǒng)推算出下階段到達車站待重車數(shù)，依據(jù)車站當(dāng)前卸車進度，輔助調(diào)度指揮人員編寫下個階段卸車計劃，并下達到車站。系統(tǒng)判斷車站是否存在超卸車能力風(fēng)險，提醒調(diào)度指揮人員采取措施。

（7）車站貨運人員實時上報卸車進度，系統(tǒng)將實際進度數(shù)據(jù)與預(yù)計數(shù)據(jù)進行比較，調(diào)整卸車作業(yè)標(biāo)準(zhǔn)，成為下次推測依據(jù)，實現(xiàn)機器學(xué)習(xí)過程。具體業(yè)務(wù)流程如圖2所示。

3.3 主要功能設(shè)計

圖2 業(yè)務(wù)流程圖

3.3.1 實時分析

（1）分界口接入車流分析。根據(jù)計劃調(diào)度系統(tǒng)、確報系統(tǒng)、集成平臺數(shù)據(jù)分析，推算出預(yù)計接入貨車、到達重車數(shù)量。

（2）待卸車分布查詢。通過對車站系統(tǒng)、行車調(diào)度系統(tǒng)、ATIS系統(tǒng)、集成平臺數(shù)據(jù)分析，統(tǒng)計本站待卸車、途中車站停放、在途重車實施分布情況。

（3）超運到期限待卸車分析。通過數(shù)據(jù)挖掘、關(guān)聯(lián)分析，找到車輛貨票中運到期限信息，對馬上到和已超運到期限的重車，分級別預(yù)警。提醒調(diào)度人員重點組織，以提高服務(wù)。

（4）違反車流徑路分析。根據(jù)“車流徑路”軟件計算走行徑路，系統(tǒng)對車站發(fā)出預(yù)確報進行判斷，如有“違流”，及時向車站調(diào)度人員預(yù)警通知；自動判斷車輛實際運行是否違反車流徑路，提醒鐵路局調(diào)度人員。

3.3.2 預(yù)測和預(yù)警

預(yù)測重車到達車站時間。此功能對車站、調(diào)度人員合理安排卸車計劃非常重要。運用大數(shù)據(jù)分析技術(shù)，分析車輛運行軌跡、作業(yè)歷史記錄（站間的平均速度、期間開行車次等）數(shù)據(jù)，依據(jù)當(dāng)前重車的分布情況、運行狀態(tài)，推算出各階段車站預(yù)計到達重車。

裝卸車超能力預(yù)警。通過對以往卸車作業(yè)歷史數(shù)據(jù)分析，基于各站貨運營業(yè)辦理限制、貨物裝卸設(shè)施設(shè)備及人員情況、貨物裝卸車作業(yè)品類和專用線信息，推算車站、專用線的卸車能力。當(dāng)車站預(yù)計待卸車數(shù)超過車站裝卸車作業(yè)能力時，提醒站段提前做好卸車組織準(zhǔn)備，并提前為跨站分流和裝卸勞力、機具調(diào)動做好準(zhǔn)備。

3.3.3 輔助決策

輔助卸車計劃制定。建立卸車推算數(shù)據(jù)模型，通過訓(xùn)練集（歷史數(shù)據(jù)）學(xué)習(xí)得到模型中的參數(shù)，最后基于模型和參數(shù)進行預(yù)測，利用預(yù)測信息采取相應(yīng)措施。推算模型參數(shù)不僅包含車輛位置變化、作業(yè)時間點、編掛列車車次順序等信息，還包含大量調(diào)度運輸組織計劃、車站調(diào)車作業(yè)執(zhí)行情況信息?；诋?dāng)前調(diào)度計劃執(zhí)行、重車分布情況，輔助調(diào)度人員編制計劃，使用數(shù)據(jù)模型算法（機器學(xué)習(xí)過程）推算下個時間點重車分布狀況。

安排卸車專用線和公共貨場使用。在預(yù)測重車到達時間的基礎(chǔ)上，根據(jù)到達貨車的收貨人、車種、品類、數(shù)量等信息，依據(jù)貨場專用線長度、空閑貨區(qū)貨位信息，分析卸車能力（裝卸設(shè)施設(shè)備、勞力等），系統(tǒng)按照人工設(shè)定策略，安排專用線或公共貨場使用。

3.4 大數(shù)據(jù)處理流程設(shè)計

大數(shù)據(jù)處理主要包括數(shù)據(jù)采集、數(shù)據(jù)集中、數(shù)據(jù)服務(wù)3個環(huán)節(jié)，具體流程如圖3所示。

3.4.1 數(shù)據(jù)源分析

隨著鐵路集成平臺、貨票、貨運調(diào)度及保價系統(tǒng)等數(shù)據(jù)不斷更新與增長，沉淀了大量的運輸調(diào)度及貨運信息數(shù)據(jù)。這些數(shù)據(jù)主要具有大量、高速、有價值等大數(shù)據(jù)特點。利用大數(shù)據(jù)技術(shù)，實現(xiàn)從大量數(shù)據(jù)中挖掘出隱藏的規(guī)律和關(guān)聯(lián)信息，用于預(yù)測各個時段到達重車數(shù)，提前發(fā)現(xiàn)運輸擁堵潛在風(fēng)險。

圖3 大數(shù)據(jù)處理流程圖

3.4.2 數(shù)據(jù)提取、清洗和集中

從既有鐵路信息系統(tǒng)提取數(shù)據(jù)。所提取的數(shù)據(jù)來自鐵路局各信息系統(tǒng)數(shù)據(jù)庫和全路局各車站數(shù)據(jù)庫，需要通過數(shù)據(jù)同步技術(shù)上傳到鐵路局中心數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)集中。這些數(shù)據(jù)是大量的、不完整的、有噪聲、模糊的，存在相同車號車輛同時出現(xiàn)在不同車站、確報與車號識別數(shù)據(jù)不一致、確報裝載信息與貨票數(shù)據(jù)不一致問題。在非正常情況下(如發(fā)生事故)車輛在站停留時間、車站之間運行時間數(shù)據(jù)超長，不能用于計算平均速度，需要去除。

數(shù)據(jù)清洗主要解決數(shù)據(jù)質(zhì)量問題。解決重復(fù)記錄選擇問題及業(yè)務(wù)專家共同分析判斷數(shù)據(jù)價值。主要工作是去偽存真，通過數(shù)據(jù)的完整性及一致性檢查，消除噪聲。系統(tǒng)從集成平臺提取車輛位置信息，從貨票中提取詳細裝載信息，通過取舍生成每輛貨車唯一的各個時間點位置和裝載狀態(tài)數(shù)據(jù)，并保存到歷史數(shù)據(jù)庫。信息包含了車輛到達和出發(fā)時間、空重狀態(tài)等，為數(shù)據(jù)挖掘做準(zhǔn)備。

工具選擇主要考慮到采集數(shù)據(jù)的多樣性、需要高性能處理能力、靈活的算法等因素，選用開源的Hadoop、MapReduce工具，實現(xiàn)對無限、無意識、結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)采集、數(shù)據(jù)處理。

3.4.3 大數(shù)據(jù)分析方法

聯(lián)機分析處理（OLAP）是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求。行車調(diào)度人員主要考慮車輛編組內(nèi)容、列車的開行點（時刻表）；車站人員關(guān)心的是貨主信息、貨物品類；營銷人員關(guān)心的是貨主信息和貨主運輸需求。

多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片（Slice）、切塊（Dice）、鉆?。―rill-down和Roll-up）、旋轉(zhuǎn)（Pivot）等各種分析動作，以求剖析數(shù)據(jù)，使用戶能從多角度、多側(cè)面地觀察數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的有價值信息。卸車組織系統(tǒng)就是通過圖形和報表等直觀、可視方式提供分析結(jié)果。

3.4.4 提高大數(shù)據(jù)處理性能設(shè)計

（1）縮短事務(wù)盡力將長期鎖減至最少，提高并發(fā)性。在事務(wù)期間，避免用戶交互。通過執(zhí)行單個存儲過程處理整個事務(wù)。將對經(jīng)常訪問表的引用置于事務(wù)的末尾，以便將控制鎖的持續(xù)時間減至最短，聯(lián)機備份。

（2）提高數(shù)據(jù)庫規(guī)范化程度。盡可能減少冗余信息以提高更新速度，從而提高并發(fā)性。減少數(shù)據(jù)提高備份速度。

（3）引進內(nèi)存數(shù)據(jù)庫提高數(shù)據(jù)處理能力。有效結(jié)合常規(guī)數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫功能，將實時變化的數(shù)據(jù)放在內(nèi)存中，將不再變化的數(shù)據(jù)存放在I/O磁盤中。在應(yīng)用層主內(nèi)存中存儲數(shù)據(jù)，能夠極大地加速OLTP交易事務(wù)處理速度，實現(xiàn)后臺在線實時數(shù)據(jù)處理，達到極短的時間內(nèi)完成大量比對校驗、車輛與貨票關(guān)聯(lián)、確報與運行線關(guān)聯(lián)、歸并等消耗大量IO資源的操作要求。將實時型數(shù)據(jù)和分析型數(shù)據(jù)存儲在同一個數(shù)據(jù)庫內(nèi)，分析和報表業(yè)務(wù)采用列格式運行，利用內(nèi)存列式存儲技術(shù)進行分析類操作的強大優(yōu)勢，對各類業(yè)務(wù)數(shù)據(jù)進行實時快速分析。

4 結(jié)束語

卸車組織管理系統(tǒng)已在昆明鐵路局調(diào)度所試用，有效地提升了卸車組織效率，產(chǎn)生了很好的經(jīng)濟效益和社會效益。該系統(tǒng)實施后，全局卸車水平逐漸提高，運輸組織的目的性越來越強，大力壓縮了貨車周轉(zhuǎn)時間。同時，通過加強對車站老牌車的盯控，有效地降低了車輛使用費。同時，系統(tǒng)為貨主提供了貨車到達時間查詢和通知服務(wù)；為調(diào)度所提供了貨物運到期限預(yù)警等功能，降低了貨車超運到期限而被投訴的發(fā)生率。

[1]王宏志.大數(shù)據(jù)算法[M].北京：機械工業(yè)出版社，2015.

[2] Oracle.Oracle Database In-Memory [EB/OL].http://www.oracle.com,2014.

[3] 黃 文，王正林.數(shù)據(jù)挖掘 [M].北京：電子工業(yè)出版社，2014.

責(zé)任編輯 陳 蓉

Big data analysis techniques applied to optimization of railway unloading organization

PAN Yunsong,LIU Bosheng
( Institute of Information Technology,Kunming Railway Administration,Kunming 650011,China)

This article described the application of big data technology in optimization of railway unloading organization such as real-time analysis for railway unloading freight cars dynamic distribution,monitoring and early warning in the process of transportation for railway loaded freight cars,prediction and early warning of arrival time for railway loaded freight cars,aided unloading plan,arranging freight special line,the use of public goods yard,etc.Through the use of big data technology,Kunming Railway Administration has achieved very good economic and social benefts.

big data;railway unloading organization;arrival time prediction;assistant decision making

U294.26：TP39

A

1005-8451（2016）09-0049-06

2016-06-15

中國鐵路總公司科技研究開發(fā)計劃課題（2015X006F）。

潘云松，高級工程師；劉柏盛，高級工程師。