鄒衛(wèi)峰
"""摘要:健全的日志記錄和分析是系統(tǒng)正常運行與優(yōu)化以及安全事故響應的基礎。日志數(shù)據(jù)龐大且往往以文本形式存在,不容易閱讀和提取關鍵信息,因此必須對日志數(shù)據(jù)進行適當?shù)姆治觯诰蚱渲须[藏的有價值信息,還可以進行可視化表達,使信息一目了然。該文以常見WEB服務器日志為對象,研究了日志分析以及可視化的原理與過程。
關鍵詞:WEB服務器;日志分析;可視化
中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2016)21-0096-02
隨著互聯(lián)網(wǎng)的不斷發(fā)展,幾乎所有的企事業(yè)單位都有自己的網(wǎng)站,而B/S架構逐漸取代傳統(tǒng)C/S架構又進一步促進了網(wǎng)站應用的增長,web管理問題日趨重要。管理一個網(wǎng)站不僅要保證內容的豐富度、程序的可靠性,還要不斷提高用戶的訪問質量、保證網(wǎng)站的安全,而這后兩項就依賴于WEB日志信息。
WEB日志記錄了服務器接收并處理請求以及運行時錯誤等各種原始信息。通過對日志進行統(tǒng)計、分析和綜合,就能有效地掌握服務器的運行狀況、發(fā)現(xiàn)和排除錯誤原因、了解客戶訪問分布、發(fā)現(xiàn)安全漏洞等,更好地加強系統(tǒng)的維護和管理[1]。
1 WEB日志
1.1 定義
WEB日志消息就是WEB服務器在瀏覽器客戶端訪問WEB頁面請求資源(頁面、圖片、文件等等)時所記錄的一定格式的信息。
1.2 原理
WEB服務器是如何記錄日志的,記錄什么日志,首先要了解萬維網(wǎng)(WWW)工作模式。萬維網(wǎng)采用客戶機/服務器模式,使用HTTP協(xié)議,具體工作流程如下:
1) 建立連接:客戶端的瀏覽器向服務端發(fā)出建立連接的請求,服務端給出響應就可以建立連接了。
2) 發(fā)送請求:客戶端按照協(xié)議的要求通過連接向服務端發(fā)送自己的請求。
3) 給出應答:服務端按照客戶端的要求給出應答,把結果(HTML文件)返回給客戶端。
4) 關閉連接:客戶端接到應答后關閉連接。服務器端將相應的訪問信息和錯誤信息寫到日志文件。
1.3 格式
WEB服務器日志大多以具有一定格式的文本形式存放。本文以APACHE服務器日志為例。
Apache WEB服務的日志主要有CommonLog和ErrorLog兩種,分別記錄訪問日志和錯誤日志,其格式和含義如表1、表2所示:
2 WEB日志分析
分析日志必須知道日志的核心要素和分析策略。如表3、表4所示。根據(jù)日志要素和可用的策略可以得到日志分析的相關算法和程序[2-3]。
3 WEB日志可視化
可視化是這樣一個過程,它將數(shù)據(jù)信息和知識轉化為一種視覺形式,充分利用人們對可視模式快速識別的自然能力[4]。WEB日志是一種信息,日志分析結果是一種知識,為了更直觀的理解它,可以利用可視化工具對其進行可視化展現(xiàn)。
3.1 信息可視化參考模型[5]
在圖1的信息可視化參考模型中:
1) “原始數(shù)據(jù)”經過“數(shù)據(jù)轉換”映射為“數(shù)據(jù)表”(數(shù)據(jù)的相關性描述);
2) 數(shù)據(jù)表經過“可視化映射”轉換為“可視化結構”;
3) 可視化結構經過“視圖變換”成為“視圖”;
4) “用戶的交互動作”用來控制這些變換的參數(shù);
5) 可視化和它們的控制最終服務于“任務”。
3.2 WEB日志可視化探討
WEB日志可視化本質上是一種信息可視化,可以利用信息可視化的各種工具。原始數(shù)據(jù)是日志文件,其中包含了時間信息(訪問日期)、空間信息(訪問地址)、類型信息(訪問頁面分類、錯誤分類、來源分類等),按照日志要素,采用一定的策略,經過分析后可以轉換為數(shù)據(jù)表,使用餅圖、折線圖、樹圖等對時間信息進行可視化轉換,使用樹圖、地圖、熱力圖等對空間信息進行可視化轉換,最終得到各種視圖。用戶通過位置探查,即利用一個時間或空間位置動態(tài)地查看附加的數(shù)據(jù)信息,也可以采用移動、放大、縮小、裁剪等視點控制的交互動作來服務于他的任務。
目前的信息可視化軟件從入門級的(如EXCEL)到在線的(如FLOT、D3、Visual.ly),還有地圖工具(如Modest Maps、Leaflet),以及科學計算所用的專家級軟件(如R、Mathematica)均可以用來作為WEB日志可視化的工具。
4 結束語
WEB日志分布廣、數(shù)據(jù)量大,天然地包含時空信息,對其進行分析與可視化,發(fā)掘其可用價值是必要的。本文研究了WEB日志生成的原理和格式,給出了對日志進行分析的相關策略,討論了日志可視化的理論、方法和軟件。
參考文獻:
[1] Chuvakin A A,Schmidt K J, Philips C.日志管理與分析權威指南[M]. 姚軍, 簡于涵, 劉暉, 等,譯. 北京: 機械工業(yè)出版社, 2014.
[2] 田昌鵬. 基于Web 日志分析的Web QoS 研究[J]. 計算機科學, 2007, 34(6): 78-79.
[3] 趙陽. 基于AWStats 的Web 服務日志分析[J]. 現(xiàn)代情報, 2006(10): 139-140.
[4] Gershon N D, Eick S G. Information Visualization[J]. IEEE Computer Graphics and Applications,1997(7-8): 29-31.
[5] Stuart Card, Jock Mackinlay, Ben Shneiderman. Readings in Information Visualization: Using Vision to Think[M]. Morgan Kaufmann, 1999.
摘要:隨著科學技術與人類社會發(fā)展的日新月異,鐵路行業(yè)在整個社會中所扮演的角色也愈發(fā)重要。接入網(wǎng)技術作為鐵路通信工程的技術支撐手段,也成為鐵路行業(yè)運營過程中舉足輕重的內容之一。據(jù)此,該文便從鐵路通信的現(xiàn)狀入手,并就接入網(wǎng)技術的具體應用以及發(fā)展趨勢作出分析,以期為各位讀者朋友提供參考。
關鍵詞: 鐵路;通信工程;接入網(wǎng)技術;應用
中圖分類號:TP3 文獻標識碼:A 文章編號:1009-3044(2016)21-0059-02
接入網(wǎng)技術不僅是鐵路信息工程發(fā)展的保障,同時也是實現(xiàn)鐵路運行安全化、高效化、信息化的題中之義。其技術內涵主要是由計算機技術、數(shù)字技術、光電子技術以及微電子技術等先進技術共同構成。接入網(wǎng)技術有著豐富的內容架構,因此,本文對于鐵路通信工程中接入網(wǎng)技術的應用所展開的分析,則具有了十分重要的現(xiàn)實意義。
1 鐵路通信工程中接入網(wǎng)技術的含義及應用現(xiàn)狀
1.1 鐵路通信工程中接入網(wǎng)技術的含義
伴隨著人們生活水平的提高與物質世界的極大豐富,原有的鐵路通信方式已經不能完全適應當下人們的現(xiàn)代化通信需求。要完善接入網(wǎng)技術的建設水平,便要加強對于先進接入方法的探索。
鐵路通信工程中的接入網(wǎng)技術,主要包括了有線接入與無線接入兩大常見方式。其中,有線接入主要包括了四個方面的內容:第一,不對稱的數(shù)字用戶環(huán)路技術,此種技術能夠向客戶提供低語音和多路數(shù)字圖像的信號,并且能夠在無需改動雙絞線的情形下也可以獲取到高速、優(yōu)質的傳輸效率。第二,光釬用戶的環(huán)路技術,這種技術也是當前鐵路運營中,通信工程所使用的最為常見的方法,其連接的方式也較為多樣,利用客戶與光釬之間延伸的距離作為依據(jù),實現(xiàn)光釬到接入目標之間的連接。第三,混合光釬中有關同軸電纜的接入技術,這種技術方式在于通過光釬連接,使用戶的設備與光節(jié)點之間形成一個支持多項通信業(yè)務且投資量較少的業(yè)務網(wǎng)絡,以此實現(xiàn)接入目的。第四,高速率的數(shù)字用戶環(huán)路技術,此種技術主要是通過先進的回波抵消,在雙絞線上完成全雙工的傳輸,這種特定的調制方式和編碼的使用辦法,對于信息傳輸?shù)馁|量、效率的提升也起到了顯著作用。
而無線接入指的是一種無需通過線路則可進行的網(wǎng)絡通信傳輸?shù)姆绞?。具體的操作就是在接入網(wǎng)中,以無線傳輸設備為媒介,并以此向每位用戶提供專業(yè)的通信及其他相關業(yè)務。無線的接入方式又可細分為移動接入和固定接入兩大類別。但這兩種接入方法在內部構成上也極為相近,主要都由控制裝置、基站、用戶的終端設備等內容組成。無線接入同有線接入相比較來說,其操作方法更為靈活、應用的范圍也更加廣泛,具有廣闊的發(fā)展前景。
1.2 接入網(wǎng)技術在我國的運用現(xiàn)狀
接入網(wǎng)技術的運用不僅在鐵路通信工程中承擔極為重要的環(huán)節(jié),決定鐵路行業(yè)的工程效益,同時對于未來的鐵路交通發(fā)展方向也產生著深刻的影響。由于在鐵路上運行的列車會在較長時間段里處于高速運動狀態(tài),因此,鐵路上的通信接入網(wǎng)則為鐵路通信工程的建立和完善提供了更為便利、完善的途徑。我國目前的鐵路傳輸網(wǎng)分為了長途的干線網(wǎng)、區(qū)段接入網(wǎng)和居間中繼網(wǎng)3層。并且已經基本建成了可以對全國大中型城市的互聯(lián)網(wǎng)覆蓋。
但在現(xiàn)階段的接入技術實踐過程中,也時常面臨一些問題,簡要概括起來,包括了以下幾個方面:第一,設計方面仍有較大缺陷。設計問題是具有先決性與中心性的難題,技術人員在預先設計的過程中也會因為缺少可靠的、全面的技術材料,而使其所獲得的效果不盡如人意。第二,在技術性能等方面還存在不足之處。在完成標準的設計階段后,技術人員需要將各項規(guī)劃落到實處,通過收集資料、安裝配件等步驟中完成操作流程,而在此過程中若出現(xiàn)的錯漏,則會導致通信效果受到不利的影響。第三,在模式方法的使用上也面臨一些困難。在通信工程的適用過程中,使用方法的不合理,不僅直接導致了成本的增加與經濟效益的降低,同時也會使得通信工程在運行技術方面不能得到實現(xiàn)。
2 鐵路通信工程中接入網(wǎng)技術的運用
2.1 鐵路通信工程中接入網(wǎng)技術的具體運用
鐵路通信系統(tǒng)中接入網(wǎng)技術的應用分析,可以簡單分為兩個部分:第一,在技術推廣的過程中,應當嚴格遵照“大容量”的原則進行實踐。要想最大限度地將接入網(wǎng)技術的優(yōu)勢在鐵路通信工程中發(fā)揮出來,便需要嚴格按照上述的原則進行建設。在施工過程中適當減少交換點、延長交換機的發(fā)布命令范圍,與此同時盡量減少交換網(wǎng)分級,對網(wǎng)絡的架構也進行逐步優(yōu)化,以達到節(jié)約成本和提高交換網(wǎng)實用性、安全性的目的。除此之外,自動交換機與所有的接口設備也應當采取同一批號的產品,這樣既利于交換機的升級方式更加快捷,也保證了設備功能的齊全。
第二,將有線電視的傳輸也列入接入網(wǎng)的系統(tǒng)之中。鐵路的運行因其站線過長、所經地理位置條件偏僻以及信號微弱等原因,容易使得列車上需要利用網(wǎng)絡信號與計算機、媒體設備等開展的休閑娛樂活動也無法照常進行。要解決這一難題,便可將有線電視的傳輸納入到接入網(wǎng)系統(tǒng)之中,例如,利用各個分局將節(jié)目源一CATV模塊的形式發(fā)送出去,并且在信號源傳送的過程中,運用單一的光釬,使鐵路沿線的每個站點都可以經由分路器設備,接收到穩(wěn)定的信號節(jié)目。值得注意的是,列車站點里光分路器應當布設在OUN之中,這樣既便于技術人員統(tǒng)一的開展維護工作,同時此種方式與建設CATV比較而言,又降低了工程量與投資成本,同樣實現(xiàn)了列車上信號源接受的目的。
2.2 鐵路接入網(wǎng)技術的系統(tǒng)應用方法
接入網(wǎng)技術在我國鐵路部門的運用,主要體現(xiàn)在為廣大用戶提供數(shù)據(jù)、傳真、話音、圖像、調度等綜合業(yè)務的接入上。在初期的建設中,主要是指鐵路系統(tǒng)中的通信電話、調度電話、站間電話與專用電話等專用數(shù)據(jù)管理、處理系統(tǒng)以及鐵路客票的預定系統(tǒng)與聯(lián)網(wǎng)售票系統(tǒng)以及有關鐵路調度方面的信息管理系統(tǒng)。后來,鐵路接入網(wǎng)技術在鐵路通信工程的運用,能夠為鐵路的遠程監(jiān)控系統(tǒng)與各個單位的信息管理系統(tǒng)所提供的ISDN、64K數(shù)據(jù)以及自動電話與音頻等相關業(yè)務,包括了具體的數(shù)字調度、TDCS、PMIS、TMIS、遠程中繼、資金結算、3G網(wǎng)絡、ZDL、PCM、圖像傳輸、會議電視等數(shù)據(jù)業(yè)務,以及無線列調、電化運動、信號微機監(jiān)測、光釬監(jiān)測、氣壓監(jiān)測、環(huán)境監(jiān)測、搶險直通、普報、確報、人工話路、微機聯(lián)網(wǎng)、尋呼、數(shù)傳與會議等業(yè)務。