黃杰

摘 要：本文闡述了基于機(jī)器大數(shù)據(jù)的應(yīng)用系統(tǒng)的監(jiān)測(cè)、分析與優(yōu)化的方法。詳細(xì)描述了應(yīng)用監(jiān)測(cè)管理的意義與價(jià)值，應(yīng)用統(tǒng)計(jì)的方法與應(yīng)用性能指標(biāo)體系，以及設(shè)計(jì)了一套機(jī)器大數(shù)據(jù)收集、存儲(chǔ)、查詢與分析的系統(tǒng)架構(gòu)。最后結(jié)合上海財(cái)經(jīng)大學(xué)兩年多的應(yīng)用實(shí)踐，結(jié)合實(shí)際的應(yīng)用效果驗(yàn)證了該方案確實(shí)可行且具有一定的應(yīng)用價(jià)值。

關(guān)鍵詞：機(jī)器大數(shù)據(jù)；應(yīng)用監(jiān)測(cè)；用戶行為

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)志碼：B 文章編號(hào)：1673-8454（2018）01-0090-04

一、前言

據(jù)調(diào)查，現(xiàn)在當(dāng)頁面加載時(shí)間超過4秒時(shí)，用戶流失率就達(dá)到了25%！[1]一秒鐘的延誤或3秒鐘的等待，會(huì)將顧客滿意度減低16個(gè)百分點(diǎn)[2]。電商界的鼻祖Amazon也曾表示，網(wǎng)站延遲100毫秒將導(dǎo)致其收入下降1%。根據(jù)Google Analytics數(shù)據(jù)統(tǒng)計(jì)，目前移動(dòng)網(wǎng)頁平均加載時(shí)間至少要7秒；根據(jù)Nielsen Norman Group的調(diào)研結(jié)果[3]：如果移動(dòng)網(wǎng)頁加載時(shí)間超過1秒，將開始影響用戶的使用，導(dǎo)致用戶產(chǎn)生反感。

因此，性能是應(yīng)用的命脈，與用戶體驗(yàn)、服務(wù)穩(wěn)定性、息息相關(guān)。在互聯(lián)網(wǎng)環(huán)境日益復(fù)雜的今天，性能監(jiān)測(cè)與用戶行為分析的價(jià)值在不斷提升。與之相關(guān)的內(nèi)容涵蓋了系統(tǒng)監(jiān)測(cè)、網(wǎng)絡(luò)服務(wù)、應(yīng)用代碼、性能優(yōu)化能各個(gè)環(huán)節(jié)。如果從科學(xué)化、系統(tǒng)化、專業(yè)化的視角來看，應(yīng)用性能管理獎(jiǎng)逐漸成為應(yīng)用研發(fā)體系中不可或缺的一環(huán)，并為用戶體驗(yàn)保駕護(hù)航。

二、應(yīng)用性能管理

應(yīng)用性能管理的基本要求是，性能問題暴露前，盡早發(fā)現(xiàn)應(yīng)用性能問題，減少對(duì)用戶的持續(xù)影響；性能問題發(fā)現(xiàn)時(shí)，盡快修復(fù)主要性能問題，減小應(yīng)用性能影響力度，最大程度改進(jìn)用戶體驗(yàn)；性能問題優(yōu)化后，杜絕再次發(fā)生，可持續(xù)保持應(yīng)用性能優(yōu)化成果，防止性能退化。

應(yīng)用性能管理主要圍繞監(jiān)測(cè)、分析、優(yōu)化三個(gè)核心步驟。當(dāng)然，第一步，監(jiān)測(cè)最關(guān)鍵。監(jiān)測(cè)好比是掌握應(yīng)用性能的“眼睛”，包括監(jiān)測(cè)的對(duì)象、監(jiān)測(cè)的數(shù)據(jù)，數(shù)據(jù)分析與展示，有了數(shù)據(jù)，后續(xù)的分析與優(yōu)化就水到渠成。

（1）監(jiān)測(cè)。通過監(jiān)測(cè)軟件系統(tǒng)在各種終端、各種產(chǎn)品形態(tài)下的性能。如PC、手機(jī)、平板、操作系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用等。

（2）分析。通過建立評(píng)價(jià)指標(biāo)，來評(píng)估頁面、應(yīng)用、網(wǎng)絡(luò)等性能，提供預(yù)警和告警指標(biāo)，為后續(xù)的優(yōu)化提供數(shù)據(jù)支撐。

（3）優(yōu)化。通過網(wǎng)絡(luò)、系統(tǒng)、前端、應(yīng)用、數(shù)據(jù)庫等各層進(jìn)行體系優(yōu)化，提高用戶體驗(yàn)為核心目標(biāo)。

三、應(yīng)用性能關(guān)鍵指標(biāo)體系

應(yīng)用性能監(jiān)測(cè)平臺(tái)不僅要能全方位監(jiān)測(cè)性能數(shù)據(jù)，而且還需要具備科學(xué)、合理的數(shù)據(jù)分析能力。也就是說，應(yīng)用性能監(jiān)測(cè)平臺(tái)會(huì)成為我們的眼、腦和手。首先，它是我們的眼睛，幫我們7×24小時(shí)掌握整個(gè)系統(tǒng)的健康狀況；其次它是我們的腦，能夠根據(jù)歷史的數(shù)據(jù)和策略規(guī)則，快速診斷并定位問題；最后它還是我們的手，協(xié)助我們快速進(jìn)行排障和性能優(yōu)化。

1.監(jiān)測(cè)數(shù)據(jù)類型（如表1所示）

應(yīng)用性能監(jiān)測(cè)平臺(tái)是對(duì)應(yīng)用性能數(shù)據(jù)進(jìn)行分析和展示的平臺(tái)。它可以用來查看頁面性能的各種關(guān)鍵數(shù)據(jù)，并發(fā)現(xiàn)其中存在的問題。應(yīng)用性能監(jiān)測(cè)平臺(tái)也通過跟蹤頁面性能變化的歷史，了解功能升級(jí)對(duì)性能的影響。

2.應(yīng)用監(jiān)測(cè)步驟

（1）采集數(shù)據(jù)

數(shù)據(jù)采集是第一步，并且數(shù)據(jù)采集不僅需要完整全面，也要隨著軟件系統(tǒng)的變化而變化。初期需要關(guān)注基礎(chǔ)的網(wǎng)絡(luò)性能、系統(tǒng)性能以及應(yīng)用性能；中期需要在此基礎(chǔ)上對(duì)多終端真實(shí)用戶性能、代碼性能、數(shù)據(jù)庫性能等方面的全面采集和管理；到了數(shù)據(jù)采集中后期，還需要補(bǔ)充所有基礎(chǔ)架構(gòu)及關(guān)聯(lián)關(guān)系的性能數(shù)據(jù)。

（2）數(shù)據(jù)分析

數(shù)據(jù)分析是指將采集到所有維度的有價(jià)值的數(shù)據(jù)提煉并按有利于發(fā)現(xiàn)問題的方式進(jìn)行可視化的過程。這個(gè)過程是持續(xù)的、多樣的，是承上啟下關(guān)鍵一步，也是最具有挑戰(zhàn)的一個(gè)階段。

（3）形成決策

決策是經(jīng)過采集數(shù)據(jù)和數(shù)據(jù)分析之后，在變化的生產(chǎn)環(huán)境中，自傷而下的觀察業(yè)務(wù)的性能影響，并且能夠快速解決應(yīng)用瓶頸，從而提高應(yīng)用性能和用戶體驗(yàn)。最終經(jīng)過多次性能優(yōu)化后，講產(chǎn)品用戶體驗(yàn)優(yōu)化到最佳狀態(tài)。

四、應(yīng)用統(tǒng)計(jì)與分析平臺(tái)的實(shí)現(xiàn)

1.方案設(shè)計(jì)

近年來，隨著上海財(cái)經(jīng)大學(xué)信息化水平的日益提高，各種IT基礎(chǔ)設(shè)施資源的建設(shè)也日益完善，但內(nèi)部缺少掌握和分析應(yīng)用訪問情況的高效技術(shù)手段，無法量化評(píng)估相關(guān)系統(tǒng)問題，無法在一個(gè)平臺(tái)上實(shí)時(shí)的展示各個(gè)核心服務(wù)系統(tǒng)的訪問狀態(tài)和進(jìn)行故障定位的關(guān)聯(lián)分析；同時(shí)信息辦作為全校信息化建設(shè)主管部門，無法統(tǒng)計(jì)和直觀展示各應(yīng)用系統(tǒng)的訪問情況，因而需要建設(shè)統(tǒng)一的機(jī)器大數(shù)據(jù)分析平臺(tái)，達(dá)到掌握和分析各應(yīng)用系統(tǒng)訪問情況和提高用戶體驗(yàn)的目的。

因此，上海財(cái)經(jīng)大學(xué)設(shè)計(jì)并開發(fā)了一套應(yīng)用應(yīng)用統(tǒng)計(jì)與分析平臺(tái)，主要為了第一時(shí)間發(fā)現(xiàn)、定位并修復(fù)性能與報(bào)錯(cuò)問題，從而提高用戶體驗(yàn)。

為了有針對(duì)性的解決現(xiàn)有機(jī)器大數(shù)據(jù)的采集、存儲(chǔ)、索引與分析等問題，采用splunk大數(shù)據(jù)分析軟件，建立起一個(gè)分析各種機(jī)器數(shù)據(jù)的統(tǒng)一的平臺(tái)，提供通用日志收集、轉(zhuǎn)換和分析的功能，滿足重要信息系統(tǒng)所產(chǎn)生的大數(shù)據(jù)量、半結(jié)構(gòu)化、大并發(fā)的復(fù)雜數(shù)據(jù)分析的要求，從而使開發(fā)和管理人員能夠多維度、細(xì)粒度地分析總分部重要信息。

2.架構(gòu)概述

轉(zhuǎn)發(fā)服務(wù)器能夠通過目錄文件監(jiān)控日志增量變化，將增量變化內(nèi)容負(fù)載均衡的轉(zhuǎn)發(fā)給索引服務(wù)器導(dǎo)入。核心數(shù)據(jù)通過在核心交易監(jiān)控平臺(tái)上部署轉(zhuǎn)發(fā)服務(wù)獲取日志，考慮到今后機(jī)器日志的不斷增長(zhǎng)和系統(tǒng)架構(gòu)的冗余性，我們?cè)O(shè)計(jì)了2臺(tái)轉(zhuǎn)發(fā)服務(wù)器、3臺(tái)索引服務(wù)器、2臺(tái)搜索服務(wù)器的高并發(fā)架構(gòu)。如圖1所示。

3臺(tái)日志分析服務(wù)器存儲(chǔ)所有的數(shù)據(jù)，而且能夠進(jìn)行數(shù)據(jù)分析索引。索引服務(wù)負(fù)載均衡的接受轉(zhuǎn)發(fā)服務(wù)器轉(zhuǎn)發(fā)過來的原始日志進(jìn)行存儲(chǔ)。索引服務(wù)器同時(shí)也接受來自搜索服務(wù)器的搜索分析請(qǐng)求，對(duì)數(shù)據(jù)進(jìn)行搜索分析返回結(jié)果給搜索服務(wù)器進(jìn)行展示。對(duì)于搜索服務(wù)器發(fā)起搜索的結(jié)果可以被寫回到索引服務(wù)器上，這樣索引服務(wù)器也存儲(chǔ)分析中間結(jié)果數(shù)據(jù)以及最終結(jié)果數(shù)據(jù)。endprint

搜索服務(wù)器是所有的計(jì)劃搜索調(diào)度節(jié)點(diǎn)。所有報(bào)表和數(shù)據(jù)抽取都通過搜索服務(wù)器進(jìn)行調(diào)度產(chǎn)生。其上不存儲(chǔ)任何結(jié)果數(shù)據(jù)，結(jié)果數(shù)據(jù)都寫回到索引服務(wù)器上。

搜索服務(wù)器提供Web界面展現(xiàn)。用戶可以登錄使用，查看報(bào)表、定制自己查詢邏輯和查看結(jié)果。同時(shí)也提供完整的權(quán)限控制。

3.系統(tǒng)邏輯架構(gòu)

信息系統(tǒng)分析平臺(tái)的邏輯架構(gòu)分為數(shù)據(jù)導(dǎo)入層、分析層、訪問層和用戶層四個(gè)層次。如圖2所示。

基于模塊化實(shí)現(xiàn)，系統(tǒng)的各個(gè)功能模塊說明和具體技術(shù)要求描述如下：

（1）數(shù)據(jù)導(dǎo)入層

實(shí)現(xiàn)數(shù)據(jù)收集和導(dǎo)入，具體需滿足表2技術(shù)要求。

轉(zhuǎn)發(fā)服務(wù)器能夠通過目錄文件監(jiān)控日志增量變化，將增量變化內(nèi)容負(fù)載均衡的轉(zhuǎn)發(fā)給索引服務(wù)器導(dǎo)入。各種IT設(shè)備的機(jī)器數(shù)據(jù)和抓包數(shù)據(jù)先統(tǒng)一收集到轉(zhuǎn)發(fā)服務(wù)器日志，再轉(zhuǎn)發(fā)到索引服務(wù)器上。

（2）數(shù)據(jù)分析層

信息系統(tǒng)分析平臺(tái)的核心功能模塊，包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和參數(shù)配置三大功能模塊，具體需滿足表3技術(shù)要求。

參數(shù)配置模塊是整個(gè)平臺(tái)的管理模塊，提供可配置的管理界面，實(shí)現(xiàn)用戶管理和訪問控制，以及整個(gè)平臺(tái)的管理參數(shù)配置。

（3）數(shù)據(jù)訪問層

該功能模塊為訪問引擎分析結(jié)果數(shù)據(jù)提供兩種不同的訪問接口，一種是內(nèi)部標(biāo)準(zhǔn)訪問接口，用于平臺(tái)本身提供的報(bào)表或儀表盤，以及數(shù)據(jù)檢索功能；另一種是自定義訪問接口，支持自定義格式導(dǎo)出數(shù)據(jù)，向外部系統(tǒng)提供數(shù)據(jù)。具體需滿足表4技術(shù)要求。

（4）用戶層

用戶層是平臺(tái)分析結(jié)果數(shù)據(jù)的使用者，使用用戶包括運(yùn)維人員和關(guān)聯(lián)的運(yùn)維輔助系統(tǒng)，向運(yùn)維人員提供報(bào)表和儀表盤等展示功能，供運(yùn)維人員查詢交易質(zhì)量分析報(bào)表，以及根據(jù)用戶分析需求進(jìn)行自定義的查詢和多維度分析。以及向監(jiān)控系統(tǒng)、綜合信息系統(tǒng)等關(guān)聯(lián)的運(yùn)維輔助系統(tǒng)提供交易質(zhì)量數(shù)據(jù)或數(shù)據(jù)分析服務(wù)。

4.功能模塊

平臺(tái)分為八個(gè)功能模塊，分別是實(shí)時(shí)分析、趨勢(shì)分析、頁面分析、訪問頻度、訪客分析、性能分析、流量分析、訪客使用習(xí)慣分析。

實(shí)時(shí)分析，包括實(shí)時(shí)訪問KPI統(tǒng)計(jì)（頁面瀏覽量PV、獨(dú)立訪客數(shù)UV、獨(dú)立IP數(shù)、總訪問時(shí)長(zhǎng)、平均訪問時(shí)長(zhǎng)、最大訪問時(shí)長(zhǎng)等、跳出率）、用戶實(shí)時(shí)訪問分析、用戶訪問路徑分析、系統(tǒng)并發(fā)用戶數(shù)統(tǒng)計(jì)。

趨勢(shì)分析，包括時(shí)間跨度大于24小時(shí)的訪問統(tǒng)計(jì)趨勢(shì)圖（獨(dú)立訪客量UV、獨(dú)立IP數(shù)量，總訪問時(shí)長(zhǎng)），時(shí)間跨度小于24小時(shí)的訪問統(tǒng)計(jì)趨勢(shì)圖，按功能模塊的訪問統(tǒng)計(jì)趨勢(shì)圖（獨(dú)立訪客量UV、獨(dú)立IP數(shù)量，總訪問時(shí)長(zhǎng)，跳出率），系統(tǒng)并發(fā)訪問趨勢(shì)統(tǒng)計(jì)。

頁面分析，包括按業(yè)務(wù)系統(tǒng)的訪問統(tǒng)計(jì)（PV/UV/IP，總訪問時(shí)長(zhǎng)，跳出率），按功能模塊的訪問統(tǒng)計(jì)（PV/UV/IP，總訪問時(shí)長(zhǎng)，跳出率），業(yè)務(wù)系統(tǒng)的慢頁面統(tǒng)計(jì)，頁面統(tǒng)計(jì)分析（各個(gè)域名訪問統(tǒng)計(jì)比例，每個(gè)頁面的PV/UV/IP統(tǒng)計(jì)，頁面訪問占比，頁面停留時(shí)長(zhǎng)，平均停留時(shí)長(zhǎng)，頁面退出率）。

訪問頻度，包括業(yè)務(wù)系統(tǒng)訪客量排名，功能模塊訪客量排名，應(yīng)用被獨(dú)立用戶訪問次數(shù)。

訪客分析，包括訪客信息分析（訪客來源類型分布，訪客來源分布，性別分布，訪客類型分布，學(xué)院部門分布，學(xué)生專業(yè)分布，學(xué)生校區(qū)分布），訪客系統(tǒng)環(huán)境（瀏覽器類型分布，操作系統(tǒng)類型分布），訪客地理分布（訪客地域分布表，分訪客地域分布圖），用戶活躍度分析（活躍用戶數(shù)、用戶活躍度、活躍用戶分類統(tǒng)計(jì)）。

性能分析，包括報(bào)錯(cuò)分析（業(yè)務(wù)實(shí)際報(bào)錯(cuò)情況，報(bào)錯(cuò)模塊排序，報(bào)錯(cuò)分析，報(bào)錯(cuò)URL排序），頁面加載時(shí)間分析，流量分析，許可證使用情況分析。

訪客使用習(xí)慣分析，包括訪問系統(tǒng)設(shè)備、會(huì)話數(shù)、訪問頁面數(shù)、平均每個(gè)會(huì)話訪問頁面數(shù)，平均每個(gè)會(huì)話持續(xù)時(shí)間，跳出率，用戶數(shù)，訪客使用瀏覽器排名，訪客使用移動(dòng)設(shè)備排名，訪客使用操作系統(tǒng)排名，訪客來源國(guó)家排名，訪客來源城市排名，訪客來源按位置排名。

五、結(jié)束語

我校建立了校級(jí)統(tǒng)一的應(yīng)用統(tǒng)計(jì)與分析平臺(tái)，不同的業(yè)務(wù)系統(tǒng)、不同的項(xiàng)目開發(fā)、測(cè)試、運(yùn)維等多個(gè)內(nèi)部和外部角色對(duì)數(shù)據(jù)監(jiān)測(cè)的需求。

（1）獲取業(yè)務(wù)系統(tǒng)并發(fā)訪問數(shù)和業(yè)務(wù)訪問高峰時(shí)段，對(duì)硬件和軟件的環(huán)境配置給出數(shù)據(jù)指導(dǎo)。

（2）獲取業(yè)務(wù)模塊使用頻率，得知不受歡迎的功能，深入挖掘，找出原因。

（3）獲取用戶的客戶端參數(shù)，對(duì)應(yīng)用系統(tǒng)的開發(fā)提供數(shù)據(jù)支持（瀏覽器、操作系統(tǒng)、使用插件情況、移動(dòng)設(shè)備的使用等）。

（4）獲取業(yè)務(wù)系統(tǒng)實(shí)際報(bào)錯(cuò)情況，針對(duì)有問題的功能模塊，做深入分析，找出問題根本原因，而不是等待用戶電話投訴。

（5）獲取業(yè)務(wù)系統(tǒng)功能模塊響應(yīng)時(shí)間較慢的功能及頁面，深入分析原因，定位具體是網(wǎng)絡(luò)、數(shù)據(jù)庫、服務(wù)器還是代碼問題，提升服務(wù)質(zhì)量。

綜上所述，對(duì)于運(yùn)維人員，通過對(duì)各層次的數(shù)據(jù)的展示和告警設(shè)置，快速直觀的發(fā)現(xiàn)和定位故障。對(duì)于開發(fā)人員、測(cè)試人員，通過對(duì)各層次的數(shù)據(jù)展示，來反應(yīng)業(yè)務(wù)的容量和性能，通過設(shè)置閾值來堆業(yè)務(wù)的容量和性能進(jìn)行管理。對(duì)于部門領(lǐng)導(dǎo)以及校領(lǐng)導(dǎo)，通過對(duì)各維度、各層數(shù)據(jù)的量化，來展示業(yè)務(wù)運(yùn)行的狀態(tài)。對(duì)于所有人，用數(shù)據(jù)說話很容易定位故障、分清楚責(zé)任、即使遇見重大故障，都可以在監(jiān)測(cè)數(shù)據(jù)中評(píng)估影響和責(zé)任。

參考文獻(xiàn)：

[1]Softpedia.The Average Web Page Loads in 2.45 Seconds Google Reveals[EB/OL].http：//news.softpedia.com/news/The-Average-Web-Page-Loads-in-2-45-Seconds-Google-Reveals-265446.shtml.

[2]Marketingland.Top Retail Websites Not Getting Faster：Average Web PageLoadTime Is 7.25 Seconds[EB/OL].https：//marketingland.com/retail-website-load-times-continue-to-decline-with-a-22-decrease-during-the-last-year-37604.

[3]Nielsen Norman Group.User Experience for Mobile Applications and Websites[EB/OL].https：//www.nngroup.com/reports/mobile-website-and-application-usability/？lm=mobile-ux&pt=article.

（編輯：王曉明）endprint