劉帥

（中國電信股份有限公司山西分公司 山西省太原市 030001）

1 研究的目的、意義

“十四五”規(guī)劃綱要提到：加快數(shù)字化發(fā)展 建設數(shù)字中國，以數(shù)字化轉型整體驅動生產方式、生活方式和治理方式變革。國家數(shù)字化轉型成為引領全面創(chuàng)新、構筑國家競爭新優(yōu)勢的重要戰(zhàn)略，是我國從網絡大國邁向網絡強國的關鍵舉措。作為數(shù)字中國建設主力軍，中國電信牢牢把握歷史機遇，扎實推進“云改數(shù)轉”，充分發(fā)揮云網融合優(yōu)勢，服務各行業(yè)各領域數(shù)字化轉型，賦智千行百業(yè)，培育壯大經濟新動能，賦能高質量發(fā)展。

在各類IT系統(tǒng)逐步上云的背景下，大量繁重的基礎運維工作仍采用手工方式開展，不僅工作效率較低，同時耗費維護人員的大量精力，導致在其他高價值運營工作中的投入不足。為了提升運維人員的工作價值，通過IT系統(tǒng)自動化運維平臺研發(fā)項目，自主研發(fā)自動化運維底層平臺，并自主研發(fā)和定制基礎運維腳本，同時探索平臺能力開發(fā)，將基礎運維工作進行模板化、可編排、統(tǒng)一集成的自動化運維平臺，降低運維成本，提高運維效率，將維護人員從基礎運維工作中解放出來，為企業(yè)做更大的貢獻。同時該平臺將利用基礎運維能力的編排，實現(xiàn)網絡端到端可視化的展示，并直接運用于故障的判斷、定位和處理過程中，降低故障處理時長、提高故障處理效率；該平臺還將利用多平臺的任務查詢能力進行算法的可編排定制，實現(xiàn)用戶數(shù)據(jù)的查詢和比對，直接賦能客服及運維人員的投訴處理，提高用戶的業(yè)務感知。

2 國內外研究概況、水平及發(fā)展趨勢

外部：世界范圍內，全球經濟衰退，但是國內經濟正在逐步復蘇，中國很多企業(yè)都以這場疫情為契機，化危機為機遇，化風險為財富，開展自我深化改革，自我轉型發(fā)展。

內部：開展各項變革，扎實推進網絡強國建設，維護網信安全，深化企業(yè)改革，擴大對外合作，提升服務水平，拓展用戶規(guī)模，推進企業(yè)高質量發(fā)展，向領先的綜合智能信息服務運營商目標前進。

運維的發(fā)展趨勢：運維自動化、智能化水平不斷提高，云的發(fā)展對運維產生了一定的沖擊性，使得云時代的運維工作迎來了發(fā)展新趨勢；“雙態(tài)運維”，一個是穩(wěn)態(tài)，一個是敏態(tài)，一個追求業(yè)務穩(wěn)定的發(fā)展，另一個追求迭代、快速、變化的訴求，于是將兩種優(yōu)勢結合形成了研發(fā)運營一體化即DevOps，它的核心理念包括精益管理、敏捷等理論，通過持續(xù)交付、持續(xù)集成的工具鏈，還有一些輕量級的IT服務管理。

3 系統(tǒng)規(guī)劃和開發(fā)技術

3.1 規(guī)劃

自動化運維平臺通過事件驅動的流程化，實現(xiàn)自動采集、分析、可視化等整體服務?；陂_源底層工具Ansible封裝搭建自動化運維平臺，并將其進行微服務化的部署和注冊形成底層能力，通過平臺分權分域實現(xiàn)用戶的登錄及權限管理。基于Ansible自動化運維平臺，對接入設備進行自動化運維管理，通過腳本的編排實現(xiàn)日常運維和復雜功能的實現(xiàn)。同時實現(xiàn)外圍平臺互通。提供服務能力。在現(xiàn)有的自研平臺上，迭代數(shù)據(jù)采集編排模塊，完成與自動化運維平臺北向接口對接，實現(xiàn)以上數(shù)據(jù)的采集、入庫、二次編排統(tǒng)計和可視化呈現(xiàn)。如圖1所示。

圖1：項目技術架構圖

3.2 開發(fā)技術

3.2.1 Ansible技術特征

輕量級，無需在客戶端安裝agent，更新時，只需在操作機上進行一次更新即可。批量任務執(zhí)行可以寫成腳本，而且不用分發(fā)到遠程就可以執(zhí)行。使用python編寫，維護更簡單。支持sudo。采用SSH協(xié)議。Ansible的API，提供Ansible Runner工具模塊。直接或作為另一個系統(tǒng)的一部分與ansible交互時（無論是通過容器映像接口、作為獨立工具還是作為可以導入的python模塊），它都會提供幫助。目標是為Ansible提供一個穩(wěn)定和一致的接口抽象。如圖2所示。

圖2：Ansible工作機制

3.2.2 Tornado技術特征

輕量級架構、性能優(yōu)越、速度快、高并發(fā)。異步非阻塞、內嵌了HTTP服務器、自定義模塊。如圖3所示。

圖3：Tornado結構圖

3.2.3 功能架構交互技術：

Ansible和Tornado都是基于Python語言編寫的。定制化任務通過Ansible的playbook模塊完成。普通任務可以使用shell和copy2個模塊完成。Tornado架構程序通過調用Ansible Runner接口工具包與Ansible通信進行訪問執(zhí)行。舉例如圖4所示。

圖4：Twisted架構用來接收客戶端的監(jiān)控數(shù)據(jù)并存入Mysql數(shù)據(jù)庫

4 項目創(chuàng)新點及重點解決的問題分析

（1）通過搭建該平臺，實現(xiàn)運用自動化手段解決重基礎運維的日常重復工作，為企業(yè)降本增效。目前，各系統(tǒng)平臺相互獨立，日常運維主要靠維護人員每天登錄設備、輸入命令的方式進行重復性工作，所需日常數(shù)據(jù)或其他需求也是以此方式進行，存在效率低、易出錯、響應慢等不足，同時也耗費了大量的人工成本。

（2）通過搭建該平臺，實現(xiàn)各平臺之間統(tǒng)一管理，實現(xiàn)聯(lián)動。目前各平臺運維相互獨立，缺少統(tǒng)一管理，各個系統(tǒng)平臺不能自適配數(shù)字化轉型下業(yè)務發(fā)展變化的需求，靈活度非常低，造成業(yè)務性能的分析統(tǒng)計大部分通過“手工作坊”式的方式實現(xiàn)，難度大、運維工作效率低。

（3）通過python編程配合腳本的邏輯功能，實現(xiàn)各平臺間編排能力。目前，各平臺之間缺少編排能力，隨著業(yè)務的發(fā)展和要求的不斷變化，如果運維有新需求或者原功能有改動，需要多部門聯(lián)動、發(fā)起相應流程、依靠三方廠商來實現(xiàn)，不但效率低、而且花費成本高。

（4）實現(xiàn)網絡端到端的可視化運維。目前運維還存在缺乏網絡端到端的可視化運維工具，無法直觀的進行判障排障，當故障發(fā)生時，還是依靠手工加經驗的方式來處理；運維在支撐用戶服務方面，如查詢用戶數(shù)據(jù)，需要登錄多平臺進行逐個查詢，也非常耗時耗力。

（5）實現(xiàn)可編排的數(shù)據(jù)查詢比對工具。隨著“云改數(shù)轉”戰(zhàn)略的逐步深化，集團“全面上云”要求的逐步落實，現(xiàn)有運維方式已無法滿足新形勢下的要求，急需一個自動化運維平臺將運維人員從繁重的日常維護工作解放出來、將不斷變化的需求編排能力掌握在運維人員手中降低成本。

5 系統(tǒng)功能

系統(tǒng)主要功能（如圖5所示）。

圖5：系統(tǒng)功能結構圖

5.1 實現(xiàn)資源管理功能

平臺對接入的主機資源、網絡資源、應用資源等實現(xiàn)統(tǒng)一的資源管理，從接入初始就實現(xiàn)數(shù)字化管理；對任何時期不同主機的增加、減少、修改等均設置統(tǒng)一管理入口，方便管理。

5.2 實現(xiàn)權限管理功能

分權分域是任何系統(tǒng)必不可少的一項重要功能，本系統(tǒng)根據(jù)各功能設計劃分小顆粒度的分權分域的管理，匹配賬戶的權限管理。權限管理還包括系統(tǒng)上線后，不同用戶的資源管理權限、自動化運維任務管理權限、不同報表管理權限等待，真正實現(xiàn)誰的系統(tǒng)誰管理誰負責。

5.3 實現(xiàn)流程管理功能

系統(tǒng)將實現(xiàn)主機上線、資源配置、自動化運維任務上傳審批、發(fā)布部署等不同流程的可視化管理。用戶可以隨時查看不同任務的及時狀態(tài)，方便運維管理。平臺還將實現(xiàn)復雜流程編排的審核流程可視化，將自動化數(shù)據(jù)配置、自動化應急預案啟動流程進行可視化編排和展示。

5.4 實現(xiàn)API管理功能

系統(tǒng)將實現(xiàn)對外API接口能力，通過API管理功能，對API的更新、優(yōu)化、升級、發(fā)布等實現(xiàn)管理。

5.5 實現(xiàn)腳本倉庫功能

平臺基于開源Ansible自動化運維工具。Ansible 是近年來越來越火的一款開源運維自動化工具，它擁有豐富的內置模塊，幾乎可以滿足一切要求；它管理模式非常簡單，一條命令可以影響上千臺主機；它無客戶端模式，底層通過 SSH通信；通過Ansible可以實現(xiàn)運維自動化，提高運維工程師的工作效率，減少人為失誤，降低人工成本。如圖6所示。

圖6：Ansible基本架構圖

維護人員通過自主編排運維腳本，將日常工作的查詢命令和條件進行編排，即可自動定時完成，只有達到預設條件時系統(tǒng)才會提示需要關注。運維腳本的開發(fā)，即是運維能力的編排，幾乎可以通過編排滿足運維的所有需求。腳本倉庫就是運維腳本的版本管理和實例參考的倉庫，它將大大降低運維腳本編排的難度和工作量，真正讓自動化運維更加簡便。如圖7所示。

圖7：Ansible任務執(zhí)行流程圖

5.6 實現(xiàn)任務管理功能

在自動化運維腳本編排完成后，我們還設計了一個任務管理的功能，主要是區(qū)分同一任務多個腳本時誰是部署使用的版本、誰是歷史版本；對任務的定時或其他特殊設置進行管理。

5.7 系統(tǒng)架構前后分離、實現(xiàn)對外接口能力開放

平臺將采用前后端采用完全分離的開發(fā)模式，前端使用Web主流技術，以維護人的使用習慣為出發(fā)點布局和設計，后端以微服務的方式實現(xiàn)注冊管理。

本平臺還將平臺具有的能力，通過自主研發(fā)，以API的形式提供給其他系統(tǒng)使用，提高整體運維可編排能力。

6 自主研發(fā)內容及實現(xiàn)業(yè)務場景分析

通過調研維護人員的使用習慣，根據(jù)實際生產需求，完成前端頁面設計和開發(fā)調試，部署和調試自動化運維平臺，并以微服務形式實現(xiàn)前后端各模塊的注冊和調用。

6.1 實現(xiàn)日常自動化運維

借助自動化運維平臺，實現(xiàn)日常工作中需要的常規(guī)操作或任務查詢的自動化，將原來每天或定期登錄、查詢、記錄、判斷等流程，縮短為腳本上傳、查看結果。極大的減輕日常運維工作，讓運維人員解放出來做更有意義的工作。

6.2 基于自動化運維實現(xiàn)端到端可視化檢測及故障診斷

通過對運維腳本的編排，實現(xiàn)任意網絡端到端的展示。對全程主機接入后，自主研發(fā)和編排自動運維腳本，實現(xiàn)全程端到端的網絡監(jiān)測和可視化展示，實現(xiàn)可視化判障排障，當故障發(fā)生時通過該平臺直觀定位到具體位置，通過自動化手段極大縮短故障處理時長。

基于此，可完成其他網絡端到端場景運維腳本的編排，完成數(shù)據(jù)的采集和入庫，并對采集到的原始數(shù)據(jù)完成二次編排的業(yè)務邏輯的開發(fā)，實現(xiàn)網絡端到端的可視化、智能化；

6.3 基于自動化運維實現(xiàn)一鍵數(shù)據(jù)查詢比對

完成投訴用戶的數(shù)據(jù)查詢比對的多平臺數(shù)據(jù)查詢腳本的編排，完成數(shù)據(jù)的采集和入口，并對采集到的原始數(shù)據(jù)完成二次編排的業(yè)務邏輯的開發(fā)，實現(xiàn)用戶數(shù)據(jù)的智能查詢。一鍵對投訴用戶的數(shù)據(jù)進行查詢判斷比對，該功能將借助不同主機自動運維腳本的編排，來實現(xiàn)一鍵用戶數(shù)據(jù)診斷，并結合實際判障經驗進行功能的編排，實現(xiàn)一鍵判障，無需登錄多個平臺逐個查詢數(shù)據(jù)比對。

6.4 探索基于本系統(tǒng)的對外接口能力開放

本次系統(tǒng)的開發(fā)，還將探索平臺對外接口的能力開放，將開發(fā)一些接口可供第三方系統(tǒng)進行調用和展示、數(shù)據(jù)分析等系統(tǒng)直接調用通過API獲取數(shù)據(jù)。

7 推廣應用前景與范圍

通過本系統(tǒng)可對運維方便實現(xiàn)降本增效，保障和促進業(yè)務發(fā)展的目的，可以結合更多具體業(yè)務場景和不同網絡結構需求，實現(xiàn)可視化判障排障、實現(xiàn)任務智能編排。同時，基于獲取到的運維數(shù)據(jù)進行數(shù)據(jù)分析和數(shù)據(jù)治理，可以為運維大數(shù)據(jù)和AI提供數(shù)據(jù)，為數(shù)字化轉型戰(zhàn)略提供數(shù)據(jù)基礎保障。如圖8所示。

圖8：自動化運維平臺演進路線

8 結語

隨著信息化的全面推進，自動化運維必將代替之前的人工運維方式。之后我們研發(fā)的該系統(tǒng)必定會大放異彩，日常運維工作基本不直接接觸生產，切實提升了工作效率、降低了生產風險、嚴控了操作流程。自動化做到事前全面防范、事中及時處理、事后智能分析，保障了信息系統(tǒng)這顆大心臟的穩(wěn)定性，為集團快速發(fā)展保駕護航。