鐘盈炯 熊立波 郭曉強 胡勁松
(新華社通信技術(shù)局,北京 100803)
由于供稿方式和內(nèi)容形式的多樣化,當(dāng)前互聯(lián)網(wǎng)供稿已經(jīng)逐漸成為主流的供稿模式,騰訊、百度、阿里、新浪、網(wǎng)易等頭部媒體已經(jīng)全部接入新華社全媒平臺,已有越來越多的用戶不滿足于僅僅從新華社單向獲取稿件的方式,也希望能把他們的內(nèi)容匯聚到一個更大的匯聚和共享平臺上。
在當(dāng)前的媒體大融合背景下,筆者通過調(diào)研分析當(dāng)前海外各大通訊社和國內(nèi)今日頭條、企鵝號、百家號等內(nèi)容匯聚平臺技術(shù)系統(tǒng)現(xiàn)狀,結(jié)合業(yè)務(wù)發(fā)展需求,以用戶為核心,在用戶—平臺—用戶三者之間構(gòu)建良好互動的生態(tài)圈,設(shè)計一個第三方媒體內(nèi)容匯聚、信息共享和運營平臺運營方案,并基于微服務(wù)架構(gòu)對該第三方媒體內(nèi)容交換和運營平臺(簡稱第三方交換平臺)進行了技術(shù)驗證。
數(shù)字時代,內(nèi)容發(fā)布(主要指新聞稿件)大概經(jīng)歷如下幾個階段:
第一階段,所謂前互聯(lián)網(wǎng)時代。自20世紀80年代初,中國日報引進國外的計算機照排系統(tǒng)起,到了80年代中期,我國首個自主開發(fā)的新聞信息系統(tǒng)——新華社中文新聞計算機發(fā)稿系統(tǒng)投入運行。在這個階段,文字、圖片、音頻、視頻等不同形式的新聞信息轉(zhuǎn)化成1 和0 所組成的二進制數(shù)字,通訊社的新聞信息從采、編、審、發(fā)到存的各個環(huán)節(jié)都實現(xiàn)了數(shù)字化,報社的圖文信息從采集、編輯、發(fā)排、印刷到發(fā)行的整個生產(chǎn)系流程實現(xiàn)了數(shù)字化,廣播電視臺的音頻和視頻信息從制作、播出、傳送、接送到呈現(xiàn)也都實現(xiàn)了數(shù)字化。[1]
第二階段,互聯(lián)網(wǎng)時代?;ヂ?lián)網(wǎng)打破了文字媒介、聲音媒介和視覺媒介之間的鴻溝,信息傳輸也從單向發(fā)展為雙向傳播,信息發(fā)布和信息接收的身份也越顯模糊,尤其是近兩年的自媒體行業(yè)的興起,一部手機就是一個電視臺。通訊社以及國字頭媒體也從單向發(fā)布逐漸走向信息收集,部分媒體機構(gòu)更是邁出了雙向發(fā)布運營模式的重要一步。在媒體融合的大背景下,構(gòu)建一個全媒體時代下的內(nèi)容共享發(fā)布平臺,呈現(xiàn)出傳統(tǒng)媒體與新興媒體相互融合并激烈競爭的態(tài)勢[2],從而帶動整個行業(yè)的資源整合,對提高資源利用和內(nèi)容傳播都有著重要的作用。
筆者在調(diào)研國外通訊社的官方發(fā)布平臺后,發(fā)現(xiàn)路透社和法新社等都和第三方內(nèi)容提供方有著緊密的業(yè)務(wù)合作。日本AFLO 圖片社、視覺中國等內(nèi)容提供方通過接入路透社和法新社的后臺接口,將相應(yīng)的稿件傳送至系統(tǒng)后臺,經(jīng)整合后統(tǒng)一發(fā)布至各自官網(wǎng)對外提供數(shù)據(jù)服務(wù)。
2.1.1 路透社
如圖1所示,路透社不再稱自己是一家通訊社,而是自我定位為信息提供商[3],其和日本AFLO 圖片社、USA TODAY NETWORK 深度合作,發(fā)布來自AFLO 等第三方的圖片稿件。路透社用戶可以根據(jù)需要下載AFLO的稿件。
圖1 路透社供稿網(wǎng)站
2.1.2 法新社
如圖2所示,法新社和視覺中國合作,發(fā)布來自視覺中國的圖片稿件。
圖2 法新社供稿網(wǎng)站
經(jīng)過筆者調(diào)研,今日頭條、騰訊企鵝號和百度百家號等國內(nèi)互聯(lián)網(wǎng)公司也引入新華社和《人民日報》等央媒以及其媒體進駐,新華社等央媒通過諸如RSS 等接口接入其后臺服務(wù)。
如圖3所示,新華社和《人民日報》等已進駐頭條號、騰訊企鵝號和百度百家號。
圖3 國內(nèi)頭部新媒體情況
新華全媒新聞服務(wù)平臺(簡稱全媒平臺)是新華社供稿線路優(yōu)化調(diào)整的重要工程,建成了包括所有新華社文字、圖片、圖表、視頻、新媒體、多媒體、歷史資料的全媒體供稿平臺,著力提升新興媒體的供稿能力,整合傳統(tǒng)供稿線路資源,從而提升用戶使用體驗,滿足用戶需求。[4]
3.2.1 需求分析
依托全媒平臺,利用互聯(lián)網(wǎng)云資源,建立第三方媒體內(nèi)容交換和運營平臺。
第一,實現(xiàn)新聞信息上傳。建立統(tǒng)一技術(shù)標準和接口,為用戶提供文字、圖片、音視頻等全媒體格式稿件的上傳服務(wù)。上傳的內(nèi)容可以直接在內(nèi)容交換平臺中展示。
第二,建立新聞信息展示專區(qū)。通過該平臺,分別為各成員用戶建立展示專區(qū),可以分別展示也可以集中展示所有成員的稿件。并支持多語種界面展示。
第三,實現(xiàn)在線下載推送。平臺各成員可以通過網(wǎng)頁在線下載需要的稿件,也可以通過FTP,RSS,API 等互聯(lián)網(wǎng)方式自動實時下載所需稿件。
第四,實現(xiàn)在線搜索功能。為成員用戶提供基于稿件標題、內(nèi)容、標簽等維度的在線搜索服務(wù),提供以圖搜圖功能。
第五,實現(xiàn)新聞推薦功能。為成員用戶提供基于時間、地域、新聞熱度、用戶關(guān)注程度等維度的新聞推薦功能。
第六,提供用戶行為統(tǒng)計分析服務(wù)。為成員用戶提供稿件被瀏覽、下載等訪問情況的在線統(tǒng)計和分析。
3.2.2 建設(shè)方案
第三方交換平臺的建設(shè)重點在于內(nèi)容交換,可基于現(xiàn)有全媒平臺進行建設(shè),擴展全媒平臺功能,通過三大部分的設(shè)計,在稿件展示、對外供稿的基礎(chǔ)上增加稿件上傳模塊,同時與采編系統(tǒng)打通,實現(xiàn)內(nèi)容上傳、編審、展示、在線下載及自動化供稿等全套流程,真正實現(xiàn)第三方內(nèi)容交換。
第一部分是業(yè)務(wù)流程設(shè)計。第三方稿件內(nèi)容經(jīng)上傳到內(nèi)容交換平臺后,經(jīng)過屬地編輯人員審核簽送到總部未定稿庫,由總部選取合適的稿件簽發(fā)至用于第三方內(nèi)容展示的線路和欄目(如圖4所示)。
圖4 業(yè)務(wù)流程設(shè)計
第二部分系統(tǒng)架構(gòu)設(shè)計。
圖5 第三方內(nèi)容交換和運營平臺架構(gòu)設(shè)計
整體架構(gòu)設(shè)計遵循可靠性、先進性、安全性、開放性、可擴展性和可維護性等六個原則。[5]上述設(shè)計基于微服務(wù)架構(gòu)搭建而成,微服務(wù)架構(gòu)是一種面向互聯(lián)網(wǎng)應(yīng)用服務(wù)的軟件開發(fā)架構(gòu),主要應(yīng)用于互聯(lián)網(wǎng)應(yīng)用服務(wù)的服務(wù)端軟件開發(fā),其由面向服務(wù)架構(gòu) SOA 發(fā)展而來。微服務(wù)架構(gòu)提倡將單體架構(gòu)應(yīng)用劃分成一組小的服務(wù),服務(wù)之間互相協(xié)調(diào)、互相配合。[6]
在對微服務(wù)進行細致拆分基礎(chǔ)上,實現(xiàn)服務(wù)模塊化打包、模塊化持續(xù)集成、模塊化部署。利用 Docker 的技術(shù),實現(xiàn)基礎(chǔ)應(yīng)用及服務(wù)的跨平臺快速部署和啟動。使用 Kubernetes 對 Docker 容器進行統(tǒng)一管理,實現(xiàn)高負載、高可用、彈性擴展。[7]團隊在設(shè)計和搭建中把安全性考慮在重中之重,避免容器受到從外部發(fā)起的針對容器的攻擊、容器發(fā)起的對宿主機的攻擊和容器發(fā)起的向其他容器的攻擊等三類安全攻擊。[8]
第三部分是重要功能設(shè)計。包括 稿件上傳及入庫、稿件審核及發(fā)布、稿件交換、下載和推送,以及系統(tǒng)監(jiān)控。
其中,在稿件上傳及入庫流程中,第三方用戶可通過手動上傳或自動上傳方式向內(nèi)容交換平臺上傳稿件。
a.手動上傳
內(nèi)容交換平臺提供手動上傳Web 頁面,需登錄到內(nèi)容交換平臺進入上傳頁面,填寫稿件內(nèi)容及稿簽信息,包括標題、正文、稿件類型、作者、語種、分類、事件發(fā)生地、標簽以及相關(guān)附件等。手動填寫的內(nèi)容提交后寫入內(nèi)容交換平臺數(shù)據(jù)庫。
b.自動上傳
除手動上傳外,內(nèi)容交換平臺采用統(tǒng)一的技術(shù)標準和接口,為機構(gòu)用戶提供文字、圖片、音視頻等全媒體格式稿件的系統(tǒng)對接服務(wù),允許用戶向內(nèi)容交換平臺自動推送稿件,或由內(nèi)容交換平臺根據(jù)機構(gòu)用戶提供的API接口、RSS 訂閱源開發(fā)自動抓取程序,通過系統(tǒng)對接將稿件內(nèi)容自動寫入內(nèi)容交換平臺數(shù)據(jù)庫。
平臺支持以下對接方式:基于FTP、sFTP 等協(xié)議的稿件上傳和稿件抓?。换赗SS 協(xié)議的自動抓?。换贏PI 接口的自動抓??;基于Email 的自動抓取。
在稿件審核及發(fā)布流程中,稿件上傳后平臺提供兩種發(fā)布路徑,第一種為稿件經(jīng)過交換平臺后臺人工審核后上線發(fā)布;第二種為上傳的稿件錄入采編系統(tǒng)中,編輯人員和簽發(fā)人對第三方稿件進行編簽,簽出的稿件入整體稿件成品庫,內(nèi)容交換平臺通過接口從成品庫獲取稿件入庫并上線展示。上述兩種數(shù)據(jù)流程可通過系統(tǒng)設(shè)置二選一。
圖6 稿件上傳入庫流程
在稿件交換、下載和推送流程中,內(nèi)容交換平臺提供單篇下載和批量下載功能。單篇下載按稿件類型分多種情況,可單獨下載圖片或高碼視頻,低碼視頻。展示頁面中提供選稿框,用戶可將準備下載的稿件單篇或批量加入選稿框,再到選稿框中批量下載。內(nèi)容交換平臺的推送技術(shù)手段包括Email、FTP、API、RSS 接口等,既能將數(shù)據(jù)實時推送到用戶端服務(wù)器,又能方便用戶通過程序認證后直接抓取。內(nèi)容交換支持建立租戶組,可以實現(xiàn)多個機構(gòu)之間建立交換組進行小組內(nèi)部交換,也支持在全部機構(gòu)之間交換。[9]平臺可以根據(jù)用戶需要的稿件格式進行實時轉(zhuǎn)換后推送給用戶。后臺在開戶時,可定義用戶的下載格式和稿件推送方式。
圖7 稿件上傳下載流程
在稿件同步流程中通過接口獲取稿件,并同步到第三方交換平臺的稿件庫,其中稿件的一些附件信息例如:圖片、音視頻等文件,存入MongoDB 數(shù)據(jù)庫。
稿件、產(chǎn)品包匹配引擎:該部分提供稿件與產(chǎn)品包的匹配關(guān)系計算能力。
產(chǎn)品包訂購匹配引擎:該部分通過用戶訂購關(guān)系,獲取產(chǎn)品包與具體用戶的訂購關(guān)系,從而匹配出具體的稿件具體使用哪種方式,推送給哪些用戶。
在系統(tǒng)監(jiān)控流程中,第三方交換平臺監(jiān)控基于Prometheus+Granfana 實現(xiàn),將平臺和業(yè)務(wù)系統(tǒng)涉及的各類信息納入統(tǒng)一全媒平臺運維監(jiān)控中,對各種不同的數(shù)據(jù)來源實現(xiàn)統(tǒng)一管理、統(tǒng)一規(guī)范、統(tǒng)一處理、統(tǒng)一展現(xiàn),最終實現(xiàn)運維規(guī)范化、自動化、智能化的大運維管理。[10]
根據(jù)上述設(shè)計思路和整體技術(shù)方案,筆者團隊基于全媒平臺,搭建第三方媒體內(nèi)容和運營平臺,以下為部分重點頁的展示效果。
登錄頁展示內(nèi)容交換平臺的重要統(tǒng)計信息及推薦稿件,如稿件總量、今日上傳量,以及平臺的功能特點等。用戶點擊登錄按鈕可登錄系統(tǒng)。
圖8 第三方交換平臺登錄頁
內(nèi)容交換平臺用戶在登錄后,進入網(wǎng)站首頁。
首頁展示全媒體稿件內(nèi)容,并且提供網(wǎng)格、列表兩種內(nèi)容展現(xiàn)形式,用戶可以依據(jù)機構(gòu)、地區(qū)、語種、分類等維度對稿件內(nèi)容進行篩選與查看,同時支持用戶對稿件進行搜索,加入選稿筐,并且在選稿筐對稿件進行批量下載。此外,還提供我的收藏、消息以及幫助中心的入口。
圖9 第三方交換平臺首頁
在首頁的稿件列表頁或詳情頁,點擊機構(gòu)名稱即可查看該機構(gòu)的門戶展示頁。每家機構(gòu)用戶都有自己的門戶展示頁面供其他用戶查看。該頁面左側(cè)為機構(gòu)簡介區(qū),右側(cè)為該機構(gòu)已上線的稿件展示區(qū)。
平臺為每家用戶量身定制不同風(fēng)格的門戶展示頁面。
圖10 第三方交換平臺成員用戶個性化頁
經(jīng)過調(diào)研國內(nèi)外第三方內(nèi)容共享平臺,搭建第三方媒體內(nèi)容交換和運行平臺。該平臺基于微服務(wù)架構(gòu)設(shè)計,采用Docker 部署,初步實現(xiàn)了第三方稿件內(nèi)容的上傳、下載、購買和計費等功能,為后續(xù)進一步研究和布局第三方平臺打下良好的基礎(chǔ)。下一步,筆者所在團隊將進一步總結(jié)經(jīng)驗,考察前沿技術(shù),以進一步增強系統(tǒng)的運營能力。