沈浩

中國(guó)移動(dòng)通信集團(tuán)上海有限公司 上海 200061

引言

近年來(lái)，多元化的多媒體業(yè)務(wù)成為IPTV平臺(tái)發(fā)展的新熱點(diǎn)，極大促進(jìn)了IPTV在國(guó)內(nèi)的快速成長(zhǎng)，同時(shí)還可以為家庭及政企用戶提供一種人性化的服務(wù)。IPTV業(yè)務(wù)初期，作為寬帶業(yè)務(wù)標(biāo)配業(yè)務(wù)，推動(dòng)寬帶業(yè)務(wù)滲透和發(fā)展；在千兆帶寬時(shí)代，更是成為家庭娛樂(lè)業(yè)務(wù)中心。除了直播業(yè)務(wù)之外，IPTV業(yè)務(wù)借助專網(wǎng)網(wǎng)絡(luò)優(yōu)勢(shì)，演化了4K、8K、VR/AR等超高清業(yè)務(wù)并且積極探索會(huì)員、營(yíng)銷、廣告、電商、政務(wù)服務(wù)等眾多電視生態(tài)業(yè)務(wù)。IPTV多樣化的生態(tài)化的多媒體業(yè)務(wù)，不但可以改善傳統(tǒng)電視觀眾的用戶體驗(yàn)，而且對(duì)眾多互聯(lián)網(wǎng)用戶也十分具有吸引力。根據(jù)工信部的統(tǒng)計(jì)數(shù)據(jù)，2021年一季度，全國(guó)IPTV用戶已達(dá)3.25億，已經(jīng)具備龐大的用戶基礎(chǔ)，針對(duì)海量IPTV用戶數(shù)據(jù)分析價(jià)值潛力無(wú)限。但是相比互聯(lián)網(wǎng)電視（OTT而言），IPTV具有明顯的屬地化網(wǎng)格化發(fā)展格局，每個(gè)地區(qū)IPTV用戶興趣和行為均有明顯差異，如何挖掘地域用戶特性并且借助IPTV網(wǎng)絡(luò)服務(wù)優(yōu)勢(shì)，建設(shè)上海本地業(yè)務(wù)精細(xì)化運(yùn)營(yíng)能力，構(gòu)筑IPTV精準(zhǔn)服務(wù)能力是關(guān)鍵。

構(gòu)建IPTV精準(zhǔn)服務(wù)能力關(guān)鍵在于有效數(shù)據(jù)的挖掘和用戶有效觸達(dá)。從數(shù)據(jù)挖掘?qū)用鎭?lái)說(shuō)，IPTV業(yè)務(wù)已經(jīng)構(gòu)建一套端到端服務(wù)體系，從IPTV服務(wù)端、傳輸端再到機(jī)頂盒終端硬件，對(duì)用戶行為數(shù)據(jù)的關(guān)鍵數(shù)據(jù)進(jìn)行了留存，如何對(duì)這些用戶行為數(shù)據(jù)進(jìn)行有效處理和提取成為有效數(shù)據(jù)挖掘的關(guān)鍵。隨著業(yè)務(wù)分析的深入，數(shù)據(jù)分析的指標(biāo)和維度呈指數(shù)級(jí)增長(zhǎng)，如何快速對(duì)當(dāng)前業(yè)務(wù)問(wèn)題進(jìn)行分析，這成了數(shù)據(jù)爆炸后的“幸福的煩惱”。在有效數(shù)據(jù)挖掘的基礎(chǔ)上，對(duì)用戶的不同行為偏好進(jìn)行分析，形成精準(zhǔn)的用戶畫像，從而針對(duì)不同用戶進(jìn)一步完善運(yùn)營(yíng)策略，可以促使IPTV的業(yè)務(wù)不斷健康的發(fā)展。另一方面，目前IPTV已經(jīng)不同于發(fā)展之初的內(nèi)容和服務(wù)極度匱乏，對(duì)于用戶而言，現(xiàn)在的IPTV內(nèi)容是海量的，服務(wù)是多元化的，如何通過(guò)有效的技術(shù)手段，使得內(nèi)容或者服務(wù)在用戶需要或者感興趣的時(shí)候及時(shí)讓用戶感知，同時(shí)又不對(duì)用戶造成干擾，是十分值得探究的課題。

1 大數(shù)據(jù)平臺(tái)

1.1 平臺(tái)架構(gòu)

目前，大數(shù)據(jù)分析平臺(tái)主流架構(gòu)有Lambda架構(gòu)、Hadoop架構(gòu)和Kappa架構(gòu)等[1]。本文的大數(shù)據(jù)平臺(tái)使用的是Hadoop，F(xiàn)link等技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算，對(duì)于數(shù)據(jù)處理時(shí)效要求為秒級(jí)，其中實(shí)時(shí)計(jì)算技術(shù)難點(diǎn)主要為兩塊，一是實(shí)時(shí)入庫(kù)，二是實(shí)時(shí)計(jì)算。IPTV數(shù)據(jù)平臺(tái)在數(shù)據(jù)采集功能上需要保證可以完整的收集到用戶訪問(wèn)端到端的所有日志記錄數(shù)據(jù)，同時(shí)為實(shí)時(shí)應(yīng)用提供實(shí)時(shí)數(shù)據(jù)，響應(yīng)時(shí)間上要保證實(shí)時(shí)性、低延遲在1秒左右；同時(shí)對(duì)于部署的系統(tǒng)穩(wěn)定可靠性要求高。如圖1所示，數(shù)據(jù)采集除了對(duì)機(jī)頂盒用戶數(shù)據(jù)實(shí)時(shí)采集外，還需對(duì)IPTV服務(wù)端進(jìn)行數(shù)據(jù)挖掘，同時(shí)結(jié)合互聯(lián)網(wǎng)開(kāi)放數(shù)據(jù)進(jìn)行同時(shí)處理。

圖1 大數(shù)據(jù)平臺(tái)架構(gòu)

系統(tǒng)利用Flink流處理框架，對(duì)采集的數(shù)據(jù)進(jìn)行流式計(jì)算，在流數(shù)據(jù)不斷變化的運(yùn)動(dòng)過(guò)程中實(shí)時(shí)地進(jìn)行處理分析，尋找到可能對(duì)用戶有價(jià)值的信息，并把結(jié)果輸出到業(yè)務(wù)端，以便業(yè)務(wù)端系統(tǒng)根據(jù)數(shù)據(jù)分析進(jìn)行及時(shí)的反饋。

1.2 數(shù)據(jù)透?jìng)髁鞒?/h3>

大數(shù)據(jù)平臺(tái)從數(shù)據(jù)的生產(chǎn)到數(shù)據(jù)的應(yīng)用過(guò)程主要分三個(gè)階段：數(shù)據(jù)的產(chǎn)生與收集、傳輸與分析處理、對(duì)外提供服務(wù)[2]。

1.2.1 數(shù)據(jù)采集。

1.2.1.1 采集接口的角度看，數(shù)據(jù)采集層在實(shí)際的過(guò)程中，需要考慮到多元化業(yè)務(wù)的發(fā)展需要。也就是要在多種數(shù)據(jù)格式的情況下，保持對(duì)數(shù)據(jù)源的強(qiáng)力介入，滿足對(duì)數(shù)據(jù)采集功能模塊的持續(xù)建設(shè)和優(yōu)化完善。此外，在業(yè)務(wù)開(kāi)展過(guò)程中，還需要考慮到包括直播、點(diǎn)播、回看、電子商務(wù)、開(kāi)機(jī)廣告、自主服務(wù)等方面的主要業(yè)務(wù)形態(tài)。

1.2.1.2 從使用方的角度來(lái)看，需要在數(shù)據(jù)采集的時(shí)候，構(gòu)建用戶登錄、鑒權(quán)信息，開(kāi)通的業(yè)務(wù)類型，用戶在觀看視頻過(guò)程中視頻的播放時(shí)長(zhǎng)，起始時(shí)間和結(jié)束時(shí)間，以及用戶的操作行為包括觀看訪問(wèn)路徑，觀看節(jié)目編號(hào)、節(jié)目分類屬性信息、增值訂購(gòu)行為等。在完成多個(gè)數(shù)據(jù)來(lái)源多樣化的不同格式數(shù)據(jù)的接入并進(jìn)行合理的數(shù)據(jù)格式轉(zhuǎn)換及分類處理后，就可以結(jié)合實(shí)際運(yùn)營(yíng)的需求，進(jìn)行數(shù)據(jù)的輸出供其他模塊使用。

1.2.2 數(shù)據(jù)分析。

1.2.2.1 離線計(jì)算的基礎(chǔ)上，需要在Hadoop的分布中，不斷擴(kuò)展數(shù)據(jù)資源，持續(xù)投入基礎(chǔ)建設(shè)，滿足在線數(shù)據(jù)的實(shí)時(shí)處理和服務(wù)要求，如圖2所示，為本次數(shù)據(jù)采集部署架構(gòu)。也就是說(shuō)，我們需要在實(shí)時(shí)數(shù)據(jù)的基礎(chǔ)上保持?jǐn)?shù)據(jù)的抖動(dòng)，提高消息的處理速度，保證最大的響應(yīng)時(shí)間。

圖2 數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu)圖

1.2.2.2 需要思考到發(fā)送失敗的問(wèn)題，以及實(shí)時(shí)數(shù)據(jù)計(jì)算的問(wèn)題等。

1.2.3 數(shù)據(jù)服務(wù)。

1.2.3.1 運(yùn)營(yíng)數(shù)據(jù)服務(wù)的視角上看，需要在各種業(yè)務(wù)數(shù)據(jù)接入的基礎(chǔ)上，保持良好的運(yùn)營(yíng)效果，加強(qiáng)全面的數(shù)據(jù)掌握[3]。其中，主要包含的維度可以分為以下的幾點(diǎn)：用戶維度，收視排行榜維度，基礎(chǔ)產(chǎn)品維度，增值產(chǎn)品維度，首屏及一二級(jí)EPG觸點(diǎn)訪問(wèn)維度等范疇。另外還需要涉及用戶發(fā)展的問(wèn)題包括用戶開(kāi)機(jī)活躍率分析的問(wèn)題，用戶播控卡頓、頻道切換時(shí)長(zhǎng)、內(nèi)容播放響應(yīng)、語(yǔ)音遙控器操控、服務(wù)滿意度等多維度分析問(wèn)題。

1.2.3.2 從個(gè)性化數(shù)據(jù)服務(wù)的角度，即智能推薦可以在用戶分析的基礎(chǔ)上，形成全方位的精確用戶畫像，對(duì)使用用戶的觀看興趣和使用習(xí)慣進(jìn)行特征抽象提煉。此時(shí)系統(tǒng)就可以結(jié)合使用者的興趣和差異化特質(zhì)，持續(xù)進(jìn)行內(nèi)容可視化推薦，不斷提升用戶的活躍率和增值產(chǎn)品的訂購(gòu)轉(zhuǎn)化率。

2 大數(shù)據(jù)用戶畫像

2.1 用戶畫像概念

精準(zhǔn)用戶畫像研究是為了科學(xué)的形容IPTV用戶的個(gè)性化特征和高效的用戶分群的方法。通過(guò)在訪問(wèn)的媒體介質(zhì)屬性和訪問(wèn)業(yè)務(wù)的時(shí)間行為上對(duì)用戶使用習(xí)慣進(jìn)行分析和預(yù)測(cè)，并對(duì)用戶群體的行為進(jìn)行分析總結(jié)，對(duì)用戶的個(gè)性化的行為屬性和習(xí)慣特點(diǎn)進(jìn)行高度抽象概括，結(jié)合精細(xì)的大數(shù)據(jù)分析與用戶行為的準(zhǔn)確理解，挖掘本平臺(tái)用戶行為特征，為運(yùn)營(yíng)提供行之有效的決策信息。

2.2 用戶畫像的生成

用戶畫像的生成流程通常為：①IPTV終端機(jī)頂盒等植入js日志上報(bào)代碼，上報(bào)電視的設(shè)備ID（如MAC地址、串碼編號(hào)）、訪問(wèn)日志、收視日志、互動(dòng)日志等到大數(shù)據(jù)采集機(jī)群。②大數(shù)據(jù)采集模塊集群將多來(lái)源的日志原始數(shù)據(jù)存儲(chǔ)到大數(shù)據(jù)計(jì)算集群。③數(shù)倉(cāng)模塊通過(guò)ETL技術(shù)將資源庫(kù)（頻道、節(jié)目單、點(diǎn)播）、互動(dòng)庫(kù)、電視日志等按維度表和事實(shí)表的形式入倉(cāng)存儲(chǔ)，供后續(xù)畫像模塊使用。④畫像模塊從數(shù)倉(cāng)的維表或事實(shí)表提取數(shù)據(jù)，生成畫像標(biāo)簽。

最終形成的畫像標(biāo)簽體系，用于形容用戶具體的特征，從而得到平臺(tái)的用戶畫像。

2.3 用戶畫像分類

2.3.1 在實(shí)際應(yīng)用中，畫像標(biāo)簽可以分兩類處理方法，一類是基于電視運(yùn)營(yíng)經(jīng)驗(yàn)或者數(shù)分人員的假設(shè)而形成的規(guī)則類標(biāo)簽，一類是基于分類算法等而形成的算法類標(biāo)簽。

2.3.2 算法類標(biāo)簽又有兩種生成形式，一種是在基于已提取的規(guī)則標(biāo)簽用戶映射的基礎(chǔ)上再結(jié)合各種特征組合來(lái)訓(xùn)練得出的分類模型后再預(yù)測(cè)出的標(biāo)簽從而用來(lái)調(diào)整強(qiáng)化或無(wú)人工干預(yù)的自動(dòng)化標(biāo)簽提取，一種是采用直接的無(wú)監(jiān)督的聚類算法來(lái)做用戶分群的標(biāo)簽提取。

2.3.3 本系統(tǒng)采用的是分類算法迭代循環(huán)自動(dòng)強(qiáng)化調(diào)整規(guī)則類標(biāo)簽的設(shè)計(jì)，即用規(guī)則類提取的畫像標(biāo)簽作為監(jiān)督學(xué)習(xí)的標(biāo)簽，同時(shí)在外部特征庫(kù)中抽取用戶特征，或結(jié)合部分規(guī)則類用戶標(biāo)簽來(lái)構(gòu)成用戶特征向量，用人工智能算法進(jìn)行機(jī)器學(xué)習(xí)來(lái)形成標(biāo)簽提取模型，在經(jīng)過(guò)規(guī)則類畫像標(biāo)簽應(yīng)用的效果驗(yàn)證后，采用該驗(yàn)證后的規(guī)則類生成的用戶標(biāo)簽映射作為訓(xùn)練樣本來(lái)繼續(xù)學(xué)習(xí)，最終不斷提高模型的準(zhǔn)確率，從而將用戶標(biāo)簽提取模型應(yīng)用在實(shí)際業(yè)務(wù)中來(lái)實(shí)現(xiàn)自動(dòng)化分類。

2.3.4 在實(shí)際應(yīng)用中，在形成用戶畫像后，可以對(duì)外輸出不同用戶分組，或者根據(jù)畫像標(biāo)簽對(duì)外提供用戶查詢接口，配合外部推送系統(tǒng)實(shí)現(xiàn)對(duì)用戶在不同場(chǎng)景下的關(guān)聯(lián)業(yè)務(wù)推送和內(nèi)容推薦。

圖3 用戶畫像的構(gòu)建

2.4 大數(shù)據(jù)消息推送

圖4 智能消息系統(tǒng)部署示意圖

大數(shù)據(jù)消息推送系統(tǒng)（IMOS，Intelligence Message Operation System）在用戶畫像基礎(chǔ)上，對(duì)用戶行為與場(chǎng)景進(jìn)行聯(lián)結(jié)，利用關(guān)鍵用戶特征通過(guò)消息的形式主動(dòng)連接用戶，從而快速高效建立用戶與物品連接的能力。消息具有能主動(dòng)對(duì)電視全場(chǎng)景觸發(fā)、主動(dòng)點(diǎn)對(duì)點(diǎn)、千人多面、千人千面觸發(fā)、可以承載節(jié)目信息、活動(dòng)信息、營(yíng)銷信息等多元化內(nèi)容，從而能快速響應(yīng)用戶需求，提升平臺(tái)與用戶連接效率，提升物品利用率、付費(fèi)轉(zhuǎn)化率、用戶開(kāi)機(jī)率等關(guān)鍵指標(biāo)，進(jìn)而全面改善平臺(tái)對(duì)用戶的體驗(yàn)。

2.5 大數(shù)據(jù)消息推送系統(tǒng)應(yīng)用

2.5.1 當(dāng)前運(yùn)營(yíng)痛點(diǎn)。傳統(tǒng)IPTV平臺(tái)在用戶經(jīng)營(yíng)的痛點(diǎn)主要有以下幾點(diǎn)：

2.5.1.1 缺乏主動(dòng)精準(zhǔn)連接用戶的能力。EPG頁(yè)面承載內(nèi)容能力有限，基本為編輯推薦的頭部?jī)?nèi)容，用戶離開(kāi)頁(yè)面后，平臺(tái)就無(wú)法連接用戶?，F(xiàn)有情況就只能等待用戶到EPG主頁(yè)來(lái)。

2.5.1.2 平臺(tái)流量不均衡，缺乏流量主動(dòng)干預(yù)手段用戶流量分布主要在直播、免費(fèi)內(nèi)容等，平臺(tái)目前缺乏必要手段將用戶拉入我們希望發(fā)現(xiàn)的內(nèi)容入口，例如付費(fèi)內(nèi)容、特色內(nèi)容等。

2.5.1.3 物品利用率低，對(duì)長(zhǎng)尾內(nèi)容拉動(dòng)不足。平臺(tái)有近20萬(wàn)部?jī)?nèi)容，而用戶每月收視過(guò)的內(nèi)容不足5%，但其他內(nèi)容并非對(duì)用戶沒(méi)有吸引力，而是無(wú)法被用戶發(fā)現(xiàn)。

2.5.1.4 缺乏對(duì)用戶實(shí)時(shí)行為及時(shí)高效反饋的能力。用戶需求瞬息萬(wàn)變，電視也是一個(gè)多用戶維度，現(xiàn)有平臺(tái)無(wú)法識(shí)別用戶行為變化并且快速做出反應(yīng)，引導(dǎo)用戶收視。例如當(dāng)用戶在不停換臺(tái)時(shí)就應(yīng)該主動(dòng)推薦內(nèi)容給他，而不是等他自己去找。

2.5.1.5 對(duì)區(qū)隔出來(lái)的特征用戶缺乏必要手段提升體驗(yàn)面對(duì)用戶的各個(gè)特征分組，無(wú)法有效的針對(duì)性開(kāi)展必要的營(yíng)銷和服務(wù)，從而提升用戶體驗(yàn)。例如未續(xù)費(fèi)用戶、有離網(wǎng)風(fēng)險(xiǎn)用戶等

2.5.2 消息系統(tǒng)解決方案。針對(duì)這些問(wèn)題，本次搭建的消息系統(tǒng)的解決方案如下：

2.5.2.1 IMOS具有全場(chǎng)景主動(dòng)推送能力。IMOS可以在EPG頁(yè)面、直播、點(diǎn)播中主動(dòng)發(fā)起向用戶的消息推送，推送內(nèi)容、活動(dòng)、付費(fèi)等，不需要等用戶到EPG頁(yè)面查找。

2.5.2.2 IMOS通過(guò)主動(dòng)推送將用戶導(dǎo)入目標(biāo)內(nèi)容。IMOS可以根據(jù)用戶收視特征，根據(jù)不同場(chǎng)景向用戶主動(dòng)推送相應(yīng)內(nèi)容和業(yè)務(wù)，并且支持用戶一鍵跳轉(zhuǎn)，可將直播等免費(fèi)流量拉入點(diǎn)播內(nèi)容或特色內(nèi)容中。

2.5.2.3 IMOS與推薦算法結(jié)合解決內(nèi)容利用率問(wèn)題IMOS可以跟推薦算法結(jié)合，根據(jù)用戶特征和當(dāng)前收視場(chǎng)景，直接從媒資庫(kù)里調(diào)取節(jié)目主動(dòng)推送給用戶，從而提升長(zhǎng)尾物品的點(diǎn)擊率和利用率。

2.5.2.4 IMOS可以快速生成消息及時(shí)響應(yīng)用戶需求IMOS通過(guò)對(duì)場(chǎng)景的識(shí)別和用戶特征結(jié)合快速判斷用戶需求，馬上可以觸發(fā)內(nèi)容推薦、營(yíng)銷付費(fèi)、關(guān)聯(lián)活動(dòng)等內(nèi)容，而不需要編輯專門制作專題內(nèi)容，大大提升運(yùn)營(yíng)效率。

2.5.2.5 IMOS可以針對(duì)用戶分組推送針對(duì)性服務(wù)。IMOS具有用戶分組，點(diǎn)對(duì)點(diǎn)觸發(fā)的特征，因此對(duì)一些特征用戶組可以專門編制相關(guān)消息進(jìn)行通知。例如可以專門為未續(xù)費(fèi)用戶策劃優(yōu)惠政策推送給他，非該分組用戶則無(wú)法收到。

3 結(jié)束語(yǔ)

綜上所述，本文從挖掘出用戶的行為特征、分析用戶偏好的本意出發(fā)，提出了一種基于大數(shù)據(jù)平臺(tái)的IPTV智能消息推送技術(shù)，使得平臺(tái)具備了與用戶更加緊密的觸達(dá)能力，具有針對(duì)性強(qiáng)、實(shí)時(shí)反映和能夠顯示真實(shí)消費(fèi)需求的特點(diǎn)，實(shí)際提升了用戶開(kāi)機(jī)率、開(kāi)機(jī)時(shí)長(zhǎng)和平臺(tái)活躍，更加提升節(jié)目的利用率，讓購(gòu)買的節(jié)目更加都能產(chǎn)生價(jià)值，并且通過(guò)精準(zhǔn)的業(yè)務(wù)推薦促進(jìn)用戶付費(fèi)率提升。另外對(duì)于發(fā)展廣告、電商類業(yè)務(wù)也帶來(lái)新的營(yíng)銷手段。