馮 勇，鄒寶旭，徐紅艷

(遼寧大學(xué) 信息學(xué)院，遼寧 沈陽(yáng) 110036)

0 引言

短視頻成為日活躍用戶規(guī)模增速最快的移動(dòng)互聯(lián)網(wǎng)細(xì)分領(lǐng)域之一，日活躍用戶規(guī)模接近在線視頻用戶規(guī)模的2倍[1].用戶上傳的各類短視頻數(shù)量增長(zhǎng)勢(shì)頭持續(xù)上漲，例如國(guó)外的YouTube，國(guó)內(nèi)的騰訊視頻、愛(ài)奇藝以及抖音等各類在線視頻平臺(tái)通過(guò)積分、排名、推薦等服務(wù)激發(fā)用戶貢獻(xiàn)意愿和提升用戶體驗(yàn).

個(gè)性化推薦一直是處理海量信息的一種有效途徑，在視頻服務(wù)領(lǐng)域眾多平臺(tái)運(yùn)用推薦系統(tǒng)向用戶提供優(yōu)質(zhì)的視頻以增加客戶粘性和提升用戶滿足度[2-4].隨著人工智能的不斷發(fā)展，基于深度學(xué)習(xí)的推薦系統(tǒng)能夠更好地分析用戶的行為習(xí)慣和即時(shí)興趣，進(jìn)而為用戶提供更具個(gè)性化的推薦列表.這方面具有代表性的研究成果有：文獻(xiàn)[5]針對(duì)視頻當(dāng)中的物體檢測(cè)問(wèn)題，提出了一種基于深度學(xué)習(xí)的視頻物體檢測(cè)與內(nèi)容推薦系統(tǒng)方案，通過(guò)視頻中的物體檢測(cè)和識(shí)別，將視頻內(nèi)容與相關(guān)的產(chǎn)品內(nèi)容進(jìn)行匹配.文獻(xiàn)[6]對(duì)于視頻在推薦過(guò)程當(dāng)中多樣性差的問(wèn)題提出了一種所屬性聯(lián)合算法，該算法通過(guò)用戶的歷史記錄以及系統(tǒng)內(nèi)容的各項(xiàng)基本屬性進(jìn)行結(jié)合，以此來(lái)達(dá)到個(gè)性化推薦的目的.文獻(xiàn)[7]提出了一種基于深度學(xué)習(xí)模型的內(nèi)容推薦策略，引入深度神經(jīng)網(wǎng)絡(luò)詞向量方法，根據(jù)視頻自身的相關(guān)信息，以及用戶的歷史觀看記錄，以此作為基礎(chǔ)對(duì)于用戶進(jìn)行相似用戶的刪選，進(jìn)而產(chǎn)生推薦.文獻(xiàn)[8]根據(jù)視頻內(nèi)容的隱含評(píng)論分析，提出了一種視頻推薦算法，其目的主要是為了解決網(wǎng)絡(luò)視頻當(dāng)中某些多媒體信息難以提取的問(wèn)題.文獻(xiàn)[9]提出了一種端到端的短視頻處理框架，通過(guò)該框架能夠?qū)⒉煌刂g的內(nèi)容進(jìn)行特征提取，通過(guò)端與端之間的聯(lián)系，以此來(lái)實(shí)現(xiàn)語(yǔ)義表征.

以上研究成果雖使視頻推薦性能得到一定的提升，但由于沒(méi)有考慮短視頻中彈幕文本蘊(yùn)含的豐富語(yǔ)義信息，導(dǎo)致推薦的準(zhǔn)確度不高且效率低下.為此，本文引入彈幕文本分析，提出了一種視頻內(nèi)容特征與彈幕文本相結(jié)合的短視頻推薦模型(A short video recommendation model combined video content characteristics with bullet screen text，CVBT).首先對(duì)彈幕文本進(jìn)行分析，確定彈幕文本的主題；之后通過(guò)深度學(xué)習(xí)方法對(duì)短視頻進(jìn)行處理，利用視頻的高光時(shí)刻，提取相應(yīng)的視頻內(nèi)容特征；最后基于用戶的最近興趣，確定其所屬主題，經(jīng)相似度計(jì)算得到推薦列表.經(jīng)對(duì)比實(shí)驗(yàn)驗(yàn)證，本文所提模型與LDA、RFM、VRFCL等短視頻推薦模型相比，在準(zhǔn)確率以及召回率上均有明顯提升，并且具有良好的效率優(yōu)勢(shì)[2].

1 相關(guān)工作

1.1 短文本分析技術(shù)

隨著社交網(wǎng)絡(luò)的不斷發(fā)展以及互聯(lián)網(wǎng)技術(shù)的逐漸完善，傳統(tǒng)的文本表述方式已經(jīng)難以滿足人們生產(chǎn)以及生活的需求，因此短文本應(yīng)運(yùn)而生.在最近幾年的研究當(dāng)中，國(guó)內(nèi)外相關(guān)學(xué)者對(duì)于短文本的研究浪潮一直處于上升階段.國(guó)外的一些研究人員很早就開(kāi)始對(duì)于Twitter和Facebook進(jìn)行了分析探討.Song等[10]明確指出，進(jìn)行Twitter內(nèi)容分類的過(guò)程當(dāng)中，是一件非常復(fù)雜且難度很高的工作.主要是因?yàn)橛脩粼诎l(fā)送Twitter的時(shí)候，所使用的詞語(yǔ)十分簡(jiǎn)單，同時(shí)在用詞方面也十分隨意.文獻(xiàn)[11]提出了一種微博新詞識(shí)別方法，微博中存在很多網(wǎng)絡(luò)用語(yǔ)，這些網(wǎng)絡(luò)用語(yǔ)并沒(méi)有在詞典當(dāng)中進(jìn)行體現(xiàn)，因此提出了一種關(guān)于微博中網(wǎng)絡(luò)用語(yǔ)的識(shí)別方法.Wang等[12]根據(jù)圖結(jié)構(gòu)的特殊性，提出了一種基于標(biāo)簽的分類方法，根據(jù)用戶發(fā)送Twitter時(shí)的文本內(nèi)容主題不同，以此來(lái)進(jìn)行標(biāo)簽劃分，通過(guò)圖結(jié)構(gòu)對(duì)于各類標(biāo)簽構(gòu)建聯(lián)系，然后對(duì)Twitter文本的主題情感進(jìn)行分類.文獻(xiàn)[13]根據(jù)短文本的特點(diǎn)，利用深度學(xué)習(xí)技術(shù)理論，在短文本計(jì)算涉及的文本語(yǔ)義表示、中文分詞以及文本相似度計(jì)算等環(huán)節(jié)進(jìn)行了分析和研究，最終形成一個(gè)完整的短文本計(jì)算框架.

就其根本而言，所有的彈幕文本都是按照時(shí)間序列進(jìn)行排序而得到的短文本，彈幕系統(tǒng)最近幾年才開(kāi)始被國(guó)內(nèi)一些視頻網(wǎng)站所采用.目前，隨著我國(guó)直播行業(yè)以及短視頻平臺(tái)的流行，對(duì)于彈幕數(shù)據(jù)的研究也越來(lái)越多.詹雪美[14]深入分析彈幕視頻的特點(diǎn)，討論了彈幕視頻網(wǎng)站的產(chǎn)生、發(fā)展與意義.文獻(xiàn)[15]提出一種基于深度學(xué)習(xí)的彈幕視頻片段情感分析模型，結(jié)合視頻重要性評(píng)分與LSTM網(wǎng)絡(luò)模型能夠有效識(shí)別短視頻當(dāng)中的情感主題.

1.2 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)重要分支，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，其目的在于能夠建立一個(gè)模仿大腦的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，并且根據(jù)大腦的運(yùn)行機(jī)制，對(duì)于輸入其中的各項(xiàng)數(shù)據(jù)進(jìn)行分析與解釋，例如圖像、聲音以及文本等.

隨著對(duì)深度學(xué)習(xí)方法研究的不斷深入，越多越多的學(xué)者將其應(yīng)用于視頻以及圖像的內(nèi)容特征分析中.文獻(xiàn)[16]提出了一種基于深度學(xué)習(xí)的視頻關(guān)鍵幀提取與視頻檢索研究.文獻(xiàn)[17]提出了一種基于深度學(xué)習(xí)的監(jiān)控視頻中的車輛實(shí)時(shí)檢測(cè)，通過(guò)視頻檢測(cè)中的車輛特征檢測(cè)，能夠有效提高車輛的檢測(cè)準(zhǔn)確性.文獻(xiàn)[18]提出的方法使用CNN提取圖片特征，利用多尺度滑動(dòng)窗口算法進(jìn)行檢測(cè)，取得了很好的效果.文獻(xiàn)[19]提出了用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)人臉的識(shí)別性和壓縮性二值表示，用于人臉視頻檢索.文獻(xiàn)[20]提出了一種基于深度學(xué)習(xí)技術(shù)的視頻表示方法，通過(guò)內(nèi)容特征進(jìn)行視頻的分類與聚類.

2 視頻內(nèi)容特征與彈幕文本相結(jié)合的短視頻推薦

針對(duì)目前的短視頻推薦準(zhǔn)確度不高，較少利用彈幕信息等問(wèn)題，本文引入短視頻中彈幕文本進(jìn)行分析，提出了一種視頻內(nèi)容特征與彈幕文本相結(jié)合的短視頻推薦模型.

對(duì)短視頻進(jìn)行分析，分析對(duì)象可以分為兩個(gè)部分：一部分是短視頻本身的內(nèi)容，另一部分則是短視頻中的彈幕文本.彈幕技術(shù)的出現(xiàn)使用戶能夠即時(shí)地針對(duì)觀看的視頻內(nèi)容發(fā)表文本評(píng)論，與視頻瀏覽后的評(píng)論相比，彈幕文本能夠更為即時(shí)、準(zhǔn)確地反映出用戶在觀看短視頻時(shí)的體驗(yàn)與感受，用戶通過(guò)發(fā)送彈幕以此來(lái)表達(dá)自身的情感以及對(duì)于視頻內(nèi)容的評(píng)價(jià).本文以短視頻推薦為研究背景，根據(jù)短視頻中大量的彈幕文本，確定該短視頻的彈幕文本主題；再通過(guò)深度學(xué)習(xí)方法分析短視頻中的高光時(shí)刻，確定短視頻的內(nèi)容特征與主題間的關(guān)聯(lián)；最后根據(jù)用戶近期看過(guò)的視頻，形成相應(yīng)的推薦列表.下面給出視頻內(nèi)容特征與彈幕文本相結(jié)合的短視頻推薦模型框架如圖1所示，并對(duì)彈幕文本分析、短視頻內(nèi)容特征分析、生成推薦列表進(jìn)行詳細(xì)介紹.

圖1 視頻內(nèi)容特征與彈幕文本相結(jié)合的短視頻推薦模型(CVBT)框架圖

2.1 彈幕文本分析

2.1.1 彈幕處理

對(duì)于彈幕信息來(lái)說(shuō)，人們通過(guò)發(fā)送彈幕能夠有一種“實(shí)時(shí)互動(dòng)”的感覺(jué)，彈幕信息是用戶的切實(shí)體驗(yàn)或是情感表達(dá).在同一時(shí)刻的短視頻內(nèi)容當(dāng)中，發(fā)送的彈幕其主題具有一定的關(guān)聯(lián)性，因此本文選擇彈幕相對(duì)豐富的位置進(jìn)行彈幕文本采集.

對(duì)于一個(gè)短視頻來(lái)說(shuō)，每一秒甚至是每一幀都有可能出現(xiàn)彈幕.在彈幕選取時(shí)，彈幕時(shí)刻的短視頻內(nèi)容與其是一一對(duì)應(yīng)的，本文將短視頻當(dāng)中彈幕最為密集的時(shí)刻定義為該短視頻的高光時(shí)刻.

2.1.2 文本分析

目前，在短視頻推薦領(lǐng)域很少有人將彈幕文本作為推薦依據(jù).而實(shí)際上，隨著短視頻的火爆以及彈幕系統(tǒng)的廣泛應(yīng)用，用戶通過(guò)彈幕發(fā)表自己對(duì)短視頻的評(píng)論與見(jiàn)解，彈幕文本越來(lái)越能夠反映出用戶的喜好.彈幕文本在用戶進(jìn)行視頻選擇的過(guò)程中，可以將其作為重要的參考內(nèi)容，以此來(lái)滿足不同用戶對(duì)于各類視頻以及視頻內(nèi)容的檢索需求.

本文采用LDA[21]模型進(jìn)行彈幕文本分析.如公式(1)所示，d為彈幕文本，z為彈幕文本中的某個(gè)主題，則條件概率P(zi|d)表示在彈幕文本當(dāng)中某個(gè)主題的概率，w為文本主題中的某個(gè)單詞，因此P(w|zi)表示在某個(gè)彈幕主題當(dāng)中單詞的分布概率.則對(duì)于一個(gè)單詞w在整個(gè)彈幕文本d中的分布概率為：

(1)

其中，z表示隱含主題的個(gè)數(shù)，該數(shù)值大小需要提前進(jìn)行確定，不同的z值將會(huì)對(duì)于文本建模結(jié)果產(chǎn)生影響.

本文通過(guò)Gibbs抽樣進(jìn)行LDA模型的構(gòu)建，利用公式(2)計(jì)算每個(gè)單詞在彈幕文本當(dāng)中的概率大小，并且通過(guò)其概率來(lái)確定彈幕文本主題.對(duì)于彈幕文本di中的每個(gè)單詞wi循環(huán)抽樣，估算由wi生成一個(gè)新的主題zi=n的概率P(zi=n|wi，di，z-i)如公式(2)

(2)

通過(guò)Gibbs重復(fù)抽樣，當(dāng)抽樣次數(shù)足夠多且滿足要求的時(shí)候，彈幕文本中隱含的主題概率將會(huì)趨于穩(wěn)定，并且服從狄利克雷分布函數(shù)，而此時(shí)對(duì)于公式當(dāng)中的平滑參數(shù)α、β，其達(dá)到其收斂值.對(duì)于其中的先驗(yàn)概率可以通過(guò)式(3)和式(4)得到.

(3)

(4)

通過(guò)LDA模型，得到彈幕文本中的主題分布，進(jìn)而確定該短視頻的主題，將短視頻按主題進(jìn)行劃分，同一個(gè)主題下有若干短視頻.

2.2 短視頻內(nèi)容特征分析

2.2.1 視頻片段處理

與傳統(tǒng)的視頻相比，短視頻不僅具有輕量化的特點(diǎn)，同時(shí)其包括的內(nèi)容量大，信息全面，表達(dá)方式跟為直觀、具體.用戶能夠在短時(shí)間內(nèi)找到自己感興趣的視頻內(nèi)容.用戶在觀看短視頻的同時(shí)，可以發(fā)送彈幕，彈幕最為密集的時(shí)刻，本文將其定義為高光時(shí)刻，同時(shí)將高光時(shí)刻作為生成網(wǎng)絡(luò)的輸入，高光時(shí)刻是整個(gè)短視頻內(nèi)容中的核心部分，也是用戶更為感興趣的環(huán)節(jié).

高光時(shí)刻為短視頻當(dāng)中彈幕最為密集的時(shí)刻，高光時(shí)刻的選取跟彈幕的數(shù)量密切相關(guān).與此同時(shí)，本文通過(guò)對(duì)大量短視頻研究發(fā)現(xiàn)，短視頻中彈幕的生存時(shí)間為t0=5 s，即一條彈幕出現(xiàn)到消失持續(xù)時(shí)間為5 s，因此本文根據(jù)短視頻彈幕的生存時(shí)間t0=5 s，按照5 s時(shí)間間隔進(jìn)行彈幕收集，將其中彈幕數(shù)量最多的部分，作為該短視頻的高光時(shí)刻.

2.2.2 內(nèi)容特征提取

經(jīng)2.1節(jié)對(duì)所選彈幕文本進(jìn)行LDA主題模型分類之后，各短視頻能夠根據(jù)其彈幕文本的主題進(jìn)行劃分.與此同時(shí)，根據(jù)彈幕文本的選擇，能夠確定各短視頻中的高光時(shí)刻.在同一主題下，將所屬短視頻中的高光時(shí)刻作為生成網(wǎng)絡(luò)的輸入，提取短視頻內(nèi)容特征.

深度學(xué)習(xí)模型能夠準(zhǔn)確識(shí)別視頻、圖像以及文字等內(nèi)容，本文采用深度學(xué)習(xí)方法中的卷積神經(jīng)網(wǎng)絡(luò)對(duì)短視頻中的“高光時(shí)刻”進(jìn)行處理，如圖2所示，本文采用兩次卷積+池化的方式，以此來(lái)保證提取特征的穩(wěn)定性.

圖2 主題模型生成網(wǎng)絡(luò)

本文將短視頻中的高光時(shí)刻作為生成網(wǎng)絡(luò)的輸入，在卷積層當(dāng)中設(shè)置其卷積核大小為5×5的，輸入的通道數(shù)是1，輸出的通道數(shù)是32，經(jīng)過(guò)卷積層之后得到6個(gè)C1特征圖，并且將其作為第一次池化的輸入，設(shè)置池化的步長(zhǎng)為2，經(jīng)過(guò)池化之后，S2中每個(gè)特征圖的大小是C1中特征圖大小的1/4，通過(guò)sigmoid激活函數(shù)，得到短視頻高光時(shí)刻中的內(nèi)容特征.

在第二次卷積+池化的過(guò)程當(dāng)中，其卷積核大小與第一次相同，但是其輸入的通道數(shù)增加為32，輸出的通道數(shù)64，S4中每個(gè)特征圖的大小是C3中特征圖大小的1/4，在全連接層當(dāng)中，加上一個(gè)偏置，結(jié)果通過(guò)sigmoid函數(shù)輸出.生成網(wǎng)絡(luò)根據(jù)短視頻中視頻內(nèi)容特征進(jìn)行模型訓(xùn)練，最終實(shí)現(xiàn)短視頻的主題分類.

2.3 生成推薦列表

根據(jù)用戶的歷史觀看記錄，能夠得到用戶最近所觀看過(guò)的短視頻，通過(guò)短視頻中高光時(shí)刻的內(nèi)容特征，確定該短視頻的主題.這里借助one-hot[22]編碼的思想，使用N位狀態(tài)寄存器表示N位信息，每一位信息表示一種主題類別.在同一主題下，通過(guò)公式(5)進(jìn)行相似度計(jì)算，最終按照相似度大小排序，選擇排序靠前的短視頻形成推薦列表.

(5)

D1表示用戶近期觀看短視頻中的高光時(shí)刻，D2表示同一主題下其他視頻的高光時(shí)刻，通過(guò)one-hot編碼對(duì)短視頻的高光時(shí)刻進(jìn)行向量計(jì)算，即lk表示短視頻中的向量.分子表示兩個(gè)視頻向量的點(diǎn)乘積，分母表示兩個(gè)視頻向量的模的乘積，進(jìn)行其相似度計(jì)算.

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

本文構(gòu)建的推薦模型開(kāi)發(fā)工具為pycharm，運(yùn)行環(huán)境為Windows10-64位系統(tǒng)，計(jì)算機(jī)采用2.30 GHz，Intel(R)Core(TM)i5-4200U和8 GB內(nèi)存.

本文中所用數(shù)據(jù)來(lái)源于嗶哩嗶哩網(wǎng)站、騰訊視頻以及優(yōu)酷新媒體短視頻，樣本數(shù)據(jù)的統(tǒng)計(jì)信息包括：視頻總量為8 000個(gè)，視頻類別包含10個(gè)大類，34個(gè)小類，所有的數(shù)據(jù)處理都是通過(guò)Python進(jìn)行實(shí)現(xiàn)的.

3.2 評(píng)價(jià)指標(biāo)

本文設(shè)置了三組對(duì)比試驗(yàn)以此來(lái)驗(yàn)證模型的準(zhǔn)確性和效率.本文還設(shè)置了通過(guò)用戶的行為分析進(jìn)行視頻推薦RFM[23]、融合評(píng)論分析的視頻推薦模型VRFCL[24]以及基于內(nèi)容的協(xié)同過(guò)濾模型MTER[25]作為本實(shí)驗(yàn)的對(duì)比實(shí)驗(yàn).本實(shí)驗(yàn)采用準(zhǔn)確率、召回率和F值三個(gè)指標(biāo)來(lái)衡量各模型的有效性，評(píng)價(jià)指標(biāo)的計(jì)算公式如式(6)-(8)表示.其中TP表示的是方法推薦的并且用戶真實(shí)喜歡的視頻數(shù)，F(xiàn)P表示方法推薦的但不是用戶喜歡的視頻數(shù)，F(xiàn)N表示方法沒(méi)有推薦但是用戶實(shí)際喜歡的視頻數(shù)，而TN則是方法既沒(méi)有推薦而且用戶也不喜歡的視頻數(shù).

(6)

(7)

(8)

與此同時(shí)，為了保證彈幕文本能夠突出其主題，根據(jù)彈幕文本當(dāng)中的主題數(shù)量Z進(jìn)行實(shí)驗(yàn)，由于片段當(dāng)中的彈幕數(shù)目有成百上千條，其主題數(shù)也有幾十種，為了保證主題簡(jiǎn)短而有效，設(shè)置Z的數(shù)值為1～10，圖3為彈幕主題個(gè)數(shù)對(duì)準(zhǔn)確性的影響情況.由圖3可知，在主題個(gè)數(shù)Z的選取中，當(dāng)主題數(shù)為3時(shí)達(dá)到最優(yōu)，超過(guò)5個(gè)后，對(duì)準(zhǔn)確率的影響不大.

圖3 彈幕文本主題Z個(gè)數(shù)對(duì)準(zhǔn)確性的影響

圖4 各模型指標(biāo)的比較

通過(guò)圖4的比較可知，模型的召回率更高，其模型的推薦性更高，并且其F值也明顯也高于另外三種模型.圖4中對(duì)于4種模型的準(zhǔn)確率、召回率以及F值進(jìn)行了匯總，通過(guò)觀察可知，本文通過(guò)引入彈幕文本，極大的提高了個(gè)性化服務(wù)水平，在模型的準(zhǔn)確性、召回率以及F值等方面都有了一定程度的提升.

圖5 各模型效率對(duì)比圖

在方法四當(dāng)中，本文提出的CVBT模型充分結(jié)合了視頻當(dāng)中的彈幕信息，彈幕文本能夠在一定程度上反映出用戶的真實(shí)情感，用戶在觀看視頻的時(shí)候，可以通過(guò)彈幕的方式將自己的情感或者是對(duì)于內(nèi)容的評(píng)論進(jìn)行發(fā)送，這樣新型的彈幕文化對(duì)于短視頻推薦當(dāng)中起到的作用是毋庸置疑的，因此推薦的準(zhǔn)確率更高一些.同時(shí)方法四的召回率更好一些，說(shuō)明其穩(wěn)定性更好一些.

本文根據(jù)高光時(shí)刻進(jìn)行視頻內(nèi)容特征的分析，其效率要比對(duì)短視頻作整體內(nèi)容分析要高，圖5所示為模型效率對(duì)比，如圖所示，本文提出的CVBT在效率上要比其他模型高很多.

4 結(jié)論

基于目前短視頻在推薦過(guò)程中的準(zhǔn)確性與效率不高，本文提出了一種視頻內(nèi)容特征與彈幕文本相結(jié)合的短視頻推薦模型，融合深度學(xué)習(xí)方法與彈幕技術(shù)的優(yōu)勢(shì)，提高短視頻推薦的個(gè)性化水平.首先對(duì)于彈幕進(jìn)行文本分析，確定彈幕文本的主題；然后通過(guò)深度學(xué)習(xí)分析短視頻內(nèi)容的特征，得到相應(yīng)的主題模型；最后根據(jù)用戶的近期興趣，確定其主題，形成相應(yīng)的推薦列表通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證，本文所提模型在準(zhǔn)確率、召回率上比RFM以及VRFCL等模型有較顯著的提升，并且效率也有所提高.