夏云

[摘 要]隨著互聯(lián)網(wǎng)時(shí)代的到來，視頻、音頻、語音等互聯(lián)網(wǎng)產(chǎn)品內(nèi)容不斷涌現(xiàn)。在人口紅利消失的大背景下，內(nèi)容成為互聯(lián)網(wǎng)行業(yè)新的競爭點(diǎn)，內(nèi)容風(fēng)控也面臨國家更多政策要求。在龐大的內(nèi)容資源下，快速高效地識(shí)別并過濾涉政、違禁、暴恐、色情、侵權(quán)、欺詐等違規(guī)信息，成為所有互聯(lián)網(wǎng)內(nèi)容平臺(tái)關(guān)注焦點(diǎn)之一。文章探討了互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控的背景、主流模式、市場現(xiàn)狀，并在對未來的內(nèi)容風(fēng)控發(fā)展方向建議基礎(chǔ)上，對相關(guān)企業(yè)互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控業(yè)務(wù)提出了相應(yīng)建議，以供參考。

[關(guān)鍵詞]內(nèi)容風(fēng)控;互聯(lián)網(wǎng);內(nèi)容審核

中圖分類號(hào)： F325.2? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ?文章編號(hào)：1674-1722（2021）21-0001-03

在人口紅利消失的大背景下，內(nèi)容成為互聯(lián)網(wǎng)行業(yè)新的競爭點(diǎn)。與之同時(shí)，監(jiān)管趨嚴(yán)，對內(nèi)容的嚴(yán)謹(jǐn)審核關(guān)乎到平臺(tái)聲譽(yù)和存亡。龐大的內(nèi)容資源下，快速高效地識(shí)別并過濾色情、暴恐、涉政等違規(guī)信息，成為所有互聯(lián)網(wǎng)內(nèi)容平臺(tái)關(guān)注焦點(diǎn)之一。

一、互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控業(yè)務(wù)的研究背景

（一）互聯(lián)網(wǎng)產(chǎn)品的內(nèi)容審核面臨更大難度

隨著5G時(shí)代和自媒體時(shí)代的到來，圖片、語音、音頻、視頻等互聯(lián)網(wǎng)產(chǎn)品內(nèi)容不斷涌現(xiàn)，其中以UGC，即用戶生產(chǎn)內(nèi)容最具代表性，內(nèi)容多元，形式豐富，且呈現(xiàn)出爆發(fā)式增長的趨勢。一大批新興的社交平臺(tái)脫穎而出，用戶數(shù)量及活躍度也隨之激增。這些數(shù)量龐大的網(wǎng)絡(luò)用戶，道德水平和專業(yè)水平參差不齊。在這樣的情況下，如果對內(nèi)容審核不嚴(yán)格而使不良信息隨意傳播，將會(huì)產(chǎn)生錯(cuò)誤輿論導(dǎo)向，影響未成年人的健康成長和社會(huì)安定，給國家安全、公眾利益造成極大困擾。UGC的內(nèi)容量呈指數(shù)級(jí)增長且形式多樣，傳播速度快，影響范圍廣。在全民參與的同時(shí)，也會(huì)引發(fā)版權(quán)侵權(quán)問題，版權(quán)所有權(quán)人的合法權(quán)益受到極大損害，網(wǎng)絡(luò)平臺(tái)應(yīng)當(dāng)承擔(dān)更多責(zé)任[1]。

對監(jiān)管部門來說，執(zhí)法部門在技術(shù)監(jiān)管方面審查難、取證難，復(fù)雜的網(wǎng)絡(luò)環(huán)境、密集的違規(guī)內(nèi)容、稀缺的專業(yè)技術(shù)人員，使網(wǎng)絡(luò)監(jiān)管面臨很大困難。伴隨著億級(jí)數(shù)量的用戶活躍度，平臺(tái)面臨的是成倍增長的內(nèi)容審核壓力，部分平臺(tái)審核標(biāo)準(zhǔn)和尺度把握不夠準(zhǔn)確，“自審自?！钡臋C(jī)制也無法做到嚴(yán)謹(jǐn)、客觀、公正。如何確保內(nèi)容合法合規(guī)，成為行業(yè)有序發(fā)展和監(jiān)管部門工作的重點(diǎn)。這一切，都對內(nèi)容風(fēng)控提出了新的挑戰(zhàn)[2]。

（二）內(nèi)容風(fēng)控面臨國家更多政策要求

習(xí)近平總書記在2018年全國網(wǎng)絡(luò)安全和信息化工作會(huì)議上強(qiáng)調(diào)，要加強(qiáng)網(wǎng)上正面宣傳，旗幟鮮明地堅(jiān)持正確政治方向、輿論導(dǎo)向、價(jià)值取向。要壓實(shí)互聯(lián)網(wǎng)企業(yè)的主體責(zé)任，決不能讓互聯(lián)網(wǎng)成為傳播有害信息、造謠生事的平臺(tái)。

2019年12月20日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》。根據(jù)規(guī)定，網(wǎng)絡(luò)信息內(nèi)容服務(wù)使用者和生產(chǎn)者、平臺(tái)不得開展網(wǎng)絡(luò)暴力、人肉搜索、深度偽造、流量造假、操縱賬號(hào)等違法活動(dòng)。

2020年6月30日，習(xí)近平總書記主持召開中央全面深化改革委員會(huì)第十四次會(huì)議，通過了《關(guān)于加快推進(jìn)媒體深度融合發(fā)展的指導(dǎo)意見》（以下簡稱《意見》）?！兑庖姟分赋?，堅(jiān)持正能量是總要求、管得住是硬道理、用得好是真本事，堅(jiān)持正確方向，堅(jiān)持一體發(fā)展，堅(jiān)持移動(dòng)優(yōu)先，堅(jiān)持科學(xué)布局，堅(jiān)持改革創(chuàng)新，推動(dòng)傳統(tǒng)媒體和新興媒體在體制機(jī)制、政策措施、流程管理、人才技術(shù)等方面加快融合步伐，盡快建成一批具有強(qiáng)大影響力和競爭力的新型主流媒體，逐步構(gòu)建網(wǎng)上網(wǎng)下一體、內(nèi)宣外宣聯(lián)動(dòng)的主流輿論格局，建立以內(nèi)容建設(shè)為根本、先進(jìn)技術(shù)為支撐、創(chuàng)新管理為保障的全媒體傳播體系。《意見》指出，要推進(jìn)內(nèi)容生產(chǎn)供給側(cè)結(jié)構(gòu)性改革，更加注重網(wǎng)絡(luò)內(nèi)容建設(shè)，始終保持內(nèi)容定力，專注內(nèi)容質(zhì)量，擴(kuò)大優(yōu)質(zhì)內(nèi)容產(chǎn)能，創(chuàng)新內(nèi)容表現(xiàn)形式，提升內(nèi)容傳播效果[3]。

2021年7月19日，人民網(wǎng)股份有限公司發(fā)布了《人民網(wǎng)“十四五”發(fā)展規(guī)劃》，提出了堅(jiān)持內(nèi)容主業(yè)、拓展新型業(yè)務(wù)內(nèi)容、成為內(nèi)容科技領(lǐng)軍企業(yè)、穩(wěn)居國有文化傳媒上市公司第一方陣等目標(biāo)。其中尤為引人注目的是，人民網(wǎng)明確提出，進(jìn)一步拓展內(nèi)容運(yùn)營、內(nèi)容風(fēng)控、內(nèi)容聚發(fā)等新型內(nèi)容業(yè)務(wù)，在內(nèi)容產(chǎn)業(yè)新的社會(huì)化分工的關(guān)鍵“生態(tài)位”發(fā)揮引領(lǐng)、連接、標(biāo)準(zhǔn)制定等關(guān)鍵作用。2021年2月，文化和旅游部等七部委聯(lián)合發(fā)布《關(guān)于加強(qiáng)網(wǎng)絡(luò)直播規(guī)范管理工作的指導(dǎo)意見》，提出要壓實(shí)平臺(tái)主體責(zé)任，建立健全內(nèi)容審核、技術(shù)安全等內(nèi)部管理制度;加強(qiáng)未成年人保護(hù)，屏蔽不利于未成年人健康成長的網(wǎng)絡(luò)直播內(nèi)容;嚴(yán)厲查處侵權(quán)盜版等違法犯罪行為。其中關(guān)于文化和旅游部門的工作內(nèi)容中提到，要加強(qiáng)網(wǎng)絡(luò)表演行業(yè)管理和執(zhí)法工作，指導(dǎo)相關(guān)行業(yè)組織加強(qiáng)網(wǎng)絡(luò)表演行業(yè)自律[4]。

二、內(nèi)容風(fēng)控市場現(xiàn)狀

（一）內(nèi)容風(fēng)控的核心是內(nèi)容審核

1.內(nèi)容審核是基于圖像、文本、音視頻的檢測技術(shù)

從技術(shù)應(yīng)用的角度看，內(nèi)容審核（Content Moderation）是基于圖像、文本、音視頻的檢測技術(shù)，可自動(dòng)檢測涉政、涉暴、涉黃、敏感人物、圖文違規(guī)等內(nèi)容。許多內(nèi)容風(fēng)控產(chǎn)品主打的就是對用戶上傳的圖片、文字、音視頻進(jìn)行內(nèi)容審核，以滿足上傳要求，幫助客戶降低業(yè)務(wù)違規(guī)風(fēng)險(xiǎn)。隨著互聯(lián)網(wǎng)的飛速發(fā)展和信息量猛增，大量色情、暴力、政治敏感等不良信息夾雜其中，若不做好內(nèi)容審核，不良內(nèi)容會(huì)讓用戶產(chǎn)生反感，從而降低產(chǎn)品使用頻率，最終遠(yuǎn)離產(chǎn)品。

2.內(nèi)容審核不到位會(huì)引起監(jiān)管風(fēng)險(xiǎn)和商業(yè)損失

內(nèi)容審核不到位會(huì)引起監(jiān)管風(fēng)險(xiǎn)和商業(yè)損失。監(jiān)管風(fēng)險(xiǎn)主要是涉政、違禁、暴恐、色情、侵權(quán)五大類內(nèi)容，將直接導(dǎo)致平臺(tái)面臨約談、整頓、罰款乃至關(guān)停。其他威脅相對低的類目包括違規(guī)廣告、低俗內(nèi)容、不文明以及垃圾信息，也會(huì)對平臺(tái)造成負(fù)面影響。商業(yè)損失是指大量廣告導(dǎo)流、欺詐廣告會(huì)導(dǎo)致用戶體驗(yàn)變差，長此以往，用戶流失、平臺(tái)受損。導(dǎo)流廣告和欺詐廣告往往由黑產(chǎn)所為。隨著互聯(lián)網(wǎng)行業(yè)發(fā)展，網(wǎng)絡(luò)欺詐無處不在，黑色產(chǎn)業(yè)鏈已發(fā)展為成熟體系。在黑產(chǎn)面前，損失不言而喻。

（二）國內(nèi)提供第三方內(nèi)容風(fēng)控類型

目前國內(nèi)提供第三方內(nèi)容風(fēng)控企業(yè)共計(jì)20余家，可大致分為三種類型：技術(shù)導(dǎo)向的云服務(wù)企業(yè)、有內(nèi)容基因的國有傳媒企業(yè)、新興的創(chuàng)業(yè)公司。

1.技術(shù)導(dǎo)向的云服務(wù)企業(yè)

此類企業(yè)包括阿里云、騰訊云、百度云、網(wǎng)易云等。這些企業(yè)云化產(chǎn)品線龐大，提供服務(wù)齊全。例如，阿里云提供包括云計(jì)算基礎(chǔ)、安全、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等多種產(chǎn)品和服務(wù)。內(nèi)容安全審核只是安全產(chǎn)品線中“業(yè)務(wù)安全”下的一個(gè)分支業(yè)務(wù)，安全產(chǎn)品線還包括基礎(chǔ)安全、數(shù)據(jù)安全、身份管理等20余種服務(wù)。百度AI開放平臺(tái)提供包括語音、圖像技術(shù)、人臉識(shí)別、視頻技術(shù)、AR/VR等多種產(chǎn)品。

根據(jù)這幾大企業(yè)公布的數(shù)據(jù)，他們的審核準(zhǔn)確率通常都在90%以上。在定價(jià)上，這些公司基本都是按照調(diào)用量和調(diào)用內(nèi)容進(jìn)行分階梯計(jì)價(jià)，部分推出優(yōu)惠政策。如百度云提供給用戶每日2000張的免費(fèi)審核額度，阿里云推出包年基礎(chǔ)包和按量加油包，騰訊云則直接按照包年/包月兩種套餐進(jìn)行計(jì)費(fèi)。

2.有內(nèi)容基因的國有傳媒企業(yè)

此類企業(yè)以人民網(wǎng)為代表，平臺(tái)有內(nèi)容審核需求，積累經(jīng)驗(yàn)后再向第三方提供服務(wù)，輸出經(jīng)驗(yàn)。在內(nèi)容風(fēng)控業(yè)務(wù)方面，公司2012年就成立專門團(tuán)隊(duì)，積累有效行業(yè)標(biāo)準(zhǔn)，同時(shí)搭建自主知識(shí)產(chǎn)權(quán)技術(shù)平臺(tái)。接下來，公司希望一方面針對大型央企、國企、互聯(lián)網(wǎng)公司建立長期合作模式，另一方面針對中小企業(yè)搭建云審核平臺(tái)，通過智能化和標(biāo)準(zhǔn)化服務(wù)，幫助中小企業(yè)確保內(nèi)容安全并降低內(nèi)容審核成本。

除此之外，作為一家權(quán)威國有媒體，人民網(wǎng)希望在內(nèi)容風(fēng)控領(lǐng)域把內(nèi)容風(fēng)控定義為一個(gè)全新職業(yè)，形成職業(yè)分級(jí)與分類。同時(shí)形成“風(fēng)控大腦”，提供具有開放技術(shù)能力的后臺(tái)，通過數(shù)據(jù)積累使得公司不僅能提供內(nèi)容風(fēng)控服務(wù)，還能對外輸出一套業(yè)務(wù)標(biāo)準(zhǔn)。

可以看到，相較于互聯(lián)網(wǎng)企業(yè)從技術(shù)角度切入內(nèi)容風(fēng)控領(lǐng)域，人民網(wǎng)作為有內(nèi)容基因的大型國有媒體，更希望從源頭定義行業(yè)，把自身對政策理解能力、對內(nèi)容把控能力作為一項(xiàng)標(biāo)準(zhǔn)對外輸出。

3.新興的創(chuàng)業(yè)公司

這些創(chuàng)業(yè)公司大多是在云服務(wù)或安全領(lǐng)域進(jìn)行創(chuàng)業(yè)，內(nèi)容風(fēng)控與審核是云服務(wù)的一個(gè)細(xì)分產(chǎn)品。

例如，融云公司主要做互聯(lián)網(wǎng)通信云、七牛云主要做視頻云服務(wù)、圖普科技主要是圖像識(shí)別云服務(wù);數(shù)美科技和同盾科技則主要在互聯(lián)網(wǎng)安全領(lǐng)域，提供反欺詐和信貸風(fēng)控。值得一提的是，老牌公司科大訊飛在訊飛開放平臺(tái)中也提供暴恐、敏感信息等內(nèi)容審核服務(wù)。

云凈網(wǎng)絡(luò)主要在反垃圾和安全審核兩個(gè)領(lǐng)域提供服務(wù)，包含文本、圖片、視頻和音頻的檢測。根據(jù)“云凈網(wǎng)安全”公眾號(hào)信息，云凈網(wǎng)完成了在六大城市人工審核團(tuán)隊(duì)建設(shè)，目前人工審核團(tuán)隊(duì)儲(chǔ)備已經(jīng)超過1000人規(guī)模。較為龐大的人工審核團(tuán)隊(duì)搭建使得云凈網(wǎng)和其他內(nèi)容風(fēng)控公司形成差異化競爭。

（三）內(nèi)容風(fēng)控模式

內(nèi)容風(fēng)控包括自建內(nèi)容風(fēng)控團(tuán)隊(duì)和第三方審核兩類模式。其中，自建模式一般團(tuán)隊(duì)龐大，成本高昂，但大型互聯(lián)網(wǎng)公司，尤其是擁有UGC產(chǎn)品的公司通常都有龐大的自建內(nèi)容審核團(tuán)隊(duì)，如今日頭條、快手、微博等，他們的內(nèi)容審核相關(guān)人員一般都有上千人。對大型互聯(lián)網(wǎng)企業(yè)來說，自建內(nèi)容審核團(tuán)隊(duì)雖然成本較高但便于管理且能保證內(nèi)容審核的高效。今日頭條媒體合作總監(jiān)表示，今日頭條2.3萬名員工中，有1萬名內(nèi)容審核員工，具體到每一幀畫面、各種評(píng)論內(nèi)容等，都進(jìn)行7×24小時(shí)監(jiān)控;而對中小型創(chuàng)業(yè)企業(yè)來說，技術(shù)資金有限，無法快速搭建屬于自己的內(nèi)容審核團(tuán)隊(duì)，因此應(yīng)運(yùn)而生第三方內(nèi)容審核機(jī)構(gòu)。第三方內(nèi)容風(fēng)控是指由第三方專業(yè)機(jī)構(gòu)利用技術(shù)和人工審核團(tuán)隊(duì)，對新聞資訊、直播、短視頻等進(jìn)行色情、暴恐、涉政等違規(guī)內(nèi)容識(shí)別，過濾并刪除含有違規(guī)信息的圖文及音視頻，以保證平臺(tái)內(nèi)容合法合規(guī)和綠色健康，內(nèi)容平臺(tái)方根據(jù)審核內(nèi)容及數(shù)量支付給第三方機(jī)構(gòu)一定報(bào)酬的業(yè)務(wù)模式。

三、互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控的發(fā)展方向

從風(fēng)控需求來看，互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控應(yīng)做到橫縱兩方面的要求。橫向來講，內(nèi)容形式上應(yīng)做到全域覆蓋。內(nèi)容主要有五類：文本、圖片、音頻、視頻、網(wǎng)頁。只有在內(nèi)容形式上覆蓋足夠?qū)拸V，才不會(huì)造成誤殺漏殺?？v向來講，垂直場景上應(yīng)做到深度應(yīng)用。風(fēng)控是細(xì)化到場景的，在對場景的理解和場景化建模方面的能力要求很高。以圖片涉政場景為例，有正常照片、雕塑、漫畫，每一個(gè)場景都需要單獨(dú)的模型。還有AI識(shí)別不良行為，比如抽煙、喝酒等，這類人工智能技術(shù)非?？简?yàn)對場景的理解與技術(shù)應(yīng)用。

從市場發(fā)展角度來看，目前無論是自建審核團(tuán)隊(duì)還是第三方內(nèi)容審核，基本都是按照“技術(shù)+人工”兩個(gè)步驟進(jìn)行。未來內(nèi)容風(fēng)控行業(yè)或?qū)⑿纬杉夹g(shù)型公司和內(nèi)容型公司兩大陣營：技術(shù)型公司以擁有AI技術(shù)的大互聯(lián)網(wǎng)公司為主，他們在自然語言處理、圖像識(shí)別、人工智能等技術(shù)上具有明顯優(yōu)勢，數(shù)據(jù)量龐大可實(shí)現(xiàn)不斷的機(jī)器學(xué)習(xí)。對這些公司來說，內(nèi)容審核只是其業(yè)務(wù)的一個(gè)部分，其他還包括對網(wǎng)絡(luò)垃圾信息過濾、互聯(lián)網(wǎng)安全等全方位的企業(yè)級(jí)服務(wù)。內(nèi)容型公司以人民網(wǎng)為代表，目前他們在技術(shù)方面相對巨頭互聯(lián)網(wǎng)公司不占優(yōu)勢，但是在內(nèi)容敏感性、把關(guān)能力、判斷能力和對審核內(nèi)容不斷更新迭代方面更具有優(yōu)勢。

四、互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控企業(yè)發(fā)展建議

盡管目前互聯(lián)網(wǎng)給相關(guān)企業(yè)帶來了較好的發(fā)展效益，但為提升企業(yè)環(huán)境發(fā)展適應(yīng)性，提升企業(yè)發(fā)展合規(guī)性，企業(yè)應(yīng)做好內(nèi)容風(fēng)控措施：第一，全面體檢，針對布局。企業(yè)要針對自身互聯(lián)網(wǎng)發(fā)展事件，邀請或通過自身內(nèi)容安全專家，全方位剖析自身內(nèi)容安全構(gòu)架，并測試、評(píng)估該構(gòu)架是否具擁有一定安全性，并依舊缺漏項(xiàng)，以國家標(biāo)準(zhǔn)為中心，以企業(yè)實(shí)際資源為基礎(chǔ)，逐一糾正、完善或重構(gòu)。同時(shí)，為保障企業(yè)內(nèi)容合規(guī)性、依法性，企業(yè)還應(yīng)搭建相關(guān)跟蹤體系，跟蹤國家相關(guān)部門機(jī)構(gòu)，及時(shí)解讀政府相關(guān)文件，并依據(jù)文件內(nèi)容修正自身內(nèi)容風(fēng)控體系，以保障自身內(nèi)容安全。第二，內(nèi)外兼顧，循環(huán)檢測。相關(guān)企業(yè)應(yīng)立足熱點(diǎn)事件、敏感內(nèi)容、實(shí)時(shí)內(nèi)容等，以內(nèi)容監(jiān)管規(guī)范為中心，把控審查內(nèi)容支出。同時(shí)，搭建閉環(huán)內(nèi)外巡查內(nèi)容風(fēng)控隊(duì)伍，一方面通過現(xiàn)代智能設(shè)備，精準(zhǔn)定位企業(yè)內(nèi)外內(nèi)容控制風(fēng)險(xiǎn)，并輔助其提出針對性應(yīng)對措施。另一方面以內(nèi)容風(fēng)險(xiǎn)控制隊(duì)伍為中心，輻射安全管理制度，提升企業(yè)其他相關(guān)部門合作效果，以保障企業(yè)互聯(lián)網(wǎng)內(nèi)容合規(guī)發(fā)展。

五、結(jié)語

綜上，在現(xiàn)行互聯(lián)網(wǎng)環(huán)境下，企業(yè)網(wǎng)絡(luò)內(nèi)容合規(guī)性擁有非常重要的作用，企業(yè)應(yīng)對其予以一定重視。其中內(nèi)容風(fēng)控作為一種重要的管理措施，相關(guān)企業(yè)要以自身資源為中心，以政府政策為導(dǎo)向，編制內(nèi)容風(fēng)控管理體系，以保障自身內(nèi)容合規(guī)性。據(jù)此，文章全面分析了目前互聯(lián)網(wǎng)時(shí)代內(nèi)容風(fēng)控業(yè)務(wù)相關(guān)內(nèi)容，具有一定的參考價(jià)值。

參考文獻(xiàn)：

[1]智能內(nèi)容風(fēng)控SaaS平臺(tái)「博特智能」完成近千萬元天使輪融資，投資方為武漢東湖眾合天使基金[EB/OL].[2020-03-09].

[2]辛瑞佳.以科技為驅(qū)動(dòng)，打造智能化的內(nèi)容風(fēng)控平臺(tái)[J].傳媒，2019（19）：22+24.

[3]簡承淵，馮思潮，何嬌.全媒體時(shí)代內(nèi)容風(fēng)控的困境與新路徑[J].青年記者，2019（28）：36-37.

[4]朱浩齊.構(gòu)建全鏈路內(nèi)容風(fēng)控體系，解決內(nèi)容安全難題[J].中國信息安全，2020（02）：73-74.