[馬蘊(yùn)穎 王晟寰]
PCDN(Peered Content Delivery Network),即對(duì)等內(nèi)容分發(fā)網(wǎng)絡(luò),是一種基于P2P技術(shù)的內(nèi)容分發(fā)網(wǎng)絡(luò),通過利用邊緣網(wǎng)絡(luò)海量碎片化閑置資源而構(gòu)建的低成本內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)。它可以讓用戶從彼此的計(jì)算機(jī)中直接獲取所需的內(nèi)容,而不需要通過中心化的服務(wù)器進(jìn)行傳輸,即部分內(nèi)容從用戶設(shè)備上獲取,減少了對(duì)中心服務(wù)器的訪問需求。
由于使用PCDN技術(shù)的帶寬價(jià)格便宜,所以此部分流量在互聯(lián)網(wǎng)流量中的占比越來(lái)越大。如何識(shí)別和分析此類業(yè)務(wù),并進(jìn)行有效監(jiān)管,是隨著技術(shù)發(fā)展出現(xiàn)的新課題。本文從實(shí)際應(yīng)用出發(fā),研究和探索了一條通過流量關(guān)鍵信息采集來(lái)識(shí)別PCDN業(yè)務(wù)的方法,同時(shí)對(duì)如何在政策上予以規(guī)范進(jìn)行了思考和建議。
在PCDN業(yè)務(wù)所涉及的各個(gè)環(huán)節(jié)中,提供網(wǎng)絡(luò)接入的基礎(chǔ)電信運(yùn)營(yíng)商,和最終服務(wù)的互聯(lián)網(wǎng)內(nèi)容提供商與正常的CDN業(yè)務(wù)相同。不同在于提供PCDN上行流量的用戶,和PCDN調(diào)度平臺(tái)。
典型的用戶端包括以下幾種。
(1)網(wǎng)盤優(yōu)化
寬帶用戶在使用網(wǎng)盤時(shí),可以看到類似提示:在“優(yōu)化速率模式"下,將電腦端的空閑上傳帶寬組建成特有的傳輸通道,為使用電腦端下載并進(jìn)入此傳輸通道的文件速率進(jìn)行優(yōu)化。本網(wǎng)盤將通過智能化的傳輸控制,優(yōu)先用戶的上網(wǎng)使用,不影響上網(wǎng)體驗(yàn)。
此類應(yīng)用雖然沒有明確說明采用PCDN技術(shù)進(jìn)行速率優(yōu)化,且名稱可能有所不同,但事實(shí)上是使用PCDN。
(2)各類路由寶、賺錢寶
某視頻網(wǎng)站在2014年曾推出一款稱作“XXX路由寶”的智能路由器,除了基本的上網(wǎng)功能外,該路由器還可以共享上行帶寬給其他用戶使用,每個(gè)用戶按照貢獻(xiàn)的上行帶寬大小獲得獎(jiǎng)勵(lì),可在商城兌換現(xiàn)金和禮品。
此類產(chǎn)品目前成為了PCDN業(yè)務(wù)的主要形態(tài),互聯(lián)網(wǎng)大廠以及PCDN平臺(tái)均推出類似產(chǎn)品。個(gè)人用戶進(jìn)行相應(yīng)設(shè)置后實(shí)現(xiàn)躺著賺錢的目標(biāo)。
現(xiàn)有的PCDN平臺(tái)有很多,包括網(wǎng)心云、云端、聚沙、派享云、明賦云等,為騰訊、B站等有互聯(lián)網(wǎng)流量需求的客戶,提供長(zhǎng)視頻、短視頻、直播類流量業(yè)務(wù)加速服務(wù)。其主要的計(jì)費(fèi)方式如表1所示,對(duì)終端配置的要求及參考價(jià)格如表2所示。
表1 PCDN平臺(tái)計(jì)費(fèi)方式示例
表2 PCDN服務(wù)類型、配置、價(jià)格示例
部分有技術(shù)實(shí)力的CDN平臺(tái)可綜合使用CDN及PCDN,組成混合的調(diào)度策略。質(zhì)量要求高的采用CDN,成本要求高的采用PCDN??傊?,PCDN已逐步成為CDN廠家不可或缺的選項(xiàng)。
綜合以上現(xiàn)狀可以將PCDN業(yè)務(wù)總結(jié)為,家寬用戶占運(yùn)營(yíng)商的便宜,PCDN平臺(tái)占家寬用戶的便宜。由于PCDN帶寬價(jià)格低,有需求有市場(chǎng)。家寬用戶每月可以賺取幾十元額外收入。PCDN運(yùn)營(yíng)商將低價(jià)帶寬賣給內(nèi)容服務(wù)商,降低了這些互聯(lián)網(wǎng)公司采購(gòu)帶寬的成本,因此PCDN的呈現(xiàn)出高速增長(zhǎng)的態(tài)勢(shì)。
運(yùn)營(yíng)商為了對(duì)PCDN業(yè)務(wù)進(jìn)行管理,需要在互聯(lián)網(wǎng)流量中識(shí)別出PCDN,為此探索了一套流量采集和識(shí)別PCDN業(yè)務(wù)的模型。
為了對(duì)PCDN流量進(jìn)行分析識(shí)別,需要對(duì)城域網(wǎng)的流量進(jìn)行整體采集,即在城域網(wǎng)MAN周邊采集互聯(lián)網(wǎng)流量,如圖1綠色區(qū)域位置。[1]采集的數(shù)據(jù)包含Netflow數(shù)據(jù),BGP路由表信息,以及設(shè)備物理端口的SNMP信息。這些數(shù)據(jù)將經(jīng)過傳輸電路收集到PCDN業(yè)務(wù)識(shí)別平臺(tái)。
圖1 PCDN流量采集模型示意
AAA信息是PCDN業(yè)務(wù)識(shí)別的關(guān)鍵信息,通常每個(gè)區(qū)域都有單獨(dú)的AAA服務(wù)器,需要將所有AAA日志全部采集到流量平臺(tái),以便通過寬帶賬號(hào)的上下行流量作為識(shí)別PCDN的重要條件。
DNS信息是PCDN業(yè)務(wù)識(shí)別的關(guān)鍵信息,通常每個(gè)區(qū)域都有單獨(dú)的DNS,可以是一個(gè)或者多個(gè)。需要將所有DNS日志信息全部采集到流量平臺(tái),以便通過AAA中的IP地址識(shí)別是否存在代理行為。
用于PCDN業(yè)務(wù)識(shí)別的關(guān)鍵信息采集模型如圖2所示。
圖2 PCDN業(yè)務(wù)識(shí)別關(guān)鍵信息采集模型示意
采集到互聯(lián)網(wǎng)流量采集平臺(tái)的數(shù)據(jù)是海量的,根據(jù)DNS/AAA和Netflow數(shù)據(jù)量大小及計(jì)算特點(diǎn),使用了不同的數(shù)據(jù)庫(kù),如圖3所示。
圖3 PCDN業(yè)務(wù)識(shí)別數(shù)據(jù)庫(kù)架構(gòu)
(1)DNS/AAA數(shù)據(jù)處理架構(gòu)
DNS和AAA數(shù)據(jù)都需要被用來(lái)識(shí)別PCDN業(yè)務(wù)。由于DNS數(shù)據(jù)量大,每天達(dá)到上百T,來(lái)自DNS的流量首先進(jìn)入Hadoop存儲(chǔ)離線集群,加工結(jié)果進(jìn)入Flink進(jìn)行計(jì)算,然后輸出到Clickhoue分布式數(shù)據(jù)庫(kù)。
AAA數(shù)據(jù)量相對(duì)小,類似DNS數(shù)據(jù)先進(jìn)入Hadoop集群,然后進(jìn)入Flink進(jìn)行計(jì)算,最后通過Clickhoue計(jì)算得到賬號(hào)、流量等分析結(jié)果。
(2)Netflow數(shù)據(jù)處理架構(gòu)
Netflow數(shù)據(jù)用于互聯(lián)網(wǎng)流量的統(tǒng)計(jì)識(shí)別,為了掌握PCDN的流量情況,需要將來(lái)自網(wǎng)絡(luò)的Netflow流量數(shù)據(jù)傳輸?shù)较⒅虚g件Kafka中。這是因?yàn)镹etflow流量數(shù)據(jù)非常大。大數(shù)據(jù)分析過程中瞬時(shí)間大量數(shù)據(jù),使用Kafka作為緩沖,不能及時(shí)處理的數(shù)據(jù)將存入Kafka中隊(duì)列等待。然后使用Flink對(duì)Kafka流量進(jìn)行流量分析計(jì)算。最后,相關(guān)數(shù)據(jù)進(jìn)入Clickhoue進(jìn)行流量計(jì)算結(jié)果輸出。[1]
(1)通過AAA日志計(jì)算寬帶用戶單位時(shí)間內(nèi)使用的流量,如果上行流量過大或者上下行比例過大,即判斷存在PCDN可能性。首先根據(jù)AAA日志中的上行字節(jié)、下行字節(jié)計(jì)算出該段時(shí)間內(nèi)該用戶的流量。AAA日志主要字段如表3所示。
表3 AAA日志主要字段
(2)根據(jù)(1)篩選上行流量過大的用戶,核查AAA日志中訪問的目的端口為特殊端口的寬帶用戶,如35120等端口。例如根據(jù)表4 AAA日志記錄,篩選出上行流量過大的IP 123.1.1.1:
表4 AAA日志整理示例
(3)核查該IP在DNS中的交互次數(shù);
(4)通過DNS日志篩選與AAA日志中上下線信息一致的域名記錄。例如,對(duì)123.1.1.1,篩查DNS日志得到表5。
表5 DNS日志整理示例
發(fā)現(xiàn)123.1.1.1作為www.yuncloud.com的信息源對(duì)222.1.1.1提供了服務(wù),可以判斷用戶123456abcd提供了PCDN業(yè)務(wù)。
除了以上基本方法外,由于目前PCDN技術(shù)不斷發(fā)展且越來(lái)越隱蔽,很多請(qǐng)求不再通過DNS服務(wù)器,因此在DNS日志中找不到相應(yīng)記錄。為此,還可以通過源、目的端口是否離散,目標(biāo)IP是否為家寬地址,以及特定的PCDN特征域名進(jìn)行輔助識(shí)別。
根據(jù)目前系統(tǒng)已經(jīng)實(shí)現(xiàn)的識(shí)別情況統(tǒng)計(jì),PCDN流量約占城域網(wǎng)總流量的20%,各區(qū)域情況有所不同。如果考慮到識(shí)別不出的部分,估算PCDN的流量占比可能不低于30%。
PCDN業(yè)務(wù)是近10年以來(lái)迅速發(fā)展起來(lái)的業(yè)務(wù)形態(tài),尚無(wú)相關(guān)的法律法規(guī)規(guī)范。由于此業(yè)務(wù)已經(jīng)在互聯(lián)網(wǎng)流量中的占比越來(lái)越大,到了需要規(guī)范發(fā)展的階段。下面從涉及到PCDN業(yè)務(wù)鏈條的各個(gè)環(huán)節(jié)論述目前存在的問題和建議。
個(gè)人客戶存在安全隱患和法律風(fēng)險(xiǎn)。
一是網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。PCDN依賴網(wǎng)絡(luò)中其他節(jié)點(diǎn)提供內(nèi)容分發(fā)服務(wù),這增加了與未知節(jié)點(diǎn)通信的風(fēng)險(xiǎn)。內(nèi)容通過其他用戶的設(shè)備傳輸,個(gè)人的數(shù)據(jù)可能會(huì)在其他設(shè)備上被傳輸和緩存。個(gè)人數(shù)據(jù)不僅能被平臺(tái)訪問,還可能被其他用戶訪問、竊取或篡改,存在安全風(fēng)險(xiǎn)。
二是存在的法律風(fēng)險(xiǎn)。根據(jù)2000年9月25日頒布的《互聯(lián)網(wǎng)信息服務(wù)管理辦法》[2]第四條:國(guó)家對(duì)經(jīng)營(yíng)性互聯(lián)網(wǎng)信息服務(wù)實(shí)行許可制度;對(duì)非經(jīng)營(yíng)性互聯(lián)網(wǎng)信息服務(wù)實(shí)行備案制度。未經(jīng)許可或者未履行備案手續(xù)的,不得從事互聯(lián)網(wǎng)信息服務(wù)。
個(gè)人客戶顯然沒有互聯(lián)網(wǎng)信息服務(wù)許可和備案,卻從事了互聯(lián)網(wǎng)信息服務(wù)獲取了收益。尤其是,如果涉嫌非法內(nèi)容傳播、數(shù)據(jù)隱私泄露等,還可能承擔(dān)相應(yīng)的法律風(fēng)險(xiǎn)。
PCDN平臺(tái)存在違規(guī)行為。因?yàn)楦鶕?jù)2021年2月國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布的《互聯(lián)網(wǎng)信息服務(wù)管理辦法(修訂草案征求意見稿)》[3],第十三條:互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)提供者為互聯(lián)網(wǎng)信息服務(wù)提供者提供接入服務(wù),應(yīng)當(dāng)要求互聯(lián)網(wǎng)信息服務(wù)提供者提供相應(yīng)許可證件或者備案編號(hào);互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)提供者應(yīng)當(dāng)查驗(yàn),不得為未取得合法許可證件或者備案編號(hào)的互聯(lián)網(wǎng)信息服務(wù)提供者提供服務(wù)。用戶利用互聯(lián)網(wǎng)從事的服務(wù)依照法律、行政法規(guī)以及國(guó)家有關(guān)規(guī)定需要取得相應(yīng)資質(zhì)的,應(yīng)當(dāng)向互聯(lián)網(wǎng)信息服務(wù)提供者提供其具有合法資質(zhì)的證明文件?;ヂ?lián)網(wǎng)信息服務(wù)提供者應(yīng)當(dāng)查驗(yàn)用戶的證明文件,不得為未取得合法資質(zhì)的用戶提供服務(wù)。
對(duì)照此條款,PCDN平臺(tái)無(wú)論是作為互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)提供者,還是互聯(lián)網(wǎng)信息服務(wù)提供者,它不得為未取得合法許可證件或者備案編號(hào)的互聯(lián)網(wǎng)信息服務(wù)提供者,或者為未取得合法資質(zhì)的用戶提供服務(wù)。實(shí)際情況是,PCDN平臺(tái)不僅為未取得合法資質(zhì)的用戶提供服務(wù),并且不少軟件在用戶不知情的情況下擅自修改了用戶的配置,竊取用戶的上行帶寬用作PCDN,顯然涉嫌違規(guī)。
當(dāng)前形勢(shì)下,運(yùn)營(yíng)商在PCDN產(chǎn)業(yè)鏈中是受害者。因?yàn)槿狈Ψㄒ?guī)支持,雖然采取了一定整治措施,但是總體效果不理想。
運(yùn)營(yíng)商作為通信網(wǎng)絡(luò)的建設(shè)者和運(yùn)營(yíng)者,投入了大量的成本,目的是保障互聯(lián)網(wǎng)的健壯性和先進(jìn)性。因?yàn)楝F(xiàn)有各項(xiàng)法規(guī)尚無(wú)對(duì)PCDN的規(guī)范,運(yùn)營(yíng)商在管理上顯得較為困難。一方面,在平臺(tái)端,無(wú)論是互聯(lián)網(wǎng)大廠還是PCDN平臺(tái),均有相應(yīng)的ICP、ISP許可證,因此從法律法規(guī)上無(wú)法認(rèn)定PCDN平臺(tái)違規(guī)。另一方面,在終端方,即便通過本文第二部分的方法識(shí)別出PCDN家寬用戶,由于缺乏普通用戶使用PCDN用于經(jīng)營(yíng)的實(shí)際證據(jù),不能徹底杜絕普通家寬用戶薅羊毛的做法。
通信主管部門需要盡快出臺(tái)相應(yīng)的法規(guī),對(duì)CDN業(yè)務(wù)進(jìn)行規(guī)范。通過規(guī)范鼓勵(lì)合規(guī)CDN業(yè)務(wù),杜絕不合規(guī)PCDN業(yè)務(wù)。否則,長(zhǎng)此以往將會(huì)為通信行業(yè)的整體發(fā)展帶來(lái)負(fù)面影響,即當(dāng)增量不增收的局面越演越烈后,最終會(huì)導(dǎo)致網(wǎng)絡(luò)質(zhì)量下降,劣幣驅(qū)逐良幣的結(jié)果。更為嚴(yán)重的是,PCDN存在潛在的安全風(fēng)險(xiǎn),涉及非法內(nèi)容傳播、數(shù)據(jù)隱私泄露等問題。因此,為了保證互聯(lián)網(wǎng)網(wǎng)絡(luò)的清潔,保障網(wǎng)絡(luò)建設(shè)者的正當(dāng)權(quán)益,杜絕安全隱患,通信主管部門需對(duì)PCDN業(yè)務(wù)制訂相應(yīng)的法律法規(guī)。
建議將CDN業(yè)務(wù)提供者(含正常CDN及PCDN)與互聯(lián)網(wǎng)網(wǎng)絡(luò)接入服務(wù)提供者(運(yùn)營(yíng)商)、互聯(lián)網(wǎng)信息服務(wù)提供者(頭條、騰訊等內(nèi)容源)區(qū)分開,獨(dú)立出來(lái)作為互聯(lián)網(wǎng)網(wǎng)絡(luò)內(nèi)容分發(fā)服務(wù)提供者進(jìn)行規(guī)范。建議明確互聯(lián)網(wǎng)網(wǎng)絡(luò)內(nèi)容分發(fā)服務(wù)提供者可開展內(nèi)容分發(fā)業(yè)務(wù),向互聯(lián)網(wǎng)信息服務(wù)提供者提供服務(wù)。禁止其采用PCDN技術(shù),即利用家庭寬帶的空閑上行帶寬進(jìn)行內(nèi)容分發(fā)。這樣才能根除CDN服務(wù)商提供PCDN平臺(tái)的念頭,從而凈化網(wǎng)絡(luò)環(huán)境。
綜上所述,如果能夠在法律法規(guī)層面進(jìn)行規(guī)范,內(nèi)容分發(fā)服務(wù)商就會(huì)讓CDN業(yè)務(wù)回歸正常發(fā)展軌道。如果PCDN平臺(tái)可以逐步退出,個(gè)人客戶也就沒有了薅運(yùn)營(yíng)商羊毛的途徑。運(yùn)營(yíng)商也就能將精力和資源更多地集中在正常的網(wǎng)絡(luò)建設(shè)、運(yùn)營(yíng)上,從而為廣大普通用戶及內(nèi)容服務(wù)商營(yíng)造更加健康的網(wǎng)絡(luò)安全的環(huán)境。