關鍵詞 爬蟲協(xié)議 反壟斷法 拒絕交易 差別待遇

作者簡介：楊舒婷，中國科學院大學公共政策與管理學院，碩士研究生，研究方向：經(jīng)濟法。

中圖分類號：D920.4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ?? ? ? ? ? ?DOI：10.19387/j.cnki.1009-0592.2020.04.031

爬蟲協(xié)議是網(wǎng)站所有者利用robots.txt文檔，設置搜索引擎機器人爬行其網(wǎng)絡的指令?；ヂ?lián)網(wǎng)經(jīng)濟的繁榮帶來了大量的數(shù)據(jù)，而對數(shù)據(jù)的掌握成為了互聯(lián)網(wǎng)平臺經(jīng)營者發(fā)展業(yè)務的關鍵保障。由此，網(wǎng)站與搜索引擎之間的溝通就變得尤為重要。作為互聯(lián)網(wǎng)數(shù)據(jù)爭奪的經(jīng)典案例，百度公司訴奇虎公司不正當競爭案不僅在《反不正當競爭法》領域引起了廣泛討論，也為研究《反壟斷法》對互聯(lián)網(wǎng)平臺爬蟲協(xié)議的規(guī)制提供了新的思考。網(wǎng)站所有者排斥搜索引擎企業(yè)的機器人爬取其網(wǎng)站的一些內(nèi)容，往往在特定的相關市場占有市場支配地位，所以這種排斥爬行的行為是否違反反壟斷法是值得研究的問題。若要深入了解搜索引擎與網(wǎng)站所有者之間的爭議，仍然要從爬蟲協(xié)議入手。

一、爬蟲協(xié)議的含義和性質(zhì)

爬蟲協(xié)議，也稱為機器人協(xié)議（robots協(xié)議）。搜索引擎利用蜘蛛程序索引網(wǎng)站內(nèi)容，垃圾郵件發(fā)送者也利用網(wǎng)絡機器人掃描獲取網(wǎng)頁上的電子郵箱地址，此外這種程序還有很多其他用途。 爬蟲協(xié)議是指網(wǎng)站所有者利用robots.txt文檔，向網(wǎng)絡機器人給出網(wǎng)站指令（instructions）的協(xié)議。由于爬蟲協(xié)議的主要目的是明確排除網(wǎng)絡機器人爬行的信息，甚至有的爬蟲協(xié)議還會設置拒絕機器人爬行的搜索引擎名單，所以機器人協(xié)議也被稱為拒絕機器人協(xié)議（robots exclusion protocol）。其工作原理是：當一個機器人想要訪問一個網(wǎng)站的統(tǒng)一資源定位符（URL），如http：//www.examp le.com/welcome.html時，它會首先檢查http：//www.example.com/robots.txt這個地址，會發(fā)現(xiàn)“User-agent： *”或“Disallow： /”。其中，“User-agent：*”是說這個部分適用于所有的機器人，“Disallow：/”則告訴機器人不應該訪問這個網(wǎng)站的所有網(wǎng)頁。需要注意兩點：一是機器人能忽略爬蟲協(xié)議，尤其是惡意的機器人能掃描網(wǎng)站的安全漏洞，收集電子郵箱地址的垃圾郵件商也不理會爬蟲協(xié)議;二是爬蟲協(xié)議文檔還是公開的文檔，任何人都能看到一個網(wǎng)站所有者不希望機器人爬取的部分。爬蟲協(xié)議本質(zhì)上是一個事實標準（de-facto standard），并且不為任何標準組織所擁有。 從技術上看，爬蟲協(xié)議不具備強制實施的可行性，即爬蟲協(xié)議不能通過技術手段阻止網(wǎng)絡機器人爬行網(wǎng)頁。換言之，即使爬蟲協(xié)議文本明示了禁止網(wǎng)絡機器人爬取的內(nèi)容，搜索引擎企業(yè)的爬取機器人也可以僅僅憑借“無視”，就可以輕易地使這種禁止失去效果。

2012年11月1日，國內(nèi)多家搜索引擎服務企業(yè)發(fā)起簽署了一份由中國互聯(lián)網(wǎng)協(xié)會予以發(fā)布的《互聯(lián)網(wǎng)搜索引擎服務自律公約》。該自律公約中第7條約定，提供搜索服務的企業(yè)要“遵循國際通行的行業(yè)慣例與商業(yè)規(guī)則，遵守機器人協(xié)議（robots協(xié)議）?！边@說明，關于網(wǎng)頁內(nèi)容爬取規(guī)則的標準，爬蟲協(xié)議是一種互聯(lián)網(wǎng)行業(yè)國際通行的行業(yè)慣例和商業(yè)規(guī)則，搜索引擎企業(yè)應當遵守。

綜上，一方面，作為事實標準的爬蟲協(xié)議，是互聯(lián)網(wǎng)行業(yè)國際通行的行業(yè)慣例和商業(yè)規(guī)則，搜索引擎企業(yè)應當遵循;另一方面，網(wǎng)站所有者設定Robots，應當遵循促進信息自由流動的原則，力求網(wǎng)絡信息公平和開放，不應當使用不合理的手段限制搜索引擎爬取網(wǎng)站的內(nèi)容，更不能通過設定Robots限制和排斥競爭。

二、爬蟲協(xié)議構成拒絕交易的條件

反壟斷法意義上的拒絕交易，泛指一切有可能排除、限制競爭的拒絕交易形式。它既包括直接拒絕交易，也包括變相拒絕交易;既包括拒絕與競爭對手進行交易，也包括拒絕與非競爭對手進行交易;既包括中斷交易，也包括拒絕與新的交易對象交易。

在互聯(lián)網(wǎng)環(huán)境下，互聯(lián)網(wǎng)平臺經(jīng)營者擁有可以自由設置“拒絕進入”的能力，極易觸及拒絕交易的底線。筆者前文在分析協(xié)議內(nèi)容本身是否違法的時候也提到過，爬蟲協(xié)議中設置拒絕被爬取是否構成拒絕交易行為，需要按照拒絕交易行為的構成要件進一步討論。

（一）相關市場的界定

在曾經(jīng)較為傳統(tǒng)的實體市場里，能夠根據(jù)產(chǎn)品的性能、用途等不同來區(qū)分市場，不同用途、不同功能的產(chǎn)品之間的邊界也比較容易區(qū)分。而在以數(shù)據(jù)資源為重心的互聯(lián)網(wǎng)市場中，因為數(shù)據(jù)產(chǎn)品的技術、業(yè)務特征等相似，不同產(chǎn)品之間的功能界定比較困難，例如搜索引擎與社交網(wǎng)站之間的產(chǎn)生內(nèi)容爬取糾紛，相關市場的界定就沒有了清晰的標準，使用供給替代法、需求替代法、SSNIP（假定壟斷者測試）等傳統(tǒng)方法也可能會界定結果不夠完美。

在百度訴奇虎案中，百度是大眾熟知的搜索引擎服務商，但引發(fā)訴訟的是奇虎對百度搜索引擎下的內(nèi)容欄目的不當爬取行為，那么在界定本案相關市場的時候，就不能單憑百度和奇虎是搜索引擎服務提供商來界定相關市場，而是針對雙方之間存在競爭關系的市場進行具體區(qū)分。而且在目前的互聯(lián)網(wǎng)經(jīng)營活動中，數(shù)據(jù)往往成為平臺競爭的核心要素，因此，經(jīng)營者面臨的風險從傳統(tǒng)單邊市場中單一的風險變成了雙邊市場條件下多樣的競爭風險。而且，網(wǎng)絡效應會使用戶的選擇產(chǎn)生拉大競爭者之間的差距的效果，并可能因此形成新的市場壁壘，對市場競爭帶來損害。

（二）行為人是否具有市場支配地位

判斷網(wǎng)站經(jīng)營者是否具備市場支配地位，首先要看經(jīng)營者在相關市場中的份額，我國現(xiàn)行《反壟斷法》第十九條也列舉了判斷經(jīng)營者具有市場支配地位的條件?；ヂ?lián)網(wǎng)平臺經(jīng)營者與傳統(tǒng)經(jīng)營者的經(jīng)營方式的不同，帶來了對其市場份額準確判斷的難度。由于濫用市場支配地位的壟斷行為，首先必須具備有效的市場支配能力，但互聯(lián)網(wǎng)平臺帶來的市場是一個多元化的、信息不平衡且極其復雜的市場，在互聯(lián)網(wǎng)經(jīng)濟中占據(jù)很大的支配地位要具備的不僅僅是獲利數(shù)額大，還要有龐大的、屬于自己的且能夠支配的網(wǎng)絡資源。比如在網(wǎng)站所有者擁有的用戶信息數(shù)據(jù)、用戶上傳的內(nèi)容資源等，由于這些原因，對執(zhí)法機構判斷一個互聯(lián)網(wǎng)企業(yè)是否具有市場支配地位也增加了許多難度。

一方面，倘若設置爬蟲協(xié)議的網(wǎng)站所有者不具備市場支配地位，那么即使此爬蟲協(xié)議中存在不正當競爭內(nèi)容，亦不能當然認定其robots協(xié)議違反《反壟斷法》。另一方面，如果是不具備市場支配地位的企業(yè)，即使在設置爬蟲協(xié)議時拒絕搜索引擎就某項內(nèi)容進行爬取，那么對市場的影響都比較微小，因此，也不需要從競爭法角度去考慮它的違法性問題，那么此行為并不能對網(wǎng)絡環(huán)境下的競爭市場帶來嚴重的排除、限制競爭的效果。只有占據(jù)大量市場份額的，在某個相關領域里達到壟斷地位的企業(yè)，競爭法才要對其經(jīng)營行為進行規(guī)制。

有觀點認為，即使百度擁有了“百度貼吧”“百度知道”“百度百科”等龐大的數(shù)據(jù)庫，但是這也僅僅是互聯(lián)網(wǎng)中文內(nèi)容的一小部分，更何況近年來360、搜搜（SoSo）、必應（Bing）等搜索引擎紛紛建立自己的內(nèi)容數(shù)據(jù)庫，百度的內(nèi)容絕對無法達到市場支配地位所需的二分之一的比例，因此百度并未占據(jù)互聯(lián)網(wǎng)中文內(nèi)容的市場支配地位。

綜上，如果拒絕抓取是具有市場支配地位的經(jīng)營者拒絕其他經(jīng)營者爬取其網(wǎng)絡平臺內(nèi)容的行為。那么，該行為在反壟斷法上是違法行為，構成拒絕交易。

（三）拒絕抓取行為是否損害市場競爭

一般而言，只有當市場主體濫用合同自由原則對競爭造成的損害超過合同自由本身受到限制的損害的程度時，法律才會對合同自由原則加以一定的限制。在判斷這一程度時，通常用“合理原則”來考察拒絕交易行為，即只有當拒絕交易造成的損害超過對市場的有利影響，反壟斷法才會對此加以限制。

如果網(wǎng)絡平臺經(jīng)營者在其網(wǎng)站的爬蟲協(xié)議中針對某一或者某幾個搜索引擎的搜索范圍進行限制，使其不能像其他搜索引擎一樣爬取內(nèi)容，則該爬蟲協(xié)議具有不正當性，與此同時，如果網(wǎng)站所有者通過設定Robots針對性地拒絕搜索引擎爬取的行為損害了市場競爭，那么，網(wǎng)站所有者滿足具有一定的市場支配地位且實施拒絕爬取并沒有正當理由，它的行為就滿足了拒絕交易的構成要件。

如果設置robots.txt協(xié)議的網(wǎng)絡平臺所有者拒絕抓取的內(nèi)容是其他搜索引擎所應當共享的，且居于核心地位的信息，那么使成立不久的中小型新型搜索引擎無法生存，這無疑是對市場競爭帶來嚴重損害，所以應當認為其內(nèi)容具有違法性，這就是“核心必要設施”的理論。由于傳統(tǒng)經(jīng)濟學的影響，在司法實踐中，運用“必需設備理論”進行裁判的案例也有很多，例如，微軟案、AMD訴Intel、人人訴百度等等。事實上，前述案例更加說明，對現(xiàn)有的網(wǎng)絡平臺經(jīng)營者壟斷案件、不正當競爭案件辦理的困難之處往往來源于互聯(lián)網(wǎng)經(jīng)濟本身的特殊屬性，它不同于傳統(tǒng)市場的特性亦更加使得互聯(lián)網(wǎng)行業(yè)容易呈現(xiàn)出寡頭壟斷，對市場競爭產(chǎn)生不良影響。

三、爬蟲協(xié)議構成差別待遇的條件

梳理上文所述百度訴奇虎案的例子，筆者發(fā)現(xiàn)，搜索引擎拒絕抓取的行為也有可能構成另一典型的濫用市場支配地位的行為——差別待遇。在《反壟斷法》中，差別待遇也被稱為歧視交易，從法條定位看，要構成差別待遇和拒絕交易的條件有著一部分共同點，它們都要求行為人具有市場支配地位，并且行為人缺乏合理的理由，不同點在于拒絕交易和差別待遇的行為特征。所以要認定搜索引擎企業(yè)是否存在差別待遇的行為，還是要遵循上文提到的步驟，先進行市場支配地位的判斷，再分析具體行為。那么我們在此假設該企業(yè)具有市場支配地位后，進行下一步：

（一） 交易條件對比

此處依舊以百度公司訴奇虎公司一案為例。百度作為打出“最大的中文搜索引擎”品牌宣言的網(wǎng)站經(jīng)營者，經(jīng)過多年的運營和積累，不僅具有信息龐大的百度網(wǎng)頁資源，還有其網(wǎng)站下子欄目“百度知道”“百度百科”等一批專門分類的信息資源。按照奇虎公司所說，百度在設置其主網(wǎng)站和子網(wǎng)站腳本Robots時，拒絕了奇虎旗下搜索引擎的爬取，卻允許了其他國內(nèi)主流搜索引擎的爬取，那么在信息流通的環(huán)節(jié)確實對奇虎公司特殊設置了不同于其他搜索引擎的條件，百度承認了該設置行為。即使后來百度聲稱是奇虎的搜索引擎具有不規(guī)范的爬取行為，可是其自身設置了針對性的攔截，另奇虎無法獲得主流資源，而其他搜索引擎又能夠借由爬取百度的資源壯大自身，那么百度的行為不僅是差別待遇，且能夠在一定程度上損害競爭。

（二）是否缺乏正當理由

在上文的概述中筆者了解到，網(wǎng)站運營方可以通過對其腳本的編輯來達到對其他爬取信息方的授權和限制。那么在使用這一功能時，網(wǎng)站經(jīng)營者既可以設置為拒絕某一特定的搜索引擎的爬取，也可以設置為對某一些搜索引擎開放的同時對其他一些搜索引擎不開放。正如上文提到的百度訴奇虎案，正是因為百度公司在百度貼吧、百度百科百度知道等站點的Robots協(xié)議中僅對360的爬蟲程序進行了限制，而對谷歌、搜狗等蜘蛛程序卻允許訪問的行為，激化了百度公司與奇虎公司之間的矛盾。當時，百度公司對此的解釋是：只是禁止了不規(guī)矩的、存在潛在安全風險的爬蟲，但是對于這個理由，百度并未能提供有力的證據(jù)支撐。

綜上，根據(jù)《反壟斷法》的規(guī)定，差別待遇的情形不僅要求經(jīng)營者具有市場支配地位，同時還需要同時滿足缺乏正當理由、交易條件存在差別兩個條件，由此看來，百度公司的行為不僅缺乏正當理由，并且對其他同樣作為搜索引擎的企業(yè)設置了不同的爬取條件，確實有著差別對待的嫌疑。

四、結語

互聯(lián)網(wǎng)行業(yè)正在蓬勃發(fā)展，無論是搜索引擎、購物網(wǎng)站、在線旅游平臺或者其他功能性網(wǎng)站，它們的經(jīng)營都與互聯(lián)網(wǎng)的算法技術、爬蟲協(xié)議、數(shù)據(jù)等無不相關?；ヂ?lián)網(wǎng)平臺經(jīng)營者和網(wǎng)民都需要一個安全、平衡且不失活力的網(wǎng)絡競爭市場，而如今數(shù)據(jù)帶來的競爭優(yōu)勢越來越明顯，競爭相關的法律、政策卻也在逐漸暴露出它的滯后性。目前，國家市場監(jiān)管總局就《反壟斷法》修訂草案公開征求意見。對于此次修訂，征求意見稿明確了互聯(lián)網(wǎng)壟斷相關規(guī)定，新提出了認定互聯(lián)網(wǎng)平臺經(jīng)營者具有市場支配地位的一些因素。我們期待新的《反壟斷法》能夠保持舊法對于反壟斷的工具作用，依舊以網(wǎng)民權益為價值目標，成為有效引導互聯(lián)網(wǎng)平臺經(jīng)濟健康發(fā)展的規(guī)范，以求解決目前爬蟲協(xié)議帶來的新的壟斷相關問題。

注釋：

https：//www.robotstxt.org/.2020年2月15日訪問。

https：//www.robotstxt.org/robotstxt.html.2020年2月15日訪問。

http：//www.isc.org.cn/hyzl/hyzl/listinfo-25501.html.2020年2月25日訪問。

張志偉.中國互聯(lián)網(wǎng)企業(yè)拒絕交易行為的反壟斷法律規(guī)制探討[J].江西財經(jīng)大學學報，2015（3）：121-128.

王文敏.互聯(lián)網(wǎng)競爭中設置爬蟲協(xié)議黑名單的定性——由“百度與360大戰(zhàn)”引發(fā)的思考[J].研究生法學，2014，29（3）：50-57.

楊華權.論爬蟲協(xié)議對互聯(lián)網(wǎng)競爭關系的影響[J].知識產(chǎn)權，2014（1）.