樊書(shū)鈺,張 馨
(新疆財(cái)經(jīng)大學(xué) 法學(xué)院,烏魯木齊 830012)
由于技術(shù)擴(kuò)展路徑的多元化,不同領(lǐng)域之間的破壁融合導(dǎo)致“算法”概念的應(yīng)用場(chǎng)景逐步擴(kuò)大。社會(huì)進(jìn)程的不斷推進(jìn)中,算法定義從數(shù)學(xué)與計(jì)算機(jī)科學(xué)領(lǐng)域下的“一種用自然語(yǔ)言描述解決問(wèn)題的過(guò)程”①,延展出新的內(nèi)涵,各類界定觀點(diǎn),莫衷一是。毋庸置疑,算法的實(shí)際應(yīng)用為人類生活帶來(lái)了極大便利,然而算法擁有機(jī)器學(xué)習(xí)的同時(shí),也裹挾了人類的價(jià)值判斷,立足于數(shù)字時(shí)代的大背景下,人類決策與機(jī)器判斷間的交互作用與影響致使將算法定義為“人類通過(guò)代碼設(shè)置、數(shù)據(jù)運(yùn)算與機(jī)器自動(dòng)化判斷進(jìn)行決策的一套機(jī)制”②更契合現(xiàn)實(shí)前提。算法的多維度應(yīng)用也使得算法成為人類決策過(guò)程的重要一環(huán),甚至人類社會(huì)的運(yùn)行模式因算法而重構(gòu),而算法因自身特點(diǎn)導(dǎo)致其應(yīng)用過(guò)程產(chǎn)生的風(fēng)險(xiǎn)也初見(jiàn)端倪。
其一,確定可知的數(shù)據(jù)是算法的核心,強(qiáng)調(diào)算法所需數(shù)據(jù)的充足性與有效性,缺乏數(shù)據(jù)和缺乏有效數(shù)據(jù)都會(huì)導(dǎo)致算法運(yùn)行與決策受限。一般而言,算法模型架構(gòu)越大,產(chǎn)生可行結(jié)果所需的數(shù)據(jù)就越多,因此足夠的數(shù)據(jù)是算法作用得以充分發(fā)揮的首要條件。此外,精準(zhǔn)把握算法對(duì)象關(guān)系中的關(guān)鍵變量以保證數(shù)據(jù)的質(zhì)量是在海量數(shù)據(jù)中避開(kāi)干擾項(xiàng)、提取價(jià)值因素的樞紐。然而人機(jī)交互形態(tài)下,人類參與呈現(xiàn)出“雙刃劍”的效果,可能導(dǎo)致數(shù)據(jù)選取更為精確也可能致使數(shù)據(jù)選取帶入非理性色彩而削弱數(shù)據(jù)確知性。其二,算法的高時(shí)效性衍生出其競(jìng)爭(zhēng)力的判斷條件,即何者能夠更出色地消除延遲,在最少的時(shí)間內(nèi)完成最多的任務(wù),便能在諸多算法中脫穎而出占據(jù)競(jìng)爭(zhēng)市場(chǎng)中的優(yōu)勢(shì)地位。[1]以金融業(yè)為例,算法改變了投資者的交易方式,通過(guò)使用先進(jìn)的計(jì)算機(jī)工具和算法進(jìn)行股票和證券快速交易的高頻交易(HFT)逐漸成為主流。然而,高頻交易更依賴于算法的時(shí)效,買(mǎi)賣速度上幾微秒的差異就可能造成無(wú)法估量的損失。其三,目前學(xué)界對(duì)于算法是否可解釋的爭(zhēng)論依然存在。2018 年歐盟《通用數(shù)據(jù)保護(hù)條例》(下稱:GDPR)提出了透明度原則,要求與處理個(gè)人數(shù)據(jù)有關(guān)的任何信息和通信都易于訪問(wèn)和理解,并使用清晰明了的語(yǔ)言。簡(jiǎn)言之,作為數(shù)據(jù)主體的每個(gè)人都有權(quán)了解其個(gè)人數(shù)據(jù)是如何被收集和處理的。這就要求算法提供者根據(jù)用戶個(gè)人數(shù)據(jù)的輸入使用簡(jiǎn)明扼要的語(yǔ)言向用戶解釋顯示的輸出,以證明算法決策的準(zhǔn)確性,而當(dāng)算法設(shè)計(jì)需要在準(zhǔn)確性和可解釋性之間進(jìn)行權(quán)衡時(shí),兩者往往不可兼得。決策樹(shù)、最近鄰等簡(jiǎn)單且可解釋的模型準(zhǔn)確性欠佳,高準(zhǔn)確性需要諸如深度神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等復(fù)雜且難以解釋的模型進(jìn)行支撐。盡管目前運(yùn)用的算法模型大都采取可解釋的模型使其決策的可解釋性不可被完全否定[2],但無(wú)論是出于對(duì)算法決策準(zhǔn)確性的追求,或是為了避免過(guò)度強(qiáng)調(diào)算法可解釋導(dǎo)致其過(guò)度簡(jiǎn)化的風(fēng)險(xiǎn),亦或是人機(jī)交互發(fā)展的最終形態(tài)可能是人類無(wú)法控制的自主算法,多數(shù)算法更趨向于擁有不可解釋的特征。這就意味著大多數(shù)用戶的理解力與算法表現(xiàn)形式間的鴻溝無(wú)法跨越且越拉越大,一旦達(dá)到算法表現(xiàn)形式超出專業(yè)人員認(rèn)知的階段,后果更加不堪設(shè)想??偫ǘ?,數(shù)字時(shí)代下,算法不斷拓展適用范圍之際,其引發(fā)的多重風(fēng)險(xiǎn)愈加顯著。
算法風(fēng)險(xiǎn)作為算法應(yīng)用過(guò)程中一個(gè)不可回避的話題,預(yù)防風(fēng)險(xiǎn)形式的優(yōu)劣與算法紅利的高低成正比。目前學(xué)界對(duì)算法風(fēng)險(xiǎn)的研究,大多數(shù)學(xué)者以點(diǎn)為切口,將算法風(fēng)險(xiǎn)進(jìn)行不同劃分,針對(duì)所研究的算法風(fēng)險(xiǎn)進(jìn)行對(duì)應(yīng)規(guī)制,深入挖掘算法風(fēng)險(xiǎn)預(yù)防路徑。袁康認(rèn)為可從算法的可信任構(gòu)建層面入手進(jìn)行算法風(fēng)險(xiǎn)的預(yù)防與規(guī)制[3];趙學(xué)剛、馬羽男強(qiáng)調(diào)算法偏見(jiàn)是算法決策過(guò)程中的重大風(fēng)險(xiǎn),應(yīng)從算法偏見(jiàn)角度研究算法風(fēng)險(xiǎn)的解決路徑[4];葉明,郭江蘭細(xì)分了算法價(jià)格歧視的不同風(fēng)險(xiǎn)情境,指出了對(duì)于該類風(fēng)險(xiǎn)規(guī)制的現(xiàn)行法律供給不足并提出了相應(yīng)的完善對(duì)策[5];周圍從算法共謀的競(jìng)爭(zhēng)隱憂入手探討了其與反壟斷法的拓展適用問(wèn)題并提出了規(guī)制共謀風(fēng)險(xiǎn)的合理性框架[6]。依托互聯(lián)網(wǎng)技術(shù)而至的數(shù)字時(shí)代致使算法風(fēng)險(xiǎn)的預(yù)防若僅僅從某一方面進(jìn)行考量難免有所不足,因此在厘清算法自身特征后,基于機(jī)器學(xué)習(xí)與人類決策互相作用的現(xiàn)實(shí)基礎(chǔ)賦予的從人機(jī)交互角度入手進(jìn)行算法界定的合理性,運(yùn)用系統(tǒng)性思維從多個(gè)方面審視算法風(fēng)險(xiǎn),或更能實(shí)現(xiàn)對(duì)算法風(fēng)險(xiǎn)內(nèi)在原因的深度解析并進(jìn)行針對(duì)性的風(fēng)險(xiǎn)甄別與預(yù)防。
算法作為人工智能、區(qū)塊鏈等高新技術(shù)的運(yùn)行基礎(chǔ)與邏輯起點(diǎn),高效率特征使其在多個(gè)領(lǐng)域逐漸代替人類對(duì)社會(huì)中的諸多事物進(jìn)行決策,但不可否認(rèn)其在運(yùn)行過(guò)程中會(huì)出現(xiàn)偏差。例如,Google曾使用算法進(jìn)行過(guò)排除限制競(jìng)爭(zhēng)行為,侵犯了其他經(jīng)營(yíng)者的合法權(quán)益。具體地,Google利用“專業(yè)搜索算法”(specialized search algorithms)提供“購(gòu)物比價(jià)”服務(wù),消費(fèi)者通過(guò)進(jìn)行特定操作觀看其提供的不同商業(yè)網(wǎng)站的商品展示并按需消費(fèi),而商業(yè)網(wǎng)站的顯示順序,又通過(guò)以網(wǎng)站鏈接與質(zhì)量判斷其優(yōu)劣的Page Rank算法完成,當(dāng) Google Shopping的業(yè)務(wù)進(jìn)入歐洲市場(chǎng)后,Google便私底下將自己旗下的產(chǎn)品排除在 Page Rank算法等網(wǎng)頁(yè)排序算法的篩選之外,直接將產(chǎn)品置于消費(fèi)者使用購(gòu)物比價(jià)服務(wù)時(shí)肉眼所及的明顯位置,從而實(shí)現(xiàn)不正當(dāng)競(jìng)爭(zhēng)。[7]學(xué)界將此種“算法設(shè)計(jì)者或所有者通過(guò)調(diào)整參數(shù)得到想見(jiàn)結(jié)果”③的情形稱為算法偏見(jiàn)。運(yùn)用算法進(jìn)行決策時(shí),若發(fā)生偏差形成“應(yīng)然”與“實(shí)然”之間的邏輯斷層,那么按照自動(dòng)化程序推演計(jì)算進(jìn)行的決策,不僅無(wú)法達(dá)到預(yù)期的良計(jì)算,反而會(huì)造成嚴(yán)重的不良后果。尋根溯源,算法偏見(jiàn)產(chǎn)生的原因歸結(jié)于兩點(diǎn),一是“心理特征”,即數(shù)據(jù)選取體現(xiàn)的價(jià)值判斷;二是“身體特征”,即算法“黑箱”導(dǎo)致的審查不能。
1.“心理特征”
數(shù)據(jù)為算法動(dòng)態(tài)化決策的基礎(chǔ)要素,有學(xué)者將技術(shù)層面算法偏差的產(chǎn)生歸因于數(shù)據(jù)偏見(jiàn)與算法設(shè)計(jì)偏見(jiàn)。然而從事實(shí)角度出發(fā),不論是因數(shù)據(jù)本身存在潛在偏見(jiàn)導(dǎo)致數(shù)據(jù)在輸入環(huán)節(jié)產(chǎn)生偏頗,又因算法模型的構(gòu)建階段未設(shè)定合理糾正程序致使在大量運(yùn)算過(guò)程中按此邏輯累積偏差所形成的數(shù)據(jù)偏差,[8]還是將數(shù)據(jù)進(jìn)行類型化處理或影響各種變量數(shù)據(jù)及其權(quán)重設(shè)置的算法設(shè)計(jì)偏差,因兩類偏差體現(xiàn)出的皆為“數(shù)據(jù)選取隱含的價(jià)值判斷”。人在自身能力、社會(huì)風(fēng)氣以及文化教育等多重因素的綜合影響下會(huì)對(duì)事物做出基本的判斷,該種判斷本身無(wú)法避免。究其根本,上述兩種偏差所顯示出的都是“選取何種數(shù)據(jù)放入算法決策”與“選取多少數(shù)據(jù)放入算法決策”的問(wèn)題,其本質(zhì)上是算法設(shè)計(jì)者或算法所有者,亦或是二者對(duì)其想要達(dá)成結(jié)果的一種價(jià)值判斷。因此選取數(shù)據(jù)的不可避免性,就意味著隱形或顯性價(jià)值判斷嵌入算法的必然性,進(jìn)而導(dǎo)致因算法“非中立”帶來(lái)的算法偏見(jiàn)風(fēng)險(xiǎn)。
2.“身體特征”
用戶及相關(guān)方除單純的數(shù)據(jù)輸入和輸出外再無(wú)法觸及算法運(yùn)行中內(nèi)部隱含原理、邏輯與操作的問(wèn)題即“算法黑箱”,也是人類無(wú)法避免算法偏差的另一重要原因。雖然算法能夠按照預(yù)設(shè)的過(guò)程客觀執(zhí)行每一個(gè)步驟,但人類行為在算法設(shè)計(jì)、部署和應(yīng)用方面的影響卻難以避免。技術(shù)不完備的客觀規(guī)律下,設(shè)計(jì)者自身偏見(jiàn)、社會(huì)風(fēng)俗或文化差異等價(jià)值選擇注入算法執(zhí)行程序,會(huì)造成算法決策或輸出結(jié)果延續(xù)此種固有偏見(jiàn)。[9]算法非透明化的運(yùn)算過(guò)程會(huì)使得社會(huì)中的個(gè)體通常只能得到算法決策的結(jié)果,無(wú)法審查算法產(chǎn)生結(jié)果的過(guò)程,進(jìn)而加劇算法風(fēng)險(xiǎn)。
“歧視”早在人工智能誕生前便普遍存在于人類社會(huì),作為認(rèn)知過(guò)程的副產(chǎn)品,其產(chǎn)生沿襲了獨(dú)特的社會(huì)發(fā)展邏輯。人類在認(rèn)知世界的過(guò)程中,通過(guò)對(duì)事物進(jìn)行類型化區(qū)分并以此分割事物間的界限,強(qiáng)調(diào)同一類型事物間的相似性,賦予個(gè)體集體認(rèn)同感。出于集體自尊與自我認(rèn)同提升的需要,群體總是傾向于將褒義印象賦予自身,將貶義印象賦予外群,產(chǎn)生對(duì)外群的偏見(jiàn),而個(gè)體的行為意向又因囿于群體內(nèi)部而受群體影響,導(dǎo)致個(gè)人將認(rèn)知層面的偏見(jiàn)外部化于社會(huì)生活中,形成被法律所規(guī)制的“歧視”。[10]隨著智能化算法帶來(lái)越來(lái)越多的紅利,“歧視”并未內(nèi)消于算法決策之中,反而在社會(huì)生活中逐漸凸顯,而人類歧視與算法歧視之間的差異性,使得算法歧視擁有別于人類歧視的特征,導(dǎo)致算法歧視的規(guī)制難度更大。
1.高度隱蔽性
屬于計(jì)算機(jī)語(yǔ)言的算法,首先因其專業(yè)化程度較高,導(dǎo)致了普通客戶通常無(wú)法真正地理解算法的運(yùn)行;其次,算法本身決策過(guò)程的不公開(kāi)或受商業(yè)秘密、國(guó)家秘密等原則保護(hù)的特征導(dǎo)致算法不透明。[11]最終因信息不對(duì)稱導(dǎo)致個(gè)人對(duì)于可能具有差別或帶有歧視意圖的決策結(jié)果只能被動(dòng)接受,無(wú)法準(zhǔn)確識(shí)別算法歧視。[12]
2.主體廣泛性
主體廣泛包含責(zé)任主體廣泛與影響主體廣泛,與算法歧視的責(zé)任產(chǎn)生主體和結(jié)果影響主體相對(duì)應(yīng)。一方面,雖然內(nèi)含歧視的算法設(shè)計(jì)往往是算法歧視結(jié)果產(chǎn)生的主要原因,但是由算法設(shè)計(jì)者承擔(dān)所有算法歧視的責(zé)任并不適當(dāng)。因?yàn)樗惴Q策的實(shí)現(xiàn)與相關(guān)的數(shù)據(jù)輸入有緊密聯(lián)系,錯(cuò)誤數(shù)據(jù)的來(lái)源有輸入端口或機(jī)器學(xué)習(xí)中獲取的信息,這些數(shù)據(jù)可能是無(wú)意輸入,可能是算法運(yùn)用者受利益趨勢(shì)提供,也可能是機(jī)器學(xué)習(xí)時(shí)對(duì)固有信息的異化理解,因此算法歧視的出現(xiàn)就成為了多方主體共同作用的結(jié)果,相應(yīng)地對(duì)其規(guī)制也需要多方主體一并發(fā)力[13]。另一方面,互聯(lián)網(wǎng)平臺(tái)擁有的巨大輻射能力使得算法歧視結(jié)果發(fā)生后,受歧視影響的人數(shù)多于傳統(tǒng)歧視結(jié)果影響人數(shù)。加之以算法為基礎(chǔ)的產(chǎn)品在金融、法律、文化、醫(yī)療等方面的應(yīng)用,導(dǎo)致算法能更快滲透到人類社會(huì)的方方面面,而使用此類產(chǎn)品的個(gè)體都成為了潛在的被算法歧視對(duì)象,增加了算法歧視影響主體的人數(shù)。
3.個(gè)體差異化
算法歧視中最能體現(xiàn)個(gè)體差異化特征的例子是“大數(shù)據(jù)殺熟”。在小數(shù)據(jù)時(shí)代,高額的信息獲取成本致使經(jīng)營(yíng)者只能根據(jù)有限信息,預(yù)估消費(fèi)者整體的購(gòu)買(mǎi)需求進(jìn)行定價(jià)。然而在大數(shù)據(jù)時(shí)代,基于海量的數(shù)據(jù)分析,經(jīng)營(yíng)者利用算法模型可以實(shí)現(xiàn)對(duì)每一個(gè)消費(fèi)者消費(fèi)偏好的精準(zhǔn)定位,繪制獨(dú)立的用戶畫(huà)像,帶來(lái)“千人千面”的人機(jī)交互體驗(yàn),[14]再針對(duì)個(gè)體的消費(fèi)需求,制定差異化價(jià)格,實(shí)行算法價(jià)格歧視,侵犯消費(fèi)者的合法權(quán)益。
傳統(tǒng)經(jīng)濟(jì)視角下的共謀,是指互為競(jìng)爭(zhēng)關(guān)系的經(jīng)營(yíng)者為獲取市場(chǎng)優(yōu)勢(shì)共同實(shí)施的利潤(rùn)最大化戰(zhàn)略,共謀各方通過(guò)抬高市價(jià)、減少供應(yīng)等方式達(dá)到減少甚至消除競(jìng)爭(zhēng)、提高市場(chǎng)進(jìn)入壁壘的目的。共謀分為顯性和隱性兩種形式,顯性共謀(explicit collusion)的發(fā)生以經(jīng)營(yíng)者間存在客觀協(xié)商和明示合作關(guān)系為前提,并形成壟斷協(xié)議。相比之下,隱性共謀(tacit collusion)所涉及的經(jīng)營(yíng)者間可能并不存在直接互動(dòng),無(wú)需達(dá)成正式的壟斷協(xié)議即可產(chǎn)生限制或排除競(jìng)爭(zhēng)的目的。[15]理論上,數(shù)字時(shí)代市場(chǎng)透明度高、集中度高、準(zhǔn)入門(mén)檻低的特征更易形成相對(duì)公平的競(jìng)爭(zhēng)環(huán)境,然而實(shí)際上,復(fù)雜算法的崛起顛覆了傳統(tǒng)共謀發(fā)生與市場(chǎng)環(huán)境的相關(guān)關(guān)系,算法共謀所致的壟斷問(wèn)題逐漸顯露。
1.隱性共謀使壟斷協(xié)議難以界定
2016年Ezrachi和Stucke按照共謀形式的層級(jí),由低到高確定了算法促成共謀的四種場(chǎng)景,分別為信使(Messenger)、中心輻射式(Hub and Spoke)、預(yù)測(cè)型代理人(The Predictable Agent)以及電子眼(Digital)④,越高階者越難以被察覺(jué)到壟斷的痕跡。信使場(chǎng)景中算法僅扮演“信使”角色,是延伸人類意志的輔助,人類依舊是共謀的主體,算法僅負(fù)責(zé)執(zhí)行。因此,此種形式的反壟斷行為,現(xiàn)有法律框架足以將其囊括,而其余三種場(chǎng)景都含有隱性共謀色彩,中心輻射式場(chǎng)景和預(yù)測(cè)代理人場(chǎng)景以不同的方式借助算法對(duì)市場(chǎng)變化做出反應(yīng),前者基于不同行業(yè)的經(jīng)營(yíng)者使用同一定價(jià)算法使其起到協(xié)調(diào)價(jià)格的“樞紐”作用,后者則基于各企業(yè)單獨(dú)開(kāi)發(fā)的算法以可預(yù)測(cè)的方式快速取得優(yōu)勢(shì)競(jìng)爭(zhēng)地位。當(dāng)定價(jià)算法變得足夠復(fù)雜后會(huì)脫離人類主體進(jìn)行自主學(xué)習(xí),并找到協(xié)調(diào)價(jià)格的路徑。在這三種場(chǎng)景中,無(wú)論是開(kāi)發(fā)者、經(jīng)營(yíng)者的無(wú)心之過(guò)亦或有意為之,最終都產(chǎn)生了壟斷行為,但由于無(wú)直接交流、難以判定壟斷協(xié)議的存在,現(xiàn)行法律無(wú)法對(duì)其進(jìn)行規(guī)制。
美國(guó)《謝爾曼法》第1條和歐盟競(jìng)爭(zhēng)法第81條第一款的適用都表明了共謀的確定需要固定價(jià)格、產(chǎn)量限制、聯(lián)合抵制等協(xié)議的存在[16],《中華人民共和國(guó)反壟斷法》(下稱:《反壟斷法》)也明確將達(dá)成壟斷協(xié)議包含至壟斷行為中,并將壟斷協(xié)議定義為“排除、限制競(jìng)爭(zhēng)的協(xié)議、決定或者其他協(xié)同行為”⑤。無(wú)庸贅述,不同國(guó)家對(duì)限制競(jìng)爭(zhēng)行為違法構(gòu)成要件的規(guī)定都離不開(kāi)壟斷協(xié)議的存在。然而盡管不同法律都在壟斷協(xié)議認(rèn)定中給予一定的拓展空間,即“協(xié)議”并非完全基于經(jīng)營(yíng)者間溝通交流的書(shū)面或口頭約定,其他能夠證明經(jīng)營(yíng)者間存在限制競(jìng)爭(zhēng)意圖的證據(jù)一旦予以認(rèn)定也屬于協(xié)議范疇。但實(shí)踐中“協(xié)議”的認(rèn)定仍以經(jīng)營(yíng)者間是否存在直接互動(dòng)或意思聯(lián)絡(luò)作為標(biāo)準(zhǔn)[17],在定價(jià)算法引領(lǐng)的隱形共謀中,人類主體無(wú)需進(jìn)行互動(dòng)甚至無(wú)任何人為價(jià)格操縱的證據(jù)留存,各國(guó)反壟斷執(zhí)法缺少證據(jù)而無(wú)法對(duì)算法共謀進(jìn)行有效規(guī)制。如此一來(lái),若壟斷協(xié)議的概念在理論和實(shí)踐中不加以突破,算法共謀所致的壟斷行為會(huì)在市場(chǎng)中愈演愈烈,使得市場(chǎng)公平競(jìng)爭(zhēng)遙不可及。
2. 自主學(xué)習(xí)算法使壟斷責(zé)任難以劃分
中心輻射式和預(yù)測(cè)型代理人的共謀形式并未完全脫離人類主體的存在,由于應(yīng)用或開(kāi)發(fā)特定算法的決定依舊由經(jīng)營(yíng)者做出,算法不能成為最后的“決策者”。若壟斷協(xié)議得以明確拓展并在實(shí)際中發(fā)揮作用,那么只要上述兩種場(chǎng)景中存在經(jīng)營(yíng)者間的反競(jìng)爭(zhēng)意圖,就足以構(gòu)成壟斷責(zé)任。對(duì)于自主學(xué)習(xí)算法則不然,盡管電子眼場(chǎng)景的發(fā)生可能遙遙無(wú)期,但其一旦成真就意味著算法擁有了決策地位,主導(dǎo)著共謀的發(fā)生。此時(shí),在只有反競(jìng)爭(zhēng)的結(jié)果卻沒(méi)有證據(jù)留存的情況下,何者應(yīng)當(dāng)承擔(dān)壟斷責(zé)任?算法自身無(wú)法作為違法主體,責(zé)任按理應(yīng)當(dāng)由開(kāi)發(fā)者或使用者承擔(dān)。然而在自主學(xué)習(xí)算法下,開(kāi)發(fā)者和經(jīng)營(yíng)者可能并無(wú)共謀意愿,甚至在共謀發(fā)生后仍不明所以。
目前各國(guó)法律大都將壟斷責(zé)任歸于經(jīng)營(yíng)者。歐盟國(guó)家對(duì)于做出反競(jìng)爭(zhēng)行為的經(jīng)營(yíng)者處以高額罰款,此外經(jīng)營(yíng)者根據(jù)訴訟結(jié)果支付損害賠償;在美國(guó)除損害賠償、高額罰金外,經(jīng)營(yíng)者還面臨個(gè)人監(jiān)禁的刑事責(zé)任?!斗磯艛喾ā返谒氖鶙l根據(jù)是否實(shí)施壟斷協(xié)議規(guī)定了經(jīng)營(yíng)者的不同法律責(zé)任,并依據(jù)情況確定罰款及處罰的力度。雖然目前還沒(méi)有經(jīng)營(yíng)者因算法的自主行為承擔(dān)責(zé)任的案例,但早在1996年,Billings便指出:“自動(dòng)化只是人類操作者可利用的眾多資源之一,他們保留了自動(dòng)化和整個(gè)系統(tǒng)的管理與指導(dǎo)責(zé)任。”⑥于自主學(xué)習(xí)算法而言,人類主體在選擇開(kāi)發(fā)與應(yīng)用定價(jià)算法的同時(shí)就默認(rèn)保留了相應(yīng)的責(zé)任承擔(dān),就算抬高市價(jià)的行為與其無(wú)關(guān),也應(yīng)追溯到開(kāi)發(fā)者或經(jīng)營(yíng)者。按照此種倡導(dǎo),主體日后選擇算法進(jìn)行定價(jià)時(shí)就必須謹(jǐn)慎,人工定價(jià)更能排除共謀風(fēng)險(xiǎn),而當(dāng)算法定價(jià)成為常態(tài)后,經(jīng)營(yíng)者本身的趨利性使其為不落后于市場(chǎng)平均水平不得不選擇定價(jià)算法。市場(chǎng)趨勢(shì)、自身發(fā)展與法律風(fēng)險(xiǎn)的矛盾逐漸顯露且無(wú)法平衡,自主學(xué)習(xí)算法所致的壟斷責(zé)任劃分成為難題。
宏觀層面上,公平是每一個(gè)現(xiàn)代社會(huì)追求的目標(biāo),經(jīng)濟(jì)上分配的相對(duì)平等、法律上權(quán)利與義務(wù)的對(duì)等均是其顯著表現(xiàn)。只有同行業(yè)同水平的薪資標(biāo)準(zhǔn)相對(duì)明晰并被大多數(shù)勞動(dòng)者知悉才可在后續(xù)發(fā)放時(shí)評(píng)判公平與否、只有公開(kāi)出臺(tái)的法律法規(guī)中明確了不同社會(huì)角色承擔(dān)的義務(wù)與擁有的權(quán)利才可保證公平的存在,因此究其根本,公平的內(nèi)核離不開(kāi)“客觀”與“高透明度”。于算法領(lǐng)域而言,目前已有企業(yè)和政府做出嘗試,將公平理念納入指導(dǎo)以算法為要素的人工智能相關(guān)工作的原則中。微軟早在2014年啟動(dòng)了FATE項(xiàng)目,確定了公平、問(wèn)責(zé)、透明和道德的原則。政府層面,歐盟于2019年4月發(fā)布的《可信人工智能倫理指南》中明確了倫理準(zhǔn)則和技術(shù)穩(wěn)健性,新加坡個(gè)人數(shù)據(jù)保護(hù)委員會(huì)(PDPC)2021年1月發(fā)布的《人工智能治理框架模型》確定了“AI所作決定應(yīng)是可解釋、透明并公平的”為指導(dǎo)原則⑦。在企業(yè)和政府將公平確定為指導(dǎo)原則的基礎(chǔ)上,以算法開(kāi)發(fā)者入手從源頭注入公平理念也尤為重要。
其一,為保證客觀、減少算法偏見(jiàn)與算法歧視的存在,可以設(shè)定算法開(kāi)發(fā)者的進(jìn)入門(mén)檻并組織建立專業(yè)測(cè)試團(tuán)隊(duì)以實(shí)現(xiàn)針對(duì)預(yù)投入使用算法的公平度測(cè)試。為開(kāi)發(fā)者設(shè)立門(mén)檻是對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以切斷數(shù)據(jù)不公平來(lái)源的有效事前措施,根據(jù)易導(dǎo)致算法偏見(jiàn)與歧視的敏感屬性設(shè)計(jì)出針對(duì)算法開(kāi)發(fā)者群體、以公平理念為核心的準(zhǔn)入測(cè)試,只有合格者才能入選,盡可能排除有明顯性別、年齡、種族、特殊群體歧視、道德理念偏差的人員參與到算法開(kāi)發(fā)中,盡可能消除由個(gè)人主觀意識(shí)所造成的不公平爭(zhēng)議。在完成開(kāi)發(fā)工作后、算法投入使用前,可交由算法公平度測(cè)試團(tuán)隊(duì)進(jìn)行一定量的“使用模擬”,根據(jù)模擬結(jié)果的平均值進(jìn)行算法公平度測(cè)算,若顯示出算法偏見(jiàn)或歧視傾向則對(duì)開(kāi)發(fā)者的公平理念弱點(diǎn)進(jìn)行及時(shí)補(bǔ)足。公平度標(biāo)準(zhǔn)的設(shè)立可由測(cè)試團(tuán)隊(duì)自行設(shè)立,由于1∶1的極致公平難以實(shí)現(xiàn),在公平度標(biāo)準(zhǔn)設(shè)立時(shí)可根據(jù)實(shí)際設(shè)定5%-20%偏差率,即0.95∶1.05到0.8∶1.2間。以招聘算法為例,設(shè)定候選人除性別外學(xué)歷、年齡、技能等其他條件完全相同的情況,設(shè)定20%的偏差率,若100次模擬中超過(guò)60次的結(jié)果輸出為某固定性別,則需通知開(kāi)發(fā)團(tuán)隊(duì)使其進(jìn)行調(diào)整后再次模擬,以達(dá)到兩性別輸出比例高于2∶3并無(wú)限趨于1∶1的公平度標(biāo)準(zhǔn)。另外可以考慮引入第三方審計(jì),對(duì)算法正式實(shí)施運(yùn)行后的情況進(jìn)行定期檢測(cè),及時(shí)發(fā)現(xiàn)對(duì)算法公平產(chǎn)生消極影響的要素并及時(shí)處理調(diào)整以實(shí)現(xiàn)算法公平最大化。
其二,為保證高透明度、削弱算法不可解釋的特性,開(kāi)發(fā)者將支持算法輸出結(jié)果的關(guān)鍵值進(jìn)行適當(dāng)公開(kāi)并加以解釋是可行之道。目前學(xué)界普遍支持以及在歐美法中已經(jīng)法定的算法解釋權(quán)并非有效行徑,現(xiàn)行以歐盟GDPR為代表,通過(guò)立法肯定算法解釋權(quán)的方式在必要性與可行性上都有待考量。[18]賦予算法可解釋權(quán)不僅會(huì)產(chǎn)生較高的解釋成本使該措施在執(zhí)法層面上的落地成為空中樓閣,而且使算法易于理解的后果可能是結(jié)果準(zhǔn)確性的降低。因此,排除立法賦權(quán)途徑,開(kāi)發(fā)者無(wú)需過(guò)度關(guān)注算法所含編碼、運(yùn)行程序等專業(yè)性較強(qiáng)的技術(shù)細(xì)節(jié),而是可以公開(kāi)與算法結(jié)果聯(lián)系緊密的輸入數(shù)據(jù)中的關(guān)鍵因素,并以易懂的方式向涉及其中的人類主體說(shuō)明并解釋其中存在的聯(lián)系以及可能受到的影響。以定價(jià)算法為例,開(kāi)發(fā)者可將用戶最近搜索詞條、購(gòu)買(mǎi)產(chǎn)品、回購(gòu)次數(shù)等用戶數(shù)據(jù)的重要組成部分作為關(guān)鍵因素向用戶作出說(shuō)明解釋,并闡明各要素作用于“個(gè)人畫(huà)像”的比重。
2020年3月18日,工業(yè)和信息化部辦公廳關(guān)于印發(fā)《中小企業(yè)數(shù)字化賦能專項(xiàng)行動(dòng)方案》的通知中,提出“鼓勵(lì)發(fā)展算法產(chǎn)業(yè)和數(shù)據(jù)產(chǎn)業(yè)”⑧。隨后國(guó)家又陸續(xù)出臺(tái)多項(xiàng)政策支持算法發(fā)展,算法產(chǎn)業(yè)及相關(guān)建設(shè)雖方興未艾,但算法“陰暗面”亦不容小覷。合理的法律制度構(gòu)建成為化解算法風(fēng)險(xiǎn)的有效途徑之一?!峨娮由虅?wù)法》《反壟斷法》等法律規(guī)定確已達(dá)到部分風(fēng)險(xiǎn)規(guī)制效果,但算法偏見(jiàn)、算法歧視、算法共謀因場(chǎng)景不同而存在的規(guī)制困境,使得法律制度嵌入算法風(fēng)險(xiǎn)治理的具體途經(jīng)亟待深度挖掘。
法律予以規(guī)制的基礎(chǔ)是行為對(duì)法益的侵害,算法偏見(jiàn)、算法歧視與算法共謀造成的損害結(jié)果,按照損害主體與利益范疇的不同,可劃分為公民基本權(quán)益的損害與特定主體利益的損害。一是,公民基本權(quán)利的損害?!稇椃ā穼?duì)人的價(jià)值的肯定,規(guī)定公民享有的基本權(quán)利。而算法偏見(jiàn)的產(chǎn)生邏輯,致使數(shù)據(jù)輸入的非客觀性,算法黑箱遮蔽了非中立元素通過(guò)不同途經(jīng)進(jìn)入算法運(yùn)行過(guò)程并對(duì)算法決策產(chǎn)生影響的流程,進(jìn)而固化社會(huì)中存在的不公,損害了公民的基本權(quán)利;二是,特定主體利益的損害。數(shù)字社會(huì)中,算法歧視導(dǎo)致的歧視性后果與算法共謀產(chǎn)生的排除與限制競(jìng)爭(zhēng)效果,不僅損害了特定消費(fèi)者的知情權(quán)、自主選擇權(quán)與公平交易權(quán)等消費(fèi)者合法權(quán)益,亦形成不易察覺(jué)的貿(mào)易壁壘,侵犯擁有競(jìng)爭(zhēng)關(guān)系的經(jīng)營(yíng)者的利益,而損害結(jié)果的類型不同,意味著普遍適用的法律條款在無(wú)具體細(xì)則支撐的情況下,應(yīng)對(duì)不同場(chǎng)景的損害后果很難做出針對(duì)性預(yù)防,因此細(xì)化法律條文是預(yù)防算法風(fēng)險(xiǎn)的必然要求。
預(yù)防算法風(fēng)險(xiǎn)的法律條款不勝枚舉,《關(guān)于平臺(tái)經(jīng)濟(jì)領(lǐng)域的反壟斷指南》強(qiáng)調(diào)禁止因算法產(chǎn)生的差別待遇;GDPR的默認(rèn)隱私原則為算法嵌入公平、正義的理念;《消費(fèi)者權(quán)益保護(hù)法》更是明確消費(fèi)者享有的各項(xiàng)權(quán)益。實(shí)踐中,面對(duì)算法決策侵犯特定主體利益的個(gè)案,算法所有者享有的天然信息優(yōu)勢(shì),加之算法決策的黑箱,消費(fèi)者往往因處于信息劣勢(shì),導(dǎo)致舉證困難。又因部分法律規(guī)則的執(zhí)行能力不強(qiáng),法律實(shí)施的效果較差,進(jìn)一步弱化了消費(fèi)者或經(jīng)營(yíng)者的受保障程度。[19]因此在法律層面,重構(gòu)算法規(guī)則,明確具體規(guī)則的貫徹落實(shí)可以使算法使用者的權(quán)利得到有效救濟(jì)。一方面,應(yīng)當(dāng)從法律層面落實(shí)算法公開(kāi)的具體規(guī)則,算法公開(kāi)制度應(yīng)當(dāng)立足于數(shù)據(jù)參數(shù)選取原因以及有特定指向的決策體系等有意義的內(nèi)容進(jìn)行公開(kāi)與解釋,真正提高算法透明度,[20]并具象化預(yù)防算法風(fēng)險(xiǎn)的特別規(guī)定,譬如,在《反壟斷法》中將算法共謀明確納入界定壟斷協(xié)議時(shí)所指的“協(xié)同行為”范疇。另一方面,進(jìn)一步加強(qiáng)監(jiān)管機(jī)構(gòu)的責(zé)任強(qiáng)度,加大執(zhí)法力度。具體地,加重處于優(yōu)勢(shì)信息一方的算法運(yùn)營(yíng)平臺(tái)在個(gè)案時(shí)的舉證責(zé)任,將“舉證責(zé)任倒置”規(guī)則引入算法風(fēng)險(xiǎn)類案件中,扭轉(zhuǎn)個(gè)案中算法使用者的信息劣勢(shì)地位,保障雙方平等的訴訟權(quán)利。當(dāng)機(jī)器自主學(xué)習(xí)給用戶造成損害時(shí),企業(yè)經(jīng)營(yíng)者和算法設(shè)計(jì)者對(duì)于算法參數(shù)選取、功能設(shè)置等的知曉度相較用戶而言,明顯處于信息優(yōu)勢(shì)地位,因此若仍依“誰(shuí)主張誰(shuí)舉證”的舉證規(guī)則,用戶很大可能會(huì)陷入舉證不能的窘境。為此,若在法律明確“面對(duì)機(jī)器自主學(xué)習(xí)給用戶造成的損害,由企業(yè)經(jīng)營(yíng)者和算法設(shè)計(jì)者承擔(dān)舉證責(zé)任”,且二者對(duì)于損害應(yīng)當(dāng)承擔(dān)的責(zé)任根據(jù)實(shí)例交由法院按比例進(jìn)行適度劃分,或能更有效地保護(hù)用戶的正當(dāng)權(quán)益。
突破傳統(tǒng)監(jiān)管結(jié)構(gòu),從執(zhí)法部門(mén)與社會(huì)主體雙重維度出發(fā),構(gòu)建國(guó)家與社會(huì)雙軌并行的監(jiān)管路徑,已經(jīng)成為算法風(fēng)險(xiǎn)預(yù)防的應(yīng)然之舉。多元治理模式對(duì)算法風(fēng)險(xiǎn)的有效規(guī)制亦是推動(dòng)算法所有者自我規(guī)制目的實(shí)現(xiàn)的重要途經(jīng)。
1.執(zhí)法部門(mén)動(dòng)態(tài)監(jiān)管
合理的監(jiān)管方式與有效的監(jiān)管手段利于執(zhí)法部門(mén)建立完備的算法監(jiān)管體系,實(shí)現(xiàn)高效監(jiān)管。首先,無(wú)法預(yù)測(cè)的算法風(fēng)險(xiǎn)與動(dòng)態(tài)的算法運(yùn)行過(guò)程,決定執(zhí)法部門(mén)對(duì)算法監(jiān)管的形式,應(yīng)當(dāng)采取復(fù)合的動(dòng)態(tài)監(jiān)管模式,而定期與不定期相結(jié)合的審查方式對(duì)及時(shí)發(fā)現(xiàn)算法風(fēng)險(xiǎn)具有關(guān)鍵作用。執(zhí)法部門(mén)應(yīng)當(dāng)聯(lián)合行業(yè)協(xié)會(huì)定期對(duì)算法所有者所使用的算法是否造成影響市場(chǎng)秩序的不良后果進(jìn)行審查,并將審查結(jié)果予以公開(kāi),提升執(zhí)法部門(mén)的監(jiān)管權(quán)威性。并輔以不定期審查的監(jiān)督形式,對(duì)企業(yè)使用的算法進(jìn)行抽樣排查,減少算法風(fēng)險(xiǎn)的產(chǎn)生。其次,執(zhí)法部門(mén)的監(jiān)管手段,應(yīng)當(dāng)結(jié)合具體案件合理選擇,有限干預(yù)市場(chǎng)運(yùn)行。例如,“鳳凰新聞”就曾被相關(guān)執(zhí)法部門(mén)“約談”,要求其平臺(tái)的算法設(shè)計(jì)中提高信息質(zhì)量的比重。[21]該種有別于傳統(tǒng)禁令、禁止等處罰方式的監(jiān)督手段,能夠有效避免執(zhí)法行為對(duì)市場(chǎng)主體自主經(jīng)營(yíng)活動(dòng)的侵害,亦能減少算法風(fēng)險(xiǎn)侵犯消費(fèi)者或經(jīng)營(yíng)者權(quán)益現(xiàn)象的發(fā)生。最后,執(zhí)法部門(mén)的監(jiān)管工具應(yīng)與時(shí)俱進(jìn),引入以“算法”預(yù)防“算法風(fēng)險(xiǎn)”的可行之路。數(shù)字時(shí)代下,算法出現(xiàn)在人類社會(huì)治理的多領(lǐng)域,金融領(lǐng)域基于算法的自動(dòng)交易系統(tǒng)廣泛用于股票、證券、期貨等各個(gè)方面;體育領(lǐng)域基于算法可通過(guò)分析運(yùn)動(dòng)員歷史訓(xùn)練數(shù)據(jù)組合出最優(yōu)隊(duì)伍;醫(yī)療領(lǐng)域基于算法可以評(píng)估新生兒出生時(shí)的狀態(tài)。算法多場(chǎng)景運(yùn)用的紅利昭示人類在社會(huì)治理中使用算法工具的必然。因此執(zhí)法部門(mén)的監(jiān)管工具選擇需從三方面考量:一是,需要結(jié)合社會(huì)背景順時(shí)代之潮;二是,可結(jié)合執(zhí)法部門(mén)在監(jiān)管環(huán)節(jié)運(yùn)用算法已有嘗試的經(jīng)驗(yàn)之談。目前稅務(wù)機(jī)關(guān)將作為典型信任算法的區(qū)塊鏈應(yīng)用于電子發(fā)票領(lǐng)域已是成功實(shí)例⑨,反映出算法在監(jiān)管環(huán)節(jié)的作用發(fā)揮可有效降低納稅爭(zhēng)議風(fēng)險(xiǎn);三是,需深入考慮執(zhí)法部門(mén)在監(jiān)管環(huán)節(jié)可能因算法的體量過(guò)大而面臨監(jiān)管不力困境。故而,設(shè)立一款特有算法以監(jiān)測(cè)“算法風(fēng)險(xiǎn)”的產(chǎn)生,利用算法嚴(yán)格的自執(zhí)行程序或能彌補(bǔ)人為監(jiān)管的不足,進(jìn)一步強(qiáng)化執(zhí)法部門(mén)監(jiān)管力度。特有算法的運(yùn)行模式如下所示:首先特有算法本身應(yīng)具備可追溯特點(diǎn),該特點(diǎn)不僅便于后期取證,而且利于實(shí)時(shí)監(jiān)測(cè)及時(shí)發(fā)現(xiàn)風(fēng)險(xiǎn)頻發(fā)的薄弱處并進(jìn)行對(duì)應(yīng)整改。特有算法可利用多個(gè)參數(shù)設(shè)置以評(píng)判A算法是否具有算法風(fēng)險(xiǎn)。一是A的參照數(shù)據(jù)范圍;二是A主要的應(yīng)用領(lǐng)域;三是A是否符合法律法規(guī)的強(qiáng)制性規(guī)定;四是A出現(xiàn)風(fēng)險(xiǎn)時(shí)的反饋渠道。通過(guò)對(duì)上述參數(shù)的評(píng)測(cè),實(shí)現(xiàn)對(duì)A算法的全鏈條監(jiān)督,維護(hù)算法的信用生態(tài)。
2.社會(huì)主體可評(píng)估算法制度的建立
算法模型對(duì)算法風(fēng)險(xiǎn)的遮蔽,導(dǎo)致社會(huì)主體往往還未意識(shí)到算法風(fēng)險(xiǎn),便遭受了損害結(jié)果。而算法風(fēng)險(xiǎn)所體現(xiàn)的對(duì)個(gè)體基本權(quán)利保護(hù)的冷漠,使得多數(shù)為專業(yè)知識(shí)所限的普通民眾在技術(shù)壓制下“任人宰割”。強(qiáng)化算法治理中的風(fēng)險(xiǎn)預(yù)防,必須將社會(huì)主體納入監(jiān)管主體的重要一環(huán),因此算法風(fēng)險(xiǎn)影響評(píng)估制度的構(gòu)建便亟待完成。
算法風(fēng)險(xiǎn)影響評(píng)估制度,是指在專業(yè)機(jī)構(gòu)對(duì)算法可能產(chǎn)生的潛在風(fēng)險(xiǎn)進(jìn)行評(píng)估后,再由用戶對(duì)算法是否造成不良影響的個(gè)體體驗(yàn)感進(jìn)行反饋,執(zhí)法部門(mén)再針對(duì)用戶反饋對(duì)算法審查并進(jìn)行相應(yīng)處罰。第一,專業(yè)機(jī)構(gòu)需要對(duì)算法事前進(jìn)行風(fēng)險(xiǎn)高低評(píng)估再?zèng)Q定該算法是否投入使用,風(fēng)險(xiǎn)較高的算法應(yīng)將算法風(fēng)險(xiǎn)評(píng)估報(bào)告予以公開(kāi)披露,[22]保障專業(yè)機(jī)構(gòu)評(píng)估活動(dòng)的公正與透明;第二,用戶對(duì)算法進(jìn)行體驗(yàn)感反饋,該反饋應(yīng)當(dāng)在特定區(qū)域以時(shí)間為序予以披露;第三,執(zhí)法部門(mén)應(yīng)當(dāng)定期審查用戶反饋風(fēng)險(xiǎn)較高的產(chǎn)品,核查后若確存在算法風(fēng)險(xiǎn),執(zhí)法部門(mén)應(yīng)予以嚴(yán)厲處罰,保障用戶的合法權(quán)益。
算法決策應(yīng)用場(chǎng)景的逐步擴(kuò)大已然成為社會(huì)發(fā)展的大勢(shì)所趨,但算法風(fēng)險(xiǎn)依舊存在并顯現(xiàn)出規(guī)制難題。算法偏見(jiàn)、算法歧視以及算法共謀所引發(fā)的無(wú)意或隱性的對(duì)人類價(jià)值與權(quán)利的漠視,其背后不僅是算法模型自身的瑕疵,亦有價(jià)值判斷的影響加持,更有人類認(rèn)知腳步無(wú)法追及科技發(fā)展的無(wú)奈。算法設(shè)計(jì)者、算法所有者、算法使用者、執(zhí)法部門(mén)作為影響算法動(dòng)態(tài)決策過(guò)程中的重要主體,要從根本上預(yù)防算法風(fēng)險(xiǎn),務(wù)必要將四者納入規(guī)制風(fēng)險(xiǎn)的關(guān)鍵環(huán)節(jié),從本體規(guī)制、法律規(guī)制以及監(jiān)管規(guī)制三個(gè)維度出發(fā),為算法的良性發(fā)展提供健康的內(nèi)外部環(huán)境,從源頭到事后構(gòu)建全過(guò)程、體系化的算法規(guī)制機(jī)制,以杜絕算法風(fēng)險(xiǎn)的發(fā)生。
注釋:
①參見(jiàn)[美]塞奇威克、[美]韋恩:《算法》,謝路云譯,人民郵電出版社2012年版,第1頁(yè)。
②參見(jiàn)丁曉東:《論算法的法律規(guī)制》,載《中國(guó)社會(huì)科學(xué)》2020年第12期,第138-159頁(yè)。
③參見(jiàn)梁志文:《論算法排他權(quán):破除算法偏見(jiàn)的路徑選擇》,載《政治與法律》2020年第8期,第94-106頁(yè)。
④See Ariel Ezrachi, Maurice E Stucke. Two Artificial Neural Networks Meet in an Online Hub and Change the Future ( of Competition, Market Dynamics and Society),UniversityofTennesseeCollegeofLaw, 2017.
⑤《中華人民共和國(guó)反壟斷法》第三條規(guī)定和第十三條分別規(guī)定。
⑥See Billings, C.E. Human-Centered Aircraft Automation: A Concept and Guidelines.NationalAeronauticsandSpaceAdministration,AmesResearchCenter, 3(1996).
⑦See De Cremer, D. What does building a fair AI really entail? Harvard business review. https://hbr.org/2020/09/what-does-building-a-fair-ai-really-entail. Last visit on 26 November 2021.
⑧參見(jiàn)中華人民共和國(guó)中央人民政府. 工業(yè)和信息化部辦公廳關(guān)于印發(fā)《中小企業(yè)數(shù)字化賦能專項(xiàng)行動(dòng)方案》的通知(工信廳企業(yè)〔2020〕10號(hào))http://www.gov.cn/zhengce/zhengceku/2020-03/24/content_5494882.htm. 最后訪問(wèn)日期:2022年1月26日。
⑨參見(jiàn)國(guó)家稅務(wù)總局廣東省稅務(wù)局.廣州推出全國(guó)首個(gè)“稅鏈”電子發(fā)票區(qū)塊鏈平臺(tái).http://guangdong.chinatax.gov.cn/gdsw/wwggdt/2018-06/27/content_0300aa26c5704959af029d345310a395.shtml. 最后訪問(wèn)日期:2022年1月26日。
山東青年政治學(xué)院學(xué)報(bào)2022年2期