国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

全球人工智能治理的格局、特征與趨勢洞察

2024-12-13 00:00:00張欣宋雨鑫
數(shù)字法治 2024年1期
關(guān)鍵詞:生成式人工智能

內(nèi)容提要:面對人工智能技術(shù)革新及由此引發(fā)的治理挑戰(zhàn),當前,全球范圍內(nèi)已初步形成主權(quán)國家主導(dǎo)、國際組織推進、科技企業(yè)協(xié)同的多方治理格局,并出現(xiàn)人工智能治理法治化、治理智慧化和軟法與硬法雙軌并行深度治理的趨勢。但發(fā)展中國家與發(fā)達經(jīng)濟體之間在人工智能技術(shù)發(fā)展和治理議程設(shè)置能力上仍存在“智能鴻溝”和治理代差?,F(xiàn)階段人工智能治理的國際合作具有高度碎片化特征,缺乏全球人工智能治理的核心監(jiān)管機構(gòu),而政府間合作多具有地域特征和大國競爭導(dǎo)向。因此,全球人工智能治理機制的構(gòu)建需要以包容性、平等性、多元性為基礎(chǔ)原則,探索政府間、企業(yè)間、專家間的對話交流和磋商機制,通過在重點領(lǐng)域率先凝聚治理共識推動實現(xiàn)協(xié)同發(fā)展、和諧共榮的治理格局。

關(guān)鍵詞:人工智能倫理 全球人工智能治理 生成式人工智能 負責任創(chuàng)新

人工智能演進速度之快、賦能范圍之廣、影響程度之深前所未有。與傳統(tǒng)技術(shù)相比,人工智能技術(shù)從分析式人工智能躍遷至生成式人工智能,從單模態(tài)模型升級至多模態(tài)模型,從億級參數(shù)的中小模型發(fā)展為千億甚至萬億級參數(shù)的大模型。參見中國信息通信研究院政策與經(jīng)濟研究所、中國科學(xué)院計算技術(shù)研究所智能算法安全重點實驗室:《大模型治理藍皮報告——從規(guī)則走向?qū)嵺`》(2023年11月),載中國信通院網(wǎng),http://www.caict.ac.cn/kxyj/qwfb/ztbg/202311/t20231124_466440.htm,2024年1月20日訪問?!坑绕涫墙谝蚩萍紵岢钡纳墒饺斯ぶ悄?,其所依托的“大模型+大數(shù)據(jù)+大算力”路線帶來了一系列技術(shù)新突破,使得人類正在以前所未有的速度逼近通用人工智能。這一發(fā)展趨勢也為全球人工智能治理帶來了新形勢、新格局和新挑戰(zhàn),推動構(gòu)建匯聚廣泛共識的全球人工智能治理體系日益成為各方共同訴求。本文概覽全球人工智能治理動態(tài),剖析全球人工智能治理格局與特征,并對未來的挑戰(zhàn)與發(fā)展進行初步的前瞻性分析。

一、全球人工智能治理格局的形成與發(fā)展

目前,全球人工智能治理已形成各國政府領(lǐng)銜主導(dǎo)、國際組織積極推進、科技企業(yè)協(xié)同治理的多方參與格局。但與此同時,發(fā)展中國家與發(fā)達經(jīng)濟體之間在人工智能技術(shù)發(fā)展和治理能力上依然存在“智能鴻溝”和治理代差。

(一)各國高度重視并積極參與全球人工智能新秩序的形成

當前,作為全球科技競爭中最為激烈的領(lǐng)域,人工智能的國際競爭早已超越技術(shù)和產(chǎn)業(yè)的競爭,并實質(zhì)拓展到以法律規(guī)制和規(guī)章制度為代表的人工智能治理競爭。可以看到,近期美國、歐盟、日本、韓國等國家和地區(qū)均高度重視人工智能治理優(yōu)勢的塑造,紛紛搶占全球人工智能治理的制高點和主導(dǎo)地位,形成“技術(shù)賽道”“產(chǎn)品賽道”和“制度賽道”多軌并行的新格局??梢哉f,從全球范圍來看,人工智能已步入技術(shù)發(fā)展的“奇點時刻”與人工智能治理的“關(guān)鍵時刻”。作為世界人工智能科技發(fā)展大國,美國近年來頒布了一系列法律、法規(guī)和行政命令,積極布局其在全球人工智能治理秩序中的領(lǐng)導(dǎo)地位。2021年,美國頒布《國家人工智能倡議法》,設(shè)立了人工智能發(fā)展協(xié)調(diào)統(tǒng)籌機構(gòu)促進聯(lián)邦加速人工智能研究和應(yīng)用,以保障其在人工智能治理領(lǐng)域的國際領(lǐng)導(dǎo)力。【Data Trusts: National Artificial Intelligence Initiative Act of 2020,at https://www.congress.gov/bill/116th-congress/house-bill/6216/text(Last Visited on Jan.2,2024).】2022年,美國白宮科技政策辦公室發(fā)布《人工智能權(quán)利法案藍圖:讓自動化系統(tǒng)為美國人民服務(wù)》,規(guī)定了關(guān)于人工智能或自動化系統(tǒng)設(shè)計、使用和部署的多項原則和相關(guān)實踐。【Blueprint for an AI Bill of Rights:Making Automated Systems Work for the American People, at https://www.whitehouse.gov/wp-content/uploads/2022/10/Blueprint-for-an-AI-Bill-of-Rights.pdf(Last Visited on Jan.2,2024).】2023年以來,美國國家標準和技術(shù)研究院(NIST)于年初發(fā)布了《人工智能風險管理框架》,旨在對人工智能系統(tǒng)全生命周期實行有效的風險管理?!綝ata Trusts: Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1,at https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf(Last Visited on Jan.2,2024).】美國《國家人工智能咨詢委員會首年年度報告》則明確提出,應(yīng)采取一系列積極措施將NIST提出的人工智能風險管理框架推廣為全球人工智能風險管控的“通用語言”。【Data Trusts: National Artificial Intelligence Advisory Committee (NAIAC) Year l, at https://www.ai.gov/wp-content/uploads/2023/05/NAIAC-Report-Year1.pdf(Last Visited on Jan. 2,2024).】近期,美國政府就人工智能監(jiān)管發(fā)布了行政命令,強勢推動美國生成式人工智能科技企業(yè)踐行自愿承諾的監(jiān)管路徑,為美國在日后能夠填補日本在七國集團“廣島人工智能進程”中的領(lǐng)導(dǎo)地位提前布局?!綝ata Trusts: Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence,at https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/(Last Visited on Jan.2,2024).】

與此同時,AI發(fā)展實力位居世界前列的英國為最大程度發(fā)揮人工智能帶來的社會效益,鼓勵人工智能在值得信賴的前提下不斷創(chuàng)新發(fā)展,在2023年3月發(fā)布了《促進創(chuàng)新的人工智能監(jiān)管方法》白皮書,提出基于比例和場景的人工智能治理路線,以為企業(yè)和用戶對人工智能的使用提供信心,為行業(yè)提供具有確定性、一致性的監(jiān)管方法。白皮書特別強調(diào)政府和行業(yè)、企業(yè)等多主體開展協(xié)同治理的重要性,以及加強人工智能治理全球合作和互操作性的重要性,以盡快實現(xiàn)英國在人工智能領(lǐng)域的全球領(lǐng)導(dǎo)者地位?!綝ata Trusts:" A Pro-innovation Approach to AI Regulation,at https://assets.publishing.service.gov.uk/media/64cb71a547915a00142a91c4/a-pro-innovation-approach-to-ai-regulation-amended-web-ready.pdf(Last Visited on Jan.2,2024).】近期,英國還主辦了人工智能安全峰會,達成了全球首個人工智能治理協(xié)議《布萊切利宣言》,包括中國、美國、英國等28個國家及歐盟共同簽署了該項聲明?!綝ata Trusts:"" The Bletchley Declaration by Countries Attending the AI Safety Summit, at https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai- safety-summit-1-2-november-2023(Last Visited on Jan.2,2024).】此外,作為全球首部人工智能法律草案,歐盟的《人工智能法案》已經(jīng)進入立法程序的最后階段。歐盟希望借助該法案繼續(xù)在人工智能治理領(lǐng)域發(fā)揮“布魯塞爾效應(yīng)”,引領(lǐng)全球人工智能治理規(guī)則的建構(gòu)。與此同時,加拿大、日本、韓國、新加坡、巴西等國均就人工智能治理陸續(xù)開展實質(zhì)性立法和監(jiān)管工作??梢哉f,全球人工智能治理新秩序正在加速形成,各國均積極布局并參與其中。

(二)國際組織積極就促成全球人工智能治理共識作出探索

與傳統(tǒng)技術(shù)風險有所不同,人工智能技術(shù)風險具有隱蔽性、跨域性、全球性和長期性,需要從國際層面展開持續(xù)性、系統(tǒng)性和協(xié)同性的治理努力。因此,近年來,各國際組織積極探索促成全球人工智能治理共識達成的規(guī)范框架。早在2019年,經(jīng)濟合作與發(fā)展組織(OECD)即發(fā)布了全球首個政府間人工智能治理原則的文件。同年,二十國集團(G20)提出“G20人工智能原則”,就人工智能應(yīng)促進包容性增長、可持續(xù)發(fā)展和社會福祉以及“以人為本”的價值觀和“問責制”等人工智能治理的基礎(chǔ)性原則,獲得了廣泛共識。此后,世界衛(wèi)生組織(WHO)、聯(lián)合國教科文組織(UNESCO)等就人工智能倫理與治理相繼發(fā)聲。【2021年6月,世界衛(wèi)生組織(WHO)發(fā)布《世界衛(wèi)生組織衛(wèi)生健康領(lǐng)域人工智能倫理與治理指南》,提出包括保護人類自主性,增進人類福祉、安全以及公共利益等六項原則。2021年11月,聯(lián)合國教科文組織(UNESCO)通過全球首個人工智能倫理協(xié)議《人工智能倫理問題建議書》,提出發(fā)展及應(yīng)用人工智能所應(yīng)尊重的四大價值。】2023年10月,聯(lián)合國秘書長安東尼奧·古特雷斯宣布組建高級別人工智能咨詢機構(gòu),其主要目標是定期評估現(xiàn)有的人工智能治理框架,并提供建議,確保其符合人權(quán)、法治和共同利益。該機構(gòu)于2023年12月發(fā)布《臨時報告:以人為本的人工智能治理》,提出新組建的國際人工智能治理機構(gòu)需遵循包容性、公共利益、數(shù)據(jù)治理為中心、國際法以及普遍性、網(wǎng)絡(luò)化和多利益攸關(guān)方的五項原則。此外,各國際組織高度重視生成式人工智能的負責任創(chuàng)新,近期密集發(fā)布了聯(lián)合國《全球數(shù)字契約》《關(guān)于負責任的生成式人工智能的建議》(世界經(jīng)濟論壇)、《生成式人工智能在教育和研究中的應(yīng)用指南》(UNESCO)等一系列文件,共同強調(diào)了在發(fā)展和應(yīng)用生成式人工智能技術(shù)時必須遵循的倫理原則和規(guī)范,進一步呼吁各國政府、私營主體、學(xué)術(shù)機構(gòu)以及民間社會共同努力以及全球合作治理的重要性與緊迫性?!緟⒁娛澜缁ヂ?lián)網(wǎng)大會人工智能工作組:《發(fā)展負責任的生成式人工智能:研究報告及共識文件》,載搜狐網(wǎng),https://www.sohu.com/a/736197659_121834010,2024年1月20日訪問?!?/p>

(三)科技企業(yè)積極尋求人工智能治理的自我規(guī)制方案

科技企業(yè)是走在人工智能研發(fā)、部署和應(yīng)用第一線的先行者,對促進人工智能治理框架的形成發(fā)揮著重要作用。在全球人工智能治理秩序形成的過程中,各大科技企業(yè)也積極從以下兩方面推動人工智能治理的多元化路徑,嘗試探尋自我規(guī)制的創(chuàng)新方案。一方面,各科技企業(yè)積極尋求與監(jiān)管者溝通合作,力求通過自我承諾、自我約束的方式開展人工智能治理。例如,亞馬遜、Anthropic、谷歌、Inflection AI、Meta、微軟和OpenAI七家代表性科技企業(yè)作出自愿性承諾,確保其人工智能技術(shù)的安全性、有保障性和可信任性?!緟⒁婂X童心:《谷歌、微軟等“七巨頭”發(fā)聲:自愿承諾AI監(jiān)管八項措施》,載第一財經(jīng)網(wǎng),https://m.yicai.com/news/101815922.html,2024年1月2日訪問。】美國在推進該治理路徑的同時,還與其盟友和伙伴合作,就自愿承諾與澳大利亞、巴西、加拿大、智利、法國、德國、印度、以色列、意大利、日本、肯尼亞、墨西哥、荷蘭、新西蘭、尼日利亞、菲律賓、新加坡、韓國、阿聯(lián)酋和英國進行了磋商,希望這些承諾得到各方的認可與支持。無獨有偶,2023年5月,谷歌公司也與歐盟內(nèi)部市場專員蒂埃里·布雷頓達成協(xié)議。在歐盟《人工智能法案》正式生效前,來自歐洲內(nèi)外的人工智能“所有主要企業(yè)”將在自愿基礎(chǔ)上與歐盟形成一項具有企業(yè)自我規(guī)制特點的人工智能治理協(xié)議?!網(wǎng)e Can’t Afford to Wait: Brussels and Google Pitch Voluntary AI Pact to Fill Legislative Gap, at https://www.euronews.com/my-europe/2023/05/25/we-cant-afford-to-wait-brussels-and-google-pitch-voluntary-ai-pact-to-fill-legislative- gap(Last Visited on Jan.2,2024). 】而近期引發(fā)關(guān)注的法國、德國、意大利三國簽署的聯(lián)合文件中,也提出通過“模型卡”方式對基礎(chǔ)模型開發(fā)者施加自愿承諾性質(zhì)的治理?!驹跉W盟《人工智能法案》制定通過的最后階段,法國、德國、意大利聯(lián)合反對《人工智能法案》針對基礎(chǔ)模型制定的“兩層分級方法”,認為人工智能的本質(zhì)風險是應(yīng)用,而不是技術(shù)本身。并提出以模型卡、自愿承諾等方式“通過行為準則進行強制性自我監(jiān)管”。參見路透社報道:Germany,F(xiàn)rance and Italy reach agreement on future AI regulation, at https://www.reuters.com/technology/germany-france-italy-reach-agreement-future-ai-regulation-2023-11-18/(Last Visited on Jan.2,2024). 】由此可見,代表性科技企業(yè)在全球人工智能治理的具體走向上發(fā)揮著實質(zhì)性影響。另一方面,各科技企業(yè)也積極開發(fā)人工智能治理工具以紓解新型技術(shù)風險,推進負責任的創(chuàng)新與研發(fā)。例如,2023年5月10日,谷歌開發(fā)者大會中提出了遵循負責任發(fā)展原則的人工智能未來愿景,并對深度合成等人工智能生成圖片難以識別等問題,開發(fā)了打擊虛假信息圖片搜索工具、人工智能生成內(nèi)容的“元數(shù)據(jù)”添加工具以及基礎(chǔ)模型自動生成水印工具。又如,2023年1月,Meta公司宣布推出一項名為方差衰減系統(tǒng)(VRS)的新技術(shù),以改善向Facebook用戶展示的住房廣告的公平性,并將該工具擴展到就業(yè)和信貸廣告領(lǐng)域?!綝ata Trusts:A New System to Help Ensure Ads are Delivered Fairly, at https://ai.meta.com/blog/advertising-fairness-variance-reduction-system-vrs/(Last Visited on Jan.2,2024). 】可以說,科技企業(yè)在全球人工智能治理格局形成過程中的作用不可小覷。

(四)發(fā)展中國家與發(fā)達經(jīng)濟體相比存在“智能鴻溝”和人工智能治理“代差”

因人才儲備、基礎(chǔ)設(shè)施和技術(shù)接入不足等客觀約束,發(fā)展中國家人工智能技術(shù)的發(fā)展與應(yīng)用受限較多。相較于發(fā)達經(jīng)濟體更為成熟的法律體系和監(jiān)管框架,發(fā)展中國家基于知識積淀和執(zhí)法資源的限制,面對人工智能帶來的各類風險也面臨著更大的治理挑戰(zhàn)。因此,相關(guān)研究顯示,人工智能技術(shù)可能使更多投資轉(zhuǎn)向已經(jīng)實現(xiàn)自動化的發(fā)達經(jīng)濟體,從而拉大發(fā)達國家與貧困國家之間的差距。這進而可能對發(fā)展中國家的就業(yè)產(chǎn)生不利影響,對欠發(fā)達經(jīng)濟體的傳統(tǒng)優(yōu)勢產(chǎn)生替代而非補充作用?!綝ata Trusts:Cristian Alonso, Siddharth Kothari amp; Sidra Rehman, How Artificial Intelligence Could Widen the Gap Between Rich and Poor Nations, at https://www.imf.org/en/Blogs/Articles/2020/12/02/blog-how-artificial-intelligence-could- widen-the-gap-between-rich-and-poor-nations(Last Visited on Jan.2,2024). 】目前,發(fā)展中國家在本輪人工智能革命中與發(fā)達經(jīng)濟體相比存在一定的技術(shù)差距。發(fā)展中國家面臨著與發(fā)達國家人工智能等新興科技和產(chǎn)業(yè)發(fā)展方面的“代差”風險,恐陷入以個別國家為代表的寡頭壟斷和被動局面。直面發(fā)展中國家在人工智能技術(shù)發(fā)展和應(yīng)用層面存在的“智能鴻溝”和治理差距,作為發(fā)展中國家的重要代表及世界人工智能創(chuàng)發(fā)的主要力量之一,中國在2023年的第三屆“一帶一路”國際合作高峰論壇上提出《全球人工智能治理倡議》?!度蛉斯ぶ悄苤卫沓h》集中展示了我國在人工智能治理長期實踐中所積累的寶貴經(jīng)驗,圍繞人工智能發(fā)展、安全、治理三方面系統(tǒng)闡述了人工智能治理的“中國方案”?!度蛉斯ぶ悄苤卫沓h》的提出還彰顯了我國作為發(fā)展中國家的一員積極參與人工智能國際治理,踐行大國責任和大國擔當?!度蛉斯ぶ悄苤卫沓h》中就各方普遍關(guān)切的人工智能發(fā)展與治理問題提出建設(shè)性解決思路,為相關(guān)國際討論和規(guī)則制定提供藍本,從而提升發(fā)展中國家對人工智能全球規(guī)則的影響力和話語權(quán),進一步提升發(fā)展中國家對人工智能治理議題的議程設(shè)置和引導(dǎo)能力。

二、全球人工智能治理的共識性特征

人工智能帶來的彌散性影響緊密交織、疊加擴展,成為挑戰(zhàn)現(xiàn)代公共治理的“潘多拉魔盒”,并引發(fā)了有關(guān)規(guī)制理念、規(guī)制架構(gòu)、規(guī)制工具等一系列重大調(diào)整與變革。鑒于人工智能的不良影響日益加劇,世界各國積極探索治理之道,推動實施人工智能治理機制的深度變革。這些路徑雖各有側(cè)重,但仍不乏趨同之處,且主要呈現(xiàn)“兩化一并行”的趨勢特征。

(一)人工智能治理法治化

全球人工智能治理日益凸顯“法治化”特征。伴隨著人工智能技術(shù)與產(chǎn)業(yè)鏈結(jié)構(gòu)的快速變革,人工智能治理日益成為影響人工智能產(chǎn)業(yè)發(fā)展的重要因素。各國雖就人工智能治理提出了多元化的治理理念和治理路徑,但將人工智能治理“法治化”、通過法治化道路為人工智能治理提供“制度圍欄”已在國際層面形成廣泛共識。2023年以來,美國、歐盟、英國以及聯(lián)合國等國家和國際組織均對推動人工智能治理的“法治化”進程作出實質(zhì)性舉措。國際層面,聯(lián)合國正在組建全球性的人工智能治理機構(gòu),并著力推進凝聚多方共識的《全球數(shù)字契約》制定進程。國家層面,各國政府圍繞多邊和雙邊機制就人工智能治理中的安全、合作、監(jiān)管等重點議題推進區(qū)域性治理共識建設(shè),并形成了一系列的人工智能治理文件(見表1)。我國則于2023年制定了《科技倫理審查辦法(試行)》和《生成式人工智能服務(wù)管理暫行辦法》,提出了人工智能治理的“中國方案”。因此,我國《全球人工智能治理倡議》中關(guān)于逐步建立健全人工智能領(lǐng)域的法律和規(guī)章制度的提議,不僅是為國際社會貢獻中國智慧和中國經(jīng)驗的重要舉措,也是中國在推動全球人工智能治理法治化進程中積極踐行人類命運共同體理念的具體行動。

(二)人工智能治理智慧化

全球人工智能治理也日益彰顯“智慧化”特征。人工智能技術(shù)借助平臺開放性架構(gòu)不斷延展,既作為生產(chǎn)要素存在,又是平臺企業(yè)的制勝利器,對其有效治理既仰賴企業(yè)的協(xié)同配合,又考驗政府的數(shù)字化監(jiān)管能力。因此,筆者認為,應(yīng)打造創(chuàng)新友好型的監(jiān)管基礎(chǔ)設(shè)施,將監(jiān)管科技作為聯(lián)動多元主體、平衡技術(shù)創(chuàng)新與公共利益保障的底層支撐,探索適合各國資源稟賦的“智慧化”治理路徑。尤其是對于具有超大規(guī)模、千億參數(shù)量、超級易擴展性和超級應(yīng)用場景的生成式人工智能而言,以事后啟動、分散推進為特征的傳統(tǒng)監(jiān)管面臨應(yīng)對時滯、彈性不足、監(jiān)管尺度不清、跨域協(xié)調(diào)成本高的挑戰(zhàn)。目前,各國均積極探索“以AI治理AI、以算法規(guī)制算法”的智能監(jiān)管科技體系,深入探究技術(shù)模型在人工智能監(jiān)管層面的有效性,將倫理規(guī)范和合規(guī)要點轉(zhuǎn)化為程序語言,以內(nèi)部倫理技術(shù)約束嵌入人工智能設(shè)計和運行全過程,探索“智慧化”監(jiān)管范式。例如,歐盟的《人工智能法案》就引入了“人工智能監(jiān)管沙盒”理念,通過為人工智能技術(shù)、產(chǎn)品和服務(wù)提供受控的實驗和測試環(huán)境,促進人工智能治理的前瞻性和創(chuàng)新友好性。與之匹配的《數(shù)字歐洲計劃(2021—2027)》亦明確提出,加快建立系統(tǒng)性測試技術(shù)和監(jiān)管試驗技術(shù),為人工智能監(jiān)管沙盒提供技術(shù)支持。

(三)轉(zhuǎn)向“軟法”與“硬法”雙軌并行的深度治理

長期以來,技術(shù)標準、監(jiān)管指引、倫理規(guī)范、基準測試、可信認證等多種形式為內(nèi)容的軟法治理占據(jù)著人工智能治理的核心。與法律法規(guī)等“硬法”相比,“軟法”中包含一系列人工智能研發(fā)與部署活動中應(yīng)當遵循的價值準則和行為規(guī)范,不僅有利于凝聚技術(shù)、產(chǎn)業(yè)、政策等各界共識,還可以在人工智能技術(shù)研發(fā)早期發(fā)揮重要的約束和指引作用。但僅有“軟法”治理,難以解決人工智能技術(shù)和應(yīng)用過程中產(chǎn)生的一系列負外部性問題。隨著人工智能技術(shù)和應(yīng)用對社會的影響日益加深,人工智能風險所具有的隱秘性、不確定性、復(fù)雜性、全球性等特點給人工智能治理帶來了巨大挑戰(zhàn)。人工智能風險不僅沒有被有效遏制,相反還有急劇攀升的趨勢。據(jù)人工智能、算法、自動化事件和爭議數(shù)據(jù)庫(AI,Algorithmic,and Automation Incidents and Controversies,AIAAIC)顯示,2021年新報告的人工智能事件和爭議數(shù)量是2012年的26倍?!綝ata Trusts:" Stanford HAI,Artificial Intelligence Index Report 2023,at https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index-Report_2023.pdf(Last Visited on Jan.2,2024).】伴隨著人工智能與社會嵌入及交織程度的加深,人工智能技術(shù)的濫用現(xiàn)象已經(jīng)極為嚴峻。各國均從早期以科技倫理、技術(shù)標準、自律承諾等為代表的“軟法”治理,逐步轉(zhuǎn)向更為成熟的“軟法與硬法雙軌并行、剛?cè)岵钡男滦椭卫砟J?。在軟法?guī)制之外,各國均實質(zhì)探索符合本國實際的人工智能的監(jiān)管方案,以法律強制約束力確保人工智能技術(shù)研發(fā)及應(yīng)用的安全、可信、可控。

三、全球人工智能治理的挑戰(zhàn)與展望

(一)全球人工智能治理的挑戰(zhàn)

盡管全球人工智能治理秩序正在迅速形成,但現(xiàn)階段人工智能治理的國際合作具有高度碎片化特征?!維ee Jonas Tallberg et al, The Global Governance of Artificial Intelligence: Next Steps for Empirical and Normative Research, International Studies Review, Vol.2023 (25), pp.1-23.】如何處理數(shù)據(jù)安全、隱私保護、算法濫用等問題,并形成全球范圍內(nèi)的協(xié)同有效治理,是當前的重要議題?!緟⒁妼O成昊、趙宇琪:《中美人工智能領(lǐng)域合作的路徑與前景》,載《中國信息安全》2023年第7期?!?/p>

從目前實踐來看,仍然存在下列不足:第一,國際組織參與度高于政府,但尚未有國際組織承擔起全球人工智能核心監(jiān)管機構(gòu)的角色,各國際組織間呈現(xiàn)出高度分散的狀態(tài)。其中,聯(lián)合國成為推動人工智能全球監(jiān)管合作的重要機制,不僅發(fā)布系列文件凝聚全球人工智能倫理共識,還支持建立跨國監(jiān)管與咨詢機構(gòu),健全全球風險與安全應(yīng)對機制。【參見中國信息通信研究院政策與經(jīng)濟研究所、中國科學(xué)院計算技術(shù)研究所智能算法安全重點實驗室:《大模型治理藍皮報告——從規(guī)則走向?qū)嵺`》(2023年11月),載中國信通院網(wǎng),http://www.caict.ac.cn/kxyj/qwfb/ztbg/202311/t20231124_466440.htm,2024年1月20日訪問?!?020年起,國際組織已經(jīng)超越國家成為主要的人工智能治理舉措的來源。數(shù)據(jù)統(tǒng)計顯示,2015年到2023年,各國共發(fā)布172項AI治理舉措,國際組織發(fā)布214項舉措?!緟⒁娭袊畔⑼ㄐ叛芯吭赫吲c經(jīng)濟研究所、中國科學(xué)院計算技術(shù)研究所智能算法安全重點實驗室:《大模型治理藍皮報告——從規(guī)則走向?qū)嵺`》(2023年11月),載中國信通院網(wǎng),http://www.caict.ac.cn/kxyj/qwfb/ztbg/202311/t20231124_466440.htm,2024年1月20日訪問?!恳月?lián)合國為代表,各國際組織發(fā)布的眾多治理方案及監(jiān)管措施能否協(xié)調(diào)落地,成為全球人工智能治理秩序有效運行的突出問題。第二,政府間合作多具有地域特征和大國競爭導(dǎo)向。【See Jonas Tallberg et al, The Global Governance of Artificial Intelligence: Next Steps for Empirical and Normative Research, International Studies Review,Vol.2023(25),pp.1-23.】以G7國家為代表的發(fā)達國家推薦構(gòu)建一致且互操作的人工智能監(jiān)管規(guī)則,而以金磚國家為代表的新興市場和發(fā)展中國家在人工智能治理的國際合作中潛力尚待發(fā)揮?!緟⒁娭袊畔⑼ㄐ叛芯吭赫吲c經(jīng)濟研究所、中國科學(xué)院計算技術(shù)研究所智能算法安全重點實驗室:《大模型治理藍皮報告——從規(guī)則走向?qū)嵺`》(2023年11月),載中國信通院網(wǎng),http://www.caict.ac.cn/kxyj/qwfb/ztbg/202311/t20231124_466440.htm,2024年1月20日訪問?!恐档藐P(guān)注的是,在全球科技競爭的背景下,可能存在一些國家主動削弱監(jiān)管以獲得經(jīng)濟競爭優(yōu)勢的情形。因此,打造一個全方位、多層次、匯聚廣泛共識,具有真正的包容性、平等性、多元性的治理框架仍然面臨多項挑戰(zhàn)。其中尤為突出的當屬意識形態(tài)對人工智能治理框架的影響以及資本逐利帶來的負面沖擊。

一方面,美歐等代表性司法轄區(qū)均將生成式人工智能以及通用人工智能的監(jiān)管列在優(yōu)先級最高的政策議程,廣泛推行基于意識形態(tài)認同的“技術(shù)聯(lián)盟”。與此同時,美歐近年來極為強調(diào)人工智能監(jiān)管的趨同與對標,強調(diào)監(jiān)管的互操作性和一致性。2021年,雙方成立了美歐貿(mào)易和技術(shù)委員會(TTC),旨在加快美歐跨大西洋合作的步伐。2023年5月,TTC召開了第四次部長級會議,圍繞6G、量子計算、人工智能等關(guān)鍵新興技術(shù)的監(jiān)管問題達成了一系列共識,不僅包括為此前發(fā)布的可信的人工智能和風險管理聯(lián)合路線圖成立三個新的專家組,試圖在人工智能標準化工作上起到引領(lǐng)作用,還成立了量子技術(shù)特別工作組,為美歐持續(xù)的網(wǎng)絡(luò)對話提供支持。【Data Trusts:" U.S.-EU Joint Statement of the Trade and Technology Council, at https://www.whitehouse.gov/briefing-room/statements-releases/2023/05/31/u-s-eu-joint-statement-of-the-trade-and-technology-council-2/(Last Visited on Jan.2,2024). 】對于人工智能治理,TTC聯(lián)合聲明中強調(diào)為生成式人工智能建立護欄和規(guī)則框架的重要性。由此可見,美歐通過締結(jié)人工智能治理聯(lián)盟搶占未來發(fā)展制高點,強化雙方在數(shù)字治理領(lǐng)域的主導(dǎo)性地位。

另一方面,資本逐利加劇了人工智能全球風險治理步伐協(xié)同的難度。生成式人工智能的興起不僅引領(lǐng)了全球人工智能研發(fā)和商業(yè)應(yīng)用的新浪潮,也凸顯了資本逐利與技術(shù)向善之間的緊張關(guān)系。在這一過程中,技術(shù)的快速發(fā)展和資本的逐利動機不斷交織,產(chǎn)生了復(fù)雜的挑戰(zhàn)。OpenAI近期的管理團隊變動就生動地展示了技術(shù)加速發(fā)展和資本逐利之間的張力。法國、德國、意大利聯(lián)合聲明反對《人工智能法案》對基礎(chǔ)模型的監(jiān)管立場,其背后也不乏歐洲人工智能企業(yè)的游說身影?!綝ata Trusts:" Bram Vranken, Big Tech Lobbying is Derailing the AI Act, at https://www.socialeurope.eu/big-tech-lobbying-is-derailing-the-ai-act(Last Visited on Jan.2,2024). 】以時下最為火熱的生成式人工智能為例,大模型訓(xùn)練需要巨額資本作為支撐,這使得技術(shù)的快速進步與資本的逐利目標相互牽連。盡管當前有一系列法律法規(guī)、倫理規(guī)范和技術(shù)標準對人工智能進行治理,但資本逐利的傾向可能導(dǎo)致技術(shù)異化,這一點需要全球?qū)用娓鼮榫o密的協(xié)作來應(yīng)對。

在這一背景下,我國《全球人工智能治理倡議》和國內(nèi)相關(guān)立法突出了“以人為本”的理念,強調(diào)技術(shù)向善,確保人工智能的發(fā)展以增進人類共同福祉為目標。這表明,我國在人工智能的開發(fā)與應(yīng)用中致力于確保技術(shù)始終以人類的利益為先。在這一原則的指導(dǎo)下,我國強調(diào)尊重每個個體的基本權(quán)利和人的尊嚴,維護人的主體性地位,確保人工智能技術(shù)的發(fā)展不僅符合人類的需求,更服務(wù)于增進人類福祉的更高目標。這種“以人為本”的治理理念,對于防范技術(shù)加速開發(fā)中的潛在異化,具有至關(guān)重要的作用。這不僅為中國,也為全球人工智能的健康發(fā)展提供了有益的借鑒和引導(dǎo)??梢哉f,在這一重要機遇期,我國圍繞人工智能發(fā)展、安全、治理三方面以《全球人工智能治理倡議》的方式系統(tǒng)闡述人工智能治理的“中國方案”是主動破局,通過頂層設(shè)計把握機遇窗口、化解風險挑戰(zhàn)、重塑人工智能時代新優(yōu)勢的重要舉措。

(二)全球人工智能治理的未來展望

面對人工智能技術(shù)發(fā)展帶來全球性的治理挑戰(zhàn),擱置分歧、協(xié)力應(yīng)對,才是有效強化人工智能治理的可取之道。這其中,作為全球最重要的人工智能技術(shù)研發(fā)和應(yīng)用大國,中美兩國是人工智能治理領(lǐng)域的核心、關(guān)鍵角色,兩國既存在治理、管控人工智能安全、倫理風險的理念共識,也面臨技術(shù)競爭、監(jiān)管策略等方面的現(xiàn)實分歧。中美兩國在人工智能治理議題上的合作或競爭的側(cè)重取向?qū)槿蛉斯ぶ悄艿闹卫砻嫦蚨ㄏ禄{(diào)。2023年11月中旬,中美元首在美國舊金山舉行會晤。此次會晤中,兩國明確要在人工智能這一新興領(lǐng)域加強合作,建立人工智能政府間對話機制?!緟⒁姟锻跻憔椭忻涝着f金山會晤向媒體介紹情況并答問》,載外交部官網(wǎng),http://switzerlandemb.fmprc.gov.cn/ziliao_674904/zt_674979/dnzt_674981/xjpfmgjxzmyshwtscxytjhzzdsscldrfzshy/zxxx_136234/202311/t20231116_11181420.shtml,2024年1月2日訪問?!俊芭f金山會晤”直接回應(yīng)了人工智能治理這一全人類共同關(guān)切,為中美兩國人工智能的合作治理確定主軸。更進一步說,兩國間的合作共識也發(fā)揮著引領(lǐng)和示范作用,推動全球人工智能治理共識和秩序的凝聚。具體而言,在我國《全球人工智能治理倡議》的框架和指引之下,未來可以通過下列方式在人工智能治理議題上開展對話與合作,以進一步凝聚人工智能治理共識,推動人工智能政府間對話機制建設(shè)。

第一,明確人工智能治理合作的底線共識,以“舊金山愿景”指引中美合作的新方向。要在人工智能治理領(lǐng)域?qū)崿F(xiàn)中美合作共治,就必須以共識為橋梁,在共識、共商、共信基礎(chǔ)上構(gòu)建政府間對話機制。舊金山會晤中,我國提出面向未來的“舊金山愿景”,“五個共同”為中美人工智能的治理合作樹立穩(wěn)定支柱。這需要共同樹立正確認知,明確人工智能治理是全人類共同面對的治理議題,國家間的競爭是局部的,而合作是整體的;要共同有效管控分歧,明確要化解人工智能帶來的重大風險的治理難題,就必須攜手而行,為此,雙方要相互尊重各自的交往底線,不越界、多溝通,共同冷靜處理分歧;要共同推進互利合作,整合中美雙方優(yōu)勢互補的算法、算力和數(shù)據(jù)要素稟賦,以互利合作推動人工智能的產(chǎn)業(yè)治理和標準治理;要共同承擔大國責任,以合作而非對抗的負責任態(tài)度共同應(yīng)對人工智能治理挑戰(zhàn);要共同促進人文交流,培育人工智能多方主體協(xié)同治理的社會氛圍,以民間互信帶動政府互信。

第二,劃定人工智能治理合作的重點領(lǐng)域,“以點帶面”推進中美政府間對話機制建設(shè)。當前,全球人工智能治理風險突出,集中表現(xiàn)為安全風險,而安全風險更突出表現(xiàn)為人工智能不當軍事應(yīng)用可能引發(fā)的國家、地區(qū)沖突,地緣危機乃至威脅全球和平秩序。這一風險在生成式人工智能技術(shù)的興起后日益凸顯,使得監(jiān)管人工智能的軍事應(yīng)用迫在眉睫?!緩垙V勝、田玲:《生成式AI如何影響未來戰(zhàn)爭》,載《解放軍報》2023年4月18日,第7版。】在當今國際政治、經(jīng)濟和科技競爭格局下,中美兩國共同承擔著維護國際秩序和平穩(wěn)定的大國責任,人工智能的安全治理,特別是對人工智能軍事領(lǐng)域的規(guī)范應(yīng)用,成為當下中美兩國合作治理的重點領(lǐng)域。在舊金山會晤之前,中國已向聯(lián)合國提交了關(guān)于規(guī)范人工智能軍事應(yīng)用、加強人工智能倫理治理等立場文件;【2021年12月13日,中國特命全權(quán)裁軍事務(wù)大使李松向聯(lián)合國《特定常規(guī)武器公約》第六次審議大會提交了《中國關(guān)于規(guī)范人工智能軍事應(yīng)用的立場文件》。2022年11月16日,李松大使又向聯(lián)合國《特定常規(guī)武器公約》締約國大會提交了《中國關(guān)于加強人工智能倫理治理的立場文件》。在這些文件中,中國積極倡導(dǎo)人工智能“倫理先行”“以人為本”“智能向善”和“多邊協(xié)商”等治理原則?!棵绹鴦t聯(lián)合其他國家向聯(lián)合國提交《致命性自主武器系統(tǒng)領(lǐng)域新興技術(shù)的原則和最佳實踐》《自主武器系統(tǒng)條款草案——基于國際人道法的禁令和其他監(jiān)管措施》兩份文件。在2023年的“軍事領(lǐng)域負責任使用人工智能”峰會上,包括中美在內(nèi)的60多個主權(quán)國家聯(lián)合簽署《軍事領(lǐng)域負責任使用人工智能的行動倡議》(REAIM Call to Action),倡議依照“國際法律義務(wù),以不損害國際安全、穩(wěn)定和問責的方式”負責任地在軍事領(lǐng)域研發(fā)和應(yīng)用人工智能。在既有治理成果和共識之上,借助“舊金山會晤”的契機,中美兩國可以進一步圍繞人工智能軍事應(yīng)用的發(fā)展規(guī)范尋求共識,基于慎重負責的態(tài)度避免人工智能技術(shù)在相關(guān)武器系統(tǒng)的誤用、濫用甚至惡用,確保有關(guān)武器系統(tǒng)永遠處于人類控制之下。

第三,強化人工智能治理合作的科研、技術(shù)交流,探索建立人工智能風險和安全問題的“二軌對話”機制。中美在人工智能治理領(lǐng)域的合作雖然以政府間對話與合作為主要形式,但兩國專家學(xué)者、企業(yè)以及其他社會團體之間加強互動,將有助于從不同視角解讀本國政策,提出富有針對性和可操作性的意見和建議,也為政府間對話奠定互信氛圍,彌合信任“赤字”?!緟⒁妼O成昊、趙宇琪:《中美人工智能領(lǐng)域合作的路徑與前景》,載《中國信息安全》2023年第7期。】在人工智能領(lǐng)域,中美兩國具有良好的合作基礎(chǔ)。統(tǒng)計數(shù)據(jù)顯示,中美兩國人工智能研究人員合作發(fā)表的文章數(shù)量遠遠超過其他任何兩個國家之間的合作?!綝ata Trusts:China and the United States: Unlikely Partners in AI, at https://hai.stanford.edu/news/china-and-united-states-unlikely-partners-ai(Last Visited on Jan.2,2024).】在中美兩國研究人員合作發(fā)表的高影響力人工智能論文中,有相當一部分是兩國學(xué)者合作發(fā)表的;2019年,此類中美合作成果占兩國“高被引人工智能出版物”的24%?!続shwin Acharya amp; Brian Dunn,Comparing US and Chinese contributions to high-impact AI research, CSET Data Brief, January 2022,p.3,p.11.】此外,我國清華大學(xué)同美國智庫布魯斯金學(xué)會共同成立“中美人工智能與國際安全對話”項目,迄今已舉辦八輪對話?!尽禖ISS舉辦第八輪“中美人工智能與國際安全對話”》,載清華大學(xué)戰(zhàn)略與安全研究中心官網(wǎng),https://ciss.tsinghua.edu.cn/info/hyjx/6488,2024年1月2日訪問。】未來,中美兩國可以基于既有的學(xué)術(shù)交流和溝通機制,不斷鞏固、擴大人工智能技術(shù)研發(fā)和治理領(lǐng)域研究人員的交流合作。特別是在合作的重點領(lǐng)域,中美兩國專家學(xué)者可以共同就人工智能安全保障技術(shù)、人工智能審計框架、人工智能性能基準測試以及人工智能風險管理框架等領(lǐng)域作出探索,集結(jié)更多智慧成果,實現(xiàn)人工智能的安全治理。

第四,推動科技企業(yè)在人工智能自我規(guī)制、行業(yè)自治層面的經(jīng)驗交流,完善自身軟法體系和治理工具,以民間共識促政府共識。人工智能治理是一項長期且復(fù)雜的社會工程,需要政府、企業(yè)、學(xué)者、用戶等多元主體的通力協(xié)作??萍计髽I(yè)特別是領(lǐng)軍企業(yè)間的技術(shù)對話、行業(yè)交流等合作措施能夠有效促進各國科技企業(yè)實現(xiàn)人工智能技術(shù)創(chuàng)新、應(yīng)用創(chuàng)新和治理創(chuàng)新。例如,微軟、谷歌、亞馬遜等科技巨頭早在2016年即成立了“人工智能聯(lián)盟”(Partnership on AI)促進企業(yè)間的交流互動,通過分享數(shù)據(jù)、經(jīng)驗和資源,開展聯(lián)合研究和項目合作,共同推動人工智能技術(shù)的交流發(fā)展和治理落地。目前,該聯(lián)盟已成為涵蓋多個國家行業(yè)、學(xué)術(shù)界、媒體以及民間社會的重要平臺。近期,微軟、谷歌、OpenAI等也成立了前沿模型論壇(Frontier Model Forum),協(xié)同推進前沿人工智能模型的最佳實踐,推動促進政企之間的信息共享?!厩把啬P驼搲晌④?、OpenAI、谷歌和Anthropic于2023年7月26日聯(lián)合創(chuàng)立。該論壇旨在通過分享最佳實踐、推進人工智能安全研究、促進企業(yè)和政府間信息共享等方式,支持、確保前沿AI模型得到負責任和安全的開發(fā)?!靠萍季揞^的自我規(guī)制及行業(yè)自治在一定程度上加快凝聚人工智能治理的全球共識,并有利于從研發(fā)和生產(chǎn)端推進人工智能治理秩序形成?!緟⒁娝卫枥凇⒋魇珂茫骸吨忻罋W人工智能治理領(lǐng)域的競爭與合作》,載《當代中國與世界》2021年第4期?!恐忻纼蓢鳛槿斯ぶ悄芗夹g(shù)研發(fā)和產(chǎn)業(yè)應(yīng)用的領(lǐng)軍國家,各自培育形成了具有本國特色和優(yōu)勢的人工智能產(chǎn)業(yè)布局、技術(shù)積累和應(yīng)用場景,也分別積累了相當豐富、有效的人工智能治理工具、實踐和制度。在中美兩國的人工智能治理的合作與對話中,應(yīng)全方位、多渠道地推進兩國科技企業(yè)在自我規(guī)制和行業(yè)自治層面的對話交流,通過分享各自有效的最佳合作實踐、行業(yè)自律規(guī)范等方式,一方面增補缺弊,以他山之石完善本國人工智能治理的企業(yè)實踐和行業(yè)實踐;另一方面也以中美兩國民間交流共識促進政府層面的對話、交流,為中美兩國在人工智能治理領(lǐng)域的政府間對話、協(xié)調(diào)機制建設(shè)與合作監(jiān)管奠定基礎(chǔ)。

四、結(jié)語

人工智能技術(shù)的迭代式創(chuàng)新突破,正加速推動人類向著數(shù)字化、智能化的未來前進。未來已來,但在這一急劇轉(zhuǎn)型背后正發(fā)生著社會制度、理念、關(guān)系的激烈全面重組,并由此帶來廣泛、復(fù)雜、多變的人工智能治理挑戰(zhàn)。當前,為應(yīng)對艱巨的治理挑戰(zhàn)、實現(xiàn)社會數(shù)字化轉(zhuǎn)型,全球范圍內(nèi)國家、國際組織和社會等多利益攸關(guān)方已形成協(xié)同治理、合作治理的人工智能治理格局,以多方治理主體的充分參與應(yīng)對普遍的人工智能治理挑戰(zhàn)。但在合作面向之下,各國圍繞技術(shù)競爭、產(chǎn)業(yè)競爭和技術(shù)標準、國際規(guī)則制定的分歧與博弈也表現(xiàn)得尤為突出,在缺乏統(tǒng)一、協(xié)調(diào)的國際人工智能治理機構(gòu)的情況下,國家間合作多以雙邊、多邊的區(qū)域性合作為主。

合作還是競爭,協(xié)同還是分散?面對人工智能技術(shù)創(chuàng)新及接踵而來的治理挑戰(zhàn),全球人工智能治理確實已站在歷史選擇的“關(guān)鍵十字路口”,【參見中國信息通信研究院:《全球數(shù)字治理白皮書(2023年)》,載中國信通院網(wǎng),http://www.caict.ac.cn/kxyj/qwfb/bps/202401/P020240103389490640356.pdf,2024年1月20日訪問。。】能否超越分歧達致共識,能否超越個別利益實現(xiàn)共同利益,是決定全球人工智能治理模式是否韌性、有效的直接、關(guān)鍵因素。在“以人為本”的核心價值引導(dǎo)下,人工智能的技術(shù)發(fā)展應(yīng)有效服務(wù)于人類需求、實現(xiàn)社會的數(shù)字化轉(zhuǎn)型。而這一治理目標的實現(xiàn),離不開一致的治理共識,離不開統(tǒng)一的國際組織協(xié)調(diào),更離不開國家在雙多邊機制下的合作對話,以技術(shù)流動、標準協(xié)調(diào)和監(jiān)管協(xié)同打破壁壘。

Abstract:In the face of AI technological innovation and the resulting governance challenges, a multi-party governance pattern led by sovereign states, promoted by international organizations and coordinated by technological enterprises has been formed globally. And governance practices around the world have generally been characterized by the legalization of governance, the technologization of governance and the parallelism of soft and hard laws. However, there is still an \"intelligence divide\" and a generation gap in governance between developing countries and developed countries in terms of AI technology development and governance capabilities; and at this stage, international cooperation in AI governance is highly fragmented, with a lack of a core regulatory body for global AI governance, and intergovernmental cooperation is mostly characterized by geographic characteristics and with great power competition. The construction of a global AI governance mechanism needs to be based on the principles of inclusiveness, equality and pluralism, strengthen the mechanism of dialogue, exchange and consultation among governments, enterprises and experts, and promote the realization of synergistic development, harmony and co-prosperity in global AI governance by taking the lead in forging a consensus on governance in key areas.

[責任編輯 郭 粹]

猜你喜歡
生成式人工智能
機器創(chuàng)造時代的人類創(chuàng)造危機與教育應(yīng)對
生成式人工智能背景下教師的主體性危機與破局
生成式人工智能給圖書館帶來的機遇、挑戰(zhàn)及應(yīng)對策略
圖書與情報(2023年2期)2023-06-23 09:03:03
生成式人工智能在國際傳播領(lǐng)域的應(yīng)用、風險及防范
新聞世界(2023年6期)2023-06-19 20:43:46
生成式人工智能與教育創(chuàng)新:機遇、挑戰(zhàn)與應(yīng)對
生成式人工智能ChatGPT的數(shù)字經(jīng)濟風險及應(yīng)對路徑
江淮論壇(2023年2期)2023-06-08 14:22:52
生成式人工智能的教育啟示:讓每個人成為他自己
挑戰(zhàn)·融合·變革:“ChatGPT與未來教育”會議綜述
生成式人工智能時代的政治傳播走向
黨政研究(2023年3期)2023-05-29 01:10:39
生成式人工智能重塑教育及教師應(yīng)對之道
修武县| 元江| 衡南县| 华阴市| 叙永县| 岚皋县| 察雅县| 马尔康县| 昭觉县| 寿光市| 定兴县| 阳春市| 丽江市| 延津县| 巴马| 双辽市| 武胜县| 麻阳| 吉木萨尔县| 紫金县| 申扎县| 革吉县| 凉山| 清涧县| 清徐县| 昌乐县| 建昌县| 建瓯市| 扎赉特旗| 长治县| 石景山区| 石狮市| 专栏| 娄底市| 松江区| 天等县| 颍上县| 深泽县| 阳新县| 贵德县| 三都|