王壯壯 陳宏松 楊麗敏 陳麗芳

摘?要：數(shù)據(jù)孤島是制約人工智能技術(shù)發(fā)展和落地的主要障礙，隨著國家與個人對隱私保護(hù)意識的增強(qiáng)，聯(lián)邦學(xué)習(xí)在數(shù)據(jù)不共享的情況下，卻能達(dá)到數(shù)據(jù)共享目的，受到廣泛關(guān)注，聯(lián)邦學(xué)習(xí)分為：橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)，具有數(shù)據(jù)隔離、質(zhì)量保證、各參數(shù)方地位等同、獨立性等優(yōu)點，但聯(lián)邦學(xué)習(xí)也存在很多的安全隱患，本文詳細(xì)探討了聯(lián)邦學(xué)習(xí)的原理，提出了中央服務(wù)器、數(shù)據(jù)傳輸、單方數(shù)據(jù)污染、數(shù)據(jù)泄露以及對抗攻擊等重要的數(shù)據(jù)安全問題，并匯總介紹了當(dāng)前主要的防御措施。

關(guān)鍵詞： 聯(lián)邦學(xué)習(xí);數(shù)據(jù)安全;對抗攻擊;數(shù)據(jù)投毒

文章編號： 2095-2163（2021）01-0126-05 中圖分類號：TN915.08 文獻(xiàn)標(biāo)志碼：A

【Abstract】Data island is the main obstacle that restricts the development and implementation of artificial intelligence technology. With the enhancement of the awareness of privacy protection of the state and individuals， federal learning can achieve the purpose of data sharing without data sharing， which has been widely concerned.Federal learning is divided into horizontal federal learning， vertical federal learning and federal transfer learning. It has the advantages of data isolation， quality assurance， equal status and independence of various parameters， but federal learning also has many security risks. This paper introduces the principle of federal learning in detail， some important data security problems such as central server， data transmission， unilateral data pollution， data leakage and anti-attack are put forward. Meanwhile， the current main defense measures are summarized.

【Key words】federal learning; data security; anti-attack; data poisoning

0 引?言

隨著科技、信息化的迅速發(fā)展，通過信息共享來對數(shù)據(jù)進(jìn)行資源整合是目前常用的一種手段，大數(shù)據(jù)[1]和人工智能時代[2]，AI已經(jīng)在方方面面得到體現(xiàn)，比如人臉識別、人工智能打敗人類圍棋手、無人駕駛等等，而經(jīng)由研究可知，大規(guī)模的數(shù)據(jù)集能夠提高AI的性能，數(shù)據(jù)對于AI的重要性就好比石油對于工業(yè)的重要性。然而，生活中大量的數(shù)據(jù)是私密的、不能共享的，大部分個人和企業(yè)所擁有的數(shù)據(jù)都存在質(zhì)量較差、數(shù)據(jù)量有限的問題，只有為數(shù)不多的幾家公司才能支撐AI技術(shù)的實現(xiàn)。個人隱私被竊取、公司數(shù)據(jù)泄露等安全問題日益凸顯，想把分布在各個地方的數(shù)據(jù)集整合起來幾乎是不可能的，或者需要耗費巨大成本。將各個用戶、企業(yè)的數(shù)據(jù)共享，就會出現(xiàn)數(shù)據(jù)安全問題，當(dāng)前無論國內(nèi)還是國際都在進(jìn)一步加強(qiáng)數(shù)據(jù)保護(hù)，陸續(xù)發(fā)布了相關(guān)法規(guī)，比如歐盟提出的新法案《通用數(shù)據(jù)保護(hù)條例》，中國起草的《數(shù)據(jù)安全管理辦法（征求意見稿）》，頒布的《信息安全技術(shù)-個人信息安全規(guī)范》，在《網(wǎng)絡(luò)安全法》中都提及了相關(guān)的數(shù)據(jù)保護(hù)[3-4]問題，同時人們對于自己數(shù)據(jù)隱私的重視程度也逐漸攀升。數(shù)據(jù)安全得以改善的同時，也造成了不同企業(yè)之間甚至同一企業(yè)不同部門之間的數(shù)據(jù)壁壘更加難以打破，從而形成了大量數(shù)據(jù)孤島[5]，如果參與者之間無法實現(xiàn)數(shù)據(jù)交換，除了那些擁有巨體量用戶具有絕對數(shù)據(jù)優(yōu)勢的企業(yè)之外，大多數(shù)企業(yè)或個人無法通過合法合規(guī)且低成本、高效率的方式跨越AI的數(shù)據(jù)“鴻溝”。聯(lián)邦學(xué)習(xí)技術(shù)正是在數(shù)據(jù)不共享的情況下，達(dá)到數(shù)據(jù)共享目的，因其能有效解決數(shù)據(jù)孤島，并已應(yīng)用到很多領(lǐng)域，讓數(shù)據(jù)在安全合法的前提下實現(xiàn)自由共享[6]。

1 聯(lián)邦學(xué)習(xí)概述

1.1 聯(lián)邦學(xué)習(xí)概念

谷歌2017年4月份在一篇文章中第一次提出聯(lián)邦學(xué)習(xí)[7-9]的概念，聯(lián)邦學(xué)習(xí)本質(zhì)上是一種加密的分布式機(jī)器學(xué)習(xí)技術(shù)、一種機(jī)器學(xué)習(xí)框架，目的是保證數(shù)據(jù)隱私安全并以合法的方式使用數(shù)據(jù)。聯(lián)邦學(xué)習(xí)有三大構(gòu)成要素：數(shù)據(jù)源、中央服務(wù)器、各個客戶端。其中，中央服務(wù)器先為參與方提供最初模型，各參與方訓(xùn)練自己所擁有的數(shù)據(jù)，將得到的本地模型上傳給中央服務(wù)器，中央服務(wù)器整合得到新的初始模型之后，再分發(fā)給參與方們，迭代該流程直到模型收斂。每個參與者在聯(lián)邦學(xué)習(xí)框架中地位相同，可以自由控制加入還是退出，聯(lián)邦學(xué)習(xí)實現(xiàn)了在數(shù)據(jù)之上建模，達(dá)到與數(shù)據(jù)集中收集存儲相同的建模效果，很大程度上解決了數(shù)據(jù)孤島的問題。

1.2 聯(lián)邦學(xué)習(xí)分類

1.2.1 橫向聯(lián)邦學(xué)習(xí)

2個數(shù)據(jù)集的用戶特征重疊較多而用戶重疊較少，根據(jù)特征維度橫向切分?jǐn)?shù)據(jù)集，挑選雙方相同用戶特征而用戶不完全相同的數(shù)據(jù)進(jìn)行訓(xùn)練。通過聯(lián)邦學(xué)習(xí)獲得更多的符合某一特征樣本，這種方法叫做橫向聯(lián)邦學(xué)習(xí)。

1.2.2 縱向聯(lián)邦學(xué)習(xí)

2個數(shù)據(jù)集的用戶重疊較多而用戶特征重疊較少，根據(jù)用戶維度將數(shù)據(jù)集進(jìn)行縱向切分，挑選雙方相同用戶而用戶特征不完全相同的數(shù)據(jù)進(jìn)行訓(xùn)練。通過聯(lián)邦學(xué)習(xí)豐富樣本的特征，更精準(zhǔn)地刻畫樣本，比如通過縱向聯(lián)邦學(xué)習(xí)描繪用戶，更全方位地通過各種屬性特征描繪一個人。

1.2.3 聯(lián)邦遷移學(xué)習(xí)

聯(lián)邦遷移學(xué)習(xí)是縱向聯(lián)邦學(xué)習(xí)的一種特例，和縱向聯(lián)邦學(xué)習(xí)相同點在于數(shù)據(jù)特征維度重疊部分較少，而聯(lián)邦遷移學(xué)習(xí)面臨的情況更加苛刻，因為用戶特征維度重疊部分也很少，利用遷移學(xué)習(xí)來克服數(shù)據(jù)或標(biāo)簽不足的情況。比如說，人們小時候?qū)W習(xí)騎自行車后，此后再學(xué)習(xí)騎電車和摩托車就會更加得心應(yīng)手，因為平衡感、方向選擇、行車感覺基本都是一樣的，而這就是一種遷移學(xué)習(xí)。

1.3 聯(lián)邦學(xué)習(xí)優(yōu)勢

（1）數(shù)據(jù)隔離：數(shù)據(jù)映射為模型參數(shù)，不會離開存儲的地方，保證參與方的數(shù)據(jù)安全和隱私保護(hù)。

（2）質(zhì)量保證：雖然沒有將數(shù)據(jù)集中存儲，但能夠保證訓(xùn)練模型的質(zhì)量，不會比集中訓(xùn)練的模型質(zhì)量差。

（3）地位相同：參數(shù)方地位等同，沒有一方控制另一方的情況。

（4）獨立性：擁有自己數(shù)據(jù)的絕對控制權(quán)，決定參與還是退出，保持獨立性的情況下，加密交換各種信息。

2 聯(lián)邦學(xué)習(xí)中數(shù)據(jù)安全問題

2.1 中央服務(wù)器的存在

在迭代過程中每個參與方訓(xùn)練模型歷次更新的信息都需要發(fā)給中央服務(wù)器，中央服務(wù)器有機(jī)會對更新信息進(jìn)行分析得出參與方的本地數(shù)據(jù)信息。

2.2 數(shù)據(jù)傳輸?shù)膯栴}

更新信息向中央服務(wù)器報告的時候，雖然梯度是原始信息的映射，但是攻擊者可以通過與模型交互，對更新信息中的敏感部分，如梯度信息、參數(shù)特征等進(jìn)行逆向推理，反推出參與方本地數(shù)據(jù)信息。

2.3 單方數(shù)據(jù)污染

聯(lián)邦學(xué)習(xí)中，每個參與方都是獨立的個體，中央服務(wù)器并沒有具備檢驗參與方數(shù)據(jù)正常與否的能力，這就導(dǎo)致如果攻擊者從聯(lián)邦學(xué)習(xí)內(nèi)部對數(shù)據(jù)投毒或模型投毒，如Chen等人[10]提出的攻擊方式，僅僅利用少量有毒樣本，就有九成以上的攻擊成功率，還可以在生成的模型里埋下隱患，將模型參數(shù)訓(xùn)練值引導(dǎo)成擬欲得到的結(jié)果，使模型預(yù)測樣本精確度降低，性能下降。

2.4 數(shù)據(jù)泄露

雖然聯(lián)邦學(xué)習(xí)的數(shù)據(jù)訓(xùn)練是在本地進(jìn)行，各參與方之間相互獨立，可以在一定程度上保證數(shù)據(jù)的安全，但依然存在數(shù)據(jù)泄露的情況。比如存在惡意參與方，從中央服務(wù)器共享的參數(shù)中對其他參與方的部分?jǐn)?shù)據(jù)進(jìn)行推理，而有些數(shù)據(jù)只需要獲得部分，就能知曉整體，從而達(dá)到竊取數(shù)據(jù)的目的。參與方一般受到模型提取攻擊、模型逆向攻擊和成員推理攻擊。通常研究中的訓(xùn)練認(rèn)定服務(wù)器是可信的，在實際情況中，這不是肯定的，如果是惡意服務(wù)器，就可通過與各參與方的交互，擁有更多泄露參與方隱私的可能，數(shù)據(jù)泄露的威脅增大。

這里將給出隱私攻擊的3種技術(shù)方法，詳述如下。

（1）模型提取攻擊（model extraction attack）：向目標(biāo)模型不斷發(fā)送數(shù)據(jù)，通過觀察得到的回應(yīng)信息推測模型的參數(shù)和作用，從而生成精確模型或相似模型來實現(xiàn)模型的提取，精確模型是指攻擊者構(gòu)建的一個在預(yù)測性能上相近的替代模型，如果竊取到精確模型，則模型擁有方的數(shù)據(jù)信息泄露，損失程度較大，而竊取相似模型可以生成對抗樣本，對目標(biāo)模型有極大威脅。

（2）模型逆向攻擊（model inversion attack）：攻擊者從模型給出的預(yù)測結(jié)果中提取目標(biāo)模型的數(shù)據(jù)信息，與GAN結(jié)合后效果更為顯著。Hitaj等人[11]的研究表明，聯(lián)邦學(xué)習(xí)結(jié)構(gòu)避免參與者數(shù)據(jù)集遭受GAN的攻擊是很困難的，基于GAN的攻擊者可以誘導(dǎo)受害者泄露更多隱私數(shù)據(jù)。

（3）成員推理攻擊（membership inference attack）：攻擊者通過訪問目標(biāo)模型的API接口獲得大量數(shù)據(jù)，以此模仿模型構(gòu)建“影子”模型。攻擊者不需要了解模型參數(shù)、結(jié)構(gòu)、訓(xùn)練方法及數(shù)據(jù)，只需要得到預(yù)測分類的置信度，最終構(gòu)建一個攻擊模型，通過擁有的數(shù)據(jù)記錄和模型的黑盒訪問權(quán)限，將數(shù)據(jù)輸入目標(biāo)模型，把得出結(jié)果連同數(shù)據(jù)集的標(biāo)簽輸入其中，就可以判斷目標(biāo)模型的數(shù)據(jù)集是否存在該記錄。

2.5 對抗攻擊

對抗攻擊是由Christian等人提出的，通過生成針對性的對抗樣本并放到目標(biāo)模型，導(dǎo)致模型做出誤判。張思思等人[12]介紹了什么是對抗樣本、對抗樣本的概念、出現(xiàn)的原因、攻擊方式以及一些關(guān)鍵技術(shù)問題。根據(jù)攻擊環(huán)境，對抗攻擊可以分為2種。一種是白盒攻擊，攻擊者知道目標(biāo)模型使用的算法與參數(shù)，借助優(yōu)化問題計算所需干擾，攻擊者在對抗數(shù)據(jù)生成的時候能夠與目標(biāo)模型交互。另一種是黑盒攻擊，攻擊者不知道目標(biāo)模型所使用的算法與參數(shù)，只能通過為模型提供輸入跟模型互動的時候，觀察判斷其輸出，細(xì)微的數(shù)據(jù)修改也能為攻擊者提供一種攻擊手段。

3 防御機(jī)制

聯(lián)邦學(xué)習(xí)在面臨諸多風(fēng)險時，主要采用防御措施。對此可做闡釋論述如下。

3.1 投毒攻擊防御

3.1.1 數(shù)據(jù)投毒防御

數(shù)據(jù)中毒的根本原因，是沒有考慮到輸入模型的數(shù)據(jù)可能有誤，甚至遭遇人為破壞。所以這里提出的保護(hù)數(shù)據(jù)措施要在模型訓(xùn)練前排查數(shù)據(jù)的來源，在不能保證數(shù)據(jù)安全性前，要確保數(shù)據(jù)具有不被修改的完整性。在模型訓(xùn)練前，可以使用身份認(rèn)證機(jī)制保證數(shù)據(jù)源的可靠性。Nathalie等人[13]辨別有毒數(shù)據(jù)的方式是借助相關(guān)訓(xùn)練集中數(shù)據(jù)點的起源和上下文信息的轉(zhuǎn)換。

3.1.2 模型投毒防御

當(dāng)服務(wù)器是可信的時候，數(shù)據(jù)合理采樣，不能過分重視那些混在樣本中的惡意樣本，可以通過限制每個參與方貢獻(xiàn)數(shù)據(jù)的數(shù)量，或者根據(jù)數(shù)量使用衰減權(quán)重實現(xiàn)。對每輪更新的模型參數(shù)做異常點檢測，當(dāng)某個參與方提交的更新參數(shù)與其他參與方的參數(shù)有很大差異，則將該參數(shù)設(shè)定為異常點，在進(jìn)行參數(shù)整合時不再考慮。

3.2 對抗攻擊防御

很多機(jī)器學(xué)習(xí)適用的對抗攻擊防御方法對于聯(lián)邦學(xué)習(xí)也同樣適用，如基于GAN的防御。研究內(nèi)容詳見如下。

3.2.1 基于GAN的防御

對抗攻擊是需攻克的一大難關(guān)。防御中涉及的一個方向就是設(shè)計一種能夠抵御更多對抗攻擊算法、魯棒性強(qiáng)且高效的防御模型，生成對抗網(wǎng)絡(luò)（Generative adversarial networks， GAN）由生成器和鑒定器構(gòu)成。其中，生成器就是利用噪聲生成樣本，鑒定器判斷樣本的真假，采用零和博弈的思想帶動兩者的更新與演變?？卒J等人[14]將攻擊算法融入GAN，提出一種基于GAN的對抗攻擊防御模型（AC-DefGAN），其訓(xùn)練樣本是通過對抗攻擊算法生成的，為了模型的穩(wěn)定，在模型訓(xùn)練期間加入條件約束，借助分類器對生成樣本進(jìn)行分類以完成GAN的訓(xùn)練，并以需要防御的攻擊算法生成對抗樣本訓(xùn)練判別器，最終得到的分類器可以抵御多種對抗攻擊。實驗表明該方法防御效果好、魯棒性強(qiáng)。

3.2.2 數(shù)據(jù)泄露防御

防御成員推理攻擊可以運用諸如?droupout、regularization等一些防止過擬合的方法。黑盒攻擊防御策略是：訓(xùn)練其他的分類器對抗輸入，防止模型過度擬合，增強(qiáng)分類器的健壯性，可以讓模型加速收斂，但增加一個分類器會極大降低分類效率。白盒攻擊防御策略是：實行對抗訓(xùn)練程度。對于異常的更新參數(shù)，通常有2種檢測方法。一種方法是檢查準(zhǔn)確度，比較2個模型在驗證數(shù)據(jù)集上的準(zhǔn)確度，若2個模型準(zhǔn)確度差異較大則判定為異常。另一種方法是直接比較各個參與方提交的更新參數(shù)，當(dāng)參數(shù)之間的差異較大時判定為異常。

3.3 差分隱私

2006年，Dwork等人[15]首次提出差分隱私來解決層出不窮的隱私攻擊方式和現(xiàn)代隱私保護(hù)機(jī)制的缺陷，當(dāng)參與者與中央服務(wù)器交互時，直接發(fā)送信息可能會出現(xiàn)信息泄露，為避免這種情況，訓(xùn)練過程中傳遞的模型更新信息加入差分隱私，能夠有效阻止攻擊者反向推導(dǎo)出參與方的相關(guān)數(shù)據(jù)信息。差分隱私采用特定的隨機(jī)算法對數(shù)據(jù)添加適量噪聲，將數(shù)據(jù)模糊化，降低敏感數(shù)據(jù)信息泄露的風(fēng)險，不會被數(shù)據(jù)量約束，這樣即使攻擊者得到交互的數(shù)據(jù)也不能對原始數(shù)據(jù)進(jìn)行有效推理，在參與方與中央服務(wù)器共享數(shù)據(jù)前，對數(shù)據(jù)進(jìn)行差分隱私，就不需要考慮中央服務(wù)器是否值得信任。差分隱私確保隱私的方式是引入隨機(jī)性，通過犧牲一定的準(zhǔn)確性得到更高的隱私安全，從而實現(xiàn)數(shù)據(jù)保護(hù)。當(dāng)前，差分隱私的主要研究方向是確定隱私保護(hù)力度和在保證隱私的前提下能夠最大程度不破壞原數(shù)據(jù)的有用信息。

3.4 同態(tài)加密

同態(tài)加密（homomorphic encryption，HE）是一種可以直接對密文進(jìn)行運算的加密方式，運算的結(jié)果與直接在明文上做運算的結(jié)果相同。HE技術(shù)在密碼學(xué)領(lǐng)域是公認(rèn)的圣杯之一，根據(jù)發(fā)展階段、支持密文運算的種類和次數(shù)，HE分為全同態(tài)加密、部分同態(tài)加密、類同態(tài)加密、層次同態(tài)加密等。鮑海燕等人[16]在傳統(tǒng)非對稱密鑰（RSA）的基礎(chǔ)上，提出了提升加密速度的改進(jìn)RSA算法，實驗表明該方法加密過程耗時少，抵御攻擊成功率高。趙秀鳳等人[17]基于噪聲淹沒技術(shù)，提出循環(huán)安全的公鑰同態(tài)加密方案，降低了系統(tǒng)參數(shù)的復(fù)雜度，縮減了公鑰和密文大小，在實用性上突破了其研發(fā)瓶頸，提升了HE的性能。仝秦瑋等人[18]提出一種基于DGHV適應(yīng)智能合約的同態(tài)加密方法，可以提升保護(hù)數(shù)據(jù)、對布爾型或整型數(shù)據(jù)交易的效率。

3.5 安全多方計算

著名圖靈獎獲得者、華裔科學(xué)家姚期智教授[19]提出了姚氏百萬富翁問題，即2個不暴露自身財富的富豪，怎么才能判斷誰更加富有，這個問題演變成了當(dāng)下的安全多方計算（Secure Multi-Party Computation，SMC）。即在不分享原始數(shù)據(jù)的情況下，獲得想要的結(jié)論。多方安全計算技術(shù)[20]每次隨機(jī)加密，不能重復(fù)使用加密的數(shù)據(jù)，直接在加密數(shù)據(jù)上運算，原始數(shù)據(jù)不被還原，每次計算之前先確定參與方，需要所有參與方共同協(xié)調(diào)，能夠不泄露原始數(shù)據(jù)而得到數(shù)據(jù)中的價值。使用多方安全計算進(jìn)行模型梯度更新的整合，可以降低信息泄露的可能性。

4 結(jié)束語

聯(lián)邦學(xué)習(xí)可以有效解決跨設(shè)備、跨機(jī)構(gòu)間的數(shù)據(jù)融合問題，從目前數(shù)據(jù)產(chǎn)業(yè)可以看出，聯(lián)邦學(xué)習(xí)能夠擴(kuò)充數(shù)據(jù)總量，解決數(shù)據(jù)孤島問題。站在企業(yè)的角度[21-22]，聯(lián)邦學(xué)習(xí)能夠幫助各企業(yè)以低成本的方式合法取得更利于自身的數(shù)據(jù)信息，相互之間可以加強(qiáng)合作，利用整個社會資源，做到數(shù)據(jù)共享的同時避免信息泄露。目前聯(lián)邦學(xué)習(xí)最流行的算法之一是聯(lián)邦平均算法（Federated averaging），在聯(lián)邦學(xué)習(xí)中，各參與方對自己的設(shè)備和數(shù)據(jù)擁有絕對的控制權(quán)，受多因素影響，可能隨時加入或退出聯(lián)邦學(xué)習(xí)。本文對聯(lián)邦學(xué)習(xí)中的幾種典型的數(shù)據(jù)安全問題和防御措施進(jìn)行了梳理總結(jié)，對聯(lián)邦學(xué)習(xí)的工作原理和優(yōu)缺點進(jìn)行闡述，隨著聯(lián)邦學(xué)習(xí)的發(fā)展與應(yīng)用，對數(shù)據(jù)隱私攻擊的方式會更加多樣化，后續(xù)則需要進(jìn)一步探索針對投毒攻擊、對抗攻擊、數(shù)據(jù)泄露等攻擊手段的防御技術(shù)。

參考文獻(xiàn)

[1]馮登國， 張敏， 李昊. 大數(shù)據(jù)安全與隱私保護(hù)[J]. 計算機(jī)學(xué)報， 2014 ， 37（1）： 246-258.

[2]張夏明， 張艷. 人工智能應(yīng)用中數(shù)據(jù)隱私保護(hù)策略研究[J]. 人工智能，2020（4）： 76-84.

[3]杜雁蕓. 大數(shù)據(jù)時代國家數(shù)據(jù)主權(quán)問題研究[J] . 國際觀察， 2016（3）： 1-14.

[4]趙朋. 大數(shù)據(jù)背景下的數(shù)據(jù)安全[J]. 計算機(jī)與網(wǎng)絡(luò)， 2020， 46（14）： 51.

[5]杜小勇. 消除信息孤島， 實現(xiàn)“數(shù)據(jù)福利”[J]. 國家治理， 2020（30）： 20-23.

[6]王利明. 數(shù)據(jù)共享與個人信息保護(hù)[J]. 現(xiàn)代法學(xué)， 2019 ， 41（1）： 45-57.

[7]王佳， 苗璐. 聯(lián)邦學(xué)習(xí)淺析[J]. 現(xiàn)代計算機(jī)， 2020（25）： 27-31，36.

[8]NELSON P. Federated learning improves how AI data is managed， thwarts data leakage[J]. Network World （Online）， 2020.

[9]楊強(qiáng). AI與數(shù)據(jù)隱私保護(hù)：聯(lián)邦學(xué)習(xí)的破解之道[J]. 信息安全研究， 2019， 5（11）： 961-965.

[10]CHEN Xinyun， LIU Chang， LI Bo，et al. Targeted backdoor attacks on deep learning systems using data poisoning[J]. arXiv preprint arXiv：1712.05526，2017.

[11]HITAJ B， ATENIESE G， PEREZ-CRUZ F. Deep models under the GAN： Information leakage from collaborative deep learning[C]//Proc. of the ACM SIGSAC Conf. on Computer and Communications Security. New York：ACM， 2017：603-618.

[12]張思思， 左信， 劉建偉. 深度學(xué)習(xí)中的對抗樣本問題[J] . 計算機(jī)學(xué)報， 2019， 42（8）：1886-1904.

[13]NATHALIE B， CHEN B， LUDWIG H， et al. Mitigating poisoning attacks on achine learning models： A data provenance based approach[C]//Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. New York， USA：ACM， 2017：103-110.

[14]孔銳， 蔡佳純， 黃鋼. 基于生成對抗網(wǎng)絡(luò)的對抗攻擊防御模型[J/OL].自動化學(xué)報： 1-21[2020-07-23].https：//doi.org/10.16383/j.aas.c200033.

[15]DWORK C， MCSHERRY F， NISSIM K， et al. Calibrating noise to sensitivity in private data analysis[M]//HALEVI S， RABIN T. Theory of Cryptography. TCC 2006. Lecture Notes in Computer Science， Berlin：Springer， 2006，3876：265-284.

[16]鮑海燕， 蘆彩林. 基于改進(jìn)RSA算法的隱私數(shù)據(jù)集同態(tài)加密方法[J]. 太赫茲科學(xué)與電子信息學(xué)報， 2020，18（5）：929-933.

[17]趙秀鳳， 付雨， 宋巍濤. 循環(huán)安全的同態(tài)加密方案[J]. 計算機(jī)研究與發(fā)展， 2020， 57（10）： 2117-2124.

[18]仝秦瑋， 李潔， 王潔， 等. 一種基于智能合約的全同態(tài)加密方法[J]. 網(wǎng)絡(luò)空間安全， 2020， 11（9）： 32-38.

[19]YAO C C. Protocols forsecure computations （Extended Abstract）[C]// 23rd Annual Symposium on Foundations of Computer Science. Chicago， Illinois， USA：IEEE，1982：160-164.

[20]李強(qiáng)， 顏浩， 陳克非. 安全多方計算協(xié)議的研究與應(yīng)用[J]. 計算機(jī)科學(xué)， 2003（8）： 52-55.

[21]CHANDIRAMANI K， GARG D， MAHESWARI N. Performance analysis of distributed and federated learning models on private data[J]. Procedia Computer Science， 2019，165：349-355.

[22]羅長銀， 陳學(xué)斌， 馬春地， 等. 面向區(qū)塊鏈的在線聯(lián)邦增量學(xué)習(xí)算法[J/OL]. 計算機(jī)應(yīng)用： 1-11[2020-08-17].http：//kns.cnki.net/kcms/detail/51.1307.TP.20200814.1034.002.html.