夏道勛，王林娜，宋允飛，羅星智

(1.貴州師范大學(xué)大數(shù)據(jù)與計(jì)算機(jī)科學(xué)學(xué)院，貴陽 550001； 2.貴州師范大學(xué)貴州省教育大數(shù)據(jù)應(yīng)用技術(shù)工程實(shí)驗(yàn)室, 貴陽 550001)

《新一代人工智能發(fā)展規(guī)劃》(國發(fā)〔2017〕35號(hào))強(qiáng)調(diào)要建立人工智能技術(shù)標(biāo)準(zhǔn)和知識(shí)產(chǎn)權(quán)體系。國家標(biāo)準(zhǔn)化管理委員會(huì)、中共中央網(wǎng)絡(luò)安全和信息化委員會(huì)辦公室、國家發(fā)展和改革委員會(huì)、科學(xué)技術(shù)部和工業(yè)和信息化部于2020年7月聯(lián)合印發(fā)《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》(國標(biāo)委聯(lián)〔2020〕35號(hào))，提出了詳細(xì)的國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)思路和建設(shè)內(nèi)容；國家知識(shí)產(chǎn)權(quán)局于2021年3月印發(fā)《推動(dòng)知識(shí)產(chǎn)權(quán)高質(zhì)量發(fā)展年度工作指引(2021)》(國知發(fā)運(yùn)字〔2021〕3號(hào))，制定了人工智能等新領(lǐng)域知識(shí)產(chǎn)權(quán)的保護(hù)規(guī)則，進(jìn)一步完善了知識(shí)產(chǎn)權(quán)審查制度。由此看出，隨著人工智能的快速發(fā)展，人工智能技術(shù)的知識(shí)產(chǎn)權(quán)保護(hù)問題越來越得到了重視。

深度神經(jīng)網(wǎng)絡(luò)模型作為人工智能應(yīng)用的核心技術(shù)之一，近年來在圖像分類、目標(biāo)檢測、語音識(shí)別、自然語言處理、自動(dòng)駕駛汽車和智能醫(yī)療等人工智能應(yīng)用領(lǐng)域取得了巨大的成功，諸如LeNet、AlexNet、VGGNet、GoogLeNet和ResNet等深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)模型不斷涌現(xiàn)，越來越多的科技工作者將這些模型用于人工智能應(yīng)用領(lǐng)域某項(xiàng)特定任務(wù)中，推動(dòng)了人工智能在各個(gè)行業(yè)領(lǐng)域的應(yīng)用，也取得了巨大的進(jìn)展，成為一種寶貴的數(shù)據(jù)資源，具有非常高的研究價(jià)值和商業(yè)價(jià)值。但是，深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練是一項(xiàng)艱巨的任務(wù)，需要大規(guī)模的數(shù)據(jù)集、高昂的算力成本和優(yōu)異的算法思想才能訓(xùn)練出一個(gè)優(yōu)異的算法模型。因此，深度神經(jīng)網(wǎng)絡(luò)模型的安全則變得極其重要，有必要保護(hù)深度神經(jīng)網(wǎng)絡(luò)模型的知識(shí)產(chǎn)權(quán)，利用水印版權(quán)保護(hù)技術(shù)保障模型的安全已經(jīng)成為人工智能安全領(lǐng)域一個(gè)重要的研究方向。

數(shù)字水印是永久鑲嵌在宿主數(shù)據(jù)中具有可鑒別性的數(shù)字信號(hào)或模式，而且不會(huì)影響到宿主數(shù)據(jù)的可用性[1]。數(shù)字水印最早應(yīng)用在多媒體版權(quán)保護(hù)上[2-6]，其保護(hù)思想通常是將數(shù)字水印嵌入多媒體信息中，從而實(shí)現(xiàn)版權(quán)保護(hù)。如果利用相同的版權(quán)保護(hù)策略，將數(shù)字水印嵌入深度神經(jīng)網(wǎng)絡(luò)模型中，由于深度神經(jīng)網(wǎng)絡(luò)模型擁有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和大量的模型參數(shù)，并且一般情況下使用者僅可以通過服務(wù)應(yīng)用編程接口(application programming interface，API)對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訪問，這對提取水印做版權(quán)驗(yàn)證就變得極為困難。因此，傳統(tǒng)的數(shù)字水印技術(shù)不適合深度神經(jīng)網(wǎng)絡(luò)模型數(shù)字水印版權(quán)保護(hù)，研究者們根據(jù)深度神經(jīng)網(wǎng)絡(luò)模型的特點(diǎn)，提出并設(shè)計(jì)出了許多適用于深度神經(jīng)網(wǎng)絡(luò)模型數(shù)字水印版權(quán)保護(hù)的數(shù)字水印技術(shù)。目前，典型的深度神經(jīng)網(wǎng)絡(luò)模型水印技術(shù)主要有靜態(tài)水印技術(shù)、動(dòng)態(tài)水印技術(shù)和主動(dòng)授權(quán)控制技術(shù)[7-8]。

為了促進(jìn)該領(lǐng)域的研究進(jìn)程，現(xiàn)綜述深度神經(jīng)網(wǎng)絡(luò)模型水印版權(quán)保護(hù)技術(shù)的最新研究成果，包含深度神經(jīng)網(wǎng)絡(luò)模型水印版權(quán)保護(hù)技術(shù)基礎(chǔ)概況、深度神經(jīng)網(wǎng)絡(luò)模型水印版權(quán)保護(hù)技術(shù)的研究方法、深度神經(jīng)網(wǎng)絡(luò)模型水印版權(quán)保護(hù)算法的攻擊和防御技術(shù)，總結(jié)并展望深度神經(jīng)網(wǎng)絡(luò)模型水印版權(quán)保護(hù)領(lǐng)域的研究重點(diǎn)和發(fā)展方向。

1 深度神經(jīng)網(wǎng)絡(luò)模型數(shù)字水印技術(shù)的分類

從水印關(guān)聯(lián)模型對象、水印特性和抵抗不同類型的水印攻擊3個(gè)角度對深度神經(jīng)網(wǎng)絡(luò)模型數(shù)字水印技術(shù)(以下簡稱深度模型水印技術(shù))進(jìn)行分類。根據(jù)水印關(guān)聯(lián)模型對象將深度模型水印技術(shù)分為靜態(tài)水印和動(dòng)態(tài)水??；深度模型水印技術(shù)具有類型、應(yīng)用場景、機(jī)制和容量4個(gè)特性，根據(jù)不同的特性又可以分成不同的子類；根據(jù)抵抗不同類型的水印攻擊可以將深度模型水印技術(shù)分為抵抗查詢修改攻擊、抵抗水印移除和抵抗逃逸或偽造攻擊。詳細(xì)分類見如圖1所示。

圖1 深度神經(jīng)網(wǎng)絡(luò)模型水印技術(shù)的分類Fig.1 Classification of deep neural network model watermarking technology

深度模型水印技術(shù)中的靜態(tài)水印是被嵌入深度模型內(nèi)部的參數(shù)中，訓(xùn)練過程不依賴深度模型特定的訓(xùn)練數(shù)據(jù)。然而，動(dòng)態(tài)水印則依賴深度模型特定的訓(xùn)練數(shù)據(jù)，并利用關(guān)聯(lián)的神經(jīng)元激活圖或輸出結(jié)果提取水印[7]。

根據(jù)類型特性可將深度模型水印技術(shù)分為被動(dòng)驗(yàn)證和主動(dòng)授權(quán)控制，如果在攻擊者盜取深度模型之后，深度模型所有者才能驗(yàn)證模型的版權(quán)，這種保護(hù)策略被稱為被動(dòng)驗(yàn)證，如果通過事先授權(quán)控制來主動(dòng)控制深度模型的使用，這種提前預(yù)防模型被盜取的保護(hù)策略被稱為主動(dòng)授權(quán)控制。根據(jù)應(yīng)用場景特性將深度模型水印技術(shù)分為白盒水印和黑盒水印[9]。白盒水印需要對深度模型進(jìn)行完整的水印嵌入，并能提取其水印來證明深度模型的版權(quán)，深度模型的參數(shù)被公開且供所有人使用。黑盒水印使用深度模型API遠(yuǎn)程訪問深度模型并提取水印來證明深度模型的版權(quán)，深度模型的參數(shù)不被公開。然而，深度模型在實(shí)際的應(yīng)用中通常被部署為在線服務(wù)，通過API提供預(yù)測服務(wù)，人們很少接觸到深度模型的內(nèi)部機(jī)制，因此黑盒水印更適合于商業(yè)使用。

根據(jù)水印機(jī)制特性將深度模型水印技術(shù)分為參數(shù)、后門和指紋3種水印技術(shù)，基于參數(shù)的水印技術(shù)是在深度模型的參數(shù)中嵌入水印，基于后門的水印技術(shù)是利用深度模型的后門作為水印，基于指紋的水印技術(shù)是利用深度模型的推理功能獲得深度模型部分訓(xùn)練集數(shù)據(jù)的分布，將這種分布視為深度模型的指紋。根據(jù)水印容量特性將深度模型水印技術(shù)分為零位水印和多位水印，水印容量表示深度模型可以嵌入的水印信息量，零位水印技術(shù)是判斷水印是否存在于深度模型中，進(jìn)而達(dá)到驗(yàn)證深度模型版權(quán)的目的，多位水印技術(shù)則是提取深度模型中的多位字符串水印信息，實(shí)現(xiàn)深度模型版權(quán)的驗(yàn)證過程[9]。

不同水印技術(shù)能抵抗不同類型的水印攻擊，大部分水印技術(shù)對深度模型的微調(diào)和剪枝都有很好的魯棒性，常見的水印技術(shù)攻擊主要分為查詢修改攻擊、水印移除攻擊和逃逸、偽造攻擊。深度模型可以利用關(guān)鍵樣本的預(yù)測結(jié)果進(jìn)行版權(quán)驗(yàn)證，查詢修改攻擊技術(shù)可以修改深度模型的關(guān)鍵樣本，使得深度模型無法輸出正確的預(yù)測結(jié)果，從而無法實(shí)現(xiàn)深度模型的版權(quán)驗(yàn)證。水印移除攻擊技術(shù)可以使深度模型水印信息失效，無法利用有效的水印信息進(jìn)行版權(quán)驗(yàn)證。如果在無法移除深度模型水印信息的情況下，逃逸攻擊可以逃避深度模型的版權(quán)驗(yàn)證，偽造攻擊則可以偽造真實(shí)水印重新對深度模型進(jìn)行版權(quán)證明。

和其他深度模型水印技術(shù)類別相比，靜態(tài)水印和動(dòng)態(tài)水印重點(diǎn)關(guān)注深度模型的內(nèi)部結(jié)構(gòu)，厘清深度模型的內(nèi)部結(jié)構(gòu)對研究深度模型水印技術(shù)起到積極的推動(dòng)作用，并且現(xiàn)有深度模型水印技術(shù)大多采取被動(dòng)驗(yàn)證策略，只有當(dāng)深度模型被盜之后，深度模型的所有者才提取被盜模型中預(yù)先嵌入的水印，以此來證明深度模型的版權(quán)歸屬，進(jìn)一步制止盜取者復(fù)制、分發(fā)和濫用深度模型的行為。被動(dòng)驗(yàn)證策略不能事先防范或者制止竊取者對深度模型功能的使用，需要依靠法律手段來阻止侵犯知識(shí)產(chǎn)權(quán)的行為，給侵權(quán)行為排查帶來了極大的困難。相反，主動(dòng)授權(quán)控制策略[8]可提前阻止模型被盜行為，達(dá)到防患于未然的目的，主動(dòng)授權(quán)控制策略已經(jīng)成為深度神經(jīng)網(wǎng)絡(luò)模型數(shù)字水印版權(quán)保護(hù)技術(shù)(以下簡稱深度模型水印保護(hù))的一個(gè)研究重點(diǎn)。因此，重點(diǎn)闡述靜態(tài)水印、動(dòng)態(tài)水印和主動(dòng)授權(quán)控制技術(shù)，以及典型水印技術(shù)的對比分析和水印技術(shù)的攻防等內(nèi)容。

2 深度模型水印技術(shù)基礎(chǔ)知識(shí)

所涉及的深度模型水印技術(shù)基礎(chǔ)知識(shí)包含典型數(shù)據(jù)集及其對比分析、水印性能評價(jià)標(biāo)準(zhǔn)、后門攻擊和對抗性攻擊，以及水印版權(quán)保護(hù)過程中使用到的網(wǎng)絡(luò)微調(diào)、剪枝和蒸餾技術(shù)，下面對每一個(gè)基礎(chǔ)知識(shí)進(jìn)行詳細(xì)闡述。

2.1 典型數(shù)據(jù)集及其對比分析

針對深度模型水印技術(shù)的研究，離不開公開和權(quán)威的實(shí)驗(yàn)數(shù)據(jù)集，重點(diǎn)梳理了靜態(tài)水印、動(dòng)態(tài)水印和主動(dòng)授權(quán)控制水印的典型數(shù)據(jù)集，并進(jìn)行了對比分析。

如表1所示，列舉了靜態(tài)水印、動(dòng)態(tài)水印和主動(dòng)授權(quán)控制的典型數(shù)據(jù)集名稱、簡要概述和相關(guān)工作文獻(xiàn)，重點(diǎn)對3種典型數(shù)據(jù)集進(jìn)行對比分析。深度模型水印技術(shù)所使用的數(shù)據(jù)集均為深度學(xué)習(xí)常用的數(shù)據(jù)集，是在常用的數(shù)據(jù)集上訓(xùn)練出來的深度學(xué)習(xí)模型中進(jìn)一步探討模型的保護(hù)機(jī)制，諸如MNIST、CIFAR-10、CIFAR-100、Caltech-101、ImageNet、PASCAL VOC和COCO等數(shù)據(jù)集。這些數(shù)據(jù)集用于測試深度模型水印保護(hù)技術(shù)的綜合性能，在不降低深度模型性能的情況下應(yīng)確保深度模型水印保護(hù)技術(shù)行之有效。在深度學(xué)習(xí)的發(fā)展過程中，研究者們創(chuàng)建了多種經(jīng)典的深度模型框架，經(jīng)典的框架有LeNet、AlexNet、GoogLeNet、ResNet、DenseNet和LSTM等，靜態(tài)水印重點(diǎn)關(guān)注深度模型的內(nèi)部框架，能適應(yīng)不同框架類型的深度模型水印保護(hù)。因此，靜態(tài)水印常用自然場景圖像數(shù)據(jù)集Caltech-101、ImageNet，Waterloo Exploration database、CBSD68和Kodak24等，以及人臉圖像數(shù)據(jù)集CelebA和美食評論數(shù)據(jù)集Amazon Fine Food。動(dòng)態(tài)水印利用特定訓(xùn)練數(shù)據(jù)關(guān)聯(lián)的深度模型神經(jīng)元激活圖或輸出結(jié)果來提取水印，保護(hù)策略需要確保深度模型的輸出結(jié)果能方便嵌入和提取水印，常用的數(shù)據(jù)集有STL-10、PASCAL VOC、COCO，chestx-ray8、Danbooru2019、RIO和IMDB等。其中，chestx-ray8是醫(yī)療圖像數(shù)據(jù)集，Danbooru2019是動(dòng)漫頭像數(shù)據(jù)集，RIO是雞尾酒圖片數(shù)據(jù)集，IMDB是電影評論數(shù)據(jù)集。chestx-ray8、Danbooru2019和RIO數(shù)據(jù)集可以完成一些更為困難的圖像處理任務(wù)，如胸部X射線圖像去骨、繪畫風(fēng)格轉(zhuǎn)換、圖片編輯。主動(dòng)授權(quán)控制可以對模型侵權(quán)等非法行為提前阻止，其授權(quán)機(jī)制更有利于保護(hù)三維點(diǎn)云數(shù)據(jù)集訓(xùn)練出來的深度模型，常用的數(shù)據(jù)集有大型圖像數(shù)據(jù)集ImageNet、交通標(biāo)志圖像數(shù)據(jù)集GTSRB，以及三維點(diǎn)云數(shù)據(jù)集ModelNet和ShapeNet。

表1 DNN水印實(shí)驗(yàn)數(shù)據(jù)集使用情況Table 1 Usage of DNN watermark experimental dataset

由于MNIST、CIFAR-10、CIFAR-100、ImageNet、PASCAL VOC和COCO等數(shù)據(jù)集最具代表性，應(yīng)用領(lǐng)域非常廣泛，相關(guān)領(lǐng)域的研究者都非常熟悉這些數(shù)據(jù)集的基本參數(shù)和性能。CelebA和Amazon Fine Food分別被用作性別分類任務(wù)和情緒分類任務(wù)的數(shù)據(jù)集[10]，CelebA數(shù)據(jù)集包含10 177個(gè)身份的202 599張人臉圖像，Amazon Fine Food數(shù)據(jù)集包含評級(jí)范圍1～5的568 454 條亞馬遜美食評論。 Waterloo Exploration database、CBSD68、Kodak24被用來實(shí)現(xiàn)圖像去噪網(wǎng)絡(luò)FFDNet的實(shí)驗(yàn)數(shù)據(jù)集[11]，Waterloo Exploration database數(shù)據(jù)集包含4 744張各種真實(shí)場景的原始自然圖像和原始自然圖像生成的94 880張失真圖像，CBSD68數(shù)據(jù)集由68張481×324像素的彩色圖像組成，Kodak24數(shù)據(jù)集由24張768×512像素彩色圖像組成。在數(shù)據(jù)融合和遷移學(xué)習(xí)方面，有研究者將Waterloo Exploration database用作FFDNet的訓(xùn)練集，CBSD68和Kodak24數(shù)據(jù)集被用作FFDNet的測試集。

2.2 水印性能評價(jià)標(biāo)準(zhǔn)

根據(jù)信息安全等級(jí)保護(hù)的規(guī)定，深度模型版權(quán)保護(hù)也制定了一系列的評價(jià)標(biāo)準(zhǔn)，綜合衡量深度模型水印技術(shù)的優(yōu)劣。深度模型水印保護(hù)一般應(yīng)具備保真性、可靠性、魯棒性、完整性、容量、高效性和安全性等特性[12]，在等級(jí)保護(hù)要求更高的深度模型應(yīng)用領(lǐng)域，深度模型水印保護(hù)框架還應(yīng)具備普適性、唯一性和可擴(kuò)展性[13-14]等特性，見表2的詳細(xì)說明。

表2 深度神經(jīng)網(wǎng)絡(luò)模型水印版權(quán)保護(hù)的評價(jià)標(biāo)準(zhǔn)Table 2 Evaluation criteria of watermark copyright protection in deep neural network model

深度模型被分發(fā)給大量用戶，深度模型水印保護(hù)不僅要證明所有者對深度模型的所有權(quán)，還要證明不同用戶身份的合法性，為了保證用戶身份的唯一性，研究者們提出用指紋水印保護(hù)深度模型的版權(quán)。因此，深度模型水印保護(hù)除了應(yīng)具備保真性、可靠性、魯棒性、完整性、容量、高效性和安全性等特性以外，還應(yīng)具備唯一性和可擴(kuò)展性[14]。

保真性、魯棒性、容量是評價(jià)深度模型水印性能的重要參考標(biāo)準(zhǔn)，保真性指深度模型在水印嵌入后完成特定任務(wù)的能力，魯棒性指深度模型水印抵抗不同類型水印攻擊如模型微調(diào)、模型壓縮和水印移除等的能力，容量指有效水印信息的比特?cái)?shù)，保真性、魯棒性、容量相互制約，深度模型水印技術(shù)需要平衡好這三者的關(guān)系[7]。

2.3 后門攻擊和對抗性攻擊

如果深度模型遭受后門攻擊或者對抗性攻擊后，深度模型的分類結(jié)果變?yōu)榕c圖片內(nèi)容無關(guān)的錯(cuò)誤標(biāo)簽。相對于對抗性攻擊，后門攻擊的攻擊策略更加靈活，被攻擊的深度模型可以和原深度模型表現(xiàn)出一樣的預(yù)測能力，只有在輸入觸發(fā)集數(shù)據(jù)的時(shí)候才能觸發(fā)后門功能。

后門被定義為深度模型中的一個(gè)或多個(gè)實(shí)例，這些實(shí)例的集合稱為觸發(fā)集。深度模型中的后門分類被定義為深度模型的新分類功能，這種分類標(biāo)簽被命名為預(yù)定義目標(biāo)標(biāo)簽，并且?guī)в泻箝T的深度模型不會(huì)影響深度模型的分類結(jié)果[15]。利用深度模型的過度參數(shù)化特性，將觸發(fā)集和訓(xùn)練集融合進(jìn)行訓(xùn)練，訓(xùn)練出來的深度模型就具備分類觸發(fā)集的功能，如果向深度模型中添加后門，則不會(huì)降低深度模型在原始任務(wù)上的性能。為了避免在非必要時(shí)觸發(fā)了深度模型的后門，觸發(fā)集通常是經(jīng)過精心設(shè)計(jì)的抽象數(shù)據(jù)樣本集，例如分形圖像數(shù)據(jù)。圖2展示了深度模型后門觸發(fā)的整個(gè)流程，包含有觸發(fā)集構(gòu)造、觸發(fā)集訓(xùn)練和后門觸發(fā)等3個(gè)主要模塊。觸發(fā)集由抽象數(shù)據(jù)樣本集和預(yù)定義目標(biāo)標(biāo)簽組成，每一個(gè)抽象數(shù)據(jù)樣本對應(yīng)一個(gè)預(yù)定義目標(biāo)標(biāo)簽；觸發(fā)集作為訓(xùn)練集的子集，觸發(fā)集的深度模型訓(xùn)練和一般訓(xùn)練集的深度模型訓(xùn)練相同，帶有觸發(fā)集訓(xùn)練的深度模型具備識(shí)別后門實(shí)例的能力；在后門觸發(fā)階段，帶有觸發(fā)集訓(xùn)練的深度模型能識(shí)別觸發(fā)集并將其分類為預(yù)設(shè)標(biāo)簽。

圖2 深度模型后門觸發(fā)流程圖Fig.2 Backdoor trigger flow chart of deep model

Szegedy等[16]研究發(fā)現(xiàn)深度學(xué)習(xí)模型容易受到小噪聲擾動(dòng)樣例的攻擊，自此以后各種針對深度模型的對抗性攻擊方法不斷被研究者們提出。對抗性樣例是深度模型利用梯度優(yōu)化來找到與訓(xùn)練集相似的數(shù)據(jù)，雖然人眼察覺不到對抗性樣例與深度模型訓(xùn)練集之間的差異，但是將對抗性樣例輸入到深度模型中，深度模型就會(huì)將對抗性樣例分類為高置信度的錯(cuò)誤結(jié)果。

2.4 神經(jīng)網(wǎng)絡(luò)的微調(diào)、剪枝和蒸餾

壓縮是對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)或參數(shù)進(jìn)行調(diào)整和優(yōu)化，進(jìn)而減少內(nèi)存消耗和計(jì)算復(fù)雜性，獲得與原始神經(jīng)網(wǎng)絡(luò)相近性能的方法。實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)壓縮的主要技術(shù)包含神經(jīng)網(wǎng)絡(luò)微調(diào)、神經(jīng)網(wǎng)絡(luò)剪枝和神經(jīng)網(wǎng)絡(luò)蒸餾。

如果沒有足夠的訓(xùn)練數(shù)據(jù)，并且訓(xùn)練數(shù)據(jù)和預(yù)訓(xùn)練模型使用的數(shù)據(jù)集沒有顯著差異，對深度模型的參數(shù)進(jìn)行微調(diào)是深度模型獲得較好性能行之有效的方法[17-18]。因此，微調(diào)技術(shù)是一種快速獲得深度模型的有效方法，利用少量訓(xùn)練數(shù)據(jù)便可以訓(xùn)練出一個(gè)新的深度模型。

利用剪枝技術(shù)對深度模型的冗余權(quán)重進(jìn)行修剪，以降低深度模型的復(fù)雜度。隨著深度模型的層數(shù)加深，深度模型的參數(shù)數(shù)量也越來越龐大，網(wǎng)絡(luò)結(jié)構(gòu)變得越來越復(fù)雜。例如，VGG-16深度模型[19]的參數(shù)就高達(dá)138 M，導(dǎo)致深度模型的計(jì)算資源代價(jià)高昂和系統(tǒng)能效不高，這為剪枝技術(shù)提供了用武之地。Han等[20]利用剪枝技術(shù)，學(xué)習(xí)并保留深度模型中重要的連接，修剪不重要的連接，然后重新訓(xùn)練剪枝后的稀疏深度模型。在不影響深度模型性能的情況下，剪枝技術(shù)能將深度模型的存儲(chǔ)空間和計(jì)算復(fù)雜度降低一個(gè)數(shù)量級(jí)。

知識(shí)蒸餾是通過遷移知識(shí)將大深度模型學(xué)習(xí)到的函數(shù)壓縮進(jìn)更小更快的深度模型中，從而獲得可以匹敵大深度模型性能的方法。如果在相同數(shù)據(jù)集上訓(xùn)練出若干個(gè)不同的深度模型，然后對不同深度模型得出的預(yù)測值求出其平均值，再用該平均值作為深度模型最終的預(yù)測值，這也是提高深度模型性能的一種有效方法。但是，使用多個(gè)深度模型進(jìn)行綜合預(yù)測，這種策略存在諸多弊端，并且計(jì)算復(fù)雜度成倍增加。因此，Hinton等[21]提出了神經(jīng)網(wǎng)絡(luò)蒸餾技術(shù)，將若干個(gè)深度模型中的知識(shí)提取到一個(gè)小規(guī)模的深度模型中，獲得的小深度模型不僅可以匹敵若干個(gè)深度模型融合的性能，還可以顯著降低深度模型的存儲(chǔ)空間和計(jì)算復(fù)雜度。

3 深度模型水印技術(shù)

重點(diǎn)綜述了深度模型水印技術(shù)的3個(gè)重要研究分支的研究進(jìn)展，它們分別是靜態(tài)水印、動(dòng)態(tài)水印和主動(dòng)授權(quán)控制，并對這些典型水印技術(shù)進(jìn)行對比分析，以及詳細(xì)介紹了深度模型水印技術(shù)的攻擊和防御策略。

3.1 靜態(tài)水印

靜態(tài)水印被嵌入深度模型的內(nèi)部參數(shù)中，訓(xùn)練過程不依賴深度模型特定的訓(xùn)練數(shù)據(jù)，它一般分為靜態(tài)水印嵌入和靜態(tài)水印提取兩個(gè)階段。首先，需要對深度模型的權(quán)重進(jìn)行采樣，然后將靜態(tài)水印嵌入采樣權(quán)重中，再將靜態(tài)水印從深度模型的權(quán)重中提取出來，進(jìn)而驗(yàn)證深度模型的版權(quán)歸屬。

Uchida等[22]于2017年最先將數(shù)字水印技術(shù)應(yīng)用于深度模型的版權(quán)保護(hù)，版權(quán)保護(hù)的策略如式(1)所示，正則化項(xiàng)ER(w)附加在深度模型的損失函數(shù)Eo(w)上，利用損失函數(shù)的正則化項(xiàng)將深度模型水印嵌入深度模型的權(quán)重中。實(shí)驗(yàn)結(jié)果表明該方法不會(huì)影響深度模型的原有性能，經(jīng)過微調(diào)或參數(shù)剪枝后確保了深度模型水印不會(huì)被移除，但是該方法不能抵御深度模型水印的重寫攻擊。

E(w)=Eo(w)+ER(w)

(1)

Wang等[23]實(shí)驗(yàn)證明Uchida的深度模型水印技術(shù)修改了深度模型參數(shù)的統(tǒng)計(jì)分布，參數(shù)分布變化不僅可以檢測深度模型水印的存在，而且還可以推算出深度模型水印的長度，攻擊者獲取了深度模型水印信息后，便可以設(shè)計(jì)一個(gè)深度模型水印移除算法，進(jìn)而使得深度模型所有者嵌入的水印信息失效。Cortias-lorenzo等[11]也研究發(fā)現(xiàn)深度模型的優(yōu)化算法會(huì)影響深度模型水印信息的有效性，采用Adam優(yōu)化算法會(huì)導(dǎo)致深度模型的權(quán)重參數(shù)分布發(fā)生顯著變化，導(dǎo)致深度模型水印信息更容易被檢測出來。為了避免水印信息被攻擊者檢測出來，他們提出了基于正交塊投影的Adam優(yōu)化算法，該優(yōu)化算法可以確保深度模型的權(quán)重分布不發(fā)生變化。Wang等[10,24]提出了新的解決思路，將深度模型水印的訓(xùn)練和檢測分別設(shè)計(jì)成生成對抗網(wǎng)絡(luò)的生成器和鑒別器，實(shí)驗(yàn)表明深度模型嵌入水印信息后，其權(quán)重參數(shù)分布幾乎沒發(fā)生變化。

與Uchida提出的深度模型水印技術(shù)不同，Kuribayashi等[25]利用抖動(dòng)調(diào)制-量化索引調(diào)制(dither modulation-quantization index modulation，DM-QIM)首先將水印信息嵌入到深度模型采樣權(quán)值的頻率分量中，再利用逆DCT變換將水印信息分散到深度模型的采樣權(quán)重中，該方法的優(yōu)點(diǎn)是確保了深度模型的權(quán)重分布變化盡可能小且可測量。Feng等[26]和Wang等[27]對靜態(tài)水印技術(shù)進(jìn)行了創(chuàng)新，他們提出的靜態(tài)水印技術(shù)具有更高的保真性和穩(wěn)健性，可以通過正交變換和誤差反向傳播嵌入到深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)中。Feng等[26]提出有補(bǔ)償機(jī)制的深度模型水印技術(shù)，如圖3所示，該方法首先對深度模型采樣權(quán)重進(jìn)行正交變換，獲得深度模型權(quán)重系數(shù)，以及對深度模型水印信息擴(kuò)頻調(diào)制得到二值化水印，其次將二值化水印嵌入到深度模型權(quán)重系數(shù)中，再次利用逆正交變換將嵌入水印后的權(quán)重系數(shù)轉(zhuǎn)換成深度模型的權(quán)值，最后利用補(bǔ)償機(jī)制對深度模型參數(shù)進(jìn)行微調(diào)，彌補(bǔ)嵌入過程中被輕微損耗的精度。與Uchida的方法相比，帶補(bǔ)償機(jī)制的深度模型水印技術(shù)僅需要較少的水印嵌入所消耗的成本。Wang等[27]利用誤差反向傳播方法在深度模型中嵌入水印，該方法首先構(gòu)建一個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)，選取深度模型的參數(shù)權(quán)重作為該網(wǎng)絡(luò)的輸入，其次通過誤差反向傳播更新該網(wǎng)絡(luò)的參數(shù)和深度模型的參數(shù)。訓(xùn)練任務(wù)完成后嵌入水印的深度模型被釋放，獨(dú)立神經(jīng)網(wǎng)絡(luò)則被保留下來，實(shí)驗(yàn)表明深度模型的性能不會(huì)因嵌入水印信息而降低。

x1,x2,x3為訓(xùn)練數(shù)據(jù)的輸入值；y1,y2為訓(xùn)練數(shù)據(jù)的輸出值，Y(i)為y1或y2；Sw為被選擇嵌入印的權(quán)重；Θ為正交變換系數(shù)；B為二進(jìn)制水印簽名；B[i]為水印中的一位數(shù)字；Y′(i)為量化嵌入水印后的值；q為量化系數(shù)，可以根據(jù)B[i]的值確定量系數(shù)的正負(fù)，當(dāng)B[i]是1，q為正，當(dāng)B[i]是-1，q為負(fù)；ΘT為逆正交變換系數(shù)；S′w為恢復(fù)的權(quán)重值圖3 帶有補(bǔ)償機(jī)制的DNN水印框架[26]Fig.3 DNN watermarking framework with compensation mechanism[26]

眾所周知，指紋水印可以證明用戶身份的唯一性，與一般的深度模型水印相比，深度模型指紋水印更能滿足商業(yè)版權(quán)保護(hù)的需求，并且更安全。正因如此，Chen等[14]提出了一種適用于大型深度模型分發(fā)系統(tǒng)且能抵抗共謀攻擊的指紋框架DeepMarks，該框架利用指紋水印的正則化損失來微調(diào)預(yù)先訓(xùn)練的深度模型，進(jìn)而將二進(jìn)制指紋向量嵌入深度模型的參數(shù)中，這不僅可以證明深度模型的版權(quán)，還可以跟蹤深度模型的用戶信息。

3.2 動(dòng)態(tài)水印

動(dòng)態(tài)水印依賴深度模型特定的訓(xùn)練數(shù)據(jù)，并利用關(guān)聯(lián)的神經(jīng)元激活圖或輸出結(jié)果提取水印信息。前者是從深度模型的中間層參數(shù)中提取水印，后者是從深度模型的輸出結(jié)果中提取水印。

Rouhani等[13]提出了第一個(gè)端到端的深度模型保護(hù)框架DeepSigns，根據(jù)深度模型的激活圖從深度模型中提取水印，對深度模型修剪、微調(diào)和深度模型水印覆蓋攻擊都有較強(qiáng)的魯棒性，該方法可提高深度模型水印的不可檢測性，并可以擴(kuò)展到黑盒場景中使用。如果深度模型在嵌入水印之前已經(jīng)被分發(fā)給用戶，或者嵌入的深度模型水印被移除，則不能從深度模型中提取水印進(jìn)行版權(quán)認(rèn)證。因此，Lukas等[28]提出了一種對抗性樣例生成方法，生成的對抗性樣例可以轉(zhuǎn)移到替代模型中，進(jìn)而可以根據(jù)深度模型是否能識(shí)別對抗性樣例，并判斷深度用模型是否是被盜竊的替代模型。利用對抗性樣例的可轉(zhuǎn)移性，Le等[29]提出了一種對抗性邊界拼接算法，該方法尋找深度模型對抗邊界附近的數(shù)據(jù)點(diǎn)，對這些數(shù)據(jù)點(diǎn)施加擾動(dòng)后生成對抗性樣例，利用對抗性樣例來標(biāo)記深度模型。對抗性樣例包含正樣例和負(fù)樣例，深度模型的正樣例不能被正確分類，負(fù)樣例可以被正確分類，如果深度模型在微調(diào)后能將正樣例正確分類，那么說明深度模型嵌入了水印，反之亦然。在此基礎(chǔ)上，Zhao等[30]強(qiáng)化了對抗性樣例在深度模型和被盜模型之間的可轉(zhuǎn)移性，使得對抗性標(biāo)記對簡單的深度模型變化具有很好的魯棒性，如果對抗性樣例在深度模型上的可轉(zhuǎn)移性超過了設(shè)置的閾值，便可認(rèn)定該深度模型已經(jīng)被攻擊者盜取。Cao等[31]實(shí)驗(yàn)證明深度模型的分類邊界具有唯一性，分類邊界附近的數(shù)據(jù)點(diǎn)可以作為深度模型的標(biāo)識(shí)符，將這些數(shù)據(jù)點(diǎn)輸入可疑的深度模型中，如果可疑深度模型輸出的類別標(biāo)簽和原深度模型輸出的類別標(biāo)簽基本相同，則可以證明可疑深度模型的版權(quán)問題。

Adi等[32]于2018年首次利用深度模型的后門對深度模型版權(quán)進(jìn)行驗(yàn)證，Zhang等[33]也相繼提出了3種適用于深度模型的后門水印生成算法，分別將有意義的數(shù)據(jù)、與訓(xùn)練數(shù)據(jù)無關(guān)的數(shù)據(jù)和噪聲數(shù)據(jù)等通過深度模型水印框架嵌入到深度模型中，實(shí)驗(yàn)表明這些算法對深度模型的參數(shù)剪枝、微調(diào)和模型反轉(zhuǎn)攻擊等都具有較強(qiáng)的魯棒性。與深度模型的后門水印一樣，關(guān)鍵樣本可以通過觸發(fā)深度模型的后門水印來證明深度模型的版權(quán)，Zhong等[34]為關(guān)鍵樣本預(yù)設(shè)的標(biāo)簽是模型所有者的名字(如圖4所示)，將模型所有者的名字Deakin作為關(guān)鍵樣本的預(yù)設(shè)標(biāo)簽，然后將關(guān)鍵樣本和干凈樣本(干凈樣本是指沒有嵌入任何水印的普通樣本)一同輸入到深度模型中，訓(xùn)練出來的深度模型就具備分類關(guān)鍵樣本的功能。實(shí)驗(yàn)表明添加新標(biāo)簽不會(huì)扭曲深度模型的決策邊界，并且能更好地學(xué)習(xí)關(guān)鍵樣本的特征。為了構(gòu)建魯棒性更好的指紋水印框架，Sun等[35]選擇訓(xùn)練集之外的干凈樣本作為關(guān)鍵樣本，為每個(gè)用戶分配有唯一的指紋圖像，用最低有效位(least significant bit，LSB)算法將指紋圖像嵌入到關(guān)鍵樣本中，并為關(guān)鍵樣本預(yù)設(shè)新的標(biāo)簽，可以實(shí)現(xiàn)用戶指紋的認(rèn)證和管理，而且能很好地防御查詢修改攻擊。大多數(shù)指紋水印不可以追蹤深度模型的非法用戶，Xu等[36]采用社區(qū)關(guān)系碼和用戶識(shí)別碼為深度模型提供一個(gè)非法用戶追蹤通道，社區(qū)關(guān)系碼用于查找可疑的用戶群，用戶識(shí)別碼用于查證可疑用戶的身份。

圖4 DNN后門水印工作流程[34]Fig.4 DNN backdoor watermark workflow[34]

容量是一個(gè)衡量深度模型水印性能的重要指標(biāo)，現(xiàn)有零位動(dòng)態(tài)水印方法[33]和多位動(dòng)態(tài)水印方法[37]，多位動(dòng)態(tài)水印方法不僅使水印容量更大，而且可以很好地證明用戶的身份。例如，Guo等[37]于2018年提出了多位動(dòng)態(tài)水印方法，他們將嵌入用戶簽名的訓(xùn)練樣本作為關(guān)鍵樣本，連同干凈樣本輸入到深度模型中，如果干凈樣本能使深度模型以正常的模式運(yùn)行，關(guān)鍵樣本能使深度模型以一種特殊的模式運(yùn)行，從而實(shí)現(xiàn)深度模型版權(quán)驗(yàn)證的目的，該方法在嵌入式設(shè)備下得到有效的驗(yàn)證。Chen等[12]提出多位動(dòng)態(tài)水印框架BlackMarks，該框架將未標(biāo)記的深度模型和模型所有者的二進(jìn)制簽名一并輸入BlackMarks框架中，BlackMarks會(huì)輸出一個(gè)帶有一組水印密鑰的深度模型。實(shí)驗(yàn)表明BlackMarks框架具有更高的深度模型水印容量，并且只需要查詢深度模型的預(yù)測結(jié)果即可提取水印信息，進(jìn)而證明深度模型的版權(quán)。

關(guān)鍵樣本是使深度模型輸出預(yù)設(shè)標(biāo)簽的樣本，后門水印方法的鑒別能力主要取決于它的誤報(bào)率。Guo 等[38]提出了一個(gè)基于差分進(jìn)化的后門水印框架，該框架顯著降低了后門水印的假陽性率，獲得了很好的深度模型版權(quán)鑒別能力，同時(shí)也保持了深度模型水印對微調(diào)的魯棒性。Lü等[39]首先訓(xùn)練一個(gè)小型深度模型HufuNet，然后將HufuNet分成兩部分，其中一部分稱為EPH，作為水印信息嵌入到需要保護(hù)的深度模型中，另一部分稱為SPH，作為密鑰被保護(hù)起來。如果需要驗(yàn)證可疑的深度模型的版權(quán)，可將EPH從可疑的深度模型中提取出來，連同SPH重新組合成一個(gè)完整的HufuNet,新組合的HufuNet與原始的HufuNet預(yù)測值的差值是否小于某個(gè)設(shè)定的閾值，以此來鑒別可疑深度模型的真?zhèn)?，?shí)驗(yàn)表明HufuNet對深度模型的微調(diào)、剪枝和水印偽造攻擊都具有很強(qiáng)的魯棒性。一般情況下，關(guān)鍵樣本的分布差異比普通樣本的分布差異較大，模型竊取者可以通過檢測器檢測到關(guān)鍵樣本，并控制深度模型不對關(guān)鍵樣本做任何響應(yīng)，深度模型所有者便無法利用關(guān)鍵樣本證明深度模型的版權(quán)。為了保證關(guān)鍵樣本不被竊取者檢測到，Li等[40]把與普通樣本分布相似的樣本作為關(guān)鍵樣本，實(shí)驗(yàn)表明該方法對逃逸攻擊和偽造攻擊都具有很好的魯棒性。

深度模型可以將有骨頭的胸腔圖片轉(zhuǎn)換成沒有骨頭的胸腔圖片，將有雨水的圖片轉(zhuǎn)換成沒有雨水的圖片。但是，大部分深度模型水印技術(shù)只適用于圖像分類任務(wù), 不適用于如上更為復(fù)雜的圖像處理任務(wù)。Zhang等[41-42]將數(shù)字水印技術(shù)應(yīng)用在醫(yī)學(xué)圖像去骨和圖像去雨領(lǐng)域，提出了能保護(hù)圖像處理模型版權(quán)的動(dòng)態(tài)水印，他們提出在深度模型的輸出結(jié)果中嵌入水印，并對復(fù)雜圖像處理任務(wù)的深度模型進(jìn)行標(biāo)記，如果竊取者利用API對深度模型進(jìn)行攻擊，并得到具有相近性能的替代模型，然而模型所有者可以從替代模型的輸出結(jié)果提取到深度模型的水印信息，再與原深度模型中嵌入的水印信息進(jìn)行對比，根據(jù)對比值便可以判斷替代模型是否為被竊取的深度模型。為了進(jìn)一步確保深度模型水印的安全性，Wu等[43]提出了帶有密鑰的動(dòng)態(tài)水印技術(shù)，只有在保證密鑰正確的情況下才能提取深度模型水印信息，實(shí)驗(yàn)表明在圖像彩色化、超分辨率、圖像編輯、語義分割等多種圖像處理任務(wù)中，深度模型水印都具有很好的有效性和魯棒性。

3.3 主動(dòng)授權(quán)控制

主動(dòng)授權(quán)控制能夠有效阻止未授權(quán)用戶對深度模型的非法訪問或者使用。Szentannai等[44]增加了深度模型對權(quán)重參數(shù)的依賴性，使用者即使對深度模型的權(quán)重參數(shù)進(jìn)行微小的修改，這都會(huì)極大地改變深度模型的輸出結(jié)果，甚至可能會(huì)使深度模型的推理功能完全失效。Chen等[45]將深度模型水印保護(hù)擴(kuò)展到了底層硬件計(jì)算平臺(tái)中，該方法首先生成與特定硬件設(shè)備相關(guān)聯(lián)的指紋，其次獲得的指紋嵌入到深度模型中，再次從深度模型的輸出結(jié)果中提取指紋，最后將提取的指紋與真實(shí)指紋進(jìn)行比對，如果兩個(gè)指紋高度匹配，則在深度模型上執(zhí)行推理功能，否則深度模型中斷執(zhí)行推理。Xue等[8]在實(shí)現(xiàn)主動(dòng)授權(quán)控制的同時(shí)實(shí)現(xiàn)了用戶指紋管理，該方法將深度模型的對抗性樣例作為指紋分發(fā)給授權(quán)用戶，在深度模型的最后一層增加一層控制層，控制層可以限制非授權(quán)用戶對深度模型的訪問或者使用，當(dāng)授權(quán)用戶向深度模型輸入指紋后，深度模型的控制層就會(huì)被自動(dòng)刪除，深度模型也能恢復(fù)正常使用。除此之外，Xue等[46]還利用多觸發(fā)后門生成不同權(quán)限的用戶指紋，不同權(quán)限的用戶指紋能不同程度地控制深度神經(jīng)網(wǎng)絡(luò)模型的使用權(quán)。如圖5所示，在少量的訓(xùn)練樣本中插入N個(gè)后門信號(hào)，帶有N個(gè)后門信號(hào)的訓(xùn)練樣本成為深度模型所有者的指紋，用于驗(yàn)證深度模型的版權(quán)，帶有n個(gè)后門信號(hào)的訓(xùn)練樣本成為用戶的指紋，用于驗(yàn)證用戶的身份。

圖5 DNN后門信號(hào)指紋授權(quán)控制技術(shù)框架[46]Fig.5 DNN backdoor signal fingerprint authorization control technical framework[46]

Fan等[47-48]用一個(gè)指定的數(shù)字實(shí)體作為深度模型的授權(quán)憑證，這種數(shù)字實(shí)體被稱為數(shù)字護(hù)照，該方法是在深度模型的每個(gè)卷積層之后增加一層數(shù)字護(hù)照層，用戶只有出示正確的數(shù)字護(hù)照密鑰才能正常使用深度模型，偽造數(shù)字護(hù)照會(huì)使深度模型的性能顯著下降，然而這種方法會(huì)改變深度模型的內(nèi)部結(jié)構(gòu)，從而導(dǎo)致深度模型的性能有所降低。針對此問題，Zhang等[49]對基于數(shù)字護(hù)照的主動(dòng)授權(quán)控制技術(shù)進(jìn)行改進(jìn)，利用數(shù)字護(hù)照感知?dú)w一化公式保證深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的穩(wěn)定性，他們提出了數(shù)字護(hù)照感知?dú)w一化公式算法，該算法適用于大部分含有歸一化層的深度模型，數(shù)字護(hù)照感知分支被添加到深度模型的歸一化層，并和深度模型聯(lián)合訓(xùn)練。當(dāng)深度模型在進(jìn)行合法的預(yù)測推理時(shí)，數(shù)字護(hù)照感知分支被屏蔽起來，只有當(dāng)深度模型被竊取時(shí)，數(shù)字護(hù)照感知分支將被添加回來，進(jìn)而驗(yàn)證深度模型的版權(quán)。數(shù)字護(hù)照感知分支不會(huì)使深度模型的內(nèi)部結(jié)構(gòu)發(fā)生改變，并且對深度模型的性能影響很小。

進(jìn)一步地，Tian等[50]用選擇加密算法加密深度模型中重要的參數(shù)，根據(jù)訪問用戶的不同，深度模型解密出不同數(shù)量的參數(shù)，進(jìn)而向用戶提供分級(jí)訪問服務(wù)。Pyone等[51]先利用帶有密鑰的塊像素變換技術(shù)對深度模型的輸入圖像進(jìn)行預(yù)處理，然后輸入到深度模型中進(jìn)行訓(xùn)練，如果密鑰不正確，則深度模型的性能將會(huì)明顯降低，有效地防止了深度模型的被盜行為。Xue等[52]提出了一種新穎的解決辦法，利用密鑰加密深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，用戶利用密鑰解密參數(shù)，進(jìn)而控制深度神經(jīng)網(wǎng)絡(luò)模型的使用權(quán)。首先利用損失函數(shù)選擇深度模型的一部分參數(shù)并對其進(jìn)行加密，其次利用深度模型的對抗性擾動(dòng)修正參數(shù)，再次加密參數(shù)的位置和對抗性擾動(dòng)的值聯(lián)合生成一份密鑰，最后授權(quán)用戶使用密鑰對深度模型進(jìn)行解密，授權(quán)用戶就能獲得深度模型的推理功能，這種方法有效地防止了惡意侵權(quán)者使用深度模型的推理功能。

3.4 典型水印技術(shù)的對比分析

從理論價(jià)值上來看，靜態(tài)水印能驅(qū)動(dòng)對深度模型的內(nèi)部機(jī)制進(jìn)行深入的理解。深度模型對于動(dòng)態(tài)水印嵌入者來說就是一個(gè)黑匣子，不需要接觸深度模型的內(nèi)部機(jī)制。然而，靜態(tài)水印則是需要將水印信息嵌入到深度模型的內(nèi)部參數(shù)中，水印嵌入者必須理解深度模型的內(nèi)部結(jié)構(gòu)和內(nèi)部參數(shù)，它可以促進(jìn)對深度模型內(nèi)部機(jī)制的理解。從應(yīng)用價(jià)值上來看，動(dòng)態(tài)水印的應(yīng)用價(jià)值更高或者適應(yīng)場景更為廣泛。靜態(tài)水印只適用于可以接觸深度模型內(nèi)部機(jī)制的應(yīng)用場景，動(dòng)態(tài)水印除了適用于靜態(tài)水印使用的場景以外，還可以適用于能接觸深度模型API的應(yīng)用場景。在真實(shí)場景中，很少有機(jī)會(huì)接觸到深度模型的內(nèi)部機(jī)制，大多是通過調(diào)用深度模型的API來使用深度模型的推理功能，因此動(dòng)態(tài)水印更適合商業(yè)應(yīng)用。從保真性上來看，靜態(tài)水印嵌入深度模型的參數(shù)中會(huì)改變深度模型的參數(shù)值，因此靜態(tài)水印對深度模型的性能影響較大，動(dòng)態(tài)水印則能很好地保持深度模型原有的性能。

從高效性上來看，動(dòng)態(tài)水印比靜態(tài)水印更為高效。靜態(tài)水印需要對深度模型進(jìn)行完整的水印嵌入，版權(quán)驗(yàn)證時(shí)需要提取深度模型中的水印信息，導(dǎo)致水印信息在嵌入和提取時(shí)需要進(jìn)行大量的計(jì)算，使得版權(quán)保護(hù)任務(wù)變得復(fù)雜。從容量上來看，靜態(tài)水印能在深度模型中嵌入更多的有效信息?，F(xiàn)有的動(dòng)態(tài)水印大多是零位水印，只有少量的動(dòng)態(tài)水印是多位水印，如Guo等[37]將用戶簽名嵌入部分訓(xùn)練樣本中，以及Chen等[12]提出的多比特水印框架BlackMarks技術(shù)。從可靠性和安全性上來看，主動(dòng)授權(quán)控制比靜態(tài)水印、動(dòng)態(tài)水印更可靠和更安全。在攻擊者盜取了深度模型之后，深度模型所有者才能驗(yàn)證其版權(quán)，并且不能強(qiáng)制終止竊取者對深度模型的繼續(xù)使用，版權(quán)擁有者需要依靠政府的執(zhí)法行動(dòng)來阻止竊取者的侵權(quán)行為。然而，主動(dòng)授權(quán)控制則可以提前阻止竊取者對深度模型的非法使用，從源頭上制止了侵權(quán)行為。

3.5 水印技術(shù)的攻擊和防御

深度模型水印技術(shù)的攻擊方法主要有查詢修改攻擊、水印移除攻擊、逃逸攻擊和偽造攻擊，重點(diǎn)對這幾種攻擊方法進(jìn)行詳細(xì)介紹，并針對不同的攻擊方法綜述了研究者們提出的不同防御策略。

3.5.1 不同類型的水印攻擊

利用關(guān)鍵樣本保護(hù)深度模型的版權(quán)是深度模型水印技術(shù)常用的一種方法[53]，如果攻擊者利用查詢修改攻擊算法攻擊該種類型的水印信息，深度模型的版權(quán)保護(hù)就會(huì)失效。諸如Namba等[54]提出了查詢修改攻擊算法，這種攻擊算法的原理是竊取者首先檢測深度模型的查詢樣本是否為關(guān)鍵樣本，如果查詢樣本是關(guān)鍵樣本，就用自動(dòng)編碼器修改查詢樣本，進(jìn)而阻止關(guān)鍵樣本對深度模型的版權(quán)驗(yàn)證，如果查詢樣本不是關(guān)鍵樣本，就不對查詢樣本進(jìn)行任何操作。

水印移除攻擊旨在對深度模型水印進(jìn)行破壞，導(dǎo)致模型擁有者無法驗(yàn)證深度模型的版權(quán)。Uchida等[22]將深度模型水印嵌入深度模型的權(quán)重中，隨后Wang等[23]實(shí)驗(yàn)證明了該種水印技術(shù)會(huì)修改深度模型權(quán)重的統(tǒng)計(jì)分布，并且深度模型的權(quán)重分布標(biāo)準(zhǔn)差也會(huì)隨著水印長度的增加而變長,通過測量權(quán)重分布標(biāo)準(zhǔn)差不僅可以檢測到深度模型水印的存在，還可以推斷出深度模型水印的長度，這樣攻擊者便可以利用深度模型水印信息設(shè)計(jì)一個(gè)偽造的深度模型水印，將偽造的深度模型水印去覆蓋原有的水印信息，從而實(shí)現(xiàn)水印移除攻擊的目的。Shafieinejad等[55]針對深度模型后門水印提出了黑盒攻擊和白盒攻擊，黑盒攻擊的原理是攻擊者首先通過深度模型API查詢公開數(shù)據(jù)的標(biāo)簽，然后利用輸出的標(biāo)簽訓(xùn)練一個(gè)和深度模型性能相近的替代模型。白盒攻擊的原理和黑盒攻擊的原理非常相似，但是白盒攻擊能訪問深度模型的參數(shù)，可以直接訪問深度模型查詢公開數(shù)據(jù)的標(biāo)簽。實(shí)驗(yàn)表明使用20 000～50 000條數(shù)據(jù)就可以去除深度模型水印。Aiken等[56]提出了一種神經(jīng)網(wǎng)絡(luò)“清洗”算法，如果攻擊者不清楚后門水印的結(jié)構(gòu)，該算法也能利用低于1%的深度模型訓(xùn)練集剔除Adi等[32]和Zhang等[33]提出的后門水印。Liu等[57]提出了一種新的后門水印去除框架WILD，WILD框架在訓(xùn)練集訪問受限的情況下也可以使用，WILD框架僅使用10%～40%的訓(xùn)練集數(shù)據(jù)就可以去除深度模型的后門水印，并且對深度模型的性能影響很小。Chen等[58]則提出了深度模型水印剔除的另一種框架REFIT，該框架將彈性權(quán)重合并技術(shù)(elastic weight consolidation，EWC)和未標(biāo)記數(shù)據(jù)擴(kuò)充技術(shù)(unlabeled data augmentation，AU)集成到REFIT框架中，它可以通過深度模型參數(shù)的微調(diào)來移除水印，實(shí)驗(yàn)表明該框架在不降低深度模型性能的情況下可以成功移除深度模型水印。

如果深度模型水印技術(shù)對水印移除攻擊具有魯棒性，那么攻擊者就無法移除水印，進(jìn)而無法阻止模型所有者驗(yàn)證深度模型的版權(quán)。但是，在不能移除深度模型水印信息的情況下，Hitaj等[15]實(shí)驗(yàn)表明竊取者仍然可以逃避模型所有者對深度模型的檢測。類似地，F(xiàn)an等[47]則通過偽造深度模型水印來再次聲明深度模型的所有權(quán)，進(jìn)而使得真實(shí)的水印失效。

3.5.2 不同類型水印攻擊的防御策略

針對查詢修改攻擊，Namba等[54]提出了一種基于指數(shù)加權(quán)的深度模型水印方法，該方法可以防御查詢修改攻擊，并且不影響深度模型的性能。Sun等[35]提出利用附加類別的隱寫圖像來保護(hù)深度模型的版權(quán)，利用LSB算法將用戶指紋嵌入到關(guān)鍵樣本中，該方法也可以抵抗查詢修改攻擊。

針對水印移除攻擊，Jia等[59]提出一種糾纏水印方法，該方法將深度模型水印與深度模型的訓(xùn)練數(shù)據(jù)糾纏在一起，移除深度模型水印會(huì)導(dǎo)致深度模型的性能下降。Yang等[60]在深度模型蒸餾情況下對已有的深度模型水印算法進(jìn)行了評價(jià)，實(shí)驗(yàn)證明蒸餾攻擊可以很容易地移除深度模型水印，為此他們設(shè)計(jì)了一種稱為Ingrain的蒸餾攻擊防御方法，該方法可以提高深度模型水印對蒸餾攻擊的魯棒性，加強(qiáng)了深度模型水印嵌入任務(wù)和深度模型分類識(shí)別任務(wù)之間的相關(guān)性。

針對逃逸攻擊，Li等[40]首次提出了基于盲水印的深度模型水印保護(hù)框架，該框架旨在生成與深度模型的普通樣本分布相似的關(guān)鍵樣本，模型攻擊者無法檢測出這類關(guān)鍵樣本，這樣可以阻止關(guān)鍵樣本對深度模型的版權(quán)驗(yàn)證。假設(shè)模型攻擊者知道深度模型水印的嵌入算法，他可能試圖通過嵌入新的深度模型水印來破壞原始的深度模型水印。因此，Li等[61]在深度模型的分類精度和水印之間建立了一種強(qiáng)相關(guān)性，以此來防御攻擊者的偽造攻擊。在動(dòng)態(tài)水印中，攻擊者常常偽造觸發(fā)樣本和標(biāo)簽的匹配關(guān)系來混淆深度模型的版權(quán)，針對這類偽造攻擊，Zhu等[62]利用單向哈希函數(shù)構(gòu)造抗偽造攻擊協(xié)議生成觸發(fā)樣本鏈，并利用觸發(fā)樣本鏈來指定觸發(fā)樣本與標(biāo)簽的關(guān)系。針對偽造攻擊，Xu等[63]還提出了一種新的深度模型水印框架，該框架在深度模型中嵌入一份機(jī)構(gòu)認(rèn)證的序列號(hào)，以此來證明深度模型的版權(quán)。該序列號(hào)經(jīng)過認(rèn)證機(jī)構(gòu)認(rèn)可，并且與深度模型的標(biāo)簽無關(guān)，增加了模型攻擊者偽造深度模型水印的難度。Fan等[47]則提出了一種基于數(shù)字護(hù)照的深度模型水印保護(hù)策略，偽造數(shù)字護(hù)照會(huì)使深度模型的性能顯著下降，因此該策略也能防御偽造攻擊。

4 總結(jié)與展望

隨著人工智能的廣泛應(yīng)用，深度模型已經(jīng)成為一種昂貴的數(shù)字資產(chǎn)，各種深度模型極易被非法入侵或竊取，如何保護(hù)深度模型的版權(quán)已成為學(xué)術(shù)界和工業(yè)界亟待解決的問題。介紹了研究者們對深度模型水印技術(shù)的分類方法和深度模型水印技術(shù)的基礎(chǔ)，重點(diǎn)對比分析了靜態(tài)水印、動(dòng)態(tài)水印和主動(dòng)授權(quán)控制技術(shù)的優(yōu)缺點(diǎn)，以及歸納總結(jié)了深度模型水印保護(hù)算法的攻擊和防御技術(shù)。

人工智能時(shí)代的深度模型已經(jīng)被應(yīng)用到各個(gè)不同的行業(yè)領(lǐng)域，深度模型水印技術(shù)已經(jīng)成為深度模型版權(quán)保護(hù)的主要方法，近幾年來國內(nèi)外研究者們提出了很多不一樣的深度模型水印技術(shù)，深度模型水印保護(hù)技術(shù)也因此得到了很大的發(fā)展，涌現(xiàn)出圖1所示的研究分支，越來越多的研究者參與到深度模型水印保護(hù)的研究領(lǐng)域中。然而，深度模型水印技術(shù)尚處在初級(jí)階段，還存在很多亟待解決的問題，梳理了深度模型水印技術(shù)未來的研究方向。

(1)需要更大體量的數(shù)據(jù)集，以此來適應(yīng)更為復(fù)雜的深度模型任務(wù)和深度模型水印技術(shù)的性能評估?，F(xiàn)有的深度模型水印技術(shù)主要是對MNIST、CIFAR-10、CIFAR-100等較小規(guī)模的數(shù)據(jù)集訓(xùn)練出來的深度模型進(jìn)行保護(hù)和評估，并且大多數(shù)深度模型水印技術(shù)僅適用于分類任務(wù)和簡單圖像數(shù)據(jù)處理。未來的研究方向應(yīng)設(shè)計(jì)出能保護(hù)大規(guī)模數(shù)據(jù)集(ImageNet、COCO等)訓(xùn)練出來的深度模型，能適應(yīng)在音頻，文本，視頻等非結(jié)構(gòu)化數(shù)據(jù)上訓(xùn)練出來的紛繁復(fù)雜的各類深度模型。

(2)探索嵌入、檢測和驗(yàn)證深度模型水印的新思路，增強(qiáng)深度模型水印技術(shù)的高效性和可靠性。目前，深度模型水印技術(shù)研究的重點(diǎn)集中在深度模型水印嵌入階段，但是水印嵌入階段大多需要再次訓(xùn)練深度模型，這會(huì)耗費(fèi)大量的人力、物力和財(cái)力。深度模型的嵌入、檢測和驗(yàn)證各階段還有很大的研究空間，如何構(gòu)建快速、高效的深度模型水印嵌入算法，力求深度模型水印保護(hù)變得更為簡單。

(3)探索主動(dòng)授權(quán)控制技術(shù)新機(jī)制?，F(xiàn)有的深度模型水印技術(shù)大多是被動(dòng)驗(yàn)證，只能在深度模型被盜取之后才能驗(yàn)證深度模型的版權(quán)，不能事先防范或者制止竊取者對深度模型功能的使用，主動(dòng)授權(quán)控制可以提前阻止竊取者對深度模型的非法使用，實(shí)現(xiàn)版權(quán)保護(hù)和用戶身份管理的功能。

(4)權(quán)衡深度模型水印保護(hù)策略的保真性和魯棒性。保真性和魯棒性是評價(jià)深度模型水印技術(shù)好壞的重要指標(biāo)，深度模型水印技術(shù)在保持保真性的同時(shí)難免會(huì)降低魯棒性，權(quán)衡好兩者之間的關(guān)系不僅能降低深度模型水印技術(shù)對深度模型性能的影響，而且能提高深度模型水印技術(shù)對不同攻擊者的防御能力。

(5)開發(fā)一個(gè)通用的深度模型水印理論框架。多年來，多媒體水印已經(jīng)構(gòu)建起一套較為完善的理論框架，雖然它們的一些概念和結(jié)構(gòu)可以直接引入到深度模型水印理論框架中來，但是深度模型和多媒體是兩個(gè)不同的載體，它們的應(yīng)用場景也有很大的區(qū)別，構(gòu)建深度模型水印的理論框架能促進(jìn)深度模型及其水印技術(shù)的發(fā)展。

雖然，國內(nèi)的張新鵬教授團(tuán)隊(duì)、張衛(wèi)明教授團(tuán)隊(duì)和薛明富教授團(tuán)隊(duì)等分別在靜態(tài)水印技術(shù)、動(dòng)態(tài)水印技術(shù)和主動(dòng)授權(quán)控制技術(shù)方面做出了非常重要的貢獻(xiàn)。但是，總體上中國的深度模型水印技術(shù)尚處于起步階段，在目標(biāo)檢測、語音識(shí)別、自然語言處理、自動(dòng)駕駛汽車和智能醫(yī)療等重要領(lǐng)域的研究成果較少，如果這些領(lǐng)域所應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)模型被非法入侵或竊取，會(huì)造成嚴(yán)重的隱私危機(jī)和商業(yè)價(jià)值流失，甚至直接影響國民安全。因此，除了需要在如上5個(gè)發(fā)展方向上繼續(xù)探索和深入研究，還應(yīng)進(jìn)一步增強(qiáng)深度模型水印技術(shù)在各個(gè)行業(yè)領(lǐng)域的應(yīng)用，重視不同行業(yè)領(lǐng)域數(shù)據(jù)集之間的差異，重視不同行業(yè)領(lǐng)域應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)差異等問題，以及高度重視產(chǎn)學(xué)研的深度合作，進(jìn)而加快深度神經(jīng)網(wǎng)絡(luò)模型水印技術(shù)的發(fā)展，有效解決深度神經(jīng)網(wǎng)絡(luò)模型的版權(quán)保護(hù)問題。