摘要:深度學習中使用的訓練的數(shù)據(jù)集中可能存在一些用戶的敏感信息,在模型訓練過程中,這些敏感信息將會隱各地存在于模型參數(shù)中,從而存在隱私泄露的風險。本文在AdamP優(yōu)化器的基礎上引入高斯機制的差分隱私,提出了一種基于一次冪函數(shù)的動態(tài)隱私預算分配算法來更合理地分配差分隱私的隱私預算,即DP-AdamP,以更好地平衡隱私性和模型準確性。實驗結(jié)果表明,本文的DP-AdamP算法相比于傳統(tǒng)的DP-SGD算法,在相同隱私預算下具有更好的準確性,低隱私預算情鞏下高出約7.7%,高隱私預算情鞏下高出約3.9%,并且針對更具有實際意義的低隱私預算的情況進行單獨實驗,進一步驗證了DP-AdamP算法的有效性。
關鍵詞:深度學習;差分隱私;動態(tài)隱私預算;AdamP算法
中圖分類號:TP391 文獻標識碼:A
近些年隨著硬件水平的提升以及時時刻刻都在產(chǎn)生的海量數(shù)據(jù),人工智能技術(shù)正在逐漸改變?nèi)藗兊纳?,例如學校、地鐵等使用的人臉識別裝置,醫(yī)學診斷中使用人工智能進行輔助診斷,智能駕駛中使用的駕駛輔助、路況分析等,都在人們的生活中發(fā)揮著重要作用。人工智能算法的實現(xiàn)需要大量的數(shù)據(jù)作為訓練數(shù)據(jù)集,這樣不可避免地會產(chǎn)生數(shù)據(jù)隱私泄露的風險,如人臉識別系統(tǒng)中的用戶人臉數(shù)據(jù),醫(yī)學診斷中的醫(yī)學圖像都屬于需要進行保護的隱私數(shù)據(jù)。