摘要：現(xiàn)有的跨領(lǐng)域少樣本分類模型受限于域特定因素的干擾，限制了其有效性。為此，提出了一種基于高斯仿射的通道鑒別網(wǎng)絡(luò)。具體來(lái)講，所提出的學(xué)習(xí)框架包含隨機(jī)高斯仿射模塊和域通道鑒別模塊，在隨機(jī)高斯仿射模塊中，通過對(duì)特征的充分統(tǒng)計(jì)量進(jìn)行高斯擾動(dòng)以生成區(qū)別于源域數(shù)據(jù)分布的全新特征分布，從而顯著化訓(xùn)練數(shù)據(jù)特征中域不變信息；在域通道鑒別模塊中，將經(jīng)過增強(qiáng)前后的特征圖輸入到域鑒別器中引導(dǎo)模型區(qū)分和提取其中的域不變特征，以達(dá)到提高模型泛化能力的目的。最后，在兩個(gè)目標(biāo)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果驗(yàn)證了所提出方法的可行性和有效性。

關(guān)鍵詞：跨域少樣本圖像分類；少樣本學(xué)習(xí)；域泛化；深度學(xué)習(xí)

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A

迄今為止，深度學(xué)習(xí)的成功在很大程度上依賴于大規(guī)模的訓(xùn)練數(shù)據(jù)。但是在真實(shí)世界的某些領(lǐng)域中獲取大量帶標(biāo)簽的高質(zhì)量數(shù)據(jù)是不現(xiàn)實(shí)的，這表明了人工智能也存在一定的缺陷。研究人員受到人類快速學(xué)習(xí)特性和遷移學(xué)習(xí)的啟發(fā)，提出了一種全新的機(jī)器學(xué)習(xí)范式——少樣本學(xué)習(xí)，以期現(xiàn)有的人工智能模型可以像人類那樣只通過幾個(gè)樣例的學(xué)習(xí)就可以舉一反三。少樣本學(xué)習(xí)旨在使得模型從數(shù)量有限的帶標(biāo)簽數(shù)據(jù)中學(xué)習(xí)到可用在未知新類上且表現(xiàn)良好的先驗(yàn)知識(shí)。少樣本學(xué)習(xí)領(lǐng)域誕生了許多算法和模型，這些成果通過學(xué)習(xí)任務(wù)間歸納偏差的分布來(lái)提高泛化學(xué)習(xí)能力，從而解決少樣本學(xué)習(xí)問題。大多數(shù)少樣本學(xué)習(xí)方法要求訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)處于相同的分布中。然而，最近的研究表明，當(dāng)模型在元訓(xùn)練和元測(cè)試階段輸入的任務(wù)之間存在巨大的領(lǐng)域偏差時(shí)，少樣本學(xué)習(xí)模型的表現(xiàn)甚至不如傳統(tǒng)的預(yù)訓(xùn)練和微調(diào)方法。因此，越來(lái)越多的研究學(xué)者開始關(guān)注跨域少樣本學(xué)習(xí)領(lǐng)域。

跨域少樣本圖像分類領(lǐng)域起步較晚，一些工作僅使用源域數(shù)據(jù)進(jìn)行訓(xùn)練，并在全新未知的目標(biāo)數(shù)據(jù)中進(jìn)行測(cè)試，代表性工作有FWT、URL。相比之下，一些工作在保留了基本設(shè)置的情況下引入輔助信息，即允許模型在訓(xùn)練時(shí)引入部分目標(biāo)數(shù)據(jù)作為輔助域。具體來(lái)說，F(xiàn)u等人提出在模型元訓(xùn)練階段使用少量帶標(biāo)簽的目標(biāo)域圖像數(shù)據(jù)參與訓(xùn)練。然而，在某些重要領(lǐng)域中，比如醫(yī)學(xué)領(lǐng)域和軍事遙感領(lǐng)域，因其數(shù)據(jù)的高隱私性導(dǎo)致獲取數(shù)量足夠且?guī)?biāo)簽的圖像數(shù)據(jù)需要花費(fèi)巨大的代價(jià)。因此，本文遵循FWT所提出的單源跨域少樣本設(shè)置來(lái)訓(xùn)練模型。

為了解決跨域偏移問題，提出了一個(gè)基于隨機(jī)高斯仿射的通道鑒別網(wǎng)絡(luò)，用于解決跨域少樣本圖像分類問題。具體來(lái)說，基于隨機(jī)高斯仿射的通道鑒別網(wǎng)絡(luò)包含一個(gè)隨機(jī)高斯特征增強(qiáng)模塊和域通道鑒別模塊。隨機(jī)高斯仿射模塊用于在訓(xùn)練階段擾動(dòng)源域數(shù)據(jù)以模擬圖像特征的不同分布，從而使得模型適應(yīng)域偏移情景；域通道鑒別模塊則將圖片特征解構(gòu)出有效的領(lǐng)域無(wú)關(guān)特征，用于幫助模型學(xué)習(xí)不同域中包含的顯著歸納偏差。在兩個(gè)不同的目標(biāo)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果表明了所提出的方法可以有效提高小樣本模型的跨域泛化能力。主要貢獻(xiàn)總結(jié)如下：

（1）提出了一個(gè)隨機(jī)高斯仿射模塊，從充分統(tǒng)計(jì)擾動(dòng)的視角去解決小樣本模型從單一源域數(shù)據(jù)泛化到未知域數(shù)據(jù)所面臨的域偏移問題。

（2）提出了一個(gè)域通道鑒別模塊，用于輔助模型在學(xué)習(xí)過程中區(qū)分出特征信道中的領(lǐng)域相關(guān)信息和無(wú)關(guān)信息，挖掘其中的可泛化知識(shí)從而提高模型的跨域?qū)W習(xí)能力。

（3）在兩個(gè)目標(biāo)域圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了所提出方法的有效性，本文提出的基于高斯特征增強(qiáng)的域不變信息鑒別網(wǎng)絡(luò)建立了一個(gè)全新的技術(shù)狀態(tài)。

1相關(guān)工作

1.1跨域少樣本學(xué)習(xí)

作為少樣本學(xué)習(xí)的一個(gè)分支，跨域少樣本學(xué)習(xí)將重點(diǎn)集中在少樣本情況下的域偏移問題。模型在元學(xué)習(xí)框架下進(jìn)行訓(xùn)練和測(cè)試，在不同階段中接受的數(shù)據(jù)存在明顯的領(lǐng)域分布偏移。為了使得模型在域偏移下仍然有良好的學(xué)習(xí)能力，Sun等引入了可解釋的方法，根據(jù)可解釋的結(jié)果反向優(yōu)化網(wǎng)絡(luò)。Tseng等提出了基于超參數(shù)的特征仿射層，在元訓(xùn)練階段模擬跨領(lǐng)域場(chǎng)景。Wang等在任務(wù)層面進(jìn)行增強(qiáng)，提出對(duì)抗性特征增強(qiáng)范式幫助模型學(xué)習(xí)自適應(yīng)誘導(dǎo)偏差。Fu等則在不違背基本定義的情況下提出輔助域設(shè)置，以幫助模型學(xué)習(xí)有效的先驗(yàn)知識(shí)。

但是目前所提出的工作仍存在一定的局限性，例如，它們?cè)诖蟛糠智闆r下均對(duì)源數(shù)據(jù)進(jìn)行加性擾動(dòng)，難以模擬真正合理有效的未知數(shù)據(jù)分布。

1.2少樣本圖像分類

少樣本圖像分類（Few-shot Image Classification）作為一種快速學(xué)習(xí)技術(shù)，旨在訓(xùn)練一個(gè)學(xué)習(xí)模型，該模型可以在少樣本條件下學(xué)習(xí)到可推廣到新類的知識(shí)。目前少樣本圖像分類的工作主要從基于優(yōu)化的方法、基于遷移學(xué)習(xí)的方法和基于度量的方法來(lái)解決少樣本問題?；趦?yōu)化的方法在給定少數(shù)帶標(biāo)簽圖像的情況下，僅靠幾個(gè)步驟優(yōu)化學(xué)習(xí)器來(lái)解決少樣本學(xué)習(xí)問題?；诙攘康姆椒▌t專注于學(xué)習(xí)一個(gè)可以聚集相同樣本和分離不同樣本的嵌入空間。基于遷移學(xué)習(xí)的方法其核心思想在于學(xué)習(xí)一組良好的特征初始化，并使用少量任務(wù)進(jìn)行微調(diào)以提高模型的精度。

然而，研究指出，當(dāng)訓(xùn)練階段的源域數(shù)據(jù)集和測(cè)試階段的未知目標(biāo)域數(shù)據(jù)集之間存在分布偏差時(shí)，現(xiàn)有算法與模型的少樣本分類表現(xiàn)不佳。為了緩解因域偏移導(dǎo)致的性能下降問題，本文提出的方法在訓(xùn)練階段模擬跨域情況，以解決跨域問題。

1.3域泛化

領(lǐng)域泛化方法旨在學(xué)習(xí)源域中的可泛化知識(shí)，并運(yùn)用于全新未知的目標(biāo)領(lǐng)域中。領(lǐng)域泛化方法主要?jiǎng)澐譃橛驍U(kuò)充方法和域不變知識(shí)提取方法。在域擴(kuò)充方法中，它通過從特征角度或者任務(wù)角度多樣化源數(shù)據(jù)，從而使得模型在訓(xùn)練階段適應(yīng)這種變化。在域不變知識(shí)提取方法中，常見的做法是通過對(duì)抗學(xué)習(xí)或者元學(xué)習(xí)方法來(lái)學(xué)習(xí)不同源域分布中的共性知識(shí)，從而賦予模型良好的泛化能力。例如，Zhu等提出具有空間緊湊性保持的局部對(duì)抗域泛化方法來(lái)提升模型泛化精度。Wei等提出一個(gè)基于元優(yōu)化的有效策略去解決域?qū)R和分類任務(wù)之間優(yōu)化不一致問題，從而提高模型在無(wú)監(jiān)督域適應(yīng)任務(wù)上的性能。

然而，現(xiàn)有的領(lǐng)域泛化研究仍然會(huì)因?yàn)檫^度依賴源域數(shù)據(jù)，從而學(xué)習(xí)到大量域特定知識(shí)。此外，它們側(cè)重于在多源環(huán)境和訓(xùn)練數(shù)據(jù)量充足的情況下解決問題，這在實(shí)踐中很難滿足。