魏博識，陳希彤

（1.智能機(jī)器人湖北省重點實驗室；2.武漢工程大學(xué)計算機(jī)科學(xué)與工程學(xué)院，湖北武漢 430205）

0 引言

傳統(tǒng)農(nóng)業(yè)種植很多方面依靠感覺和經(jīng)驗，缺少量化的數(shù)據(jù)平臺，依據(jù)經(jīng)驗進(jìn)行種植決策，難以綜合考量多個領(lǐng)域、復(fù)雜種植場景、大量數(shù)據(jù)基礎(chǔ)等因素。隨著信息時代的發(fā)展，傳統(tǒng)的農(nóng)業(yè)模式弊端日益顯現(xiàn)，制約了我國農(nóng)業(yè)的發(fā)展。

中共中央印發(fā)的《數(shù)字鄉(xiāng)村發(fā)展戰(zhàn)略綱要》，結(jié)合國家農(nóng)業(yè)現(xiàn)代化和農(nóng)業(yè)信息化發(fā)展戰(zhàn)略，提出搶占大數(shù)據(jù)技術(shù)制高點戰(zhàn)略，推動智慧農(nóng)業(yè)不斷發(fā)展。農(nóng)業(yè)大數(shù)據(jù)運(yùn)用大數(shù)據(jù)理念、技術(shù)和方法，解決農(nóng)業(yè)或涉農(nóng)領(lǐng)域數(shù)據(jù)的采集、存儲、計算與應(yīng)用等一系列問題，是大數(shù)據(jù)理論和技術(shù)在農(nóng)業(yè)上的應(yīng)用和實踐。近年深度學(xué)習(xí)方法在農(nóng)業(yè)領(lǐng)域的應(yīng)用取得巨大成就，廣泛應(yīng)用于科學(xué)施肥、產(chǎn)量預(yù)測和經(jīng)濟(jì)效益預(yù)估。根據(jù)土壤信息進(jìn)行數(shù)據(jù)挖掘并在此基礎(chǔ)上提出區(qū)域性作物種植建議，不僅可以促進(jìn)農(nóng)作物生長，還可改善土壤肥力，促進(jìn)可持續(xù)發(fā)展。

以土壤數(shù)據(jù)中土壤種類（Soil type）、土地類型（Land type）以及土壤養(yǎng)分元素的氮（N）、磷（P）、鉀（K）、有機(jī)質(zhì)（OM）的含量為變量建立模型，分析并且給出精準(zhǔn)預(yù)測，可以優(yōu)化傳統(tǒng)經(jīng)驗意識的生產(chǎn)決策，實行科學(xué)種植。研究表明，氮、磷、鉀在植物根莖的重吸收率分別占63.6%，56.8%，50.7%，現(xiàn)有作物推薦算法大多依據(jù)土壤養(yǎng)分元素中氮、磷、鉀、有機(jī)質(zhì)等數(shù)值域數(shù)據(jù)進(jìn)行推薦。但是土壤類型如黃綿土、潮土、水稻土，地塊類型如坡地、平地、梯田等是土壤的文本域數(shù)據(jù)，反應(yīng)土壤中不同大小直徑成土顆粒組成狀況，不同質(zhì)地土壤間養(yǎng)分含量、蓄水導(dǎo)水、保肥供肥、保溫導(dǎo)熱、耕性、微生物種類及其活動等性能差異則對作物生長產(chǎn)生影響。

1 相關(guān)工作

近年傳統(tǒng)推薦算法與深度學(xué)習(xí)推薦算法逐步在土壤數(shù)據(jù)推薦中應(yīng)用，取到了一定效果，但仍存在忽略土壤文本域特征、不同特征交叉對結(jié)果影響程度不同等問題。

互聯(lián)網(wǎng)發(fā)展迅速，帶動推薦算法快速發(fā)展。協(xié)同過濾（Collaborative Fiter，CF）利用相似性推薦思想取得了巨大成功；邏輯回歸（Logistic Regression，LR）因為簡單、可擴(kuò)展和易解釋優(yōu)點，在推薦和排序算法中廣泛應(yīng)用，但其不具有特征組合能力，表達(dá)能力較差；2010年因子分解機(jī)（Factorization Machine，F(xiàn)M）被提出，特征交叉概念引入推薦模型，解決了邏輯回歸不具有特征組合的能力；2012年提出的AlexNet引爆了深度學(xué)習(xí)浪潮，將深度學(xué)習(xí)快速的從圖像擴(kuò)展到語音，再到自然語言處理和推薦系統(tǒng)；為了解決構(gòu)建重建函數(shù)問題，2015年Sedhain等提出AutoRec，將自編碼器思想與協(xié)同過濾結(jié)合為一種單隱層網(wǎng)絡(luò)推薦模型；針對AutoRec等過于簡單的網(wǎng)絡(luò)帶來模型表達(dá)能力不足問題，2016年微軟推出Deep Crossing模型，完整解決了特征工程、稀疏向量稠密化、多層神經(jīng)網(wǎng)絡(luò)優(yōu)化目標(biāo)擬合等一系列深度學(xué)習(xí)在推薦算法中的應(yīng)用問題，但其全連接隱層的特征交叉針對性不強(qiáng)；Google提出了Wide&Deep模型，使用廣度與深度聯(lián)合訓(xùn)練的方法解決了推薦算法中難以同時保留模型記憶能力與泛化能力問題，但該模型仍然沒有解決人工特征組合工作量大效果差的缺點；2017年微軟和斯坦福提出的Deep&Cross Network（DCN），用Cross Net代 替Wide&Deep模型 的Wide部分，增加了特征之間的交互力度，解決了人工組合特征問題。

注意力機(jī)制最早在視覺圖像領(lǐng)域提出，2014年，Google mind團(tuán)隊在RNN模型上使用注意力機(jī)制進(jìn)行圖像分類；Bahdanau等使用注意力機(jī)制在機(jī)器翻譯任務(wù)上將翻譯和對齊同時進(jìn)行，第一個將注意力機(jī)制應(yīng)用到自然語言處理領(lǐng)域。之后注意力模型逐漸在圖像處理、自然語言處理、推薦領(lǐng)域等方面廣泛應(yīng)用；2017年，Xiao等將注意力機(jī)制引入因子分解機(jī)，在二階隱向量交叉的基礎(chǔ)上對每個交叉結(jié)果進(jìn)行注意力加分；2017年，Zhou等在傳統(tǒng)深度學(xué)習(xí)推薦模型基礎(chǔ)上引入注意力機(jī)制，根據(jù)不同目標(biāo)進(jìn)行更有針對性的推薦。

上述方法都在各自數(shù)據(jù)集上有良好表現(xiàn)，但是在本文數(shù)據(jù)集上表現(xiàn)并不理想。本文土壤數(shù)據(jù)包含數(shù)值域與文本域信息，土壤數(shù)據(jù)中包含了氮、磷、鉀等養(yǎng)分信息以及土壤有機(jī)質(zhì)、類型和地塊等信息，因而具有不同的維度和稀疏性。傳統(tǒng)推薦算法LR可以融合土壤的文本域數(shù)據(jù)特征和數(shù)值域數(shù)據(jù)特征，但不具備特征組合能力；Wide&Deep模型可以進(jìn)行特征組合，但是十分依賴人工特征工程；Deep&Cross Network由多個交叉層組成Cross網(wǎng)絡(luò)，在Wide&Deep模型中Wide基礎(chǔ)上進(jìn)行特征自動化交叉，避免了更多基于業(yè)務(wù)理解的人工特征組合。但是，它相當(dāng)于“一視同仁”地對待所有交叉特征，未考慮不同特征對結(jié)果的影響程度，事實上消解了大量有價值的信息。在梯田下推薦小麥種植場景，“地塊類型=梯田且歷史種植稻麥輪作”這一交叉特征，很可能比“地塊類型=梯田且歷史種植黃豆”這一交叉特征更為重要。

針對以上問題，本文提出一種基于土壤數(shù)據(jù)注意力機(jī)制深度交叉網(wǎng)絡(luò)（Attention Deep Cross Network，ADCN）的作物推薦模型。首先將高維稀疏的文本域土壤數(shù)據(jù)特征通過嵌入向量的方式轉(zhuǎn)化為低維稠密特征，并且作為提取交互特征的前置；其次將土壤類型、地塊類型與歷史種植作物種類進(jìn)行關(guān)聯(lián)，通過注意力機(jī)制訓(xùn)練土壤類型、地塊類型與歷史種植作物交互特征的權(quán)重，并且級聯(lián)數(shù)值域土壤數(shù)據(jù)作為深度交互網(wǎng)絡(luò)層輸入；最后通過深度交叉特征網(wǎng)絡(luò)層輸出精準(zhǔn)的推薦作物。實驗證明本文模型在性能上優(yōu)于目前常用的推薦模型。

2 融合注意力機(jī)制的深度交叉網(wǎng)絡(luò)

本文融合注意力機(jī)制的深度交叉網(wǎng)絡(luò)作物推薦模型主要包含數(shù)據(jù)編碼層、注意力機(jī)制層、深度網(wǎng)絡(luò)層、Cross網(wǎng)絡(luò)層和合并輸出層5層，如圖1所示。

Fig.1 Network structure圖1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1中，N、P、K、OM分別表示土壤養(yǎng)分中氮、磷、鉀、有機(jī)質(zhì)的含量等數(shù)值域特征。數(shù)值域特征是連續(xù)的，為了使連續(xù)特征更容易被模型學(xué)習(xí)，在數(shù)據(jù)編碼階段采用分布損失函數(shù)（Cumulative Distribution Function，CDF）映射到（0，1），然后進(jìn)行分桶離散化；LT、ST、PT分別表示土地類型、土壤類型以及歷史種植作物類型，稱為文本域信息，這類信息在編碼時大量使用獨(dú)熱編碼，導(dǎo)致樣本特征向量極度稀疏，這類文本域特征也稱為稀疏特征。深度學(xué)習(xí)的結(jié)構(gòu)特點不利于稀疏特征向量的處理，在數(shù)據(jù)編碼層需采用向量嵌入的方法將數(shù)值域特征和文本域特征轉(zhuǎn)化成稠密向量。注意力機(jī)制層主要為不同程度的交叉特征賦予不同的學(xué)習(xí)權(quán)重，也就是注意力得分。將融合注意力機(jī)制的文本域特征和稠密特征輸入深度交叉網(wǎng)絡(luò)全連接層。深度網(wǎng)絡(luò)層中h表示深度為L2的全連接層，Cross網(wǎng)絡(luò)層中

X

表示Cross網(wǎng)絡(luò)的層數(shù)。經(jīng)過Cross層進(jìn)行特征自動化交叉，深度網(wǎng)絡(luò)層學(xué)習(xí)高維非線性特征交叉組合。合并輸出層中主要拼接Cross網(wǎng)絡(luò)層和深度網(wǎng)絡(luò)層輸出，經(jīng)過加權(quán)求和后得到logits，經(jīng)過softmax函數(shù)得到最終的預(yù)測概率。

2.1 問題描述

作物模型的輸入為土壤養(yǎng)分中氮、磷、鉀、有機(jī)質(zhì)含量，為數(shù)值域數(shù)據(jù)；土壤中的土壤類型、地塊類型、歷史種植作物，為文本域數(shù)據(jù)。以當(dāng)前作物標(biāo)簽作為目標(biāo)推薦作物，輸出為推薦當(dāng)前作物的準(zhǔn)確率，對模型預(yù)測推薦的作物與目標(biāo)作物標(biāo)簽進(jìn)行準(zhǔn)確率計算，在模型輸出時首先經(jīng)過Softmax激活函數(shù)進(jìn)行作物樣本多分類分片，然后使用邏輯回歸在分片中進(jìn)行準(zhǔn)確率預(yù)測。

2.2 注意力機(jī)制層

注意力機(jī)制層設(shè)計是為了挖掘土壤類型與地塊類型（統(tǒng)稱為土質(zhì)組特征）和作物種植之間的關(guān)系，提取土質(zhì)組—作物組之間的關(guān)聯(lián)信息，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Fig.2 Attention Net圖2 注意力網(wǎng)絡(luò)

在圖2中，Activation Unit表示激活單元，其作用是將作物與土質(zhì)組之間交叉，并且連接作物與土質(zhì)組，一起輸入全連接層FCs，學(xué)習(xí)其交叉特征的權(quán)重，最后通過預(yù)測作物（Candidate plant）激活，獲取相應(yīng)的注意力得分，也就是

ω

。然后通過與土壤特征組Embedding加權(quán)求和作為深度網(wǎng)絡(luò)與Cross網(wǎng)絡(luò)的全連接層輸入。

每塊土質(zhì)與作物各個特性之間的關(guān)聯(lián)程度都可使用一個權(quán)重表示，如公式（1）所示：

該權(quán)重公式作為土質(zhì)組特征與作物組特征之間的關(guān)聯(lián)程度計算，將計算結(jié)果作為DCN模型的特征作為訓(xùn)練輸入，其關(guān)聯(lián)程度的權(quán)重矩陣如下：

式（5）表示特征交叉的輸出，將得出的嵌入特征向量組作為全連接層輸入，如式（6）所示：

在全連接層采用RELU作為激活函數(shù)，輸出層選用Softmax函數(shù)，最后輸出土質(zhì)組與作物組的激活權(quán)重并且與向量嵌入的土壤數(shù)據(jù)進(jìn)行加權(quán)求和，作為深度網(wǎng)絡(luò)與Cross網(wǎng)絡(luò)的全連接層輸入。

2.3 DCN網(wǎng)絡(luò)層

DCN網(wǎng)絡(luò)層是一個可以同時高效學(xué)習(xí)低維特征交叉和高維非線性特征的深度模型，在避免人工業(yè)務(wù)理解特征組合的同時又可自動交叉特征，其分為4個部分：

（1）輸入層。輸入為帶有權(quán)重的土壤特征與交叉特征的級聯(lián)，如式（7）所示：

（2）Cross層。Cross層可以用一種高效可控的方式增加特征之間的交互力度，使用多層交叉層對輸入向量進(jìn)行特征交叉，如式（8）所示：

Cross層類似外積操作，并且增加了外積操作的權(quán)重向量

w

以及原輸入向量

x

和偏置向量

b

，但是在參數(shù)方面每一層僅增加了n維權(quán)重向量

ω

。輸入向量在每一層都保留，因而輸入與輸出之間的變化不會特別明顯。同時，Cross層具有參數(shù)共享特點，該特點使得注意力機(jī)制可以間接地動態(tài)更新高階交叉特征的權(quán)重。假設(shè)Cross有兩層，初始特征

x

=[

x

，

x

]，

b

=0，則：

x

=

x

x

w

+

x

，

x

=

x

x

w

+

x

，最終Cross層的輸出為

y

=

x

*

w

?？梢钥闯觯?p>x

包含了原始特征

x

，

x

從一階到二階所有可能叉乘，而

x

包含了其從一階到三階的所有可能叉乘，同時Cross層不同的高階交叉特征的權(quán)重

w

不同。但并非每個交叉特征對應(yīng)獨(dú)立的權(quán)重，因為后一層Cross交叉特征的權(quán)重取決于前一層交叉特征權(quán)重的更新，所以本文并沒有將注意力機(jī)制層加入到Cross網(wǎng)絡(luò)層中，而是放在第一層Crosss網(wǎng)絡(luò)前，這樣就可動態(tài)更新所有高階交叉特征權(quán)重。如果放在Cross網(wǎng)絡(luò)層中某一層前面，則會導(dǎo)致注意力機(jī)制層之前的Cross網(wǎng)絡(luò)層無法動態(tài)更新交叉特征的權(quán)重。

（3）深度網(wǎng)絡(luò)層。即傳統(tǒng)的全連接前饋神經(jīng)網(wǎng)絡(luò)，用來學(xué)習(xí)高維非線性特征交叉組合，如式（9）所示：

（4）合并輸出層。將Cross與Deep網(wǎng)絡(luò)的輸出拼接，經(jīng)過sigmoid函數(shù)得到最終的預(yù)測概率，其形式如下：

其中，

p

是推薦的作物；x是d維的，表示Cross Network的最終輸出；

h

是m維的，表示Deep Network的最終輸出；logits是Combination Layer的權(quán)重；最后經(jīng)過sigmoid函數(shù)得到預(yù)測概率。損失函數(shù)使用Logloss：

3 實驗結(jié)果與分析

為驗證本文方法在網(wǎng)絡(luò)結(jié)構(gòu)、特征結(jié)合、權(quán)重訓(xùn)練上的優(yōu)勢，本文在中華土壤數(shù)據(jù)集上采集數(shù)據(jù)進(jìn)行模型測試，并設(shè)計比較實驗來驗證本文方法性能。

3.1 數(shù)據(jù)集與測試標(biāo)準(zhǔn)

實驗數(shù)據(jù)來源于中國主要農(nóng)田生態(tài)系統(tǒng)養(yǎng)分循環(huán)試驗數(shù)據(jù)庫，源于中國科學(xué)院的中國生態(tài)系統(tǒng)規(guī)律研究，該研究對農(nóng)田生態(tài)系統(tǒng)進(jìn)行長期養(yǎng)分循環(huán)實驗收集并整理出土壤信息數(shù)據(jù)庫，包括2 512條土壤數(shù)據(jù)，8種中國中部地區(qū)以及東部常見耕地作物小麥、水稻、玉米、稻麥輪作、黃豆、花生、蕎麥、谷子，每種作物有314條。每條土壤數(shù)據(jù)包含數(shù)值域數(shù)據(jù)有液態(tài)氮、速效磷、速效鉀、有機(jī)質(zhì)含量等；文本域數(shù)據(jù)有土壤類型如黃綿土、潮土、水稻土等，地塊類型如坡地、平地、梯田等。因為土壤數(shù)據(jù)具有收集難度大、信息易丟失、重復(fù)、數(shù)據(jù)分布不均等特點，因此本文采用smote方法對土壤數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)后的數(shù)據(jù)包括10 400條，其中每種作物的數(shù)據(jù)為1 300條，按照6：2：2的比例將數(shù)據(jù)集隨機(jī)分為7 800：2 600：2 600，分別作為訓(xùn)練集、驗證集以及測試集。批量大?。╞atch Size）設(shè)置為32，最初學(xué)習(xí)率為0.1。

本文推薦算法的評價指標(biāo)有精確率

P

、召回率

R

和

F

值。其中

T

為準(zhǔn)確預(yù)測的土壤數(shù)據(jù)個數(shù)，

F

為模型識別到的不相關(guān)土壤數(shù)據(jù)個數(shù)，

F

為模型沒有檢測到的土壤數(shù)據(jù)個數(shù)，如式（12）所示：

3.2 實驗設(shè)置

實驗采用NVIDIA 1080Ti GPU訓(xùn)練網(wǎng)絡(luò)，操作系統(tǒng)為Ubuntu16.04，內(nèi)存為32GB，CUP型號為Intel（R）Core（TM）i7-7700。Python 3.6版本，Tensorflow深度學(xué)習(xí)框架。

比較模型選用目前常見的LR、DNN、FM、PNN、Wide&Deep、DCN，與本文算法進(jìn)行對比并且驗證模型性能。下面分別將比較算法進(jìn)行簡要介紹。

（1）LR模型。邏輯回歸算法，其回歸模型由線性回歸模型與Sigmoid函數(shù)共同組成，為推薦三大基礎(chǔ)模型之一，優(yōu)點是簡單可解釋。

（2）DNN模型。DNN是深度神經(jīng)網(wǎng)絡(luò)，是基于感知機(jī)的擴(kuò)展內(nèi)部神經(jīng)網(wǎng)絡(luò)層，分為輸入層、隱藏層、輸出層。

（3）FM模型。通過引入交叉特征項進(jìn)行特征之間的組合，增強(qiáng)特征之間的聯(lián)系，并且引入隱向量，解決高維稀疏數(shù)據(jù)情況下的大量計算問題。

（4）PNN模型。針對不同特征域之間的交叉操作，定義“內(nèi)積”“外積”等操作，使模型更好地提取交叉特征之間的關(guān)聯(lián)。

（5）RFSVM模型?，F(xiàn)有數(shù)值型作物推薦算法采用隨機(jī)森林和支持向量機(jī)結(jié)合方法，根據(jù)土壤數(shù)據(jù)進(jìn)行作物推薦，具有良好性能。

（6）Wide&Deep模型。Wide部分讓模型具有較強(qiáng)的“記憶能力”，將推薦的特征與特征之間的交叉提取權(quán)重，并且采用邏輯函數(shù)進(jìn)行分類；Deep部分讓模型具有“泛化能力”，將高維稀疏的文本域數(shù)據(jù)通過嵌入的方式轉(zhuǎn)化成低維稠密向量，與數(shù)值域數(shù)據(jù)串聯(lián)輸入全連接層。Wide&Deep將兩部分模型融合。

（7）DCN模型。用Cross網(wǎng)絡(luò)代替Wide&Deep模型中的Wide部分，對特征進(jìn)行自動交叉，增加了特征交互力度。

（8）ADCN模型（本文算法）。在DCN基礎(chǔ)上引入注意力機(jī)制，解決了不同特征對結(jié)果的影響程度不同而消解了大量有價值信息的問題。

為驗證本文算法性能，主要設(shè)計了兩組實驗：①為驗證融合土壤文本域特征與數(shù)值域特征方法的有效性，將現(xiàn)有數(shù)值型作物推薦算法（RFSVM）與LR、DNN模型以及本文方法分別以融合土壤文本域特征與數(shù)值域特征的數(shù)據(jù)集1（Sdata1）和未加入文本域特征的數(shù)據(jù)集2（Sdata2）進(jìn)行對比實驗；②為驗證本文引入注意力機(jī)制的深度交叉網(wǎng)絡(luò)作物推薦模型性能，在中華土壤數(shù)據(jù)集上對目前常見的經(jīng)典推薦模型FM、PNN、Wide&Deep、DCN、ADCN進(jìn)行對比實驗。

3.3 融合土壤多域數(shù)據(jù)特征對比實驗

使用中華土壤數(shù)據(jù)集采集的2 512條土壤數(shù)據(jù)，經(jīng)過Smote算法增強(qiáng)的10 400條土壤數(shù)據(jù)（Sdata1），在此基礎(chǔ)上提出數(shù)值域數(shù)據(jù)，設(shè)計10 400條土壤數(shù)值域數(shù)據(jù)集（Sdata2），將這2個數(shù)據(jù)集分別進(jìn)行實驗。在Sdata2上對單一數(shù)值域推薦算法LR、RFSVM、DNN進(jìn)行的實驗結(jié)果如表1所示，在Sdata1上對多域土壤數(shù)據(jù)進(jìn)行LR、DNN、ADCN處理的比較實驗結(jié)果如表2所示。

Table 1 Comparison of soil numerical domain characteristics experiment表1 土壤數(shù)值域特征實驗比較 （%）

Table2 Comparison of fusion soil multi-domain data characteristics experimental表2 土壤多域數(shù)據(jù)特征實驗比較 （%）

從表1和表2可以看出，LR和DNN相較于融合文本域數(shù)據(jù)前提升了3.0%和4.2%，說明融合土壤多域數(shù)據(jù)特征模型的效果優(yōu)于單一數(shù)值數(shù)據(jù)特征模型。另外，本文方法與現(xiàn)有數(shù)值型作物推薦算法（RFSVM）相比，F(xiàn)值提升了6.7%，原因是ADCN不僅在數(shù)值域數(shù)據(jù)的基礎(chǔ)上引入了文本域數(shù)據(jù)進(jìn)行推薦，并且在經(jīng)典推薦模型上引入了注意力機(jī)制來學(xué)習(xí)不同土壤文本數(shù)據(jù)之間的內(nèi)在權(quán)重關(guān)聯(lián)，使模型精度得到提升。因此，文本特征的引入和特征交叉的工程使得本文模型的精確度高于現(xiàn)有數(shù)值型作物推薦算法。

3.4 引入注意力機(jī)制的深度交叉網(wǎng)絡(luò)比較實驗

使用中華土壤數(shù)據(jù)集采集的2 512條土壤數(shù)據(jù)，與經(jīng)過Smote算法增強(qiáng)的10 400條土壤數(shù)據(jù)（Sdata1）進(jìn)行比較實驗，并與目前常見的推薦模型FM、PNN、Wide&Deep、DCN和ADCN進(jìn)行比較，實驗結(jié)果如表3所示。

從實驗結(jié)果可以看出，本文方法在效果上優(yōu)于目前常用的推薦模型。對比DCN和Wide&Deep模型可以看出，DCN比Wide&Deep的F值提高了0.9%，說明用Cross代替Wide可以加強(qiáng)交叉特征的學(xué)習(xí)能力。對比ADCN和DCN模型，ADCN模型的F值比DCN模型提高了1.3%。加入了Attention機(jī)制，不僅可以根據(jù)地塊類型、土壤類型與歷史種植作物的關(guān)聯(lián)程度進(jìn)行交叉特征提取，還可以對得到的交互特征的學(xué)習(xí)權(quán)重、對不同關(guān)聯(lián)的交互特征設(shè)置不同權(quán)重，從而增強(qiáng)模型性能。為了比較各個模型的收斂速度，本文對各個模型的Loss進(jìn)行比較，結(jié)果如圖3所示（彩圖掃OSID可見，下同）。

Table 3 Comparison experimen of introducing the attention mechanism to deep crossnetwork表3 引入注意力機(jī)制深度交叉網(wǎng)絡(luò)比較實驗 （%）

Fig 3 Loss curves of five models圖3 5種模型的Loss曲線

從圖3可以看出，5個模型的損失變化整體呈下降趨勢，但是在100次迭代次數(shù)之后趨于穩(wěn)定。在DCN中加入注意力機(jī)制之后的模型Logloss進(jìn)一步下降，并且F值提高，表明改進(jìn)后的模型性能優(yōu)于原有基礎(chǔ)模型。在引入注意力機(jī)制思想提取了作物與地塊類型、土壤類型交叉特征的權(quán)重后，較原有模型性能提高了1.3%。表明改進(jìn)后的模型性能優(yōu)于原有基礎(chǔ)模型。

4 結(jié)語

本文提出了一種土壤數(shù)據(jù)融合注意力機(jī)制深度交叉網(wǎng)絡(luò)結(jié)構(gòu)的作物推薦模型。通過引入文本域信息和注意力機(jī)制，解決了一般推薦模型忽略土壤文本域信息和其特征交叉時沒有挖掘土壤類型、地塊類型與種植作物之間不同的相關(guān)性以及無差別對待所有特征的問題。在中華土壤數(shù)據(jù)庫上的實驗結(jié)果表明，本文方法融合了文本域土壤數(shù)據(jù)和采用注意力機(jī)制訓(xùn)練文本域特征交叉的權(quán)重方法，比目前常用的推薦模型性能有較大提升。但是土壤數(shù)據(jù)存在殘缺和重復(fù)，而且交叉網(wǎng)絡(luò)層復(fù)雜度較高，后續(xù)將對土壤數(shù)據(jù)的預(yù)處理和深度交叉網(wǎng)絡(luò)的優(yōu)化進(jìn)行深入研究。