摘要：為了助力物流行業(yè)響應“碳達峰”和“碳中和”建設目標，提速綠色物流產(chǎn)業(yè)的建立與發(fā)展，首先綜合考慮油耗、碳排放、人力、車輛、用戶體驗等因素，構(gòu)建帶軟時間窗約束的多行程綠色車輛路徑優(yōu)化模型。然后綜合考慮PinSAGE圖網(wǎng)絡、TRPO和GAE方法來改進ActorCritic的深度強化學習優(yōu)化算法，最后采用ActorCritic算法對模型對綠色多行程車輛路徑方案求解。實驗表明，提出的求解方法能高效規(guī)劃綠色車輛路徑，進而顯著減少物流成本，實現(xiàn)物流企業(yè)經(jīng)濟效益與環(huán)境效益的雙重優(yōu)化。

關(guān)鍵詞：綠色物流；軟時間窗；深度強化學習；ActorCritic框架

中圖分類號：F25Z；Ui21 文獻標識碼：A

電子商務的興盛推動了物流行業(yè)發(fā)生劇變，亟須向精細化、智能化、綠色轉(zhuǎn)型，以解決成本控制與效率提升的緊迫問題。圍繞物流行業(yè)降本增效與綠色環(huán)保理念，Bruglieri等為高效求解綠色車輛路徑問題，通過生成和組合可行的非支配路徑來最小化總行駛距離，同時考慮了車輛在行駛過程中需要在替代燃料站停留加油的限制。張靜怡等以車輛固定、運輸相關(guān)、未滿足需求的懲罰、碳排放等成本加權(quán)和為優(yōu)化目標，建立了基于低碳排放的應急物流車輛路徑優(yōu)化模型，解決災害情況下貨物的運輸。張金良等考慮碳排放背景下針對客戶點增減、客戶需求量變化及配送路線交通中斷三種優(yōu)化問題，動態(tài)優(yōu)化配送車輛路徑以獲得最低配送成本。利用軟時間窗約束來平衡成本和用戶體驗，劉虹等為解決配送過程中客戶需求動態(tài)性和不確定性問題，引入隨機機會約束規(guī)劃模型，并提出了“實時柔性點”的路徑調(diào)整策略，能夠適應客戶取送貨需求的隨機性并進行實時優(yōu)化調(diào)整。范厚明等針對模糊需求和時間窗的車輛路徑優(yōu)化問題，改進交叉算子操作優(yōu)化混合遺傳算法，同時引入擂臺法則提高種群多樣性，促進求解效率的提高。Tas等考慮軟時間窗口和行駛時間不確定性的情況，利用禁忌搜索方法快速生成配送路徑，同時兼顧了運輸和服務成本。He等通過改進蟻群算法的信息素更新策略來彌補算法初期信息素缺乏的問題，并設計了兩個變鄰域搜索算子以避免算法陷入局部最優(yōu)解，來平衡配送過程中的車輛服務靈活性。為了加快物流效率與綠色物流產(chǎn)業(yè)發(fā)展，構(gòu)建了許多考慮碳排放、多行程以及用戶體驗的軟時間窗約束等車輛路徑模型。周鮮成等考慮時間窗口依賴與多行程的貨物配送問題，考慮車輛行駛速度、實時載重等因素建立了油耗和碳排放測度模型；根據(jù)配送時間和顧客滿意度之間的關(guān)系來優(yōu)化車輛配送方案。Eskandarpour等探討容量和行駛范圍對求解的影響，并且更貼合實際地考慮了碳排放約束，建立了最小化總成本和最少化二氧化碳排放量的雙優(yōu)化目標的整數(shù)規(guī)劃模型并采用改進的大鄰域搜索算法進行求解。深度強化學習方法，作為一種高效的車輛路徑求解策略，可為物流行業(yè)提供更加智能、高效的解決方案。周雅蘭等提出了Memetic深度強化學習算法求解帶時間窗約束的同時取送貨車輛路徑問題，在充分利用已有人工啟發(fā)式算法的基礎(chǔ)上進一步優(yōu)化求解效果。羅佳等提出基于殘差圖卷積和多頭注意力融合的深度強化學習算法構(gòu)建可行解序列，提高需求可拆分車輛路徑問題的求解效率。Xin等采用多解碼器注意力模型解決車輛路徑優(yōu)化問題，通過訓練多個不同的策略有效提高發(fā)現(xiàn)優(yōu)秀解的概率。Raajan等將車輛及其所處環(huán)境的即時狀況直接轉(zhuǎn)化為駕駛操作，采用深度確定性策略梯度方法來優(yōu)化車輛物流配送流程。

綜上所述，現(xiàn)有研究存在以下不足；第一，綠色車輛路徑優(yōu)化問題多集中于多車場與多車型，存在車輛調(diào)度冗余、資源浪費、成本消耗大的問題；第二，模型求解方法大多采用啟發(fā)式算法，致使求解難度較大，求解效率低等問題；第三，較少利用強化學習算法求解，且求解中大多與環(huán)境交互不徹底，優(yōu)化策略不會隨求解效果自適應調(diào)整等。針對上述不足，本文在綜合考慮油耗、碳排放、人力、車輛、用戶體驗等因素，構(gòu)建了帶軟時間窗多行程綠色車輛路徑模型（Green Multi-Trip Vehicle Routing Problem with Time Windows，GMTVRPTW），利用基于ActorCritic的深度強化學習算法求解，實現(xiàn)在最小碳排放成本條件下的物流總成本最小化的目標。