摘 要：本文旨在探討基于馬爾科夫決策過程理論的風(fēng)電項(xiàng)目投資模型構(gòu)建及優(yōu)化方法。通過綜合考慮政策支持、稅收環(huán)境、建設(shè)成本、風(fēng)能資源和并網(wǎng)潛力等關(guān)鍵指標(biāo)，利用馬爾科夫鏈技術(shù)對(duì)動(dòng)態(tài)環(huán)境下的風(fēng)電投資決策問題進(jìn)行建模。研究采用值迭代算法進(jìn)行循環(huán)迭代更新值函數(shù)V，并找到最優(yōu)政策，從而實(shí)現(xiàn)長(zhǎng)期規(guī)劃與效益最大化。結(jié)果顯示，在保持初始穩(wěn)定策略下系統(tǒng)對(duì)特定狀態(tài)有明顯上升趨勢(shì)，值函數(shù)平滑上升展現(xiàn)算法在決策方面取得良好效果，在多次優(yōu)化后逐漸接近局部最優(yōu)解或全局最優(yōu)解。

關(guān)鍵詞：馬爾科夫決策；風(fēng)電項(xiàng)目投資；決策模型

中圖分類號(hào)：TM 732" " 文獻(xiàn)標(biāo)志碼：A

風(fēng)電項(xiàng)目投資涉及多方面因素和不確定性，采用馬爾科夫決策過程理論可以幫助制定有效的投資方案。翟保豫等[1]基于WRF模式和風(fēng)速誤差修正構(gòu)建中期風(fēng)電功率預(yù)測(cè)方法，算例顯示該方法提升了精度且降低了預(yù)測(cè)誤差。張彬橋等[2]基于Copula函數(shù)的馬爾科夫鏈風(fēng)速預(yù)測(cè)模型，在短期內(nèi)對(duì)風(fēng)速進(jìn)行可靠性高精度預(yù)測(cè)。楊輝明等[3]改進(jìn)馬爾科夫鏈的風(fēng)電日前不確定性建模方法。劉大貴等[4]以熵值法組合單一灰色GM（1，1）和三次指數(shù)平滑后再使用馬爾科夫鏈修正準(zhǔn)確、有效地推斷未來一年可用電量。樊盼盼等[5]融合多時(shí)段SCADA數(shù)據(jù)實(shí)現(xiàn)機(jī)組態(tài)勢(shì)評(píng)估與決策，在考慮歷史記錄、運(yùn)行趨勢(shì)下開展有功功率短期預(yù)測(cè)，并采用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建準(zhǔn)確時(shí)間序列，以評(píng)估系統(tǒng)狀態(tài)穩(wěn)定程度。張文秀等[6]在源-網(wǎng)-荷不確定因素綜述下考慮系統(tǒng)運(yùn)行影響，提出計(jì)及源-網(wǎng)-荷因素的MarovChain風(fēng)能網(wǎng)絡(luò)關(guān)系可靠性檢驗(yàn)方案，并成功驗(yàn)證其可行性與效力?；诂F(xiàn)有研究，本文旨在通過構(gòu)建一個(gè)基于馬爾科夫決策過程理論的風(fēng)電項(xiàng)目投資模型，探討如何優(yōu)化資源配置、降低風(fēng)險(xiǎn)并提高回報(bào)。

1 模型構(gòu)建

風(fēng)電投資決策中引入馬爾科夫決策過程具有重要意義。風(fēng)電項(xiàng)目的投資涉及長(zhǎng)期性、不確定性和復(fù)雜性，需要考慮多個(gè)因素，例如市場(chǎng)變化、政策影響、技術(shù)發(fā)展等。通過引入馬爾科夫決策過程（Markov Decision Process，MDP），可以更好地建模這些動(dòng)態(tài)環(huán)境下的決策問題，并制定相應(yīng)的最優(yōu)化戰(zhàn)略。

1.1 模型建立與狀態(tài)轉(zhuǎn)移

MDP是一種數(shù)學(xué)框架，適合描述具有隨機(jī)性和不確定性的決策問題，并能夠輔助制定最佳決策方案。對(duì)風(fēng)電項(xiàng)目來說，當(dāng)考慮預(yù)期所剩規(guī)劃步數(shù)約束時(shí)，可以使用MDP來建立一個(gè)動(dòng)態(tài)條件下的模型。通過這個(gè)模型，在每個(gè)時(shí)間點(diǎn)上都可計(jì)算出選擇某種行動(dòng)后可能獲得的效用值，并結(jié)合折扣因子來權(quán)衡當(dāng)前收益與將來潛在回報(bào)之間的關(guān)系。

在MDP中，通常定義狀態(tài)、行動(dòng)、獎(jiǎng)勵(lì)函數(shù)和轉(zhuǎn)移概率函數(shù)等元素。其中，“狀態(tài)”指系統(tǒng)可能處于的各種情形，例如在風(fēng)電投資領(lǐng)域，各種外部因素會(huì)導(dǎo)致項(xiàng)目收益波動(dòng)，例如市場(chǎng)需求變化、政府補(bǔ)貼調(diào)整等。將這些因素作為狀態(tài)空間中的狀態(tài)，并根據(jù)其概率特征構(gòu)建狀態(tài)轉(zhuǎn)移函數(shù) P ，描述不同狀態(tài)之間轉(zhuǎn)換概率。由此，定義馬爾可夫決策過程。它可以被表示成一個(gè)四元組，如公式（1）所示。

M=（S，A，P，R） （1）

式中：M為馬爾科夫決策過程；S為狀態(tài)空間，即所有可能環(huán)境狀態(tài)的集合；A為動(dòng)作空間，即智能體所有可選行動(dòng)的集合；P為狀態(tài)轉(zhuǎn)移函數(shù)，在給定狀態(tài)下執(zhí)行動(dòng)作后系統(tǒng)轉(zhuǎn)移到下一個(gè)狀態(tài)的概率；R為回報(bào)函數(shù)，在給定狀態(tài)下執(zhí)行動(dòng)作后從環(huán)境立即獲得的回報(bào)值。

通常情形下，S和 A可以是離散或連續(xù)性質(zhì)，并且有2種方式來描述狀態(tài)：平鋪表示和因子化表示。平鋪表示對(duì)每個(gè)狀態(tài)進(jìn)行編號(hào)，并使用查表方法存儲(chǔ)完整的轉(zhuǎn)移函數(shù)，其儲(chǔ)存空間為|S|×|A|×|S|；而因子包括關(guān)于狀態(tài)轉(zhuǎn)移概率的更多信息并且能更有效地利用特征向量對(duì)每一個(gè)狀態(tài)進(jìn)行描述。針對(duì)因子化方法，動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)對(duì)應(yīng)狀態(tài)表達(dá)函數(shù)中其轉(zhuǎn)移函數(shù)則可以被表示為一個(gè)兩層有向無環(huán)圖，函數(shù)則分解為公式（2）。

（2）

式中：s為有向無環(huán)圖中的第一層節(jié)點(diǎn)狀態(tài)表示；s'為有向無環(huán)圖中的第二層節(jié)點(diǎn)狀態(tài)表示；α為A中的可選動(dòng)作數(shù)值計(jì)算表示方式；xi為狀態(tài)變量，在定義范圍內(nèi)取值；ui為非獨(dú)立狀態(tài)變量，即不與其他狀態(tài)變量相獨(dú)立的狀態(tài)變量。

因此，因子化的表達(dá)形式更高效、緊湊，在實(shí)踐中更常應(yīng)用。

1.2 動(dòng)作選擇與回報(bào)機(jī)制

針對(duì)每個(gè)可能狀態(tài)，在給定條件下選擇最優(yōu)動(dòng)作是關(guān)鍵挑戰(zhàn)之一。通過定義合適的行為空間 A和回報(bào)函數(shù)R，可以量化每次行動(dòng)帶來的效果并評(píng)估所獲得回報(bào)。

在馬爾科夫決策過程中，廣義控制策略是指將某種概率分布映射到控制器上，并設(shè)置該決策為π。具體來說，在給定狀態(tài)下采取某項(xiàng)活動(dòng)出現(xiàn)的概率如公式（3）所示。

π：S×A→[0，1] （3）

由此，這一決策π可以表達(dá)為π（s，α），代表在某個(gè)情形下選擇某項(xiàng)活動(dòng)就會(huì)出現(xiàn)α的概率。而當(dāng)確定性策略總是選擇相同活動(dòng)，則稱該策略為確定，如公式（4）所示。

π：S×A→{0，1} （4）

考慮智能體的未來匯報(bào)，則其效用值如公式（5）所示。

（5）

式中：u（）為效用值；s0為起始狀態(tài)；R（）為一步內(nèi)回報(bào)的效用值。

實(shí)踐中的時(shí)間成本等因素使項(xiàng)目通常具有一定時(shí)限性，對(duì)應(yīng)馬爾科夫決策過程為僅考慮未來H步內(nèi)決策，因此根據(jù)所采取不同步驟時(shí)刻不斷迭代計(jì)劃限時(shí)內(nèi)期望累積回報(bào)值，如公式（6）所示。

（6）

式中：H為外部環(huán)境約束下對(duì)效用函數(shù)收斂條件予以約束的指定步數(shù)條件，不增加該環(huán)節(jié)則需要增加折扣因子γ來保證函數(shù)收斂。

MDP框架下針對(duì)長(zhǎng)期規(guī)劃與效用最大化問題需要考慮如何定義系統(tǒng)可能處于的各種情形以及系統(tǒng)可以采取哪些操作，如何評(píng)估每次行為所帶來的即時(shí)獎(jiǎng)勵(lì)，如何描述系統(tǒng)從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)涉及的隨機(jī)性或不確定性，如何結(jié)合外部環(huán)境約束條件進(jìn)行收斂分析，并確保算法穩(wěn)健、有效地執(zhí)行。

1.3 長(zhǎng)期規(guī)劃與效用最大化

風(fēng)電項(xiàng)目是長(zhǎng)期投資，需要考慮未來累積收益以及時(shí)序依賴關(guān)系。利用馬爾科夫決策過程理論框架可計(jì)算在當(dāng)前情形下采取何種措施才能使整體效益達(dá)到最大值，從而實(shí)現(xiàn)長(zhǎng)遠(yuǎn)規(guī)劃和持續(xù)增值。具體來說，當(dāng)在動(dòng)態(tài)條件下考慮預(yù)期剩余t規(guī)劃步數(shù)約束時(shí)，可以基于狀態(tài)s而非行動(dòng)s0來制定策略，并得到相應(yīng)的值函數(shù)。后續(xù)行動(dòng)價(jià)值函數(shù)Qtπ（s，α）可以如公式（7）所示。

（7）

式中：γ為折扣因子；Vπt-1為最后一步的效用值。

MDP允許處理環(huán)境中存在隨機(jī)性和不確定性帶來的挑戰(zhàn)，當(dāng)面臨突發(fā)事件或新信息時(shí)能快速調(diào)整策略，以適應(yīng)變局并提高系統(tǒng)魯棒度。這種方法有助于制定更靈活、智能化并且具備長(zhǎng)遠(yuǎn)眼光的決策方案，特別是在需要對(duì)未知情況做出反應(yīng)并保持系統(tǒng)穩(wěn)健性方面發(fā)揮重要作用。

2 性能測(cè)試

2.1 模型構(gòu)建

政府政策支持、稅收環(huán)境、風(fēng)電項(xiàng)目的建設(shè)成本、風(fēng)能資源以及并網(wǎng)潛力等指標(biāo)是構(gòu)建風(fēng)電項(xiàng)目投資則決策主要變量，相應(yīng)構(gòu)建壁板兩體系結(jié)果見表1。

由此，對(duì)已有數(shù)據(jù)進(jìn)行仿真試驗(yàn)，以驗(yàn)證所提出方法是否可以適應(yīng)實(shí)際情形，并比較其效果。

2.2 循環(huán)迭代

模型定義投資回報(bào)率矩陣，表示不同狀態(tài)下采取不同行動(dòng)所帶來的投資回報(bào)率。每一行代表一個(gè)狀態(tài)，每一列代表可選擇的動(dòng)作，即不同類型的投資方案。初始選擇保守型投資策略，使用值迭代算法來更新值函數(shù)V，并找到最優(yōu)政策。

在每次循環(huán)中，在當(dāng)前估計(jì)下計(jì)算Q-Value并根據(jù)Q-Value更新估計(jì)價(jià)值函數(shù)V。通過多次迭代得出近似收斂于真實(shí)價(jià)值函數(shù)或者最佳策略。由此，顯示輸出了經(jīng)過模型運(yùn)算得出的最優(yōu)決策路徑序列如圖1所示。

由圖1可知，隨著迭代次數(shù)增加，可以觀察到值函數(shù)呈極平滑的上升趨勢(shì)。這種表現(xiàn)反映了馬爾科夫決策過程在優(yōu)化決策方面取得了良好效果。系統(tǒng)持續(xù)地對(duì)問題領(lǐng)域進(jìn)行多次決策優(yōu)化后，逐漸接近一個(gè)局部最優(yōu)解或全局最優(yōu)解。這種穩(wěn)定而持續(xù)的提升顯示算法在不斷改進(jìn)其對(duì)環(huán)境特性和最佳操作選擇之間關(guān)系的理解，并表明模型有效地應(yīng)用于風(fēng)電投資領(lǐng)域。通過MDP框架，系統(tǒng)能夠?qū)崿F(xiàn)智能化、自我學(xué)習(xí)與改進(jìn)等目標(biāo)，在長(zhǎng)期風(fēng)電項(xiàng)目中更準(zhǔn)確地做出決策并不斷提高投資回報(bào)率。

2.3 結(jié)果分析

整理其在兩個(gè)不同矩陣方向上的結(jié)果如圖2所示。由圖2可知，關(guān)于建設(shè)成本（序號(hào)3），當(dāng)評(píng)估項(xiàng)目所在地總體建設(shè)費(fèi)用時(shí)，就需要選擇當(dāng)前資金儲(chǔ)備水平下可投資規(guī)模，并描述由融資費(fèi)率變化等因素引起的建設(shè)活動(dòng)上所做相應(yīng)調(diào)整，以評(píng)估當(dāng)前構(gòu)造開銷與未來預(yù)期回報(bào)間關(guān)系。在狀態(tài)3中，觀察到針對(duì)2個(gè)矩陣方向的提升導(dǎo)致收益率明顯下降。這一現(xiàn)象意味在考慮了政策支持、稅收環(huán)境、建設(shè)成本、風(fēng)能資源和并網(wǎng)潛力等指標(biāo)后，采取特定動(dòng)作可能會(huì)帶來較低的經(jīng)濟(jì)回報(bào)或效益。綜合考慮這些因素將有助于更好地制定長(zhǎng)期規(guī)劃，并通過馬爾科夫決策過程框架優(yōu)化決策，以最大化效益。最終，整理政策決策結(jié)果如圖3所示。

在保持初始策略穩(wěn)定的情況下，可以觀察到狀態(tài)4顯著上升。這種趨勢(shì)似乎暗示一種特定需求：即使其他條件發(fā)生變化，系統(tǒng)在特定環(huán)境中（即保持初始策略不變）需要被引導(dǎo)至另一個(gè)特定狀態(tài)（狀態(tài)4），以實(shí)現(xiàn)更高效益或達(dá)成其他目標(biāo)。

3 結(jié)語

在風(fēng)電項(xiàng)目投資中，利用馬爾科夫決策過程理論構(gòu)建的模型為決策者提供了重要參考。通過引入多方面因素和動(dòng)態(tài)環(huán)境下的不確定性，這種方法有助于優(yōu)化資源配置、降低風(fēng)險(xiǎn)并提高回報(bào)。前述研究表明，在風(fēng)電領(lǐng)域應(yīng)用馬爾科夫鏈技術(shù)可以有效改進(jìn)功率預(yù)測(cè)精度、管理日前不確定性，并實(shí)現(xiàn)可靠時(shí)間序列分析等目標(biāo)。

模型構(gòu)建闡釋了如何將狀態(tài)空間、動(dòng)作空間、轉(zhuǎn)移概率和回報(bào)函數(shù)結(jié)合起來，以更好地描述系統(tǒng)中各個(gè)變量之間的關(guān)系，并制定相應(yīng)最優(yōu)化戰(zhàn)略。循環(huán)迭代的過程展示出值函數(shù)平滑上升趨勢(shì)，突顯了算法在對(duì)最佳操作選擇及環(huán)境特性理解上取得良好效果。

結(jié)果分析則呈現(xiàn)出針對(duì)不同指標(biāo)進(jìn)行決策時(shí)帶來的收益率變化情形。其中，在保持初始穩(wěn)定策略下觀察到狀態(tài)4大幅上升可能意味特殊需求：即使其他條件發(fā)生變化，系統(tǒng)需要被引導(dǎo)至另一個(gè)特定狀態(tài)，以實(shí)現(xiàn)更高效益目標(biāo)。

參考文獻(xiàn)

[1]翟保豫，張龍，徐志，等.基于WRF模式和風(fēng)速誤差修正的中期風(fēng)電功率預(yù)測(cè)方法[J].智慧電力，2023，51（7）：31-38.

[2]張彬橋，葛蘇葉，李成.基于Copula函數(shù)的馬爾科夫鏈風(fēng)速預(yù)測(cè)模型[J].智慧電力，2021，49（11）：24-30，37.

[3]楊輝明，雷勇.基于改進(jìn)馬爾科夫鏈的風(fēng)電日前不確定性建模方法[J].南方電網(wǎng)技術(shù)，2021，15（7）：54-60.

[4]劉大貴，王維慶，張慧娥，等.馬爾科夫修正的組合模型在新疆風(fēng)電中長(zhǎng)期可用電量預(yù)測(cè)中的應(yīng)用[J].電網(wǎng)技術(shù)，2020，44（9）：3290-3297.

[5]樊盼盼，袁逸萍，孫文磊，等.融合多時(shí)段SCADA數(shù)據(jù)的風(fēng)電機(jī)組風(fēng)險(xiǎn)態(tài)勢(shì)預(yù)測(cè)[J].計(jì)算機(jī)集成制造系統(tǒng)，2021，27（7）：1993-2004.

[6]張文秀，韓肖清，宋述勇，等.計(jì)及源-網(wǎng)-荷不確定性因素的馬爾科夫鏈風(fēng)電并網(wǎng)系統(tǒng)運(yùn)行可靠性評(píng)估[J].電網(wǎng)技術(shù)，2018，42（3）：762-771.