趙　輝,唐乙瑋,康志江,張賢松,尚根華

(1.長(zhǎng)江大學(xué)石油工程學(xué)院,湖北武漢 430100; 2.中石化勘探開發(fā)研究院,北京 100728;3.中海油研究總院,北京 100027)

?

油藏開發(fā)生產(chǎn)優(yōu)化近似擾動(dòng)梯度升級(jí)算法

趙輝1,唐乙瑋1,康志江2,張賢松3,尚根華2

(1.長(zhǎng)江大學(xué)石油工程學(xué)院,湖北武漢 430100; 2.中石化勘探開發(fā)研究院,北京 100728;3.中海油研究總院,北京 100027)

油藏開發(fā)生產(chǎn)優(yōu)化屬于高維系統(tǒng)最優(yōu)控制問(wèn)題,求解其真實(shí)梯度異常困難。給出一種近似擾動(dòng)梯度的一般式,證明此近似梯度恒為上山方向,且兩種常用的無(wú)梯度算法SPSA與EnOpt產(chǎn)生的近似梯度分別是該梯度的兩種特殊形式;通過(guò)引入并優(yōu)化三角陣進(jìn)行近似擾動(dòng)梯度升級(jí),實(shí)現(xiàn)其對(duì)真實(shí)梯度的最優(yōu)逼近。數(shù)值試驗(yàn)結(jié)果表明:該升級(jí)算法相比標(biāo)準(zhǔn)的SPSA算法優(yōu)化效率提高了近1倍;在歷史擬合基礎(chǔ)上使用該算法進(jìn)行了某實(shí)際油藏生產(chǎn)優(yōu)化,所得注采控制方案降水增油預(yù)測(cè)效果顯著、水驅(qū)波及效率明顯改善,驗(yàn)證了該算法現(xiàn)場(chǎng)應(yīng)用的可行性。

油藏; 生產(chǎn)優(yōu)化; 近似梯度; 無(wú)梯度算法; SPSA算法; EnOpt算法

引用格式：趙輝，唐乙瑋，康志江，等.油藏開發(fā)生產(chǎn)優(yōu)化近似擾動(dòng)梯度升級(jí)算法[J].中國(guó)石油大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016,40(2)：99-104.

ZHAO Hui,TANG Yiwei,KANG Zhijiang,et al.Reservoir production optimization using an upgraded perturbation gradient approximation algorithm[J].Journal of China University of Petroleum(Edition of Natural Science),2016,40(2):99-104.

油藏開發(fā)生產(chǎn)優(yōu)化[1-5]是近年來(lái)油氣田開發(fā)工程研究的熱點(diǎn)問(wèn)題,作為一種新的油田方案管理決策方法,其核心是借助油藏?cái)?shù)值模擬技術(shù)在當(dāng)前油藏地質(zhì)和生產(chǎn)條件下,通過(guò)求解描述油藏生產(chǎn)的最優(yōu)控制模型,優(yōu)化油水井的產(chǎn)出和注入控制參數(shù)(如井底流壓、日注采量等),使油藏的開發(fā)處于最佳狀態(tài)。該問(wèn)題屬于復(fù)雜的大系統(tǒng)動(dòng)態(tài)最優(yōu)控制問(wèn)題,準(zhǔn)確計(jì)算目標(biāo)函數(shù)的梯度極其困難,如伴隨法[6-7]、有限差分法[5,8]等,基于無(wú)梯度算法[4-5,9]求解油藏生產(chǎn)優(yōu)化已成為當(dāng)前研究的主要趨勢(shì)。其中,隨機(jī)擾動(dòng)近似梯度(SPSA)算法[10-12]和EnOpt算法[13-14]是優(yōu)化該問(wèn)題最常用的兩種無(wú)梯度算法,它們主要是通過(guò)估算優(yōu)化變量與目標(biāo)函數(shù)的敏感性或相關(guān)關(guān)系獲得近似梯度或概率梯度進(jìn)行優(yōu)化,每個(gè)迭代步只需若干次目標(biāo)函數(shù)值計(jì)算,實(shí)現(xiàn)簡(jiǎn)單、便于應(yīng)用,但這兩種算法所得近似梯度存在一定的偽相關(guān),導(dǎo)致優(yōu)化效率較低且優(yōu)化結(jié)果隨機(jī)性強(qiáng)等缺陷。筆者提出一種新的近似擾動(dòng)梯度升級(jí)算法,證明SPSA和EnOpt算法產(chǎn)生的近似梯度是該算法梯度的兩種特殊形式,并通過(guò)數(shù)值試驗(yàn)和實(shí)際生產(chǎn)優(yōu)化算例驗(yàn)證其有效性。

1　油藏生產(chǎn)優(yōu)化控制模型

油藏生產(chǎn)最優(yōu)化的思想是:將總生產(chǎn)時(shí)間分為若干階段,通過(guò)分階段調(diào)控油水井的生產(chǎn)參數(shù),使各階段油藏開發(fā)的效益總和最大化。把油水井各時(shí)間步上的生產(chǎn)參數(shù)作為控制變量,采用生產(chǎn)期內(nèi)的經(jīng)濟(jì)凈現(xiàn)值(NPV)作為性能指標(biāo),建立的油藏生產(chǎn)優(yōu)化控制模型[2,4,15]為

(1)

s.t.ulow≤u≤uup.

(2)

式中,J為目標(biāo)函數(shù)經(jīng)濟(jì)凈現(xiàn)值,元;T為總的油藏生產(chǎn)控制時(shí)間步;y為油藏狀態(tài)變量,表征流體的狀態(tài)分布;ro、rwp和、rwi分別為油的單價(jià)、產(chǎn)出廢水的處理成本、注水井的注水成本,元/m3;Qo,n、Qwp,n和Qwi,n分別為第n步區(qū)塊日產(chǎn)油量、日產(chǎn)水量和注水量,m3;e為年利率,%;Δtn為第n步時(shí)間步長(zhǎng),d;tn為第n步累積計(jì)算時(shí)間,d;u、uup和ulow分別為Nu維控制變量及其上下邊界。

油藏開發(fā)生產(chǎn)優(yōu)化就是以當(dāng)前流體的狀態(tài)y為基礎(chǔ),求取目標(biāo)函數(shù)J的最大值及相應(yīng)的最優(yōu)控制u。由于J中不顯含u,不能通過(guò)解析法獲得梯度,而伴隨法[6-7]則過(guò)于復(fù)雜,需要編寫伴隨陣嵌入數(shù)值模擬方程中求解,為此筆者建立一種近似擾動(dòng)梯度升級(jí)算法進(jìn)行梯度估計(jì)，實(shí)現(xiàn)該控制模型的求解。

2　近似擾動(dòng)梯度升級(jí)算法

2.1近似擾動(dòng)梯度的一般式

對(duì)于目標(biāo)函數(shù)J,考慮在第l個(gè)迭代步的最優(yōu)控制變量為ul,在其周圍進(jìn)行擾動(dòng)生成N個(gè)控制變量:

ul,i=ul+γΔl,i,i=1,2,…,N.

(3)

式中,ul,i為第l步第i個(gè)控制變量實(shí)現(xiàn);Δl,i為擾動(dòng)向量,服從某一分布;γ為擾動(dòng)步長(zhǎng)。

將N個(gè)控制變量帶入到油藏模擬中進(jìn)行運(yùn)算,利用式(1)可分別求得對(duì)應(yīng)的N個(gè)目標(biāo)函數(shù)值J(ul,1),J(ul,2),…,J(ul,N),令ΔJi表示第i個(gè)目標(biāo)函數(shù)值與當(dāng)前最優(yōu)目標(biāo)函數(shù)值的差值,即

ΔJi=J(ul,i)-J(ul)=J(ul+γΔl,i)-J(ul),

i=1,2,…,N.

(4)

構(gòu)造近似擾動(dòng)梯度一般式為

(5)

其中

式中,c為常數(shù);L為N維下三角陣。

設(shè)g為目標(biāo)函數(shù)在ul處的真實(shí)梯度,將J(ul+γΔl,i)在ul處進(jìn)行一階泰勒展開,

(6)

由于擾動(dòng)步長(zhǎng)γ一般較小,可忽略掉第3項(xiàng)無(wú)窮小量,則ΔJi滿足,

ΔJi=J(ul+γΔl,i)-J(ul)=γgTΔl,i.

(7)

(8)

對(duì)于標(biāo)準(zhǔn)的SPSA算法[10-12],第l步迭代、第i次擾動(dòng)對(duì)應(yīng)的梯度為

(9)

實(shí)際運(yùn)用中,為獲得更好的搜索方向,通常取N次擾動(dòng)的平均梯度:

(10)

(11)

其中

2.2近似擾動(dòng)梯度升級(jí)

近似擾動(dòng)梯度和真實(shí)梯度夾角的余弦值為

(12)

(13)

由于式(13)中除L外都為確定量,不涉及油藏模擬器運(yùn)算,可以使用傳統(tǒng)的優(yōu)化算法[15]對(duì)其進(jìn)行優(yōu)化迭代,如最速下降法、擬牛頓法等,其每個(gè)迭代步的初值選取可借鑒SPSA算法選取單位陣IN。每個(gè)迭代步都對(duì)L進(jìn)行優(yōu)化,然后采用優(yōu)化后的L構(gòu)造梯度,這樣得到的梯度更加接近于真實(shí)梯度,進(jìn)而達(dá)到改進(jìn)算法、提高收斂效率的目的。獲得近似擾動(dòng)梯度之后更新控制變量,

(14)

式中,αl為迭代步長(zhǎng)。

2.3算法步驟

運(yùn)用近似擾動(dòng)梯度升級(jí)算法進(jìn)行求解時(shí),主要包括外循環(huán)和內(nèi)循環(huán)兩個(gè)過(guò)程,外循環(huán)是用近似梯度更新控制變量?jī)?yōu)化目標(biāo)函數(shù)的過(guò)程;內(nèi)循環(huán)是通過(guò)最大化F求解L得到近似梯度的過(guò)程。這里給出近似擾動(dòng)梯度升級(jí)算法的步驟:

(1) 設(shè)定初始控制變量u0,并模擬計(jì)算出u0對(duì)應(yīng)的初始目標(biāo)函數(shù)值J(u0),確定初始參數(shù)取值N和γ,c=N×γ,L=IN,內(nèi)外循環(huán)最大迭代次數(shù)lmax和kmax,外循環(huán)迭代步l=0。

雖然內(nèi)循環(huán)增加了運(yùn)算量,但它不涉及油藏模擬器的運(yùn)算,使用傳統(tǒng)的優(yōu)化方法便可對(duì)梯度進(jìn)行快速優(yōu)化改進(jìn)。引入L并對(duì)其進(jìn)行優(yōu)化,使升級(jí)算法得到的梯度能夠更好逼近真實(shí)梯度。

3　實(shí)例應(yīng)用

應(yīng)用所提出的近似擾動(dòng)梯度升級(jí)算法,首先進(jìn)行數(shù)值試驗(yàn),對(duì)一數(shù)學(xué)函數(shù)進(jìn)行優(yōu)化求解并將優(yōu)化結(jié)果與標(biāo)準(zhǔn)SPSA算法結(jié)果對(duì)比,然后對(duì)實(shí)際油藏進(jìn)行生產(chǎn)優(yōu)化并將優(yōu)化結(jié)果與常規(guī)方案結(jié)果進(jìn)行對(duì)比。

3.1函數(shù)算例測(cè)試

目標(biāo)函數(shù)值迭代過(guò)程如圖1所示,迭代結(jié)束時(shí),兩種算法都使目標(biāo)函數(shù)收斂到了最優(yōu)值J=0附近?？梢钥闯?在相同擾動(dòng)次數(shù)下,升級(jí)算法的收斂速度遠(yuǎn)大于標(biāo)準(zhǔn)SPSA算法,升級(jí)算法擾動(dòng)5次取得了標(biāo)準(zhǔn)SPSA算法擾動(dòng)10次的效果,其優(yōu)化效率提高了1倍,說(shuō)明升級(jí)算法取得了更好的優(yōu)化效果。

此目標(biāo)函數(shù)真實(shí)梯度容易求得,圖2為迭代過(guò)程中兩算法近似梯度與真實(shí)梯度夾角的余弦值?？梢钥闯?在迭代前半段,近似擾動(dòng)升級(jí)梯度較標(biāo)準(zhǔn)的SPSA梯度更接近于真實(shí)梯度,而且其中若干點(diǎn)的余弦值等于1或極其接近于1,表明此迭代步梯度幾乎與真實(shí)梯度相吻合,余弦值的平均值約為0.9,而標(biāo)準(zhǔn)SPSA梯度的夾角余弦值約為0.7,說(shuō)明升級(jí)梯度對(duì)真實(shí)梯度的逼近效果更好;在迭代接近最優(yōu)解時(shí),兩種算法均產(chǎn)生波動(dòng)。

圖1　目標(biāo)函數(shù)迭代過(guò)程Fig.1　Iterative process of objective function

圖2　兩種算法的梯度與真實(shí)梯度的夾角余弦值Fig.2　Cosine of angle between gradient of two algorithms and real value

3.2實(shí)際油藏生產(chǎn)優(yōu)化

選取某油藏單元進(jìn)行油藏生產(chǎn)優(yōu)化計(jì)算,該單元為含有微裂縫的低滲透油藏,地下情況復(fù)雜,水驅(qū)開發(fā)效果評(píng)價(jià)顯示其注水效率低下,注不進(jìn)采不出和水淹水竄現(xiàn)象共存,深化注水挖潛和注采結(jié)構(gòu)優(yōu)化成為當(dāng)前該油藏提高采收率的重要方向。該單元含油面積2 km2,地質(zhì)儲(chǔ)量70.0×104t,油藏中部深度2 860 m,油層平均厚度4.7 m,地層原油黏度7.8 mPa·s,原始地層壓力25.9 MPa,油層平均滲透率7.9×10-3μm2,平均有效孔隙度14%。區(qū)塊內(nèi)共24口井,含油井15口和水井9口,累積產(chǎn)油量10.76×104t,累積產(chǎn)水量10.06×104m3,綜合含水率72.7%。所建油藏模型采用角點(diǎn)網(wǎng)格系統(tǒng),共劃分了59×65×1=3 835個(gè)網(wǎng)格,x方向步長(zhǎng)為30 m,y方向步長(zhǎng)為40 m。在進(jìn)行優(yōu)化之前,基于Eclipse模擬器對(duì)該單元進(jìn)行歷史擬合,圖3為累積產(chǎn)油量與含水率的擬合結(jié)果,整體擬合效果理想,更新后的油藏?cái)?shù)值模型能較好地反映地下的實(shí)際情況,為后期生產(chǎn)優(yōu)化提供模型保障。

圖3　全區(qū)累產(chǎn)油與含水率擬合結(jié)果Fig.3　Matching results field cumulative oil production and water cut

圖4　凈現(xiàn)值優(yōu)化結(jié)果Fig.4　Optimized results of net present value

基于擬合后的模型進(jìn)行生產(chǎn)優(yōu)化,優(yōu)化前方案采用最后一個(gè)時(shí)刻工作制度下進(jìn)行生產(chǎn),總優(yōu)化時(shí)間為5 a,每個(gè)季度約91 d為一個(gè)時(shí)間步,總共20個(gè)時(shí)間步,設(shè)置原油價(jià)格為2 200元/m3,產(chǎn)水成本價(jià)格為230元/m3,年利率為10%。圖4為梯度升級(jí)算法和標(biāo)準(zhǔn)SPSA算法的凈現(xiàn)值迭代優(yōu)化結(jié)果。每迭代步進(jìn)行5次擾動(dòng)計(jì)算,兩種算法分別經(jīng)過(guò)42步和79步迭代計(jì)算收斂并取得近似凈現(xiàn)值優(yōu)化結(jié)果,升級(jí)算法的收斂速度提高了約90%,優(yōu)化后凈現(xiàn)值相比優(yōu)化前均提高了近40%。基于升級(jí)算法優(yōu)化后所得的生產(chǎn)調(diào)控方案如圖5所示。

圖5　單井注采優(yōu)化調(diào)控結(jié)果Fig.5　Optimized well control results

圖5中橫坐標(biāo)為控制時(shí)間步序列,縱坐標(biāo)所示為油水井,顏色反映注采參數(shù)的變化,生產(chǎn)井對(duì)應(yīng)為日產(chǎn)液量,注水井對(duì)應(yīng)為日注水量,m3。根據(jù)所得優(yōu)化方案,對(duì)優(yōu)化前后區(qū)塊動(dòng)態(tài)指標(biāo)和油藏剩余油分布進(jìn)行了對(duì)比分析,結(jié)果如圖6和圖7所示。可以看出,通過(guò)對(duì)不同時(shí)間段內(nèi)生產(chǎn)制度的調(diào)控,優(yōu)化后區(qū)塊降水增油明顯,波及系數(shù)得到了明顯的改善,油藏中的剩余油被很好地驅(qū)替出來(lái),相比原方案最終含水率下降9.7%、日產(chǎn)油速度平均增加約18 m3,優(yōu)化期內(nèi)全區(qū)增加產(chǎn)油量3.2×104m3,驗(yàn)證了本文算法進(jìn)行油藏生產(chǎn)優(yōu)化控制應(yīng)用的可行性。

圖6　優(yōu)化全區(qū)產(chǎn)油速度與含水率結(jié)果Fig.6　Optimized field oil production rate and water cut

圖7　優(yōu)化前后剩余油分布Fig.7　Remaining oil distribution before and after optimization

4　結(jié)　論

(1)提出的近似擾動(dòng)類算法的梯度一般式的搜索方向具有上山性,且能夠?qū)PSA和EnOpt算法得到的近似梯度統(tǒng)一起來(lái),為今后油藏開發(fā)近似梯度算法的研究提供新的角度。

(2)基于一般式梯度提出的近似擾動(dòng)梯度升級(jí)算法這一新優(yōu)化方法通過(guò)引入矩陣L并對(duì)其梯度夾角余弦值進(jìn)行最大化優(yōu)化,再利用控制變量與目標(biāo)函數(shù)的相關(guān)關(guān)系得出近似梯度,該梯度能夠最佳逼近于真實(shí)梯度,利用此算法能夠提高優(yōu)化效率。

(3)函數(shù)測(cè)試驗(yàn)證顯示,升級(jí)算法相對(duì)于標(biāo)準(zhǔn)的SPSA算法,能使目標(biāo)函數(shù)收斂更加迅速,優(yōu)化效率提高了近1倍;實(shí)際油藏優(yōu)化結(jié)果顯示,優(yōu)化后的方案起到了降水增油的作用,明顯提高了開發(fā)效益,驗(yàn)證了近似擾動(dòng)梯度升級(jí)算法在油田現(xiàn)場(chǎng)應(yīng)用的可行性。

[1]BROUWER D,NAEVDAL G,JANSEN J,et al.Improved reservoir management through optimal control and continuous model updating [R].SPE 90149-MS,2004.

[2]ZHAO Hui,LI Yang,YAO Jun,et al.Theoretical research on reservoir closed-loop production management[J].Sci China Tech Sci,2011,54(10):2815-2824.

[3]張凱,李陽(yáng),姚軍,等.油藏生產(chǎn)優(yōu)化理論研究[J].石油學(xué)報(bào),2010,31(1):78-83.

ZHANG Kai,LI Yang,YAO Jun,et al.Theoretical research on production optimization of oil reservoirs[J].Acta Petrolei Sinica,2010,31(1):78-83.

[4]趙輝,李陽(yáng),康志江.油藏開發(fā)生產(chǎn)魯棒優(yōu)化方法[J].石油學(xué)報(bào),2013,34(5):947-953.

ZHAO Hui,LI Yang,KANG Zhijiang.Robust optimization in oil reservoir production[J].Acta Petrolei Sinica,2013,34(5):947-953.

[5]姚軍,魏紹蕾,張凱,等.考慮約束條件的油藏生產(chǎn)優(yōu)化[J].中國(guó)石油大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,36(2):125-129.

YAO Jun,WEI Shaolei,ZHANG Kai,et,al.Constrained reservoir production optimization[J].Journal of China University of Petroleum (Edition of Natural Science),2012,36(2):125-129.

[6]SARMA P,DURLOFSKY L,AZIZ K.Implementation of adjoint solution for optimal control of smart wells[R].SPE 92864,2005.

[7]BROUWER D,JANSEN J.Dynamic optimization of water flooding with smart wells using optimal control theory [J].SPEJ,2004,9(4):391-402.

[8]WANG C,LI G,REYNOLDS A C.Production optimization in the context of closed-loop reservoir management [R].SPE 109805,2007.

[9]CONN A R,VICENTE K S L.Introduction to derivative-free optimization [M].Philadelphia:MPS-SIAM Series on Optimization,SIAM,2009.

[10]SPALL J C.Multivariate stochastic approximation using a simultaneous perturbation gradient approximation [J].IEEE Transactions Automat Control,1992,37(3):332-341.

[11]SPALL J C.Implementation of the simultaneous perturbation algorithm for stochastic optimization [J].IEEE Transactions on Aerospace and Electronic Systems,1998,34(3):817-823.

[12]SPALL J C.Adaptive stochastic approximation by the simultaneous perturbation method [J].IEEE Transactions on Automatic Control,2000,45(10):1839-1853.

[13]CHEN Y,OLIVER D S,ZHANG D.Efficient ensemble-based closed-loop production optimization [J].SPE Journal,2009,14(4):634-645.

[14]CHEN Y,OLIVER D S.Ensemble-based closed-loop optimization applied to brugge field [R].SPE 118926,2009.

[15]袁亞湘,孫文瑜.最優(yōu)化理論與方法[M].北京:科技出版社,1999.

(編輯李志芬)

Reservoir production optimization using an upgraded perturbation gradient approximation algorithm

ZHAO Hui1,TANG Yiwei1,KANG Zhijiang2,ZHANG Xiansong3,SHANG Genhua2

(1.College of Petroleum Engineering,Yangtze University,Wuhan 430100,China;2.Research Institute of Exploration and Development,SINOPEC,Beijing 100728，China;3.CNOOC Research Institute,Beijing 100027,China)

Reservoir production optimization is a high-dimensional optimal control problem,and it is very difficult to obtain a true gradient.In this paper,a general perturbation gradient approximation method was presented,and the gradient resolved was always in uphill direction.The commonly used SPSA and EnOpt algorithms,being derivative-free,can be considered as special cases of the general perturbation gradient approximation.The perturbation gradient approximation can be upgraded by introducing an optimized lower triangular matrix for approaching to the true gradient.The numerical simulation results show that,compared with the standard SPSA algorithm,the optimization efficiency of the upgraded algorithm can be increased nearly 100%.In a real case study,the reservoir production optimization was conducted using the new method on the basis of history matching.The field data have shown remarkable increase on oil production and decrease of water production,and the sweeping efficiency of water flooding is significantly improved,which validates the feasibility of the algorithm for practical applications.

reservoir; production optimization; approximate gradient; derivative-free algorithm; SPSA algorithm; EnOpt algorithm

2015-04-29

國(guó)家科技重大專項(xiàng)(2016ZX05014003)；國(guó)家自然科學(xué)基金項(xiàng)目(51344003)

趙輝(1984-)，男，副教授，博士，研究方向?yàn)橛蜌馓镩_發(fā)工程。E-mail:zhaohui-712@163.com。

1673-5005(2016)02-0099-06doi:10.3969/j.issn.1673-5005.2016.02.012

TE 323

A