張 翔
(重慶師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院,重慶 401331)
考慮無約束優(yōu)化問題
minf(x),x∈Rn
(1)
其中f:Rn→R連續(xù)可微函數(shù).
共軛梯度法一般都具有如下迭代格式
xk+1=xk+αkdk,
(2)
其中αk為通過線搜索獲得的步長,dk為搜索方向,一般迭代格式如下:
(3)
其中βk為共軛梯度參數(shù).
步長因子αk一般通過線搜索準則獲得,常見的線搜索有強Wolfe線搜索:
|g(xk+αkdk)Tdk|
(4)
f(xk+αkdk)-f(xk)
(5)
其中0<δ<σ<1.gk=f(x)為梯度函數(shù).
Wolfe線搜索:
(6)
f(xk+αkdk)-f(xk)
(7)
其中0<δ<σ<1.gk=f(x)是梯度函數(shù).
經(jīng)典的共軛梯度法有FR[1]方法,HS[2]方法,PRP[3]方法,LS[4]方法.其參數(shù)有如下形式:
其中,‖·‖是歐幾里得范數(shù),yk-1=gk-gk-1.
在文獻[5]中,Dai和Liao提出了一種DL方法,其參數(shù)如下形式:
(8)
其中t≥0,當t=0時,則DL方法退化為HS方法.
在文獻[6]中,Hager和Zhang提出了新的
(9)
(10)
在文獻[7]中,Dai和Kou提出了一族新的共軛梯度法,其中參數(shù)βk如下:
(11)
此外,KOU在文獻[8]中提出了一個修正的割線條件:
(12)
(13)
基于以上文獻啟發(fā),筆者提出一個新的共軛梯度方法,其中的βk形式如下:
(14)
基于修正的割線條件(12),對于原有的修正割線條件做出修正,提出一個新的共軛梯度參數(shù)βk為:
(15)
在此,為了后面研究該方法的收斂性,對于目標函數(shù)做出如下的兩個假設(shè):
(A)水平集Γ={x∈Rn|f(x)f(x0)}有界,其中的x0為起始點,即存在這樣的常數(shù)k>0使得
‖x‖k,?x∈Γ
(16)
(B)f在水平集Γ的某個鄰域N內(nèi)連續(xù)可微,且其梯度g滿足Lipschitz連續(xù),即存在常數(shù)L使得
‖g(x)-g(y)‖L‖x-y‖,?x,y∈N
(17)
‖g(x)‖?x∈Γ
(18)
定理1 迭代格式為(2)、(3)并且參數(shù)βk為NDL方法所示的共軛梯度方法,步長αk滿足Wolfe線搜索條件(6)、(7),則方法NDL能夠滿足下列的充分下降條件:
(19)
其中c>0.
證對于NDL方法,由文獻[9],可得出NDL方法滿足充分下降性條件:
引理1[5]若假設(shè)(A)和(B)成立,考慮形如式(2)、(3)、(15)的共軛梯度法,其中dk是充分下降方向,步長αk滿足強Wolfe條件(4)、(5),若
(20)
則該方法具有全局收斂性,即有
(21)
成立.
定理2 若假設(shè)(A)和(B)成立,考慮迭代格式為(2)、(3)的共軛梯度法,其中的搜索方向dk是由如下形式的參數(shù)βk計算得到
其中dk是下降方向,步長αk滿足強Wolfe線搜索(4)、(5)則該方法收斂,即式(21)成立.
(22)
其中c1為大于0的常數(shù),此外,由假設(shè)(B)可知
(23)
由式(15)和中值定理可得
|θk-1|=6(fk-1-fk-1)+3(gk-1+gk)Tsk-1
=6g(ηk-1)T(xk-1-xk)+3(gk-1+gk)Tsk-1
=3(gk-1-gηk-1+gk-gηk-1)Tsk-1.
其中ηk-1=τxk-1+(1-τ)xk,并且τ∈(0,1).
由式(17)可得
|θk-1|=3(gk-1-gηk-1+gk-gηk-1)Tsk-1
3(‖gk-1-gηk-1‖+‖gk-gηk-1‖)‖sk-1‖
3(L‖xk-1-ηk-1‖+L‖xk-ηk-1‖)‖sk-1‖=
3(L(1-τ)‖xk-1-xk‖+Lτ‖xk-xk-1‖)‖sk-1‖=3L‖sk-1‖2.
由上式可得
(24)
其中0 由(24)則可知存在常數(shù)c2>0使得下式成立 ‖zk-1‖c2‖sk-1‖ (25) 由式(15)、(22)和(25)可得 (26) 由式(3)、(15)、(22)、(25)和(26)可得: ‖dk‖=‖-gk+βkdk-1‖ 結(jié)合DL方法,修正的DL方法以及修正割線條件提出一個新的修正NDL方法,并且在一定條件下證明了全局收斂性.在以后研究工作中,可以考慮更加有效的修正方法去修正;所涉及到的方法也含有參數(shù),后面會根據(jù)理論結(jié)果選取更優(yōu)的參數(shù).3 結(jié)論