張 翔

(重慶師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，重慶 401331)

考慮無約束優(yōu)化問題

minf(x),x∈Rn

(1)

其中f:Rn→R連續(xù)可微函數(shù).

共軛梯度法一般都具有如下迭代格式

xk+1=xk+αkdk，

(2)

其中αk為通過線搜索獲得的步長，dk為搜索方向，一般迭代格式如下：

(3)

其中βk為共軛梯度參數(shù).

步長因子αk一般通過線搜索準則獲得，常見的線搜索有強Wolfe線搜索：

|g(xk+αkdk)Tdk|

(4)

f(xk+αkdk)-f(xk)

(5)

其中0<δ<σ<1.gk=f(x)為梯度函數(shù).

Wolfe線搜索：

(6)

f(xk+αkdk)-f(xk)

(7)

其中0<δ<σ<1.gk=f(x)是梯度函數(shù).

經(jīng)典的共軛梯度法有FR[1]方法，HS[2]方法，PRP[3]方法，LS[4]方法.其參數(shù)有如下形式：

其中，‖·‖是歐幾里得范數(shù)，yk-1=gk-gk-1.

在文獻[5]中，Dai和Liao提出了一種DL方法，其參數(shù)如下形式：

(8)

其中t≥0，當t=0時，則DL方法退化為HS方法.

在文獻[6]中，Hager和Zhang提出了新的

(9)

(10)

在文獻[7]中，Dai和Kou提出了一族新的共軛梯度法，其中參數(shù)βk如下：

(11)

此外，KOU在文獻[8]中提出了一個修正的割線條件：

(12)

(13)

基于以上文獻啟發(fā)，筆者提出一個新的共軛梯度方法，其中的βk形式如下：

(14)

基于修正的割線條件(12)，對于原有的修正割線條件做出修正，提出一個新的共軛梯度參數(shù)βk為：

(15)

1 NDL方法的充分下降性

在此，為了后面研究該方法的收斂性，對于目標函數(shù)做出如下的兩個假設(shè)：

(A)水平集Γ={x∈Rn|f(x)f(x0)}有界，其中的x0為起始點，即存在這樣的常數(shù)k>0使得

‖x‖k,?x∈Γ

(16)

(B)f在水平集Γ的某個鄰域N內(nèi)連續(xù)可微，且其梯度g滿足Lipschitz連續(xù)，即存在常數(shù)L使得

‖g(x)-g(y)‖L‖x-y‖,?x,y∈N

(17)

‖g(x)‖?x∈Γ

(18)

定理1 迭代格式為(2)、(3)并且參數(shù)βk為NDL方法所示的共軛梯度方法，步長αk滿足Wolfe線搜索條件(6)、(7)，則方法NDL能夠滿足下列的充分下降條件：

(19)

其中c>0.

證對于NDL方法，由文獻[9]，可得出NDL方法滿足充分下降性條件：

2 NDL方法的全局收斂性

引理1[5]若假設(shè)(A)和(B)成立，考慮形如式(2)、(3)、(15)的共軛梯度法，其中dk是充分下降方向，步長αk滿足強Wolfe條件(4)、(5)，若

(20)

則該方法具有全局收斂性，即有

(21)

成立.

定理2 若假設(shè)(A)和(B)成立，考慮迭代格式為(2)、(3)的共軛梯度法，其中的搜索方向dk是由如下形式的參數(shù)βk計算得到

其中dk是下降方向，步長αk滿足強Wolfe線搜索(4)、(5)則該方法收斂，即式(21)成立.

(22)

其中c1為大于0的常數(shù)，此外，由假設(shè)(B)可知

(23)

由式(15)和中值定理可得

|θk-1|=6(fk-1-fk-1)+3(gk-1+gk)Tsk-1

=6g(ηk-1)T(xk-1-xk)+3(gk-1+gk)Tsk-1

=3(gk-1-gηk-1+gk-gηk-1)Tsk-1.

其中ηk-1=τxk-1+(1-τ)xk，并且τ∈(0,1).

由式(17)可得

|θk-1|=3(gk-1-gηk-1+gk-gηk-1)Tsk-1

3(‖gk-1-gηk-1‖+‖gk-gηk-1‖)‖sk-1‖

3(L‖xk-1-ηk-1‖+L‖xk-ηk-1‖)‖sk-1‖=

3(L(1-τ)‖xk-1-xk‖+Lτ‖xk-xk-1‖)‖sk-1‖=3L‖sk-1‖2.

由上式可得

(24)

其中0

由(24)則可知存在常數(shù)c2>0使得下式成立

‖zk-1‖c2‖sk-1‖

(25)

由式(15)、(22)和(25)可得

(26)

由式(3)、(15)、(22)、(25)和(26)可得：

‖dk‖=‖-gk+βkdk-1‖

3 結(jié)論

結(jié)合DL方法，修正的DL方法以及修正割線條件提出一個新的修正NDL方法，并且在一定條件下證明了全局收斂性.在以后研究工作中，可以考慮更加有效的修正方法去修正；所涉及到的方法也含有參數(shù)，后面會根據(jù)理論結(jié)果選取更優(yōu)的參數(shù).