陳洪敏(重慶師范大學(xué)數(shù)學(xué)學(xué)院，重慶401331)

一個帶有干擾因子修正PRP共軛梯度法的全局收斂性*

陳洪敏
(重慶師范大學(xué)數(shù)學(xué)學(xué)院，重慶401331)

非線性共軛梯度法是解決大規(guī)模優(yōu)化問題的一種非常有效的方法，提出了一個修正的PRP方法，該參數(shù)帶有干擾因子，并證明了這一新的參數(shù)具有非負(fù)性，且在適當(dāng)條件下，采用Wolfe線搜索，證明該算法具有全局收斂性.

共軛梯度法;強(qiáng)Wolfe條件;Wolfe條件;干擾因子;全局收斂性

1　基礎(chǔ)知識

考慮如下的無約束極小化問題:

其中，f:Rn→R是連續(xù)可微函數(shù)，且其梯度可獲得.

非線性共軛梯度法是求解此類問題的一種常用的有效方法，具有算法簡便、存儲需求小等優(yōu)點，適用于求解大規(guī)模無約束優(yōu)化問題.共軛梯度法的迭代格式為

其中dk為搜索方向，▽f(xk)簡記為gk，βk是一個參數(shù)，不同的βk對應(yīng)著不同的共軛梯度法，αk是通過適當(dāng)?shù)木€搜索獲得的步長，通常使用Wolfe線搜索、強(qiáng)Wolfe線搜索.

Wolfe線搜索條件為

強(qiáng)Wolfe線搜索條件為

其中0＜δ＜σ＜1.

傳統(tǒng)共軛梯度法的參數(shù)公式βk的計算公式有Hestenes-Stiefel(HS)［1］，F(xiàn)letcher-Reeves(FR)［2］，Polak-Ribiere(PRP)［3］，Dai-Yuan(DY)［4］，它們的表達(dá)式分別為

這種方法在適當(dāng)條件下，分別證明算法在Wolfe和Grippo-Lucidi線搜索下是全局收斂的.文獻(xiàn)［6］通過對參數(shù)βk加入干擾因子得到兩個新的βk，公式如式(8):

文獻(xiàn)［7］分析了PRP方法，認(rèn)為限制其參數(shù)βk的非負(fù)性不僅對方法的全局收斂性起到至關(guān)重要的作用，而且能夠很容易地保證算法的下降性;文獻(xiàn)［8］證明了在充分下降條件被滿足，且步長αk滿足Wolfe線搜索條件的前提下，算法具有全局收斂性.在接下來的引理中證明了的非負(fù)性.

假設(shè)目標(biāo)函數(shù)滿足下面的假設(shè):

2)目標(biāo)函數(shù)f在Ω的某個領(lǐng)域N是連續(xù)可微的，且梯度函數(shù)是Lipschitz連續(xù)的，即存在常數(shù)L＞0使得

對任意的x∈N.

證明記θk為gk和gk－1的夾角，即

因為ν≥1，故

引理2(性質(zhì)*)考慮形如式(2)(3)的方法，并且假設(shè)對任意的，則存在常數(shù)b＞1，λ＞0，使得對任意的k≥1都有

在共軛梯度法中，充分下降條件非常重要，其中假設(shè)new算法滿足式(12).

引理3［8］(zoutendijik條件)若假設(shè)1)2)成立，考慮形如式(2)(3)的方法，dk是下降方向，αk滿足式(5)(6)，則

引理4［8］若假設(shè)1)2)成立，考慮形如式(2)(3)的方法，αk滿足式(5)(6)，且滿足充分下降條件式(12)，若βk滿足性質(zhì)(*)且成立，則存在λ1＞0，使得對任意的Δ∈N*和下標(biāo)k0，都存在指，則

因為ν≥1，故標(biāo)k≥k0，滿足，其中表示的個數(shù).

引理5［8］若假設(shè)1)2)成立，考慮形如式(2)(3)的方法，滿足下面3個條件:(i)對任意的k≥1，都有βk≥0;(ii)算法采用Wolfe-power線搜索，滿足zoutendijik條件，滿足充分下降條件式(12);(iii)滿足性質(zhì)

定理1若假設(shè)1)2)成立，考慮形如式(2)(3)的方法，充分下降條件式(12)成立，αk滿足式(5)(6)，βk取.即new算法具有全局收斂性.

［1］HESTENESM R，STIEFEL E L.Method of Conjugate Gradient for Solving Linear Systems［J］.Res Natl Bur Stand，1952(49): 409-436

［2］FLETCHER R，REEVESC.Function Minimization by Conjugate Gradients［J］.Comput，1964(7):149-154

［3］POLAK B，RIBIEREG.Note Surla Convergence Des Meethodes de Directions Conjugees［J］.Rev Fr Inf Rech Oper，1964，3(1): 35-43

［4］DAIY H，YUAN Y X.A Nonlinear Conjugate GradientMethod with a Strong Global Convergence Property［J］.SIAM Optim，1999 (10):177-182

［5］黎勇.一類修正PRP共軛梯度法的全局收斂性及其數(shù)值試驗結(jié)果［J］.西南大學(xué)學(xué)報:自然科學(xué)版，2011，33(11):23-28

［6］JIANG X Z，JIAN J B.Two Modified Nonlinear Conjugate Gradient Methods with Disturbance Factors for Unconstrained Optimization［J］.Nonlinear Dynamics，2014，77(1-2):387-394

［7］POWELLM JD.NonconVex Minimization Calculations and the Conjugate Method［J］.Lecture Notes in Mathematics，1984，10 (66):122-141

［8］GLIBERT JC，NOCEDAL J.Global Convergence Properties of Conjugate GradientMethod for Optimization［J］.SIAM Optim，1992 (2):21-42

Global Convergence Property of a Modified PRP Conjugate Gradient Method with Disturbance Factor

CHEN Hong-m in
(School of Mathematical Sciences，Chongqing Normal University，Chongqing 401331，China)

The nonlinear conjugate gradientmethod is a very effective iterativemethod for solving large-scale optimal problems.In this paper，amodified PRP conjugate gradientmethod with disturbance factor is proposed and non-negative property of the formula is proved.Under suitable conditions，the global convergence of the algorithm with theWolfe line search is discussed.

conjugate gradient method;strong Wolfe condition;Wolfe condition;disturbance factor; global convergence

O224

A

1672－058X(2015)09－0001－04

10.16055/j.issn.1672－058X.2015.0009.001

2014－12－11;

2015－02－24.

國家自然科學(xué)基金(10771003).

陳洪敏(1988-)，女，安徽阜陽人，碩士研究生，從事最優(yōu)化理論與算法研究.