本文将在 DL 共轭梯度法的基础上,介绍 HZ 共轭梯度法。这是由 Hanger-Zhang 于 2005 年提出的一种非常经典的共轭梯度法。我们所创新的共轭梯度法都会于 HZ 共轭梯度法进行数值实验对比,所以 HZ 的理论分析就显得尤为重要了。
1、介绍
我们的问题是处理一个维变量问题
其中是光滑的且
是可以得到的。共轭梯度法是非常有用的处理问题
当
非常大时,其有如下形式:
Hanger-Zhang 提出如下参数
为建立对一般函数的收敛性理论,我们取
其中为常数
2、一般性分析
定理 1:若假定和
其中,则有
证明:因为,故
式显然成立。假定
,利用
式,有
我们应用不等式
在中应用
所以式成立。如果
,则
,利用
式,有
若,
式显然成立。如果
,则
因为。因此,
式也成立。证明完毕。
根据式,
的非负的,且
因此,由和
式给出的方向为充分下降方向。
3、一致凸函数的收敛性分析
尽管由 HZ 共轭梯度法形成的方向一定是充分下降方向,但是我们还是需要考虑线搜索建立全局收敛性。我们考虑条件
其中和
,或者考虑
线搜索
其中,这里我们并不需要强
线搜索就可建立全局收敛性。
定理 2:如果是下降方向和
满足
连续
其中为常数,如果线搜索满足
条件,则
如果线搜索满足条件,则
证明:对式利用中值定理和
连续
其中,很容易推出
。
对利用
连续,有
因为是下降方向且
,故
成立。
定理 3:假定在水平集上为一致凸函数和满足
连续,水平集定义为
即存在和
使得
对任何都成立。如果共轭梯度法
使用线搜索满足
或者
线搜索,则要么对某个
有
或者
证明:假定对所有的都有
,利用强收敛性假定
利用 定理 1 假定暗示
,因为
,利用
知道
。因为
在水平集
上是有界的。则
结合 定理 1 和 定理 2,我们有
利用条件
,有
利用有
因此,我们有
由可以看出
有上界,利用
式,有
从而式成立。
4、一般函数的收敛性分析
定理 4:若水平集有界和
连续
成立,如果共轭梯度法
选择
线搜索
和
,则有
和
其中而且假定
。
证明:利用假定和下降条件,可知成立。且利用充分下降条件
和
条件
,有
定义等式
根据和
的定义
因为是单位向量,故有
由于,则
根据的定义和
以及
式中
,我们可以得到
的分子有界。
其中
我们令,利用
,则有
利用和
式,则命题得证。
定理 5:若水平集有界和
连续
成立,如果共轭梯度法
选择
线搜索
和
,则或者对某个
使得
,或者
证明:我们首先假定
否则,稳定点已经得到。下面的证明分为三步
(i):有界
通过线搜索
可知
,我们有
由 定理 1 和可知
结合和
有
一方面,有
另一方面,利用线搜索知
因为,结合
有
利用和
有
通过式中
的定义,有
因此对任意的
都成立,利用
以及上面的分析,有
其中
(ii):步长的界
对于任意的,有
利用三角不等式
选择正整数,使其充分大
其中为
和
中的定义,选择充分大的
使其满足
如果和
,则
结合有
其中且
。
(III)、证明有界
证明略,本人也没有看的太懂,只是其实可以参考 PRP 或者 DL 的证明,也没有必要这么证明,所以就不想看了。不管怎样,Hanger-Zhang 共轭梯度法还是非常经典的共轭梯度法。
5、参考文献
[1] Hager W W, Zhang H C. A new conjugate gradient method with guaranteed descent and an efficient line search, SIAM Journal on Optimization, 2005, 1(16) : 170-192.