再上一篇:4. 3  随机机
上一篇:4. 4  习题
主页
下一篇:5. 2  鞍点展开
再下一篇:5. 3  稳定性
文章列表

第 5 章  均 场 退 火

《用于最优化的计算智能》 Nirwan Ansari Edwin Hou 著 李军 边肇祺 译 清华大学出版社

第4章已经证明,如果在每个温度下状态转移的数目足够大,模拟退火算法渐近收敛于具有最小代价的解答。将模拟退火应用于霍普费尔德神经元网络而得到的随机机也展示出防止网络陷于局部最小值的优点。这是由于模拟退火算法使得随机机的状态通过扰动而演变。然而,随机机的这一长处是以变量的随机松弛过程所要求的大量运算为代价的。求取随机机在每个温度下的平衡态的随机松弛过程十分冗长。用统计物理中常用的均场近似[62][158]来取代随机神经元,可望得到一个更快达到热平衡的松弛过程。这里,随机机的随机性二值神经元被确定性连续值神经元替代,而模拟退火的随机更新过程则被一组用于更新的确定性等式替代。虽然这一近似方法不能保证找到全局最小值,但却可以用小得多的计算量找到接近最优解的很好近似。均场近似的概念并不新鲜,首先将这一概念引入神经网络以求解最优化问题的是皮特森(C.Peterson)和他的同事们(文献[128,129,130,131,132])。从那以来,已有很多关于均场退火及其实现和应用的文献发表,如[15,19,32,45,80,97,119,120,144,149,162,165,166,167,176,177]。

5. 1  均场近似

类似于模拟退火,均场退火也有两个概念不同的操作: 一个热静力学操作用于安排降温过程和一个确定性(而不是随机性)松弛过程用于搜索解答的均值。

可用几种不同的方法推导出均场退火的确定性松弛过程。其中最简单的途径就是用均场近似取代霍氏网中由(4.34)式给出的激活函数,亦即用随机变量均值的函数来代替随机变量函数的均值。记第i个神经元状态si的均值为vi= < si> 。因此,从(4.34)式可知状态si基于激活能量ui的均值可由下式计算出

vi= < si> = (+ 1)P(ui) + (- 1)(1- P(ui))

= 2P(ui) - 1

= 2 - 1

1+ exp - 2ui

T

- 2ui (5.1)

1- exp T

= - 2ui

1+ exp T

ui ∑wijsj + Ii

= tanh = tanh j≠i

T T

注意式中激活能量ui是一个随机变量,它的值随着与第i个神经元的输入相连的其它神

#第42页-

经元的随机变化而变化。对于i= 1,2,…,N,(5.1)式是一组有N 个随机变量si的非线性

等式。从这一组等式求解si即使不是不可能的,也是一个极为艰巨的任务。这也是为什么

要应用均场退火的原因。如果外部输入Ii不是随机的,激活能量ui的平均波动为

< ui> = < ∑wijsj + Ii> = ∑wij < sj > + Ii (5.2)

j≠i j≠i

在(5.1)式中的激活能量被其均值所取代后,可得如下均场等式:

< ui> ∑wij < sj > + Ii

< si> = tanh = tanh j≠i (5.3)

T T

因为未知变量< si> 是确定性的,(5.3)式对于i= 1,2,…,N 所得的不等式组可以用迭代

法很容易地求解。将原来的一组可怕的非线性随机方程转换为较易处理的非线性确定性

等式正是应用均场近似的本意。上述均场等式亦可用鞍点展开方式导出。