再上一篇:2. 3  * 搜索算法
上一篇:2. 4  习题
主页
下一篇:3. 2  连续霍氏网
再下一篇:3. 3  按内容联想的存储器
文章列表

第 3 章  霍普费尔德神经网络

《用于最优化的计算智能》 Nirwan Ansari Edwin Hou 著 李军 边肇祺 译 清华大学出版社

霍普费尔德对于神经网络的复兴作出了重大贡献。他的成果展示了模拟神经网络所具有的重要计算能力[84][85]。霍普费尔德网络可用于信息存取的联想式存储器,也可用于求解组合优化问题。它的网络输出反馈到网络前面层的输入,因而属于循环式神经网[75] 1 2 N络 。霍普费尔德网络有一些不同的形式,图3.1是其基本结构。图中I ,I ,…,I 是外部对网络的输入; s1,s2,…,sN 是神经元对网络外部的输出; u1,u2,…,uN 是网络中相应神经元的输入总量(激活能); wij则是从第j 个神经元的输出与第i个神经元的输入之间的连接权,且wji= wij,wii= 0; 而ζ(・)则是非线性的硬限函数或Sigmoid函数。

图 3.1  霍氏网的基本结构

图3.2示出了上述非线性函数的各种选择,其中限幅函数的定义如下:

二值硬限器:

ζ(ui) = sgnT(ui) = 1  ui> Ti (3.1)

i 0  ui< Ti

双极硬限器:

1 ui> Ti

ζ(ui) = sgnTi(ui) = (3.2)

- 1 ui< Ti

而Sigmoid函数的定义则为

二值Sigmoid:

ζ(ui) = sgmT,β(ui) = 1 1+ tanh ui- Ti (3.3)

i 2 β

双极Sigmoid:

ζ(ui) = sgmT,β(ui) = tanh ui- Ti (3.4)

i β

当选用硬限函数时,霍氏网成为二值或二极网络,亦即离散霍氏网; 而当选用Sigmoid函

#第15页-

图3.2  可供选择的各种非线性函数

数时,霍氏网是一个连续值网络。

3. 1  离散霍氏网

“离散”一词在神经网络术语中通常是指神经元采用二值或双极的情况,但广义上也包括其它阶跃取值的神经元,例如三值神经元。以硬限函数取代图3.1中的非线性函数,即可得一离散霍氏网。在神经网络中,神经元更新既可同步进行亦可异步进行。在同步进行时,网络中所有神经元的更新同时进行,也就是

S+ = sgnT{WS- + I} (3.5)其中

T1 0 w12 … w1N s1 I1

T= T2 , W= w21 0 … w2N , S= s2 , 且I = I2 (3.6)

┆ ┆ ┆ ┆ ┆ ┆

TN wN1 wN2 … 0 sN IN

式中变量的上角标“+ ”表示该变量更新后的值; 类似的,上角标“- ”表示其更新前的值①。(3.6)式中权值矩阵 是对称的。当神经元的不断更新使得 + = - 时,网络收敛。

W S S

不过,同步更新也可能将网络带到一个具有两个互补状态的动态平衡。在异步进行时,在同一时刻只有一个神经元更新而且这一神经元在网络中每个神经元都更新之前不会再次

① 本书在需要时即以这两个上角标表示变量值的相对更新(时标)。

#第16页-

更新。异步更新一定能使网络收敛。在异步更新时神经元的更新顺序可以是随机的,亦即

s+ = sgnT (ui) = sgnT wijsj- + Ii (3.7)

i i ∑

j≠i

注意,当 i= 0时 + = - 。霍氏网的分析类似于控制理论中非线性动力系统的分析。在动

u s s

力系统分析中,其稳定性是至关重要的。这对霍氏网也不例外。

定义3.1  若神经元i的值在后续更新中不再改变,则称其为稳定的。

定义3.2  若霍氏网中所有神经元都是稳定的,则称其为稳定的。

① [89]

霍氏网状态的特性与一个李雅普诺夫(Lyapunov)函数 有很大关系 。在神经网络术语中,这一李雅普诺夫函数被称为霍普费尔德能量函数。要想说明霍氏网是稳定的,只要表明其能量函数确为李雅普诺夫函数即可。(3.8)式就是霍普费尔德给出的霍氏网能量函数。

1 1 T T

E(S) = - ∑∑sisjwij - ∑siIi= - S WS- I S (3.8)

2 i j≠i i 2

我们可以容易地表明上式是满足李雅普诺夫函数的三个条件的:

ij j i ②

(1) 从 E(S) = - ∑w s - I 可以看出 E(S)对于所有S的分量是连续的。

si j≠i

(2) 严格地讲,(3.8)式并不满足李雅普诺夫函数的第二个条件。不过对于神经元有界的神经网络的稳定性而言,这一条件可以退化为只要求该函数是有界的。它与要求函数随时间递减的第三个条件合在一起,使得网络的动态过程最终停止于函数的下界处,达到稳定。因为W和I 都是确定值向量,且I 是有界的,E 有其下界。

一个这样的下界可以是 Emin = - 1 ©¦ ij©¦- ©¦i©¦

2∑∑ ∑

i j i

(3) 我们通过证明si的任何变化都使E 下降来说明第三个条件也满足。在此以ΔE表示由霍氏网状态变化Δsi引起的能量变化。由

E(S) = - ∑wijsj - Ii= - ui (3.9)

si j≠i

可得

ΔE = ∑Δsi E(S) = - ∑Δsiui (3.10)

i si i

不失一般性,引入二值硬限函数且令其阈值为0。则有

1- si≥0 ui> 0

Δsi= sgn(ui) - si= 0- si≤0  ui≤0 (3.11)

0 ui= 0

因此,Δsui i≥0," i。故而ΔE≤0,霍普费尔德能量函数对于网络状态的任何变化都是下

① * n

如果存在一个平衡态x 使得如下三个条件成立,函数f(x),x∈R 是一个李雅普诺夫函数。

(1) f(x)对于所有x是连续的。

(2) f(x)是正定的,亦即f(x*)= 0且对x≠x*有f(x)> 0。

(3) f(x)对时间的导数f(x)是半负定的,亦即该导数随时间递减。

② n

若f:A→R 在c∈A可导,则存在严格正数δ和K使得当‖x- c‖< δ时有‖f(x)- f(c)‖≤K‖x- c‖。由此即可推论f 是连续的。

#第17页-

降的。

在异步更新时,霍普费尔德能量函数作为一个李雅普诺夫函数单调下降直到进入稳定状态。在此状态下,无论网络状态还是能量函数都不再变化。证明霍普费尔德能量函数为李雅普诺夫函数只说明平衡态或稳定点的存在,例如联想存储器的一个回想模式,或者组合优化问题的一个解答。它并不保证这一回想模式或问题解答的最优性。