再上一篇:2. 4  习题
上一篇: 第 3 章  霍普费尔德神经网络
主页
下一篇:3. 3  按内容联想的存储器
再下一篇:3. 4  组合最优化
文章列表

3. 2  连续霍氏网

《用于最优化的计算智能》 Nirwan Ansari Edwin Hou 著 李军 边肇祺 译 清华大学出版社

“连续”一词在霍氏网中指的是在图 3.1用 Sigmoid 非线性时, 神经元取[0,1]或[- 1,1]间的连续值。另外,如图3.3所示在神经元的净输入与其它神经元的输出之间,积分器被用来引入时间延迟从而使激活ui落后于刺激si。事实上,图3.3只是连续霍氏网的一个功能性表示,而其原来的实现则是一个基于生物神经网络并由放大器、连线、电阻、电容等构成的反馈线路。在此,变量以类似于霍氏网的方式定义。从图3.3即可看出神经元变量的动态进程是以下列形式出现的:

si= sgmTi,β(ui) (3.12)

dui= wijsj + Ii (3.13)

dt ∑

j≠i

图 3.3  连续霍氏网的结构

与离散霍氏网相似的是,连续霍氏网也需要一个适当的霍普费尔德能量函数来保证其收敛于稳定状态。这只需将(3.8)式中的si由离散变为连续即可得到。注意,由此可得

dui= - d E (3.14)

dt dsi

要想证明上述收敛条件成立,只需证明这一霍普费尔德神经网能量函数确为一个李雅普诺夫函数即可。与离散霍氏网的情况类似,证明该函数满足李雅普诺夫函数的前两个条件是很容易的事。第三个条件的满足则可用如下推导来说明:

d dsidE

E= ∑

dt i dt dsi

= - dsidui

∑ dt dsi

#第18页-

dsi dui 2

= - ∑ (3.15)

i dui dsi

dsi d

注意到sgmT,β(ui)单调增长,亦即 ≥0。所以, E≤0,也就是说E 的时间导数是半负

i dui dt

定的。

下面概述实现霍氏网神经元之间相互作用的迭代过程。

(1) 初始化。

(2) 在每个周期(扫描)① 重复下列步骤:

① 随机抽取一个在此周期中尚未更新的神经元。

② 计算

+ - d - -

ui = ui + Δt - - E = ui + Δt wijsi + Ii (3.16)

dsi ∑

j≠i

其中Δt 一般是一个很小的值。

③ + = ( + )。

s ζu

(3) 若到达稳定状态,停止; 否则转回第(2)步,进入下一个周期。

最初的连续霍氏网[85]所用的是二极 非线性,且其神经元间的相互作用和能

Sigmoid

量函数也稍有不同,即

d ui

Ci ui= ∑wijsj + Ii- (3.17)

dt j≠i Ri

si

1 1 - 1

E = - ∑∑sisjwij - ∑siIi+ ∑∫ sgm (v)dv (3.18)

2 Ri 0

i j≠i i i

- 1 i

其中sgm 代表Sigmoid函数的反函数,R 是来自一个放大器的输入电阻以及与此反馈线路中的放大器相连的其它电阻,Ci则是该放大器及其相连导线的总电容。(3.18)式的最后一项在 Sigmoid 函数值大增益下由于接近限幅器可被忽略不计。可以证明公式(3.18)是一个李雅普诺夫函数而且一定收敛于稳定状态。