Hopfield神经网络对上世纪80年代初神经网络研究的复兴起到的重大作用。Hopfield是个强调实践的科学家，Hopfield在早期的学术活动中，曾研究光和固体间的相互作用，而后，他集中研究生物分子间的电子转移机制，他在数学和物理学上的学术研究和他后来在生物学上的经验的结合，为他在神经网络提出的概念和所作的贡献奠定了扎实的学术积累基础。

Hopfield本人

Hopfield分别于1982年和1984年发表了两篇极具影响力的论文。在这两篇文章中不但汇集了前人工作的若干观点，还将一些重要思想结合起来并进行了简明的数学分析。另外一个原因同样使得他的论文显得异常重要，就是他指出了神经网络与统计物理学中磁性材料Ising模型的相似之处。这就使得许多已存的理论可用于分析神经网络，引起了当时人工神经网络学术界的轰动，也鼓舞了很多物理学家以及其他科学家和工程师开始注意人工神经网络的研究。而且，Hopfield本人长期与AT&T贝尔实验室的VLSI芯片设计者有着长期接触。也致使贝尔实验室于1987年成功地在Hopfield神经网络基础上开发了神经网络芯片，使得神经网络在VLSI和光学设备的并行实现上成为一个应用前景。Hopfield模型一度被认为是最有影响的神经网络结构。

贝尔实验室总部

Hopfield神经网络作为最典型的反馈网络模型，已成为人们研究最多的模型之一。Hopfield 神经网络是由相同的神经元构成的单层，可以完成组合优化和联想记忆等功能。它的基本构架是网络中每一个神经元的输出经过不同连接权值作用后反馈至神经元的输入端，进而构成一种全反馈结构。此外，每个神经元还各自接收一个外部偏置输入。Hopfield网络可以储存一组平衡点，使得当给定网络一组初始状态时，网络通过自行运行而最终收敛于这个设计的平衡点上。

平衡点示意图

Hopfield神经能够表现出非线性动力学系统的动态特性。所以对反馈网络的设计和应用必须建立在对其系统所具有的动力学特性的理解基础之上，这其中包括网络的稳定性、稳定的平衡状态、以及判定其稳定的能量函数等基本概念。它所具有的主要特征有两点：

第一，网络系统具有若干个稳定状态，当网络从某一初始状态运行，网络系统总可以收敛到某一个稳定的平衡状态；

第二，系统稳定的平衡状态可以通过设计网络的权值而被储存到网络中。Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络的一个初始条件时，网络最后会在这样的点上停下来。

Hopfield神经网络可以用离散变量也可用连续变量，考虑输入和输出之间的时间延迟，需要用动态方程（差分方程或微分方程）来描述神经元和系统的数学模型。Hopfield神经网络与电子电路存在对应关系，使得该网络易于理解和易于用硬件来实现。联想记忆或分类和优化计算是Hopfield神经网络的两个主要应用。联想记忆和优化计算是对偶问题，当用于联想记忆时，通过样本模式的输入来给定网络稳定状态，通常通过Hebb学习求得突触权重值；当用于优化计算时，以目标函数和优化条件建立系统的对应能量函数，确定出突触权重值，然后演化网络至稳定状态，即优化计算问题的解。

Hopfield模型的基本参数和运行规则包括：全部反馈权值，各神经元的外部输入（一般取定值），各神经元的输入输出函数及其中的参数以及各神经元的输入(或输出)随时间变化的规律。在网络参数确定后，就可以按照某种定义，用这些参数和网络各神经元的输出求得一个能量函数，它是描述该网络所处状态的重要参数。Hopfield神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快。

人工智能领域常用激励函数

根据激励函数（Activation Function）（也称激活函数、激发函数、输出函数等）的选取不同，可分为离散Hopfield网络（Discrete Hopfield Neural Network，DHNN）和连续Hopfield网络（Continuous Hopfield Neural Network，CHNN）。离散型和连续型的Hopfield神经网络是由著名物理学家Hopfield本人分别于1982和1984年提出的。

通常，最初的DHNN的激励函数为二值型，其输入输出为0,1的反馈网络，设计初衷是为了实现联想记忆。而CHNN是在DHNN的基础上提出的，它的基本原理和DHNN相似，CHNN的激励函数的输入输出之间的关系为连续可微的单调上升函数，主要用于优化计算。在实际应用中，任何一个系统，通过能量函数和目标函数建立直接对应关系，那么一般可以用连续Hopfield神经网络对其进行求解。Hopfield神经网络模型的设计应保证，无论从何初值/初始条件出发，网络总能通过运动传递收敛至一个稳定状态，它对应于能量函数的某个局部极小点。

计算科学与人工智能百家号版权所有。