单层感知机复习

本文由用户“dongxingchao”分享发布 更新时间:2023-03-13 11:29:50 举报文档

以下为《单层感知机复习》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

单层感知机的缺点及其原因

只能识别线性可分的模式(即能够用一个线性边界区分)。因为单层感知机存在一个线性边界wp+b=0,只能对那些能后被线性边界分开的输入向量进行分类,对噪声敏感,因为训练模式接近于网络的判定边界。

多层前向神经网络模型、算法与应用

/

LMS算法和BP算法都是使均方误差最小化的最速下降法,唯一区别是梯度的计算方法不同,对多层网络而言,为了计算均方误差对隐层权值和偏置值得导数,BP算法使用了链法则,首先计算最后一层的导数,然后反向传播通过网络并用链法则计算隐层中得导数,算法也因此被称为反向传播算法。?

BP算法的主要问题是:训练时间长,收敛速度慢,存在多个局部极小点,要选择多个不同的初始值以确保算法收敛到全局极小点。

应用:用于解决模式识别问题,函数概念问题,信号处理问题,在自适应滤波和自动控制领域的函数拟合的应用。

BP监督学习算法的特点

敏感性从最后一层通过网络被反向传播到第一层

/

/

反馈网络的工作原理及稳定性

反馈网络在初始输入向量中产生竞争,他通过设置权值矩阵为Wij=1,i=j;Wij=-w,i~=j;来使每个神经元对其他神经元产生抑制作用,这种抑制使得初始状态最大的神经元的输出在下降的同事保持最大,而其他神经元逐渐衰减为0,最终这个竞争网络的输出只有一个非零值,该非零输出对应的神经元的输入为与原型向量最匹配的输入模式

/

神经网络的应用(如控制、图像识别等)

/

如何改进误差反向传播算法的性能

/ 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 函数赫森矩阵的特征值相差很大时尤其如此。

牛顿:比最速快得多,对于二次函数,它能够一次迭代收敛到一个驻点。缺点是需要计算和存储赫森矩阵及其逆矩阵。收敛特性也很复杂。

共轭:是前面两种算法的折中产物,能在有限的迭代步数内收敛到二次函数的极小点,且不需要计算和储存赫森矩阵。它最适合解决参数量很大且赫森矩阵的计算和储存不可行时的问题。

/

11. 如何利用多层前向网络解决(静态)非线性映射问题

/

如何利用多层前向网络解决动态非线性系统辨识问题

/

/

/

/

13. 联想网络与竞争网络学习的基本模式与几何意义

//

/

感知机学习规则

/

Hebb规则

/

/

最小化的权值矩阵

/

/

最优化的必要条件

/

/

最速下降算法

课本144页及例题

/

稳定学习速度

/

沿直线 的最小化的学习速度

/

/

Widrow-Hoff学习算法

/

/

/

抽头延迟线

/

反向传播

/

/

/

/

/

动量BP算法(MOBP)

/

可变学习速度的BP算法(VLBP)

/

联想学习

/

/

/

/

/

竞争网络

/

/

/

/

/

Lyapunov函数

/

Hopfield网络与前向网络的比较

结构特点

Hopfield是一种反馈网络,结构上输入、输出节点相连使得网络系统的

工作特点

Hopfield输出状态具有动态变化特性

设计特点

Hopfield网络用Lyapunov稳定性原理分析递归网络

应用特点

实现的特点

存在的问题

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《单层感知机复习》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览