以下为《全连接层理解》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

我们讲到激活函数（Activation Function）,假设我们经过一个Relu之后的输出如下

Relu:

/

/

?然后开始到达全连接层

/

以上图为例，我们仔细看上图全连接层的结构，全连接层中的每一层是由许多神经元组成的（1x 4096）的平铺结构，上图不明显，我们看下图

?

/

注：上图和我们要做的下面运算无联系

并且不考虑激活函数和bias

当我第一次看到这个全连接层，我的第一个问题是：

它是怎么样把3x3x5的输出，转换成1x4096的形式

/

很简单,可以理解为在中间做了一个卷积

?

/

? 从上图我们可以看出，我们用一个3x3x5的filter 去卷积激活函数的输出，得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值

因为我们有4096个神经元

我们实际就是用一个3x3x5x4096的卷积层去卷积激活函数的输出

以VGG-16再举个例子吧

再VGG-16全连接层中

对224x224x3的输入，最后一层卷积可得输出为7x7x512，如后层是一层含4096个神经元的FC，则可用卷积核为7x7x512x4096的全局卷积来实现这一全连接运算过程。

这一步卷积一个非常重要的作用

就是把分布式特征representation映射到样本标记空间

就是它把特征representation整合到一起，输出为一个值

这样做,有一个什么好处？

就是大大减少特征位置对分类带来的影响

来，让我来举个简单的例子

/

?

从上图我们可以看出，猫在不同的位置，输出的feature值相同，但是位置不同

对于电脑来说，特征值相同，但是特征值位置不同，那分类结果也可能不一样

而这时全连接层filter的作用就相当于

喵在哪我不管

我只要喵

于是我让filter去把这个喵找到

实际就是把feature map 整合成一个值

这个值大

哦，有喵

这个值小

那就可能没喵

和这个喵在哪关系不大了有没有

鲁棒性有大大增强了有没有

因为空间结构特性被忽略了，所以全连接层不适合用于在方位上找Pattern的任务，比如segmentation

我们突然发现全连接层有两层1x4096fully connected layer平铺结构(有些网络结构有一层的，或者二层以上的)

好吧也不是突然发现，我只是想增加一点戏剧效果

/

?

但是大部分是两层以上呢

泰勒公式都知道吧

意思就是用多项式函数去拟合光滑函数

我们这里的全连接层中一层的一个神经元就可以看成一个多项式

?

我们用许多神经元去拟合数据分布

但是只用一层fully connected layer 有时候没法解决非线性问题

而如果有两层或以上fully connected layer就可以很好地解决非线性问题了

我们都知道，全连接层之前的作用是提取特征

全链接层的作用是分类

我们现在的任务是去区别一图片是不是猫

?

/

?

假设这个神经网络模型已经训练完了

全连接层已经知道

?

/

当我们得到以上特征，我就可以判断这个东东是猫了

因为全连接层的作用主要就是实现分类（Classification）

从下图，我们可以看出

?

/

?

红色的神经元表示这个特征被找到了（激活了）

同一层的其他神经元，要么猫的特征不明显，要么没找到

当我们把这些找到的特征组合在一起，发现最符合要求的是猫

ok，我认为这是猫了

那我们现在往前走一层

那们现在要对子特征分类，也就是对猫头，猫尾巴，猫腿等进行分类

比如我们现在要把猫头找出来

?

/

猫头有这么些个特征

于是我们下一步的任务

就是把猫头的这 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。

优点：神经元个数增加，模型复杂度提升。理论上可以提高模型的学习能力。

难度长度和宽度都是越多越好？

肯定不是

（1）缺点：学习能力太好容易造成过拟合。

（2）缺点：运算时间增加，效率变低。

那么怎么判断模型学习能力如何？

看Training Curve 以及 Validation Curve，在其他条件理想的情况下，如果Training Accuracy 高， Validation Accuracy 低，也就是过拟合 了，可以尝试去减少层数或者参数。如果Training Accuracy 低，说明模型学的不好，可以尝试增加参数或者层数。至于是增加长度和宽度，这个又要根据实际情况来考虑了。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

1. 诗歌《英雄》朗诵词
2. 农商行新时代演讲稿《中国梦--农商梦》
3. 心理抗疫公开课总结
4. 抖音具体养号方法
5. 找春天 教学设计
6. 村镇教育活动党课教案
7. 云队会主持稿
8. 热爱祖国国旗下讲话稿四篇
9. 党史学习心得体会
10. 医院科室医护人员演讲稿
11. 毕业典礼串词大班
12. 英语作文句型
13. 师德师风培训感想55
14. 缅怀先烈朗诵诗文集锦
15. 校园招聘会心得体会
16. -Scrum指南
17. 疫情防控演讲稿注意点
18. 美国总统奥巴马纪念“911”袭击讲话
19. We Are All Fighters 首支抗肺炎英文励志演讲

以上为《全连接层理解》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。