​

「点击注重小白CV，加注重，设星标，学习从此快人一步」

1x1办法的卷积核在现在的网络模块中经常被运用到，1×1卷积核，又称为网中网（Network in Netw矩阵的秩ork），是现在大多数网矩阵类似络结构中不可或缺的模块。比方Resnet模块、分别卷积模块、transformer模块等等中常常需求增加1×1卷积核。与此一起，也是一道面试中经常会被问像素到的问题。

在知道1×1卷积之前，首要回想卷积网络的基本概念：神经网络中，卷积核是什么？本文神经网络原理，我们会学到两个知识点：

  1. 卷积核是什么？
  2. 1x1卷积核是什么？
  3. 1x1卷积核常被参与基础模块，有什么效果？

阅读全文大约需求2 minutes，建议注重+保藏，边学习边考虑，功像素画率更高哦！矩阵

卷积核

卷积核能够看刁难某个部分区域的加权求和，它是对部分进行感知。以我们人类为例，在查询某个物体全貌时，我们既不能只查询某一个像素，也不能一次查询全体。而是像素射击下载先从部分开始知道，究竟部分的组合，构成了查询对象的全体全貌。这个部分区域的查询就对应了卷积神经网络激活函数。

卷积核单层（channel）的巨细一般有1x1,3x3、5x5、7x7的尺度（一般是奇数x奇数的办法）。一起，在channel尺度上，能够是任意巨细的，比方3x3x32、5x5x32等等。其形状如下图所示：

【AI面试】卷积神经网络中的1x1卷积核是什么？效果是什么？

上图按行结构，能够分为两个组块：矩阵工厂怎样开

  1. 输入6x6x1的矩阵，这儿的1×1卷积办法为1x1x1，内容为元素2，输出也是6×6python123渠道登录x神经网络引擎是什么意思1的矩阵。但输出矩神经网络引擎是什么意思阵中的每个元素值是输入矩阵中每个元素值x2的效果。
  2. 当输入为6x6x32时，1×1卷积的办法是1x1x32，卷积云和高积云当只需一个1×1卷积核像素射击无限金币钻石的时分，此刻输出为6x6x1。此刻的channel便由输入时分的32，变成了输出时分的1。

上文中，卷积核的个数就神经网络算法三大类对应输出的通道数（channels），这儿需求阐明的是关于输入的每个通道，输出每个通道上的卷积核是不一样的。比方输入是28x28x192(WxDxC,C代表通道数)。然后在3x3的卷积核，卷积通道数为128，那么卷积的参数有3x3x192x128，

其间前两个对应的每个卷积里面的参数3x3，后两个对应的卷积总的个数192x128（一般理解为，卷积核的权值同享只在每矩阵的迹个独自通道上有用，至于通卷积公式道与通道间的对应的卷积核是独立不同享的，所以这儿是192×128）。

这样，1×1卷积核的界说和结构就显着了，就是卷积核巨细为1xpython能够做什么作业1，channel能够是任意巨细办法的一种卷积核。

效果：

  1. 降维或升维
  2. 增加非线性特性
  3. 跨像素生计者2通道信息交互（channal 的转换）
  4. 下降网络参数

1.卷积 降维或升维

由于 11 并不会改动height 和 width，改动通道的第一个最直观的效果，就是能够将原本的数据量进行增加或许减少。这儿看其他文章或许博客中都称之为升维、降维。PS：这儿改动的仅仅height width channels中的channels这一个维度的巨细。

2. 增加非线性特性

1*1卷积核，能够在坚持feature map尺度矩阵的逆不变的（即不丢掉分辨率）的前提下大幅增加非线性特性（运用后接的非线性激活函数），把网络做的很deep。

3. 跨通道信息交互

运用1x1卷积核，完成像素生计者2降维和升维的操作其实就是channel间信息的线性组合改变，3x3，64channels的卷积核后边增加一个1x1，28channels的卷积核，就变成了3x3，28channels的卷积核，原本的64个cpython123hannels就能够理解为跨通道线性组合变成了28 channels，这就是通道间的信息卷积神经网络原理交互。

4. 下降网络参数

假定上一层的输出为100x100x128，通过像素具有256个输出的5×5卷积层之后(stride=1，pad=2)，输出数据为100x1神经网络算法00x256。其间，卷积层的参数为128x5x5x256=819200。

假定换一种组合办法，上一层输出100x100x128，先通过具有32个输出的1×1卷积层，再通过具有256个输出的5×5卷积层，那么究竟的输出数据仍为为100x100x256，但卷积参数量变成2层卷机python编程的和，即：128x1x1x32 + 32x5x5x256=4096+204800=208896。此刻比较于之前的，参数大约减少了4倍。

终究，引申下开头的NIN， 《Network In Network》 ，论文地址：arxiv.org/abs/1312.44… In Network仅为29M。

这篇文章的立异点有两个：

  1. MLP (multilyer perceptron)Convolution Layers：在常规卷积卷积运算（感触野大于1的）后接若python123渠道登录干1×1卷积，每个特征图像素画视为一神经网络算法个神经元，特征图通过1×1卷积就类似卷积云和高积云多个神经元线性组合.

  2. Global Average Poolipython123渠道登录ng:用全局均匀池化替代全联接层，具体做法是对终究一层的特征图进行均匀池化，得到的效果向量直接输入softmax层。这样做好处之一是使得特征图与分类矩阵等价使命直接相关，另一个利益是全局均匀池化不需求优化额外的模矩阵的逆型参数，因而模型巨细和核算量较全联接大大减少，而且能够避免过拟合。

【AI面试】卷积神经网络中的1x1卷积核是什么？效果是什么？

这是AI面试系列的开篇文章，尽量简略的描绘，读懂很重要。如果有什么问题，欢迎谈论留言，小编第一时间进行回复。后续的文章，我们神经网络引擎是什么意思也会继续收拾出有用幽默的wen z ，同享给我们。喜欢记住注重哦。

（第一次周末在书城的咖啡屋看书和写文章，感觉很好，下次还要来。留念下）

【AI面试】卷积神经网络中的1x1卷积核是什么？效果是什么？

参考内容：zhuanlan.zhihu.卷积云图片com/p/40050371

往期回想

点击图片回想往期热文

Python 100题（一）万事开头难，3小题过把瘾

Python基础精粹点（一）：这8个小点，可都是作业、面试常见题

Pytho卷积是什么意思n数据系列（一）- 列表List：Python的“苦力”

第一次在python培训班学费一般多少发文章，快来给我点个赞吧