首页>>人工智能->MobileNet:深度可分离

MobileNet:深度可分离

时间:2023-11-29 本站 点击:0

MobileNet:深度可分离

背景:

SqueezeNet虽在一定程度上减少了卷积计算量,但仍然使用传统的卷积计算方式,而在其后的MobileNet利用了更为高效的深度可分离卷积的方式,进一步加速了卷积网络在移动端的应用。 为了更好地理解深度可分离卷积,我们首先回顾标准的卷积计算过程,然后详细探讨深度可分离卷积过程,以及基于此结构的两个网络结构MobileNet v1与MobileNet v2。

论文地址:1704.04861.pdf (arxiv.org)

标准卷积:

假设当前特征图大小为Ci×H×W,需要输出的特征图大小为Co×H×W,卷积核大小为3×3,Padding为1,则标准卷积的计算过程如上图所示。 标准卷积的过程如下:

对于输入特征图的左上Ci×3×3特征,利用Ci×3×3大小的卷积核进行点乘并求和,得到输出特征图中一个通道上的左上点,这一步操作的计算量为Ci×3×3。

在输入特征图上进行滑窗,重复第一步操作,最终得到输出特征图中一个通道的H×W大小的输出,总计算量为Ci×3×3×H×W。这一步完成了图7.5中一个通道的过程。

利用Co个上述大小的卷积核,重复第一步过程,最终得到Co×H×W大小的特征图。 在整个标准卷积计算过程中,所需的卷积核参数量为Ci×3×3×Co,总的计算量如式所示。

$$ Fs=Ci×3×3×H×W×Co $$

需要注意,这里的计算量仅仅是指乘法操作,而没有将加法计算在内。

深度可分离卷积:

标准卷积在卷积时,同时考虑了图像的区域与通道信息,那么为什么不能分开考虑区域与通道呢? 基于此想法,诞生了深度可分离卷积(Depthwise Separable Convolution),将卷积的过程分为逐通道卷积与逐点1×1卷积两步。虽然深度可分离卷积将一步卷积过程扩展为两步,但减少了冗余计算,因此总体上计算量有了大幅度降低。MobileNet也大量采用了深度可分离卷积作为基础单元。

逐通道卷积的计算过程如图所示,对于一个通道的输入特征H×W,利用一个3×3卷积核进行点乘求和,得到一个通道的输出H×W。然后,对于所有的输入通道Ci,使用Ci个3×3卷积核即可得到Ci×H×W大小的输出。 综合上述计算过程,逐通道卷积有如下几个特点:

卷积核参数量为Ci×3×3,远少于标准卷积Ci×3×3×Co的数量。

通道之间相互独立,没有各通道间的特征融合,这也是逐通道卷积的核心思想,例如上图中输出特征的每一个点只对应输入特征一个通道上的3×3大小的特征,而不是标准卷积中Ci×3×3大小。

由于只在通道间进行卷积,导致输入与输出特征图的通道数相同,无法改变通道数。 逐通道卷积的总计算量如式所示。

$$ Fd=Ci×3×3×H×W $$

由于逐通道卷积通道间缺少特征的融合,并且通道数无法改变,因此后续还需要继续连接一个逐点的1×1的卷积,一方面可以融合不同通道间的特征,同时也可以改变特征图的通道数。由于这里1×1卷积的输入特征图大小为Ci×H×W,输出特征图大小为Co×H×W,因此这一步的总计算量如式所示。

$$ Fi=Ci×1×1×H×W×Co $$

综合这两步,可以得到深度可分离卷积与标准卷积的计算量之比,如式(7-4)所示。

可以看到,虽然深度可分离卷积将卷积过程分为了两步,但凭借其轻量的卷积方式,总体计算量约等于标准卷积的1/9,极大地减少了卷积过程的计算量。 MobileNet v1使用的深度可分离模块的具体结构如下图所示。其中使用了BN层及ReLU的激活函数。值得注意的是,在此使用了ReLU6来替代原始的ReLU激活函数,将ReLU的最大输出限制在6以下。

ReLU6的原因:

使用ReLU6的原因主要是为了满足移动端部署的需求。移动端通常使用Float16或者Int8等较低精度的模型,如果不对激活函数的输出进行限制的话,激活值的分布范围会很大,而低精度的模型很难精确地覆盖如此大范围的输出,这样会带来精度的损失。

整体对比图:

MobileNet v1结构

MobileNet v1整体的网络是由上述深度可分离卷积基本单元组成的,具体结构如下图所示。与VGGNet类似,也是一个逐层堆叠式网络。图中的Dw代表一个深度分解卷积,其后需要跟一个1×1卷积, s2代表步长为2的卷积,可以缩小特征图尺寸,起到与Pooling层一样的作用。 这里列出的是MobileNet v1用于物体分类的网络,可以看到网络最后利用一个全局平均池化层,送入到全连接与Softmax进行分类预测。如果用于物体检测,只需要在之前的特征图上进行特征提取即可。 在基本的结构之外,MobileNet v1还设置了两个超参数,用来控制模型的大小与计算量,具体如下:

宽度乘子:用于控制特征图的通道数,记做α,当α<1时,模型会变得更薄,可以将计算量减少为原来的α2。

分辨率乘子:用于控制特征图的尺寸,记做ρ,在相应的特征图上应用该乘子,也可以有效降低每一层的计算量。

在实现层面上,PyTorch中卷积层提供了一个组卷积参数,可以方便地实现深度可分离卷积。下面利用PyTorch搭建一个MobileNet v1网络,新建一个mobilenet_v1代码如下:

 from torch import nn class MobileNet(nn.Module):   def __init__(self):     super(MobileNet, self).__init__()     # 标准卷积     def conv_bn(dim_in, dim_out, stride):       return nn.Sequential(         nn.Conv2d(dim_in, dim_out, 3, stride, 1, bias=False),         nn.BatchNorm2d(dim_out),         nn.ReLU(inplace=True)       )     # 深度分解卷积     def conv_dw(dim_in, dim_out, stride):       return nn.Sequential(nn.Conv2d(dim_in, dim_in, 3, stride, 1, groups= dim_in, bias=False),         nn.BatchNorm2d(dim_in),         nn.ReLU(inplace=True),         nn.Conv2d(dim_in, dim_out, 1, 1, 0, bias=False),         nn.BatchNorm2d(dim_out),         nn.ReLU(inplace=True),       )     # MobileNet每一个卷积组的结构参数     self.model = nn.Sequential(        conv_bn( 3, 32, 2),         conv_dw( 32, 64, 1),        conv_dw( 64, 128, 2),        conv_dw(128, 128, 1),        conv_dw(128, 256, 2),        conv_dw(256, 256, 1),        conv_dw(256, 512, 2),        conv_dw(512, 512, 1),        conv_dw(512, 512, 1),        conv_dw(512, 512, 1),        conv_dw(512, 512, 1),        conv_dw(512, 512, 1),        conv_dw(512, 1024, 2),        conv_dw(1024, 1024, 1),        nn.AvgPool2d(7),     )     self.fc = nn.Linear(1024, 1000)   def forward(self, x):     x = self.model(x)     x = x.view(-1, 1024)          # 前向过程中在全连接前将特征图平展成1维     x = self.fc(x)     return x

小结

总体上,MobileNet v1利用深度可分离的结构牺牲了较小的精度,带来了计算量与网络层参数的大幅降低,从而也减小了模型的大小,方便应用于移动端。 但MobileNet v1也有其自身结构带来的缺陷,主要有以下两点:

模型结构较为复古,采用了与VGGNet类似的卷积简单堆叠,没有采用残差、特征融合等先进的结构。

深度分解卷积中各通道相互独立,卷积核维度较小,输出特征中只有较少的输入特征,再加上ReLU激活函数,使得输出很容易变为0,难以恢复正常训练,因此在训练时部分卷积核容易被训练废掉。

MobileNet v2结构

论文地址:https://arxiv.org/abs/1801.04381

针对以上MobileNet v1的缺点,2018年诞生的MobileNet v2吸收了残差网络的思想,主要从两个方面改善了网络结构,提升了MobileNet的检测精度。

首先,MobileNet v2利用残差结构取代了原始的卷积堆叠方式,提出了一个Inverted Residual Block结构, 如上图所示。依据卷积的步长,该结构可分为两种情形,在步长为1时使用了残差连接,融合的方式为逐元素相加。 相比于MobileNet v1与原始的残差结构,这里有两点不同:

1.Inverted Residual Block结构

由于3×3卷积处的计算量较大,因此传统的残差网络通常先使用1×1卷积进行特征降维,减少通道数,再送入3×3卷积,最后再利用1×1卷积升维。这种结构从形状上看中间窄两边宽,类似于沙漏形状。 然而在MobileNet v2中,由于使用了深度可分离卷积来逐通道计算,本身计算量就比较少,因此在此可以使用1×1卷积来升维,在计算量增加不大的基础上获取更好的效果,最后再用1×1卷积降维。这种结构中间宽两边窄,类似于柳叶,该结构也因此被称为Inverted Residual Block。

2.去掉ReLU6

深度可分离卷积得到的特征对应于低维空间,特征较少,如果后续接线性映射则能够保留大部分特征,而如果接非线性映射如ReLU,则会破坏特征,造成特征的损耗,从而使得模型效果变差。 针对此问题,MobileNet v2直接去掉了每一个Block中最后的ReLU6层,减少了特征的损耗,获得了更好的检测效果。 下面利用PyTorch构建MobileNet v2的残差模块,上图中的stride为1的结构,新建一个mobilenet_v2代码如下:

 from torch import nn class InvertedResidual(nn.Module):   def __init__(self, inp, oup, stride, expand_ratio):     super(InvertedResidual, self).__init__()     self.stride = stride     # 中间扩展层的通道数     hidden_dim = round(inp * expand_ratio)     self.conv = nn.Sequential(       # 1×1的逐点卷积进行升维       nn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False),       nn.BatchNorm2d(hidden_dim),       nn.ReLU6(inplace=True),       # 深度可分离模块       nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False),       nn.BatchNorm2d(hidden_dim),       nn.ReLU6(inplace=True),       # 1×1的逐点卷积进行降维       nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),       nn.BatchNorm2d(oup),     )   def forward(self, x):     return x + self.conv(x)

总体上,MobileNet v2在原结构的基础上进行了简单的修改,通过较少的计算量即可获得较高的精度,非常适合于移动端的部署。

网络结构:MobileNetv2/.gitignore at master · suzhenghang/MobileNetv2 · GitHub

原文:https://juejin.cn/post/7094991519320375332


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/AI/1148.html