论文阅读笔记(十三)Xception

mac2022-06-30  8

 

 

 

Xception: Deep Learning with Depthwise Separable Convolutions

Xception是在Inception结构的基础上通过加强假设:空间卷积和深度卷积不相关,分开操作效果更好,得到的。它先进行逐深度的空间卷积,再通过1*1卷积做深度卷积,将空间卷积和深度卷积解耦合。其参数与Inception V3大致相等,而取得的效果却比Inception V3更好,说明效果的提升不是来自于模型的表达能力,而是来自于模型结构的优化。当然Xception除了将Inception模块替换为深度可分离的卷积外,还汲取了Resnet的灵感,加入了残差设计。Xcepton由36层卷积层组成,可分成14个模块,除第一个和最后一个模块之外,其余模块间都有残差设计。深度可分离卷积和极致卷积之间的区别是:1)卷积的次序不同,前者先spatial convolution,后1*1卷积;后者先1*1卷积后spatial convolution。2)前者两个卷积之间没有relu激活,后者有。

网络结构如图所示:注意中间模块复制八次。所有的卷积操作都有BN。

 

实验结构:

1.和其他模型比较:

2. 和Inception做参数规模和训练速度比较:

 

3. 有无FC层影响:

 

 

 4. pointwise convolution 后有无激活函数的影响:所以激活放在separable convolution的前面。

5. 残差的影响:

结论:

Xception在ImageNet上的收益不多,在JEF上的收益很大,与Inception相比。参数差不多。值得注意的是depthwise separable convolution也许不是最优的,最优和卷积可能介于其与Inception之间的若干离散状态。另外根据实验结果,有FC层,有残差连接,pointwise convolution后无relu激活效果最好!

 

转载于:https://www.cnblogs.com/ChinaField-blog/p/10823555.html

最新回复(0)