CNN中的卷积单元也能玩出花样来……

CNN中的卷积单元也能玩出花样来……

(1)标准的Convolution

例如大多经典的CNN结构中使用标准的convolution单元:LeNet、AlexNet、ZFNet、VGGNet、NiN、GoogLeNet、Inception-v3、ResNet、Stochastic_Depth、WResNet、Inception-ResNet、Fractalnet、WRN、ResNeXt、DenseNet、PyramidNet、DPN、SqueezeNet、MobileNets、ShuffleNet等等。

(2)Deconvolution

例如用于可视化的“Visualizing and Understanding Convolutional Networks”使用 Deconvolutional Network,用于语义分割的“Fully Convolutional Networks for Semantic Segmentation”,用于目标检测的“DSSD: Deconvolutional Single Shot Detector”等等。

(3)Dilated Convolution

论文“Multi-scale context aggregation by dilated convolutions” 使用 dilated convolutions 得到multi-scale context信息来提升分割效果。

(4)Active Convolution

论文“Active Convolution: Learning the Shape of Convolution for Image Classification”针对卷积单元提出“active convolution unit (ACU)”,这种新型卷积无固定形状,其形状可在训练中通过反向传播学习到。

(5)Depthwise Separable Convolution

论文“Xception: Deep Learning with Depthwise Separable Convolutions”在Inception v3结构的基础上引入了depthwise separable convolution表现出更好的模型参数有效利用。

(6)Interleaved Group Convolution

论文“Interleaved Group Convolutions for Deep Neural Networks”提出一个新的交错组卷积,解决卷积滤波器在通道域的冗余问题。