mixup与paring samples ,ICLR2018投稿论文的数据增广两种方式

动机

神经网络训练需要海量的人工标注数据集,一般的数据增光方式是裁剪、翻转/旋转、尺度变化。之前在arxiv看到IBM的一篇文章【1】,主要是关于数据增强方式,没有公式没有网络架构,只通过简单的相加求平均值方式。而最近ICLR 2018公布入围名单,另外一篇数据增广的【2】入围,而SamplePairing出局。仔细阅读mixup的论文,其实对paring samples更进一步延伸。

名词解释

Empirical Risk Minimization (ERM): 机器学习的经验风险最小化,ERM策略认为,经验风险最小化的模型是最优化的模型。可参照李航的《统计学习方法》理解【3】。

Βeta分布,既然概率论中的贝塔分布,是指一组定义在是指一组定义在(0,1)区间的连续概率分布,有两个参数α和β。论文中α和β相等。Βeta分布的定义、概率密度函数和性质可参考PRML【4】。

为了理解Beta分布,使用python可视化Beta的模型。论文选择的超参数是α=0.2和0.4,此处主要观察α变化对应的概率分布变化。

from scipy.stats import beta
import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(0, 1, 100)
a_array = [1,0.5 ,0.1 ,0.2, 0.01,0.001]
for  a in a_array:
    plt.plot(x, beta.pdf(x, a, a), lw=1, alpha=0.6, label='a=' + str(a) + ',b=' + str(a))
plt.legend(frameon=False)
plt.show()




从上图可以看出,α趋近于0时,概率分布趋近于x-0和x=1两种情况,在论文中代表ERM。

模型细节

SamplePairing

SamplePairing的实现很简单,两幅图片直接像素相加求平均,监督的label不变。但是在训练过程中,先ILSVRC数据集普通数据增光方式,完成多个epoch后间歇性禁止SamplePairing,在训练损失函数和精度稳定后,禁止SamplePairing进行微调。个人认为相当随机引入噪声,在训练样本中人为引入误导性的训练样本。

mixup



如上图所示,mixup实现公式、python 源代码和可视化实现。(xi, yi) and (xj, yj) 是训练集随机选取的两个数据,λ ∈ [0,1],λ ∼ Beta(α,α)。mixup扩展训练集分布基于这样的先验知识:线性特征向量的混合导致相关目标线性混合。混合超参数α控制特征目标之间的插值强度,α→0时表示ERM。mixup模型实现方式简单,PyTorch 7行代码即可实现。图1b的可视化表明,mixup导致决策边界模糊化,提供更平滑的预测。

Experiment

论文的实验过程很丰富,包括CIFAR-10, CIFAR-100, and ImageNet-2012 image classification datasets,随机噪音测试,语音数据,facing adversarial examples黑盒攻击和白盒攻击、UCI数据集,以及稳定训练GAN网络。详细的数据表格可以参考原文,对于具有代表性的ImageNet-2012,Top-1的精度至少提高1.2%。



讨论

1、论文提出,在训练过程中,随着α增加,训练误差越来越大,而在验证验证集测试中泛化误差反而减少。这与论文提出的假设相同:mixup隐含控制模型的复杂度。但是论文没有提出bias-variance trade-off的理论解释。

2、论文提出一些进一步探索的可行性。1、mixup是否可以应用在其他监督学习问题,比如回归和结构化预测。mixup可能在回归问题容易实现,结构化预测如图像分割等问题,实验效果不明显。2、mixup是否可以用于半监督学习、无监督学习或强化学习。当然作者是假设,希望有后来者证明mixup是理论可行的。

3、ICLR是双盲评审,目前提出mixup的团队未知。在ICLR官网有匿名的评审意见,普遍认为mixup缺乏理论基础,但是实验效果具有明显优势。个人认为在mixup基础上,还有很多坑可以填。

参考文献

1、Data Augmentation by paring samples for images classification

2、mixup: Beyond Empirical Risk Minimization

3、《统计学习方法》,李航

4、《Pattern Recognition and Machine Learning》, Bishop


返回CV总目录

编辑于 2018-02-01

文章被以下专栏收录