Deep SSL系列3: MixMatch和UDA

MixMatch: A Holistic Approach to Semi-Supervised LearningUDA: Unsupervised Data Augmentation for Consistency Training是最近挂在arxiv上的两篇和SSL相关的文章,可能是由于google的原因,备受大家的关注。

先说一下MixMatch这篇文章,它其实是对半监督学习常用的几个正则做了一个集成。

第一种用到的正则是:consistency Regularization, 是说我们对未标记数据做一些扰动之后,比如说add noise, 对图片做平移,剪切等,其模型的预测结果不应该产生太大的变化,就是如下形式:

第二种用到的正则是Entropy Minimization,是指要最小化模型对未标记数据的预测值的熵,从而使得分类器边界位于低密度区域。

MixMatch其实就是同时采用了这两种正则方式,同时又加上了一些其它模型训练的技巧,比如扰动后未标记数据的标记是K次扰动后预测结果的平均,Sharpen,用MixUp混合增广数据等,最终在benchmark的图像数据集上取得了SOTA的结果。

第二篇文章UDA的做法就更简单了,它是只采用了consistency regularization这一种正则,但是对不同任务采用了task-related的augmentation,比如AutoAugment, Back translation, TF-IDF word replacement等,最后在各任务benckmark的数据集上也取得了很好的效果。

这两篇文章都属于是刷榜性的文章,基于许多已有的成熟的技术和各种实现上的技巧,在指标上有很好的提升,但对半监督领域并没有提供新的见解(当然,能刷榜就很厉害了,我等弱鸡就刷不动,Orz),最大的贡献应该是在媒体的带领下,让半监督学习受到了更多人的关注hhhh,都是好事儿。感觉下一步google还可以基于UDA的想法,做基于validation performance的 adversarial的augmentation,应该还能再刷一刷。

发布于 2019-07-15

文章被以下专栏收录