《小王爱迁移》系列之十九:基于条件对抗网络的领域自适应

《小王爱迁移》系列之十九:基于条件对抗网络的领域自适应

这篇论文即将发表于NIPS 2018(现在应该叫NeurIPS了),作者是清华大学的龙明盛团队。论文研究的还是领域自适应(domain adaptation)这一热点问题。在一些公共的数据集中,本文的方法取得了当前最优的结果。

Motivation

Domain adaptation问题一直以来是迁移学习和计算机视觉领域等的研究热点。从传统方法,到深度方法,再到最近的对抗方法,都在尝试解决此问题。作者在本文中提出,现在的对抗方法面临两个挑战:

  • 一是当数据特征具有非常复杂的模态结构时,对抗方法无法捕获多模态的数据结构,容易造成负迁移。通俗点说就是,现有的方法没有抓住深度特征之间的关系,只是把它们一股脑进行对抗适配。
  • 二是当上面的问题存在时,domain classifier就很容易出错,所以造成迁移效果不好。

Method

本文提出了基于条件对抗网络的领域自适应方法,英文名叫做Conditional Adversarial Domain Adaptation。从题目中不难看出,主要由Condition + Adversarial + Adaptation这三部分构成。进行condition的时候,用到了一个叫做multilinear map的数学工具,主要是来刻画多个特征和类别之间的关系。下面我们分别进行描述。

对抗网络基本结构

发表于ICML 2015的经典文章Unsupervised domain adaptation by backpropagation中提出了用对抗的思想进行domain adaptation,该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器 G 、特征提取器 F 、以及领域判别器 D 。通过最小化分类器误差,最大化判别器误差,使得学习到的特征表达具有跨领域不变性。

作者指出,DANN的方法只是关注了数据特征的整体分布,忽略了和类别之间的相关性。因此,本文首先提出,要将特征和类别一起做自适应。公式如下: E _ { G } = \frac { 1 } { n _ { s } } \sum _ { i = 1 } ^ { n _ { s } } L \left( G \left( \mathbf { x } _ { i } ^ { s } \right) , \mathbf { y } _ { i } ^ { s } \right)

E _ { D , G } = - \frac { 1 } { n _ { s } } \sum _ { i = 1 } ^ { n _ { s } } \log \left[ D \left( \mathbf { f } _ { i } ^ { s } , \mathbf { g } _ { i } ^ { s } \right) \right] - \frac { 1 } { n _ { t } } \sum _ { j = 1 } ^ { n _ { t } } \log \left[ 1 - D \left( \mathbf { f } _ { j } ^ { t } , \mathbf { g } _ { j } ^ { t } \right) \right]

其中, \mathbf{f}\mathbf{g} 分别是特征和类别。通过类似于GAN的最大最小优化方法,就可以进行domain adaptation。

条件对抗机制

优化联合分布 (\mathbf{f},\mathbf{g}) 的方法很多,将它们的特征向量连接起来是最直接的方法。但是这会造成它们彼此之间还是相互无关。达不到控制条件的目的。

作者借鉴了数学上的 多线性映射(Multilinear Map) 的概念,来表征特征和分类器彼此之间的关系。什么是多线性映射?通俗点说就是, f(x)\rightarrow y 是单映射, f(x,y) \rightarrow z 是双映射,以此类推。线性呢?当固定其他自变量时, f 对未固定的那个自变量满足线性性(就是可加性、数乘不变)。(维基百科上对多线性映射的解释太抽象了)

那么,如何进行多线性映射?用 \mathbf{f} \otimes \mathbf{g} 。这里这个 \otimes 表示张量乘法,就是很多维的矩阵的乘法。

由于在深度网络中,特征维度往往很高。为了解决维度高导致的计算复杂度增加的问题,作者引入了相应的计算方法:

就是说,当数据维度太高时,直接从特征里随机采样一些向量做乘法。否则,用作者提出的方法做映射。

条件对抗网络

为了应对那些对迁移有负面影响的样本,作者用熵来控制它们的重要性,把熵操作加到了对抗网络中。

整个网络的优化目标如下:



作者还在文章中分析了方法的理论误差上界。

Experiments

实验部分与传统的domain adaptation相同,在Office-31,ImageCLEF-DA,Office-Home,MNIST,USPS,以及SVHN这些公开数据集上都进行了实验。实验比较充分,详细结果可以看原文。从结果上来说,取得了比作者之前的JAN更好的结果。

Reference

[1] 本文原文:Long M, Cao Z, Wang J, et al. Conditional Adversarial Domain Adaptation. NIPS 2018.

[2] DANN/RevGrad原文:Ganin Y, Lempitsky V. Unsupervised domain adaptation by backpropagation. ICML 2015.


========================

[作者简介]王晋东(不在家),中国科学院计算技术研究所博士生,目前研究方向为机器学习、迁移学习、人工智能等。作者联系方式:微博@秦汉日记 ,个人网站Jindong Wang is Here

=================

更多《小王爱迁移》系列文章:

《小王爱迁移》系列之零:迁移学习领域著名学者和研究机构

《小王爱迁移》系列之一:迁移成分分析(TCA)方法简介

《小王爱迁移》系列之二:联合分布适配(JDA)方法简介

《小王爱迁移》系列之三:深度神经网络的可迁移性

《小王爱迁移》系列之四:深度网络如何进行迁移学习(DaNN、DDC、DAN)

《小王爱迁移》系列之五:测地线流式核方法(GFK)

《小王爱迁移》系列之六:学习迁移(Learning To Transfer)

《小王爱迁移》系列之七:负迁移(Negative Transfer)

《小王爱迁移》系列之八:深度迁移学习文章解读

《小王爱迁移》系列之九:开放集迁移学习(Open Set Domain Adaptation)

《小王爱迁移》系列之十:张量迁移学习(tensor unsupervised domain adaptation)

《小王爱迁移》系列之十一:选择性对抗迁移学习(Selective Adversarial Network)

《小王爱迁移》系列之十二:新年新气象-重新整理的迁移学习资源仓库

《小王爱迁移》系列之十三:在线迁移学习(online transfer learning)

《小王爱迁移》系列之十四:用于部分迁移学习的深度加权对抗网络

《迁移学习简明手册》发布啦!

《小王爱迁移》系列之十五:自动选择源域的迁移学习方法(SSFTL)

《小王爱迁移》系列之十六:探秘任务迁移学习 (CVPR 2018最佳论文解读)

《小王爱迁移》系列之十七:深度迁移度量学习

《小王爱迁移》系列之十八:联邦迁移学习

《小王爱迁移》系列之十九:基于条件对抗网络的领域自适应

《小王爱迁移》系列之二十:深度迁移学习用于时间序列分类

小王爱迁移》系列之二十一:最大分类器差异的领域自适应(MCD_DA)

《小王爱迁移》系列之二十二:Learn What and Where to Transfer

编辑于 2019-05-17

文章被以下专栏收录