14 篇论文为你呈现「迁移学习」研究全貌 | 论文集精选 #04

PaperWeekly

PaperWeekly 是一个 AI 学术分享社区。这里聚集了大批一线 AI 学者，他们用精炼妙语推荐各自发现的优质论文。即刻加入社区，创建属于你的论文集。

这里是第 4 期论文集精选。

迁移学习对于人类来说，就是掌握举一反三的学习能力。对于计算机而言，所谓迁移学习，就是从一个或多个源任务（source task）中抽取知识和经验，然后将其应用于一个有相关性的目标领域（target domain）。

本期我们带来的是由 PaperWeekly 社区用户 @jindongwang 创建的迁移学习专题论文集，通过 14 篇最新和经典论文，带大家了解迁移学习的发展和现状。如果有合你心意的论文，复制链接到浏览器即可查看原文。

1. Domain adaptation via transfer component analysis

@jindongwang 推荐

#Transfer Learning

迁移学习领域公认的经典工作，作者团队来自香港科技大学 Qiang Yang 教授团队，推荐所有做迁移学习研究的同学都看一看。

论文链接：http://www.paperweekly.site/papers/793

2. Geodesic flow kernel for unsupervised domain adaptation

@jindongwang 推荐

#Unsupervised Learning

迁移学习领域代表性文章——GFK（Geodesic flow kernel）。GFK 方法首先解决 SGF 的问题：如何确定 source 和 target 路径上中间点的个数。它通过提出一种 kernel 方法，利用路径上的所有点的积分，把这个问题解决了。这是第一个贡献。然后，它又解决了第二个问题：当有多个 source 的时候，我们如何决定使用哪个 source 跟 target 进行迁移？GFK 通过提出 Rank of Domain 度量，度量出跟 target 最近的 source，来解决这个问题。

论文链接：http://www.paperweekly.site/papers/794

3. Transfer feature learning with joint distribution adaptation

@jindongwang 推荐

#Domain Adaptation

迁移学习领域又一经典文章，是 TCA 的增强版本，推荐读。JDA 方法比较巧妙，同时适配两个分布，然后非常精巧地规到了一个优化目标里。用弱分类器迭代，最后达到了很好的效果，值得我们去学习。

论文链接：http://www.paperweekly.site/papers/795

4. Unsupervised Domain Adaptation by Backpropagation

@jindongwang 推荐

#Transfer Learning

深度迁移学习经典文章。

论文链接：http://www.paperweekly.site/papers/1035

代码链接：https://github.com/shucunt/domain_adaptation

5. How transferable are features in deep neural networks?

@jindongwang 推荐

#CNN

探究深度网络的可迁移性质，非常值得读。虽然该论文并没有提出一个创新方法，但是通过实验得到了以下几个结论，对以后的深度学习和深度迁移学习都有着非常高的指导意义。

神经网络的前 3 层基本都是 general feature，进行迁移的效果会比较好；深度迁移网络中加入 fine-tune，效果会提升比较大，可能会比原网络效果还好；Fine-tune 可以比较好地克服数据之间的差异性；深度迁移网络要比随机初始化权重效果好；网络层数的迁移可以加速网络的学习和优化。

论文链接：http://www.paperweekly.site/papers/796

代码链接：https://github.com/yosinski/convnet_transfer

6. Deep Domain Confusion: Maximizing for Domain Invariance

@jindongwang 推荐

#Deep Learning

深度迁移学习最早期的代表性文章，虽然至今为止不知道发在哪里（一直只是在 arXiv 上），但是引用量很大，算是比较基础性的工作。值得一读。

论文链接：http://www.paperweekly.site/papers/1038

7. Learning Transferable Features with Deep Adaptation Networks

@jindongwang 推荐

#Transfer Learning

深度适配网络（Deep Adaptation Netowrk，DAN）是清华大学龙明盛提出来的深度迁移学习方法，最初发表于 2015 年的机器学习领域顶级会议 ICML 上。DAN 解决的也是迁移学习和机器学习中经典的 domain adaptation 问题，只不过是以深度网络为载体来进行适配迁移。

论文链接：http://www.paperweekly.site/papers/797

8. Simultaneous Deep Transfer Across Domains and Tasks

@jindongwang 推荐

#Transfer Learning

传统的深度迁移学习方法只进行 domain confusion，这个文章加入了 task transfer，也就是说，充分考虑到类别之间的相似性。

论文链接：http://www.paperweekly.site/papers/1040

9. A Unified Framework for Metric Transfer Learning

@jindongwang 推荐

#Transfer Learning

这篇文章的作者团队来自新加坡南洋理工大学，主要老板是 Sinno Jialin Pan，他是迁移学习大牛杨强的学生，《A survey on transfer learning》的第一作者。文章比较新，值得一读。

论文链接：http://www.paperweekly.site/papers/1039

10. Adversarial Discriminative Domain Adaptation