[CVPR2018笔记]Taskonomy: Disentangling Task Transfer Learning

CVPR 2018 Oral

CVPR 2018 best paper

首先推荐一下本文作者解读：https://zhuanlan.zhihu.com/p/38425434

well，又提出了一个新的思路和方法，但是针对于在视觉内的迁移学习，并提出了一个蛮大的数据库，然后还有Malik, Savarese两位大牛挂名，感觉很值得关注（？）。

定义的任务是这样的：vision task类目很多，只针对某个问题来解决的话，会需要很大的标注的数据集，但我们不难想到的是，一个视觉任务的解决应该能够一定程度的解决另一个视觉任务，毕竟一个成熟模型的构建意味着对该image的一定的理解，而这部分的理解的一部分或许对另一个task有助益，例，物体relation的理解对深度信息的学习毫无疑问是有着助益的。

首先做一个notation的说明：

source task是指我们已经有着足够标注数据集或者信息，能够解决的问题，target task则是指待解决，希望通过前者的迁移学习来解决的问题。

又三个阶段：

Step I: Task-Specific Modeling

encoder-decoder结构，不需过多解释

Step II: Transfer Modeling

这里的transfer function就是一个decoder，他的输入时多个source task encoder的encoder的输出。

这里作者提出了设计时应当考虑道德因素：

1, accessibility：

首先，应该含有潜在的能够解决target task的信息，因此文章设计了一个小结构，用其基于小规模数据测试accessibility

2, higher-order transfers

多输入，过滤掉有着更低contributiion 的representation的filter策略

3，transitive transfers

Step III: Ordinal Normalization using Analytic Hierarchy Process (AHP)

简言之，就是计算不同的source对一个target task的贡献度。

Step IV: Computing the Global Taxonomy

计算全局的一个contribution graph。