PaperWeekly

欢迎关注同名微信公众号：PaperWeekly

13,717 人关注

机器学习

Tree-CNN：一招解决深度学习中的「灾难性遗忘」
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻…查看全文
张俊
2 days ago
31 赞1 条评论
当前深度神经网络模型压缩和加速都有哪些方法？
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻…查看全文
张俊
3 days ago
108 赞0 条评论
春节囤货清单 | 15篇近期值得读的AI论文
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻…查看全文
张俊
3 months ago
59 赞5 条评论
「知识表示学习」专题论文推荐 | 每周论文清单
本期论文清单来自清华大学博士生韩旭和北师大本科生曹书林，涵盖了近年知识表示学习方向的重要论文。[ 综述类 ]■ 论文 | Representation Learning: A Review and New Pers…查看全文
张俊
3 months ago
45 赞2 条评论
2018年，你可以把论文投给这13场AI学术会议（附截稿日期）
在已经过去的 2017 年，是无数优秀论文在各大 AI 主题会议频频涌现的一年。随着 AI 行业的不断升温，机器学习和人工智能也已跃然成为当下最热的科研方向。那么，2018 年，A…查看全文
张俊
4 months ago
209 赞11 条评论
Github 本周最有趣的 10 款「机器学习」开源项目 | PaperDaily #32
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻…查看全文
张俊
4 months ago
122 赞3 条评论
何恺明大神的「Focal Loss」，如何更好地理解？
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm前言今天在 QQ 群里的讨论中看到了 Focal Loss，经搜索它是 Kaiming 大神团队在他…查看全文
张俊
4 months ago
126 赞1 条评论
Github 本周最热的 10 款「机器学习」开源项目 | PaperDaily #27
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻…查看全文
张俊
4 months ago
75 赞0 条评论
论文笔记作者招募 | 让你的文字被很多很多人看到，喜欢我们不如加入我们
生活中，你是否总有一些不知如何打发的时间？刷了很多本无兴趣的剧围观了很多旁人的八卦和花边手机上又下载了几款当下热门游戏而我们在做一件事把你的空闲时间变得美好、有趣并对他人产生意…查看全文
张俊
6 months ago
7 赞1 条评论
提升效率必备，9 篇论文帮你积累知识点 | PaperDaily #06
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻…查看全文
张俊
6 months ago
13 赞0 条评论
PaperWeekly社区的正确打开方式（视频）
查看全文
张俊
7 months ago
18 赞1 条评论
这个小长假，你错过了哪些精彩论文？| PaperDaily #03
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻加入社区，查看更多…查看全文
张俊
7 months ago
17 赞3 条评论
“Paper + Code”才是研读论文的正确姿势 | PaperDaily #02
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻加…查看全文
张俊
7 months ago
81 赞0 条评论
大家心目中的这些「优质」论文，你读过几篇？| PaperDaily #01
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击即刻加…查看全文
张俊
7 months ago
25 赞0 条评论
让机器听懂你的意图：首届中文人机对话技术评测用户意图领域分类比赛参赛历程
作者丨唐杰聪单位丨华南农业大学硕士生研究方向丨NLP，机器学习指导老师丨黄沛杰副教授1. 前言近年来，人机对话技术，也称为口语对话系统（spoken dialogue system，SDS）…查看全文
张俊
7 months ago
10 赞0 条评论
机器给你划重点，听说很靠谱哦！—生成式关键短语识别 | 论文访谈间 #16
「论文访谈间」是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目，旨在让国内优质论文得到更多关注和认可。论文作者 | Rui Meng, Sanqiang Zhao, Daqing…查看全文
张俊
8 months ago
8 赞1 条评论
社区，从Paper开始，但远不止Paper
2015 年年底我开发过一个在线 paper 推荐系统 —— rsarXiv，专门帮助刷arXiv的童鞋推荐一些新的、相关度高的 paper。当时为了方便大家使用，还专门自学了 Swift，做了个 i…查看全文
张俊
8 months ago
43 赞0 条评论
Fashion-MNIST：替代MNIST手写数字集的图像数据集
作者丨肖涵单位丨德国Zalando旗下研究部门资深科学家学校丨德国慕尼黑工业大学计算机博士研究方向丨深度学习在产品搜索中的应用FashionMNIST 是一个替代 MNIST 手写数字集…查看全文
张俊
8 months ago
123 赞2 条评论
知乎张瑞: 浅析机器学习理论与实践 | 业界对话
张瑞，研究生毕业于北京邮电大学，毕业后一直从事搜索引擎及自然语言处理方向的研发工作。曾就职于百度及豌豆荚。现任知乎机器学习团队负责人。特约记者丨杨润琦（南京大学…查看全文
张俊
9 months ago
17 赞0 条评论
SeqGAN & IRGAN | 实录·Guru Talk #12
本文为 7 月 26 日，上海交通大学 APEX 数据与知识管理实验室——于澜涛同学在第 12 期 Guru Talk 中的直播分享实录。>>>>获取视频和完整PPT关注“PaperWeekly…查看全文
张俊
9 months ago
7 赞0 条评论

{"database":{"Post":{"28151434":{"title":"SeqGAN & IRGAN | 实录·Guru Talk #12","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E本文为 7 月 26 日，上海交通大学 APEX 数据与知识管理实验室——\u003Cb\u003E于澜涛\u003C\u002Fb\u003E同学在第 12 期 Guru Talk 中的直播分享实录。\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E&gt;&gt;&gt;&gt;获取视频和完整PPT\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E关注“PaperWeekly”微信公众号，回复“\u003Cb\u003E20170726\u003C\u002Fb\u003E”获取下载链接。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-e21897ea5851802f5150a52ad462e244.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-22a4bbad780c22a76fda8626d7dfda27.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-2789eab2738a7bdfc3b11089e3bf7100.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-dffd2c1ffa40e250e16226c611998df3.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-ece52be6c6011de4455a6f749f5a7584.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-7948f1c92cf3cba26769c09a54edf0bc.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-dc33704379a0d0190e74e64366ff3661.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-266d9c26c96ae0ef2864f2368bd91d38.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-52d9f38cbdc8cb22eb702836f7ac0cc7.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-c6795cd0c2b16a1c1b82cf51d3641f67.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-11adadb83e91d66a0e2911998a23bd5e.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-9f0ecedcbb346b3598478e8c95035960.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-2256115ec71f728e595170c536c92412.jpg\" data-rawwidth=\"3000\" data-rawheight=\"2250\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-07-27T09:42:08.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":7,"state":"published","isLiked":false,"slug":"28151434","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-27T17:42:08+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28151434\u002Fcomments"},"url":"\u002Fp\u002F28151434","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-aa697e1e0e3357a74bbef374b49795e3_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F28151434","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":7},"28231483":{"title":"知乎张瑞: 浅析机器学习理论与实践 | 业界对话","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E\u003Cb\u003E张瑞\u003C\u002Fb\u003E，研究生毕业于北京邮电大学，毕业后一直从事搜索引擎及自然语言处理方向的研发工作。曾就职于百度及豌豆荚。现任知乎机器学习团队负责人。\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E特约记者丨杨润琦（南京大学），刘冲（北京邮电大学）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E能否和我们介绍一下知乎的机器学习团队？目前主要负责哪些方面的工作和任务呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E我们团队是一个横向的功能团队，也就是说整个知乎平台上用到的机器学习场景都会交给我们团队负责，也包括建设一套完整的机器学习栈。我们将所有的应用场景分为两大模块，六大方向。两大模块分别是基础数据和基础技术，另一个是和业务相关的，用于改善内容流通和产品体验。\u003C\u002Fp\u003E\u003Cimg src=\"v2-644343a41f185ae207d58527a1d518b1.png\" data-rawwidth=\"1080\" data-rawheight=\"1080\"\u003E\u003Cp\u003E基础数据和基础技术主要包含用户画像和内容分析两部分工作。首先用户画像我们会根据用户的交互行为、回答问题、自身资料等数据挖掘其社会学属性、兴趣爱好等等，也会根据其问答行为对其在某个领域的权威度进行分析。其次内容分析部分主要是针对知乎上面所有的内容（包括文本、图像、音视频等）建立一套完善的内容分析流水线。 \u003C\u002Fp\u003E\u003Cp\u003E一般所有发送到知乎上面的内容都会在发布的第一瞬间通过该实时计算框架，结合自然语言处理、图片识别、或者音视频降噪等技术进行一个基础但是很重要的分析工作。比如说文本类内容，会进行实体抽取、词语切分、topic 建模、分类等。另一个模块就是与业务密切相关的，主要是用于改进用户体验，提升内容在知乎平台上的流通效率，根据业务场景可以划分为推荐、排序、商业化、社区管理四个方面。 \u003C\u002Fp\u003E\u003Cp\u003E首先我们会有一个统一的推荐引擎负责公司所有的推荐场景，进行千人千面的推荐。这里会结合上面提到的用户画像技术和一些比较先进的比如深度学习等方法提升推荐效果。 \u003C\u002Fp\u003E\u003Cp\u003E其次，排序相对而言更横向一点，会用在推荐、首页信息流、搜索等其他模块之中，会针对性的根据各个业务不同情况收集不同数据，提取特征，再训练排序的模型。 \u003C\u002Fp\u003E\u003Cp\u003E第三个是商业化，主要包括广告和机构号，这里会在推荐和排序的基础上做一些更有特点的工作，比如针对广告主做竞价、流量预估、物料推荐等等。 \u003C\u002Fp\u003E\u003Cp\u003E最后一个就是社区管理，这部分工作与内容分析和用户画像的对接比较紧密，会做一些最基本的工作，比如色情图片检测等，以及根据用户画像和内容分析得到的一些数据，结合社区管理层面的业务需求做一些更上层的事情。 \u003C\u002Fp\u003E\u003Cp\u003E以我们正在做的“潜在权威创作用户挖掘”举例，在知乎平台上有很多优秀的答题者，他们在自己的专业领域积累了一定知识，具备很强的能力，所以我们需要在第一时间发现他，并邀请他创作高质量的内容，从而提升用户产生优质答案的生产效率。所以整个来讲，我们机器学习团队的工作主要分为两个大的模块，六个方向。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E您觉得从技术层面上来讲，团队成立以来解决过的最大的一个困难是什么？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E从我个人的角度上来讲，目前我们所遇到的问题、正在做的事情大都还是能够想得很清楚，很少遇到从一开始就不知道该怎么做的情况。而且有些我们在做的东西我感觉还是不错的，甚至还超出了我们的预期效果。就像爬山一样，在爬之前可能会觉得很难爬甚至爬不上去，但是等你过去了之后你就会觉得其实一步一步走上来也没有那么艰难。 \u003C\u002Fp\u003E\u003Cp\u003E以我们首页的产品举例，过去半年首页的转化率提升了将近 70%，同时首页的停留时长也增加了 40% 多。也就是说配合上用户留存率的提升，用户在首页的内容消费大概翻了一番。 \u003C\u002Fp\u003E\u003Cp\u003E但是在我们做这个工作之前，我们想的只是一步一步踏实的推进，一步一步地把能想到的特征提取出来，比如说用户的兴趣、实时兴趣、答案本身质量好坏、用户兴趣与答案所属领域交叉、用户本身的社交关系、与发布答案者的社交关系交叉等等，这些都是一点一点添加到模型中的，欣慰的是在做的过程中发现提取的这些特征都能够转化成比较好的效果，每一次都有比较好的提升，经过半年的迭代，最终收获了比较不错的效果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E前面提到的两大模块六个任务，是如何进行分配和组织的呢？整个工作耗费了多长时间？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E我们在去年年初的时候刚刚建立团队，目前团队已经接近 20 个人规模，初期团队主要是把精力集中在基础数据和基础技术的工作上，比如用户流量场景优化、知识的商业化、社区管理等工作也会有所涉及。到今年，我们结合了一些深度学习领域的研究成果，搭建了完善的推荐系统。 \u003C\u002Fp\u003E\u003Cp\u003E目前来讲六个方向上都会安排人去做，大家齐头并进，具体到某一个方向还是会根据具体的工作场景决定工作的方法。其实我们还有很多项目想要开展，也一直在招募工作伙伴中。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E刚才说到在推荐系统中会用到深度学习相关的技术，可以具体的聊一下吗？ \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E其实深度学习用在推荐也好、排序也好、搜索也好，本质上说解决的是用户信息需求和信息之间的匹配关系。在拥有足够数据量的情况下，深度学习可以更好的解决这些问题。 \u003C\u002Fp\u003E\u003Cp\u003E比如说推荐，之前可能先把内容划分到一个具体的领域，体育、商业等，然后再看用户喜欢哪个领域的内容，将很多交叉特征去组合起来做推荐。这样的缺点是，首先领域信息是人工设计的，可能和用户真实需求有一定差距，比如说用户喜欢体育，但并不代表所有体育的东西都会喜欢，可能只喜欢乒乓球、篮球，不喜欢足球，另外一个就是特征会比较稀疏，很难找到其关联性，比如一个人喜欢商业，那大概率也会喜欢金融，这就需要一个非常复杂的规则或者补充模型来解决。 \u003C\u002Fp\u003E\u003Cp\u003E所以说浅层学习，比如 LR 这种模型，当你用到一定程度之后就会考虑向深度学习上转移，使用深度学习来解决信息需求和信息本身之间的匹配程度问题。这里用户的信息需求可能表现成其历史行为中体现出来的兴趣，用户的资料也会体现他喜欢的东西，把这些东西全部拿过来当做用户信息需求表征的一部分，通过这种上下文信息以及海量的用户行为来预测用户会看什么内容，今天看了什么，明天会看什么等等。 \u003C\u002Fp\u003E\u003Cp\u003E目前我们使用了四层的神经网络，融合了 CNN、word embedding、userembedding 等预训练的嵌入式表示，使用这样的网络去做匹配。那么通过这个网络推荐出来的东西，相对来讲可以搞定传统机器学习解决不了的问题。所以我们开始用深度学习来解决推荐推荐、排序等问题，比如说搜索下面我们会做 query 和内容文本之间的匹配。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E我记得之前谷歌发过一篇用深度学习做视频推荐的文章，那么您在做这个方向的时候会参考他们的论文，使用他们的模型还是自己会尝试修改？另外就是当从传统机器学习转型到深度学习时，你们专门招一些深度学习的人才还是让技术人员进行转型去学习这方面的东西呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E第一个问题的话，我们肯定会参考业界最先进的技术，比如说谷歌的两个 DNN 网络做视频推荐这种，不过我们最后用到的东西并不会完全按照他们提出的模型进行部署，但实际上讲，大家用到的技术从本质上讲都是差不多的，思路也是一样的。 \u003C\u002Fp\u003E\u003Cp\u003E我们会参考他们论文里提出的先进的经验，比如说 wide and deep 网络结构，wide 负责 memory，deep 负责推理和泛化；YouTube 使用多个神经网络进行推荐，将用户和内容进行 embedding 的思想我们都会进行借鉴和参考，把一些好的特征加入到我们的网络中，所以说最后在技术层面上来讲是融合各家之长。 \u003C\u002Fp\u003E\u003Cp\u003E第二个问题，我觉得传统的机器学习和深度学习之间并没有很深的鸿沟，其实是可以跨越的。像我们现在在做推荐系统的很多同学，他们之前是使用 GBDT、LR 等传统机器学习方法去做，但大家学习、接触深度学习的知识还是挺快的，因为本身来讲，深度学习和传统机器学习之间的优化思想、理论基础还是比较类似的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E那你们会不会找一些这方面的大牛来带着做还是就靠自己去学习？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E知乎有很多比较有经验的工程师，也会有一些刚入门的同学，他们之间肯定会存在技术上的差距，所以经常会举办一些技术分享、新人与老人之间的传帮带等等，大家会经常坐在一起分享和讨论。比如说我刚才说到的那些深度学习方面的项目，都是我们在技术分享周会上面参考了很多同学的调研结果，然后大家一起讨论，总结出一个适用于知乎的一个架构出来。\u003C\u002Fp\u003E\u003Cp\u003E至于说会不会找这方面的大牛，可以透露一点就是我们会有比较新的或者前沿的产品探索去做，涉及到自然语言处理和智能问答方向，这块我们想找一个资深科学家去做前沿的探索，这也是对我们团队本身技术能力、人员梯队的一种补充。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E能不能跟我们分享一下知乎机器学习挑战赛的相关内容，为什么想要办这样一个比赛？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E知乎机器学习挑战赛的初衷是想激发一下大家对于自然语言理解这个领域的兴趣。这个题目其实当时我们也是考虑了很久，然后比较慎重地去选择的。首先我们觉得它比较能够体现知乎的特色，这个题目跟知乎的产品结合得还是比较紧密的。 \u003C\u002Fp\u003E\u003Cp\u003E另外我们在设计这个题目的时候也考虑了它的难易度和区分度，一方面对于刚入门的同学来说，想要借助这个题目去尝试、去实践一些很传统的方法，甚至很简单的一些方法也是 OK 的；另一方面它不是一个可以非常容易就被很好地解决的问题，做到一定阶段之后如果想要提高，可能就需要设计一些创新的点或者引入一些更前沿的技术，所以题目也会存在一个区分度。 \u003C\u002Fp\u003E\u003Cp\u003E比如我们提供的数据里面，包含标签之间的结构信息和标签本身的意义的信息，这个对应的是现在多标签分类里面的比较前沿的方向，就是包含结构信息的标签的多分类问题。我们希望比较优秀的队伍能够把这些信息利用起来，去做一些不错的创新。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E那您觉得现在比赛的进度可以达到你们的预期吗？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E以及您怎么评价那些排名靠前的团队目前达到的程度？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E我们记得当初我们做这个规划的时候，是说我们大概会有七八百支队伍这个样子。现在比赛进程大概到一半，已经有快九百支队伍参加，所以从进程上来讲还是不错的。\u003C\u002Fp\u003E\u003Cp\u003E从选手提交的结果上看——其实我们有定期的周报收集，收集一些已经做出来比较优秀的结果的队伍的代码和说明文档。我看了一下，其实里面还是有一些比较闪光的点。整体上来讲，大家在把一些最前沿的技术运用进来，或者说是在比较复杂的模型上面去调整模型的效果，在这方面的能力其实还是非常棒的。\u003C\u002Fp\u003E\u003Cp\u003E如果要说还有什么缺憾的话，我觉得可能是目前虽然看到了很多小的闪光点或者创新点，但是还没有一个比较大的跨越式创新出现。不过归根结底创新本来就也不是一个很容易出现的事情，所以其实到现在为止，我觉得整个比赛的进度，包括大家的结果，从我自己来看，还是比较超出预期的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E您觉得最后预计最后得分能做到多少？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦（坏笑）：\u003C\u002Fb\u003E会超过当前线上模型的表现吗？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E从得分公式的设计上来看，最后如果你能做到 100% 的准确的话，满分是 0.8 多一点，但是数据本身存在一定的噪声或者说缺失，因为我们的产品有个限制，对问题打的标签不能超过一定的个数，而一个问题可能和十几个标签都相关。刨除掉这个因素，我们预计最理想的结果可能可以到 0.5 往上一点。 \u003C\u002Fp\u003E\u003Cp\u003E目前提交上来前三的同学在测试数据上的表现已经做到相当不错的程度（注：截至采访时间 A 榜最高分数在 0.42 左右），当然和我们的线上还是有一定的差距，但是这个对比本身可能有一定的不公平性，因为我们线上拿到的数据可能会更多，而且都是明文（注：指比赛数据经过了隐私保护和脱敏处理），所以直接这样去对比还是不公平的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E在做算法的时候，准确度和计算效率目前你们会更看重哪一点？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E在绝大部分场景下，我们追求的是准确度，然后计算效率。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E刘冲：\u003C\u002Fb\u003E是因为实时性的要求并不高吗？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E并不是这样，其实是说计算资源相对于准确性来讲还是比较容易去解决的。比如说我们做深度学习的模型，四层网络的预测，基本上在 CPU 机器上面对一个 batch 的数据，例如 50 条进行预测，耗时是两毫秒左右，换用 GPU 的话还会更快。互联网工业界有一个比较流行的说法，就是说你能够通过升级机器或者加机器来解决，就不要去改动模型和算法，因为机器总是比人要便宜很多的。所以在绝大部分时候，我们确实是更追求准确度，也就是说最后线上产品的效果。 \u003C\u002Fp\u003E\u003Cp\u003E我觉得你这个问题可能可以升级一下，就是说算法的效果和算法的整体架构哪个会更重要一点。比如说你是希望一个比较清晰的架构，它的效果稍微差一点；还是拼凑了很多乱七八糟的东西，最后产生的效果比较好，但是你也很难去修改它？ \u003C\u002Fp\u003E\u003Cp\u003E这个时候，从一般的实践上来讲，我们会更倾向于那种优秀的架构，因为它往往能够带来迭代效率的提高。可能从第一版来看，它的算法的效果确实不如其他的堆起来来得那么快，但是一般来说算法不是一版就可以来完成，一个比较优秀清晰的架构为算法的迭代带来便利是比较大的。如果可以做到两天三天就完成一个迭代，那么就可以把效果一点一点提升起来。所以这种情况下来讲，算法的架构上的清晰和优美到最后仍然还是为了这种算法的准确度去服务的。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E所以可能它最终还是保持了一个良好的架构，但是准确度已经超过了之前的那种七拼八凑的？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E对。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E这让我想到了一个很有意思的问题，我某个师兄去某互联网公司做算法的时候遇到了一些麻烦，就是他引入了一个比较新的技术范式，这个范式做成以后以前做的一些模块就显得比较累赘了，从算法效率来看应该去掉，但最后却保留在了系统里，因为其他工程师会觉得那是他们做了几年的东西，如果整个去掉就是否定了他们的工作成果，对于这个现象您怎么看？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E就是说技术更新换代，可能会……\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E遇到这种非技术的阻力。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E知乎基本不存在这个问题。其实不光是我们团队内，也包括我们这个团队和其他技术团队之间的沟通，或者说我们这个技术团队和业务团队之间的沟通，大家在做事情的时候其实还是会以最后的效果为目标，很少遇到这种非技术的、或者纯粹从这种抢事儿或者划地盘这种方面来的阻力。 \u003C\u002Fp\u003E\u003Cp\u003E我觉得做数据的同学，最后都会有一个比较强的 sense，就是数据驱动。如果最后拿不出明确的数据来支持你的观点的话，那这种吵架，或者说抬杠，其实都没有意义。在知乎我们还是比较倾向于用这种方式去做沟通和交流的，以最后客观的标准去看哪种技术，或者说哪种方案会更好一点。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E在最后能不能给年轻人一些建议，尤其是对未来想要应聘机器学习岗位的博士生或者硕士生？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E我觉得对于一个机器学习工程师来讲，工程能力和对机器学习理论的理解能力，这两个方面其实是不可偏废的。工程能力，或者说架构能力，可以使你的做事效率有一个质的提升。比如说做机器学习的工程师，肯定是会遇到很多实验的，需要收集数据、采集各种各样的特征，这个时候，你的工程能力，包括我刚才提到的架构决定了你迭代的快慢，或者说你把你自己的想法去实现出来这样一个快慢。这是工程能力提升了之后能够给你带来好处。 \u003C\u002Fp\u003E\u003Cp\u003E另外一个是在机器学习理论方面的能力。现在我们开源的库或者包其实都很多了，很多同学会觉得，我能够在数据上面跑出来结果那就 OK 了，我不需要关注它里面是什么样的，这其实是一个误区。如果你对它的理论基础没有一个清晰的认识的话，你是不知道怎么去对它做优化的。 \u003C\u002Fp\u003E\u003Cp\u003E比如说举一个最简单的一个例子：线性模型和非线性模型的选择。这个时候你需要知道 LR 是一个广义线性模型的然后 GBDT 是一个 tree based 的非线性模型，它能够对特征进行非线性划分。在不同的场景下面，特征对最后的目标的贡献，可能是线性的，也可能是非线性的，如果你不知道这个的话，对于模型的效果就没法去做提升了。这个是对知识和技术层面的一个考量。 \u003C\u002Fp\u003E\u003Cp\u003E对于在校的同学，其实还是建议大家能够多去做一些实践，包括利用自己的寒暑假或者是闲暇的时间去实习，或者说去参加一些竞赛，比如说我们的知乎机器学习挑战赛。现在来讲，工业界用的数据和很多实验室的数据还是有挺大的不同的，公司做事情的方式和在实验室做事情方式也很不一样。如果能有一些实践的经验，这对你今后的帮助是很大的，它可以让你很快地去适应这种公司的节奏或者是方式。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E杨润琦：\u003C\u002Fb\u003E实践上您刚才提到了可以通过实习或者比赛来证明，那么在求职应聘的时候，应该怎么样凸现自己理论方面的能力？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E张瑞：\u003C\u002Fb\u003E一般来讲最好是你的简历能够引导你的面试官去问你一些你比较擅长的问题，或者说是能够展现你的亮点的问题。这个一方面是你过去做的一些事情，包括你的实践经历，另一方面可能还会有你的 GitHub，你之前整理的一些技术博客或者文档，这些东西都能很好地体现你过去所做的事情和掌握的知识。其实我接到简历里面，很多同学都会有自己的 GitHub 地址，有的同学确实也实现出来很漂亮的代码，我每次筛简历遇到都会很认真地去看。 \u003C\u002Fp\u003E\u003Cp\u003E另外如果想要展示你知识的扎实，那么对于所有你做过的东西里面涉及到的基础知识是需要有一个很好的掌握的。举一个例子，比如说做文本相关性的，多多少少的都会接触到 word embedding，很多人只是说我拿 word embedding 来简单地用一下，但如果你对它有一个比较扎实深入的了解的话，其实是能够为面试官带来很多不一样的感受。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事AI领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入PaperWeekly的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-08-01T02:35:38.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":17,"state":"published","isLiked":false,"slug":"28231483","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-01T10:35:38+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28231483\u002Fcomments"},"url":"\u002Fp\u002F28231483","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-0400e9992370ab72d6903c853b013922_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F28231483","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":17},"28847070":{"title":"Fashion-MNIST：替代MNIST手写数字集的图像数据集","author":"zhang-jun-87-61","content":"\u003Cp\u003E\u003Cb\u003E作者丨肖涵\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E单位丨德国Zalando旗下研究部门资深科学家\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E学校丨德国慕尼黑工业大学计算机博士\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E研究方向丨深度学习在产品搜索中的应用\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003EFashionMNIST 是一个替代 \u003Ca href=\"http:\u002F\u002Fyann.lecun.com\u002Fexdb\u002Fmnist\u002F\"\u003EMNIST 手写数字集\u003C\u002Fa\u003E的图像数据集。 它是由 Zalando（一家德国的时尚科技公司）旗下的研究部门提供。其涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。\u003C\u002Fp\u003E\u003Cp\u003EFashionMNIST 的大小、格式和训练集\u002F测试集划分与原始的 MNIST 完全一致。60000\u002F10000 的训练测试数据划分，28x28 的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，\u003Cb\u003E且不需要改动任何的代码\u003C\u002Fb\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E这个数据集的样子大致如下（每个类别占三行）：\u003C\u002Fp\u003E\u003Cimg src=\"v2-2eef619bec492f9c054b22c8f0bafcc9.webp\" data-rawwidth=\"840\" data-rawheight=\"840\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-e01f2e544127858777a7290687a36be3.gif\" data-rawwidth=\"350\" data-rawheight=\"245\" data-thumbnail=\"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-e01f2e544127858777a7290687a36be3_b.jpg\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. 为什么要做这个数据集？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fyann.lecun.com\u002Fexdb\u002Fmnist\u002F\"\u003E经典的 MNIST 数据集\u003C\u002Fa\u003E包含了大量的手写数字。十几年来，来自机器学习、机器视觉、人工智能、深度学习领域的研究员们把这个数据集作为衡量算法的基准之一。你会在很多的会议，期刊的论文中发现这个数据集的身影。实际上，MNIST数据集已经成为算法作者的必测的数据集之一。有人曾调侃道：\u003Ci\u003E\"如果一个算法在MNIST不work，那么它就根本没法用；而如果它在MNIST上work，它在其他数据上也可能不work\"\u003C\u002Fi\u003E。 \u003C\u002Fp\u003E\u003Cp\u003EFashion-MNIST 的目的是要成为 MNIST 数据集的一个直接替代品。作为算法作者，你不需要修改任何的代码，就可以直接使用这个数据集。Fashion-MNIST 的图片大小，训练、测试样本数及类别数与经典 MNIST \u003Cb\u003E完全相同\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E写给专业的机器学习研究者 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们是认真的。取代 MNIST 数据集的原因由如下几个： \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EMNIST 太简单了，很多算法在测试集上的性能已经达到 99.6%！不妨看看我们\u003Ca href=\"http:\u002F\u002Ffashion-mnist.s3-website.eu-central-1.amazonaws.com\u002F\"\u003E基于 scikit-learn 上的评测\u003C\u002Fa\u003E和\u003Ca href=\"https:\u002F\u002Fgist.github.com\u002Fdgrtwo\u002Faaef94ecc6a60cd50322c0054cc04478\"\u003E这段代码\u003C\u002Fa\u003E。大多数 MNIST 只需要一个像素就可以区分开；\u003C\u002Fli\u003E\u003Cli\u003EMNIST 被用烂了。参考下图，Ian Goodfellow 希望人们不要再用 MNIST 了；\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-ee95fa10838de8632bd3ed9f6df1f181.webp\" data-rawwidth=\"1178\" data-rawheight=\"730\"\u003E\u003Cul\u003E\u003Cli\u003EMNIST 数字识别的任务不代表现代机器学习。如下图，在 MNIST 上的想法没法迁移到真正的机器视觉问题上。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-ee8267df1851af7a0eb04d32174a70b4.webp\" data-rawwidth=\"1184\" data-rawheight=\"646\"\u003E\u003Cp\u003E\u003Cb\u003E2. 获取数据\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E你可以使用以下链接下载这个数据集。Fashion-MNIST 的数据集的存储方式和命名与\u003Ca href=\"http:\u002F\u002Fyann.lecun.com\u002Fexdb\u002Fmnist\u002F\"\u003E经典 MNIST 数据集\u003C\u002Fa\u003E完全一致。\u003C\u002Fp\u003E\u003Cimg src=\"v2-5cec0f006ab5fd889e9e6e42707d49d2.webp\" data-rawwidth=\"1390\" data-rawheight=\"420\"\u003E\u003Cp\u003E或者，你可以直接克隆这个代码库。数据集就放在 \u003Cb\u003Edata\u002Ffashion\u003C\u002Fb\u003E 下。这个代码库还包含了一些用于评测和可视化的脚本。 \u003C\u002Fp\u003E\u003Cimg src=\"v2-b1cfaf34a20c5bfa9f7ca60c27b69993.webp\" data-rawwidth=\"1016\" data-rawheight=\"100\"\u003E\u003Cp\u003E\u003Cb\u003E类别标注\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E每个训练和测试样本都按照以下类别进行了标注：\u003C\u002Fp\u003E\u003Cimg src=\"v2-b53a3f1ebff5bdf3dff51ad73c3c5f1f.webp\" data-rawwidth=\"548\" data-rawheight=\"836\"\u003E\u003Cp\u003E\u003Cb\u003E3. 如何载入数据？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E使用 Python（需要安装 NumPy）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E你可以直接使用 \u003Cb\u003Eutils\u002Fmnist_reader\u003C\u002Fb\u003E： \u003C\u002Fp\u003E\u003Cimg src=\"v2-277ab3d2d34999593e2f83c69899c581.webp\" data-rawwidth=\"1240\" data-rawheight=\"178\"\u003E\u003Cp\u003E\u003Cb\u003E使用 Tensorflow\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-17079afdfc8e051686c3aa116d8a986a.webp\" data-rawwidth=\"1016\" data-rawheight=\"218\"\u003E\u003Cp\u003E\u003Cb\u003E使用其他的语言\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E作为机器学习领域里最常使用的数据集，人们用各种语言为 MNIST 开发了很多载入工具。有一些方法需要先解压数据文件。\u003Cb\u003E注意，我们并没有测试过所有的载入方法，载入方法获取方式详见文末。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EC\u003C\u002Fli\u003E\u003Cli\u003EC++\u003C\u002Fli\u003E\u003Cli\u003EJava\u003C\u002Fli\u003E\u003Cli\u003EPython\u003C\u002Fli\u003E\u003Cli\u003EScala\u003C\u002Fli\u003E\u003Cli\u003EGo\u003C\u002Fli\u003E\u003Cli\u003EC#\u003C\u002Fli\u003E\u003Cli\u003ENodeJS\u003C\u002Fli\u003E\u003Cli\u003ESwift\u003C\u002Fli\u003E\u003Cli\u003ER\u003C\u002Fli\u003E\u003Cli\u003EMatlab\u003C\u002Fli\u003E\u003Cli\u003ERuby\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cb\u003E4. 评测\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们使用 \u003Cb\u003Escikit-learn\u003C\u002Fb\u003E 做了一套自动评测系统。它涵盖了除深度学习之外的 125 种经典机器学习模型（包含不同的参数）。你可以在这里\u003Ca href=\"http:\u002F\u002Ffashion-mnist.s3-website.eu-central-1.amazonaws.com\u002F\"\u003E以互动的方式查看结果\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E你可以运行 \u003Cb\u003Ebenchmark\u002Frunner.py\u003C\u002Fb\u003E 对结果进行重现。而我们更推荐的方法是使用 Dockerfile 打包部署后以 Container 的方式运行。\u003C\u002Fp\u003E\u003Cp\u003E我们欢迎你提交自己的模型评测，请使用 Github 新建一个 Issue。如果你提交自己的模型，请先确保这个模型没有在这个\u003Ca href=\"http:\u002F\u002Ffashion-mnist.s3-website.eu-central-1.amazonaws.com\u002F\"\u003E列表\u003C\u002Fa\u003E中被测试过。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5. 数据可视化\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003Et-SNE 在 Fashion-MNIST（左侧）和经典 MNIST 上的可视化（右侧）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-7f6fdd317c3a1c97ce3f1b71598faee5.webp\" data-rawwidth=\"1798\" data-rawheight=\"828\"\u003E\u003Cp\u003E\u003Cb\u003EPCA 在 Fashion-MNIST（左侧）和经典 MNIST 上的可视化（右侧）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-2f22a92d25fb78eadc752e2408eb3019.webp\" data-rawwidth=\"1796\" data-rawheight=\"848\"\u003E\u003Cp\u003E\u003Cb\u003E6. 在论文中引用 Fashion-MNIST\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果你在你的研究工作中使用了这个数据集，欢迎你引用这篇论文：\u003C\u002Fp\u003E\u003Cblockquote\u003EFashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms. Han Xiao, Kashif Rasul, Roland Vollgraf. arXiv: TBA\u003C\u002Fblockquote\u003E\u003Cp\u003E这篇论文将在 Mon, 28 Aug 2017 00:00:00 GMT 发表在 arXiv 上。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E欢迎点击查看数据集完整说明文档和作者论文：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fzalandoresearch\u002Ffashion-mnist\u002Fblob\u002Fmaster\u002FREADME.zh-CN.md\"\u003EFashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-08-28T06:15:16.000Z"),"canComment":false,"commentPermission":"review","commentCount":2,"likeCount":123,"state":"published","isLiked":false,"slug":"28847070","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-28T14:15:16+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28847070\u002Fcomments"},"url":"\u002Fp\u002F28847070","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-758f60d912023144e685f8c46d6bfd85_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F28847070","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":123},"29094872":{"title":"社区，从Paper开始，但远不止Paper","author":"zhang-jun-87-61","content":"\u003Cp\u003E2015 年年底我开发过一个在线 paper 推荐系统 —— rsarXiv，专门帮助刷arXiv的童鞋推荐一些新的、相关度高的 paper。当时为了方便大家使用，还专门自学了 Swift，做了个 iOS 的 App。 \u003C\u002Fp\u003E\u003Cp\u003E基于相似度地推荐并不难，根据用户感兴趣的 paper，做一些话题抽取，然后从新的 paper 中帮用户过滤出相关 paper。相关度可以很容易保证，但 paper 的质量很难保证，毕竟 arXiv 上的 paper 良莠不齐，如果你通过人为增加一些约束，比如一些牛逼的作者，比如标题长度来假装提升推荐内容的质量，其实会错过很多不错的 paper。 \u003C\u002Fp\u003E\u003Cp\u003E如果没有经过一层人工筛选或者社会化的人工筛选，内容都通过爬虫获得，量虽然很大，但质却差太多了。推荐系统的核心用途是帮助大家过滤信息，让更加相关的内容呈现在用户面前，但如果呈现出来的都是一些类似“属龙的今年如果……”和“胃癌的几个征兆”等等类似标题十分吓人却没什么用的内容，我不认为这也产生了价值。 \u003C\u002Fp\u003E\u003Cp\u003E对于 AI 内容来说，我们常常可以看到每天都会发生很多的“重磅新闻”，“Yann LeCun 都看的课程，你不来看看？”“斯坦福最新研究成果机器将会自动生成 SQL 语句”，从这些标题中我看出了一丝豆瓣【八卦来了】小组的意思，其实阅读量和真的有价值并不划等号。 \u003C\u002Fp\u003E\u003Cp\u003E我们希望做一家专业的学术社区，所产生的内容都来自专业的人，不管是所推荐的 paper，还是 paper 的解读，或者是对一些话题的讨论，开源代码。以公号和社群为起点，将专业的精神和氛围传递到全新的社区中。 \u003C\u002Fp\u003E\u003Cp\u003E关于社区和社交网络两个产品形态，我个人的理解是前者通过内容和话题来吸引一批志同道合的人，一起共同生产出更多好的内容，并且不断向外辐射；后者通过人与人之间的关系，形成一个人脉网络，可以关注自己感兴趣的用户的内容。前者对内容地关注、呈现远远强于对人的关注，后者更加强调人与人之间的关系。\u003C\u002Fp\u003E\u003Cp\u003EPaperweekly社区的出发点是让大家更容易地发现好的学术内容，认识更多的同行，在一个专业的氛围中产生出更多高质量的内容，分享给更多的人。 \u003C\u002Fp\u003E\u003Cp\u003E刚刚上线的这个版本，我们开发了几个功能，其中一个最基础的功能是将你正在读或者读过的好 paper 分享出来，推荐到社区里，同时配上一个铿锵有力的推荐理由，让大家通过点赞和踩的方式决定你推荐来的 paper 是否真的值得读，真正的好 paper 就会被广泛传播。\u003C\u002Fp\u003E\u003Cp\u003E如果你认为自己的 paper 是篇好工作，那么我们也非常欢迎你推荐过来，讲一讲你的创新点和 trick，让专业的读者来一起 review 下你的工作，如果大家都非常推崇你的工作，我想一个在线的直播活动将会为你的工作带来更多的关注，同时让感兴趣的同学可以和你进行更加充分的交流。 \u003C\u002Fp\u003E\u003Cp\u003E为此，我们发起一个活动。\u003C\u002Fp\u003E\u003Cimg src=\"v2-8d315c12e367eca8f7275bdf0ac6d74c.jpg\" data-rawwidth=\"1500\" data-rawheight=\"842\"\u003E\u003Cp\u003E\u003Cb\u003E论文推荐奖励计划是什么？\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003E论文推荐奖励计划由 PaperWeekly 官方运营，我们希望每位参与论文推荐的同学，不仅能收获点赞、收藏、关注和评论，还能得到额外激励。当然，我们也期待能有更多用户亲自参与论文分享，让知识真正流动起来。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E奖项设置有哪些？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E• 高产奖励：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E每周根据推荐论文数量、点赞数、评论数，评选出当周活跃度最高的同学。  \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E奖品设置：\u003C\u002Fb\u003EPaperWeekly 限定版卫衣  \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E• 最佳内容奖励：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly内容团队将根据论文质量评选出1-3篇“本周最佳论文”。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E奖品设置：\u003C\u002Fb\u003EPaperWeekly 独家“深度学习”主题贴纸 + 手机壳\u003C\u002Fp\u003E\u003Cp\u003E（注：上述奖项不可重复获得）  \u003C\u002Fp\u003E\u003Cp\u003E除了独家实物礼品，\u003Cb\u003E所有“最佳论文”都将入选 PaperWeekly 的王牌栏目“本周值得读”\u003C\u002Fb\u003E，通过 PaperWeekly 微信公众号、知乎专栏和新浪微博等渠道进行推送，让更多 AI 一线读者可以看到你的推荐。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E如何参与论文推荐奖励计划？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E• PaperWeekly 社区注册用户 \u003C\u002Fp\u003E\u003Cp\u003E• 已经在 PaperWeekly 社区推荐过至少一篇论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E推荐论文范围包括哪些？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E• 自然语言处理\u003C\u002Fp\u003E\u003Cp\u003E• 计算机视觉\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E活动什么时候开始？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E• 2017 年 9 月 5 日正式开始，活动长期有效 \u003C\u002Fp\u003E\u003Cp\u003E• 论文推荐提交时间为每周一至周日，PaperWeekly 将在每周结束后的 5 个工作日内进行内容审核和评选\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E如何知道是否获奖？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E• PaperWeekly 编辑团队将在你推荐的论文详情页发布获奖信息并通过邮件进行通知 \u003C\u002Fp\u003E\u003Cp\u003E• 收到获奖通知后，请添加微信号：PW-Assistant 确认奖品邮寄信息\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.paperweekly.site\u002F\"\u003E点击即可申请注册PaperWeekly社区\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E（建议使用PC端进行访问）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-06T01:30:02.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":43,"state":"published","isLiked":false,"slug":"29094872","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-06T09:30:02+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29094872\u002Fcomments"},"url":"\u002Fp\u002F29094872","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-bd4c88686949d62b43bf14df479f75cf_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29094872","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":43},"29169978":{"title":"机器给你划重点，听说很靠谱哦！—生成式关键短语识别 | 论文访谈间 #16","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E\u003Cb\u003E「论文访谈间」\u003C\u002Fb\u003E是由 PaperWeekly 和中国中文信息学会青工委联合发起的论文报道栏目，旨在让国内优质论文得到更多关注和认可。 \u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E论文作者 | Rui Meng, Sanqiang Zhao, Daqing He, Peter Brusilovsky, Yu Chi（匹兹堡大学）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E特约记者 | 钟世敏（西华大学）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E关键短语（关键词）是对一段长文本内容的高度摘要，往往只包含若干个词语。关键短语识别广泛的应用于信息检索，文本摘要，文本分类，观点挖掘等任务中。例如：信息检索任务中，需要提取搜索语句中的关键短语，再根据关键词及其扩展词汇进行检索。而在观点挖掘任务中往往需要发掘评论语句中的有用信息，简短精要的关键短语则能有效的概括文本中所隐藏的重点信息。\u003C\u002Fp\u003E\u003Cp\u003E传统的关键短语提取算法一般分为以下两步： \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EStep1:\u003C\u002Fb\u003E 首先得到一个候选关键短语列表。通常使用 n-grams 或者名词短语（通过 POS tagging+正则表达式匹配得到）作为候选短语。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EStep2:\u003C\u002Fb\u003E 计算每一个候选短语的重要度得分并取得分较高的候选短语作为关键短语。其中重要度的计算通常采用人工构造的特征结合有监督或者无监督的机器学习方法。\u003C\u002Fp\u003E\u003Cp\u003E而以上关键词提取方法往往存在 2 个重要问题，首先这种方法只能从原文中“挑词”，不能提取出那些没有完整的出现在源文本中的短语（absent keyphrase），因此许多关键词的同义或者近义表达都无法召回。\u003C\u002Fp\u003E\u003Cp\u003E下表给出了在四个公开数据集中 present keyphrase 与 absent keyphrase 出现的比例，可以看出 absent keyphrase 在真实数据中是十分常见的。\u003C\u002Fp\u003E\u003Cimg src=\"v2-3d8f4f539033a2634d1d41dfcd40aa34.jpg\" data-rawwidth=\"458\" data-rawheight=\"174\"\u003E\u003Cp\u003E其次在使用机器学习算法对关键短语进行重要度打分排序时，普通的基于统计的特征（比如 TF-IDF）并不能有效的反映文本的语义信息。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F1704.06879.pdf\"\u003EACL 2017 的文章——Deep Keyphrase Generation\u003C\u002Fa\u003E 提出了结合复制机制（copying mechanism）的 RNN 关键短语生成模型一定程度上解决了这些问题，模型分别在 6 个数据集上均取得了很好的效果。 \u003C\u002Fp\u003E\u003Cp\u003E接下来我们来看一下这篇文章的思路和模型框架。 \u003C\u002Fp\u003E\u003Cp\u003E不同于先前的抽取式方法，这篇文章将关键词识别定义为一个生成式问题，即在输出时将每一个关键短语也看做一个词序列（sequence of words）， 一个词一个词的生成。而sequence-to-sequence（seq2seq）learning正适合解决这样的端到端的学习。\u003C\u002Fp\u003E\u003Cp\u003E目前seq2seq只适用于单一序列到单一序列的学习，然而一段文本中会有好多个关键短语，因此在预处理过程中需要先将一个一对多的数据转化成多个一对一数据。\u003C\u002Fp\u003E\u003Cp\u003E模型采用了典型的 encoder-decoder 框架：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E•\u003C\u002Fb\u003E \u003Cb\u003EEncoder（a bidirectional RNN）：\u003C\u002Fb\u003E用 RNN 将源文本的语义信息压缩为一个 hidden vector，其中也使用了注意力机制。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E• Decoder（a forward RNN）：\u003C\u002Fb\u003E将 hidden vector 解压缩成关键序列，具体就是通过 beam search 生成一系列的关键词短语。不同于一般 seq2seq 应用中只关心一个得分最高的序列，这里在搜索过程中需要将得分最高的 k 个序列都保存下来。 \u003C\u002Fp\u003E\u003Cp\u003E以上就是 seq2seq 模型的基本构造。在一般的 RNN 模型中，为了控制参数数量以及保证词向量质量，通常只会考虑在数据中出现频率较高的词，将大量的长尾词替换为 unknown。因此很多重要的低频词汇并不会出现在词典中，模型也就不能生成包含这些词的序列。为了解决此问题作者引入了与注意力机制相类似的复制机制：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E• Copying Mechanism\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E在 RNN 之外引入一个 pointer network，去计算原文本中的每一个词应该被 copy 到输出的概率。在加入 copying mechanism 之后，每一个预测词 yt 的概率由两部分来决定，一部分是通过原模型框架 decoder 部分得到的预测词yt的生成概率，另一部分是从源文本中复制这个词的概率。\u003C\u002Fp\u003E\u003Cp\u003E详情请参考 Jiatao Gu 的 \u003Ci\u003EIncorporating Copying Mechanism in Sequence-to-Sequence Learning\u003C\u002Fi\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E实验部分，作者在大规模学术论文数据（已公开）上进行训练，分别在三个不同的任务上对模型（RNN，CopyRNN）做了评估： \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E• Predicting Present Keyphrase\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E为了与先前的抽取算法比较，限定 RNN 只输出在原文本中出现的关键短语（present keyphrase）。CopyRNN 大幅度优于 baselines 和 RNN 模型，表明拷贝机制在从原文中“抽取”关键词汇时起到了关键作用。\u003C\u002Fp\u003E\u003Cimg src=\"v2-1cf1f3f7cfefbb6fbc6254fc8f683093.jpg\" data-rawwidth=\"900\" data-rawheight=\"334\"\u003E\u003Cp\u003E\u003Cb\u003E• Predicting Absent Keyphrase\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个实验是看两个模型是否能够有效的“猜到”那些在原文中没有出现的关键短语。这里我们看到两个模型的性能差距小于上一个实验，但拷贝机制仍然有所贡献，可能是由于 absent Keyphrase 中的个别词也会出现在原文本中，拷贝机制可以作为额外的注意力增强这些词被预测的概率。\u003C\u002Fp\u003E\u003Cimg src=\"v2-026f1bc81c34d35a59cd9783e1def733.jpg\" data-rawwidth=\"402\" data-rawheight=\"218\"\u003E\u003Cp\u003E\u003Cb\u003E• Transferring the Model to News Domain\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E最后，由于本文模型都只是在学术文本上训练的，这里作者希望知道换到其他领域的文本（新闻，评论等）上模型是否还能很好的识别关键词。在新闻数据 DUC2001 上的实验结果显示 CopyRNN 在完全陌生的语料上仍能锁定部分关键词，其中包含许多人名地名等生僻词汇： \u003C\u002Fp\u003E\u003Cimg src=\"v2-6061041acde5bc7300714cda12a195fb.jpg\" data-rawwidth=\"445\" data-rawheight=\"162\"\u003E\u003Cp\u003E\u003Cb\u003E对话作者\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E很久之前就关注过关键词识别问题（一直做 Information Science，所以经常接触学术数据），但一直没有想到好的方法去改进。直到 15 年看到 FAIR 的那篇 Abstractive Sentence Summarization，意识到关键词其实也是一个个短摘要，也许也能够通过类似的生成式方法去实现。\u003C\u002Fp\u003E\u003Cp\u003E然后就开始漫长的抓数据、做实验、写paper的过程。在做了半年多后才第一次看到相对靠谱的输出结果，在这之前对于这个方法是不是走得通其实是完全没有底气。最后结果还不错，更开心的是在做的过程中学习到了很多，希望这个故事能给科研同僚们一丝激励。\u003C\u002Fp\u003E\u003Cp\u003E最后关于关键短语识别这个任务，感觉可以提升的空间还很大（F-score 最高还不到 0.35），也有非常多的问题和应用等待解决，希望有兴趣的童鞋可以一起行动起来。\u003C\u002Fp\u003E\u003Cp\u003E欢迎点击查看论文：\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F1704.06879.pdf\"\u003EDeep Keyphrase Generation\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于中国中文信息学会青工委\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E中国中文信息学会青年工作委员会是中国中文信息学会的下属学术组织，专门面向全国中文信息处理领域的青年学者和学生开展工作。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-179b46187b4940a99510b731c53c0ee5.jpg\" data-rawwidth=\"600\" data-rawheight=\"275\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-08T06:48:26.000Z"),"canComment":false,"commentPermission":"review","commentCount":1,"likeCount":8,"state":"published","isLiked":false,"slug":"29169978","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-08T14:48:26+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29169978\u002Fcomments"},"url":"\u002Fp\u002F29169978","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-43cbbcb0443e90335597a21010e3c6aa_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29169978","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":8},"29539532":{"title":"让机器听懂你的意图：首届中文人机对话技术评测用户意图领域分类比赛参赛历程","author":"zhang-jun-87-61","content":"\u003Cp\u003E作者丨唐杰聪\u003C\u002Fp\u003E\u003Cp\u003E单位丨华南农业大学硕士生\u003C\u002Fp\u003E\u003Cp\u003E研究方向丨NLP，机器学习\u003C\u002Fp\u003E\u003Cp\u003E指导老师丨黄沛杰副教授\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. 前言\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E近年来，人机对话技术，也称为口语对话系统（spoken dialogue system，SDS）受到了学术界和产业界的广泛关注。在第六届全国社会媒体处理大会（SMP 2017）上，由中国中文信息学会社会媒体处理专委会主办，哈尔滨工业大学和科大讯飞股份有限公司承办的 SMP 2017 中文人机对话技术评测（ECDT），为人机对话技术相关的研发人员提供了一个良好的沟通平台。 \u003C\u002Fp\u003E\u003Cp\u003E我们\u003Cb\u003E华南农业大学口语对话系统研究室（scau_SIGSDS）\u003C\u002Fb\u003E参加了这次评测的用户意图领域分类任务。主办方根据是否仅允许使用其提供的评测数据进行训练和开发分为封闭式和开放式两项评测。在最后的评测测试中，我们的系统取得了\u003Cb\u003E封闭式和开放式两项第一名\u003C\u002Fb\u003E。单项（封闭式和开放式）比赛前三名的结果如下所示。前十名平均评测 F 值分别是 0.8993（开放式）和 0.8995（开放式）。详细的比赛结果可见官方发布的\u003Cb\u003E排行榜\u003C\u002Fb\u003E[1]。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E封闭式评测\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-d1cd8bc28bf87247d73c742df31742fd.jpg\" data-rawwidth=\"590\" data-rawheight=\"208\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E开放式评测\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-fa27a0d39ebc8158653f56de9bc37b74.jpg\" data-rawwidth=\"590\" data-rawheight=\"263\"\u003E\u003Cp\u003E口语语言理解（spoken language understanding, SLU）是 SDS 中的重要环节，而话语领域分类（domain classification）则是 SLU 的关键任务之一[2]。话语领域分类的任务是把话语划分到定义好的不同领域标签[3]，进而将话语正确地分进不同的 SLU 子系统。如用户提出“帮我写一封邮件”，系统则应该将其划分到“邮件”领域之中，对该话语进行专门针对“邮件”领域的语言理解。\u003C\u002Fp\u003E\u003Cp\u003E由于口语对话具有长度短小的特点，领域分类通常会被看作是短文本分类。早期的领域分类多采用较为复杂的人工特征，如语法信息、韵律信息、词汇信息等[4][5]，分类模型采用传统的统计学习模型，如随机森林、隐马尔科夫、条件随机场等。\u003C\u002Fp\u003E\u003Cp\u003E深度学习流行以来，许多研究者开始用深度学习方法解决自然语言处理（natural language processing, NLP）任务，许多任务得到了长足的发展，也包括了领域分类[3][6][7]。代表性的模型包括了深度置信网络（deep belief network, DBN）、卷积神经网络（convolutional neural networks, CNN）和长短期记忆网络（long and short-term memory, LSTM）等。 \u003C\u002Fp\u003E\u003Cp\u003E我们也采用了 LSTM 分类模型，并针对样本训练集数量有限的特点，采用基于数据的领域关键词提取算法以及构建外部领域知识表（在开放式评测中），进一步提升领域分类效果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. 方案及结果\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E任务概述\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E用户意图领域分类比赛数据集包含 31 个话语类别，包括聊天类（chat）和垂类（30 个垂直领域）。任务很明确，就是正确地将用户的输入话语分类到相应的领域中，如：\u003C\u002Fp\u003E\u003Cimg src=\"v2-27d34652e5518d01e5fb9f244bf5a75c.jpg\" data-rawwidth=\"747\" data-rawheight=\"200\"\u003E\u003Cp\u003E\u003Cb\u003E特征表达和模型选择 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们尝试了多种特征表达方式，包括 BOW、onehot、词向量等，并对比了随机森林、CNN、LSTM 等分类模型。为了方便，在验证和开发我们采用了正确率的评价指标。\u003C\u002Fp\u003E\u003Cp\u003E通过十折交叉验证，我们发现采用词向量（由 1.5G 微博数据训练）特征表达以及 LSTM 模型的 31 分类器取得了最佳的验证结果，分类正确率达到 91.38%。在进一步增加到 10G 微博数据训练词向量并结合词汇分类体系（如 Hownet）进行词语向量表达修正后分类正确率达到 91.73%。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E基于LSTM的领域分类\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003E相比于 CNN，循环神经网络（Recurrent Neural Networks, RNN）有利于学习到句子中字词间的长距离依赖关系，但存在梯度消失\u002F发散问题。目前常用的是 RNN 的一些变体，如 LSTM、GRU（Gated Recurrent Unit）等，他们通过门控机制很大程度上缓解了 RNN 的梯度消失问题，并防止梯度发散。 \u003C\u002Fp\u003E\u003Cp\u003E我们在给定数据集上验证了不同 RNN 变体的领域分类效果，包括普通的 LSTM、GRU 以及带隐层的 LSTM。而他们的验证分类正确率分别是 91.73%、91.91%、92.04%。因此，我们选择了在正确率上略有优势的带隐层的 LSTM。 \u003C\u002Fp\u003E\u003Cp\u003E在开发集做预测时，我们采用最佳 10 折交叉验证的超参数组合的 10 个模型进行集成投票，正确率达到 92.22%。然而，在对模型结果的 badcase 分析时，我们依然发现了一些在人看来类别显而易见的样例被模型错分。这主要是由于数据量的不足引起的，一些具有分类作用的特征字词组合无法在模型中起足够的作用。\u003C\u002Fp\u003E\u003Cp\u003E针对这个问题，在技术架构中，我们在 LSTM 分类器前面增加一个基于领域关键词的领域识别模块，并针对开放式测试额外添上了基于领域知识表的领域识别模块。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E基于领域关键词的领域识别 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E对于封闭式评测，我们采用了基于数据的领域关键词提取算法，通过对训练集和开发集进行统计，抽取足够置信度和支持率的 2 和 3 字“词”构成的领域关键词表。对于开放式评测，我们进一步结合人工知识扩展了领域关键词表，增添了主办方提供的原始数据以外的领域关键词。在开发集上的测试表明，分类正确率由之前的 92.22% 分别提升到 92.74%（封闭式）和 92.87%（开放式）。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E基于领域知识表的领域识别\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003E对于开放式评测，通过分析领域话语特点，我们针对若干个领域（如health），结合外部信息构建了领域知识表（如疾病名列表）。通过基于领域知识表的领域识别，开发集上的测试结果进一步提升到了 93%。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3. 参考文献\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E[1] http:\u002F\u002Fir.hit.edu.cn\u002FSMP2017-ECDT-RANK \u003C\u002Fp\u003E\u003Cp\u003E[2] Tur G, Deng L, Hakkani-Tür D, et al. Towards deeper understanding: Deep convex networks for semantic utterance classification[C]\u002F\u002F Proceedings of the 37th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), 2012:5045-5048.\u003C\u002Fp\u003E\u003Cp\u003E[3] Ravuri S, Stolcke A. A comparative study of recurrent neural network models for lexical domain classification C]\u002F\u002F Proceedings of the 41th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2016), 2016: 6075-6079. \u003C\u002Fp\u003E\u003Cp\u003E[4] Haffner P, Tur G, Wright J H. Optimizing SVMs for complex call classification[C]\u002F\u002F Proceedings of the 28th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), 2003: I-632-I-635. \u003C\u002Fp\u003E\u003Cp\u003E[5] Chelba C, Mahajan M, Acero A. Speech utterance classification[C]\u002F\u002F Proceedings of the 28th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), 2003:I-280-I-283. \u003C\u002Fp\u003E\u003Cp\u003E[6] Sarikaya R, Hinton G E, Deoras A. Application of deep belief networks for natural language understanding[J]. IEEE\u002FACM Transactions on Audio Speech &amp; Language Processing, 2014, 22(4):778-784. \u003C\u002Fp\u003E\u003Cp\u003E[7] Ravuri S, Stoicke A. A comparative study of neural network models for lexical intent classification[C]\u002F\u002F Proceedings of the 2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU 2015), 2015: 368-374.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：PaperWeekly \u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-21T06:21:07.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":10,"state":"published","isLiked":false,"slug":"29539532","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-21T14:21:07+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29539532\u002Fcomments"},"url":"\u002Fp\u002F29539532","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-3e0dee93615f84ba885390431735d4ae_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29539532","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":10},"29791260":{"title":"大家心目中的这些「优质」论文，你读过几篇？| PaperDaily #01","author":"zhang-jun-87-61","content":"\u003Cp\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。\u003C\u002Fp\u003E\u003Cp\u003E在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 自然语言处理 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. Sequence Level Training with Recurrent Neural Networks\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@cosmmb 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#recurrent neural networks\u003C\u002Fp\u003E\u003Cp\u003E现在的 neural-based 的机器翻译在 decoder 端，training 和 testing 在生成机制上存在一定的 disagreement。\u003C\u002Fp\u003E\u003Cp\u003Edecoder 说 training time 的时候后是 local 的，比如说无论之前生成的字是什么 mode l都会用 ground truth 作为前一个字。而在 testing time 的时候是没有 ground truth 的，因此无法给出前应该正确生成的字，这就导致了 training 和 testing 的时候对前一个字的准确度的依赖程度不一样。\u003C\u002Fp\u003E\u003Cp\u003E如果 testing time 前一个字生产错误，这就导致了 training 时学习的 distribution 和此时不一致而导致未知的后果。这篇文章就是为了统一 training 和 testing 的生成模式。 \u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F785\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@geledek 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#question answering\u003C\u002Fp\u003E\u003Cp\u003E这是一篇相当经典的 Siamese 网络模型，类似架构可以通过改变左右两边的网络结构而适用于各种 task。\u003C\u002Fp\u003E\u003Cp\u003E如果把右侧网络输入换成 Label，则可以用于实现：http:\u002F\u002Fyann.lecun.com\u002Fexdb\u002Fpublis\u002Fpdf\u002Flecun-06.pdf.\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F775\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3. Generating Sentences by Editing Prototypes\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@paperweekly 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#natural language generation\u003C\u002Fp\u003E\u003Cp\u003E本文提出了一种新的文本生成模型，即先从大量的语料中学习生成出一个原型句子，然后再次编辑原型句子而形成最后的句子。相对传统的 left-to-right beam search，本文提出的 prototype-then-edit 生成的句子质量更高。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F786\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 计算机视觉 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@ailingzeng 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#motion estimation\u003C\u002Fp\u003E\u003Cp\u003ECVPR 2017：多人姿态实时估计，这里主要亮点还是多人实时+效果.本文算法主要流程如下：输入一幅图像，经过卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用 CNN 网络提取 Part Confidence Maps 和 Part Affinity Fields ，得到这两个信息后，我们使用图论中的 Bipartite Matching 将同一个人的关节点连接起来得到最终的结果。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F784\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5. In Defense of the Triplet Loss for Person Re-Identification\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Molly 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#question answering\u003C\u002Fp\u003E\u003Cp\u003E对 triplet loss 的一个讨论，里面的 batch hardmining 非常好用。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F787\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 机器学习 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E6. Graph Regularized Non-negative Matrix Factorization for Data Representation\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@jindongwang 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#matrix factorization\u003C\u002Fp\u003E\u003Cp\u003E数据表示领域的经典文章，讨论用图正则化和矩阵分解的方式来表示数据。可以应用到很多方向的研究中。 第一作者是大牛、浙江大学 Deng Cai 老师，Jiawei Han 是共同作者。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F781\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，点击「阅读原文」即刻加入社区！\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-29T09:59:40.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":25,"state":"published","isLiked":false,"slug":"29791260","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-29T17:59:40+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29791260\u002Fcomments"},"url":"\u002Fp\u002F29791260","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-068828bc31ffdd296d13a54ff153c06a_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29791260","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":25},"29813466":{"title":"“Paper + Code”才是研读论文的正确姿势 | PaperDaily #02","author":"zhang-jun-87-61","content":"\u003Cp\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。\u003C\u002Fp\u003E\u003Cp\u003E在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 机器学习 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. Neural Factorization Machines for Sparse Predictive Analytics\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@somtian 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#factorization machine\u003C\u002Fp\u003E\u003Cp\u003E将推荐系统中的 FM 模型通过神经网络进行解释和建模，考虑了所有特征表示向量之间的 pair-wise 交互关系。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F792\u003C\u002Fp\u003E\u003Cp\u003E代码链接：http:\u002F\u002Fgithub.com\u002Fhexiangnan\u002Fneural_factorization_machine\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 自然语言处理 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. Long Text Generation via Adversarial Training with Leaked Information\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Maniac 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#GAN\u003C\u002Fp\u003E\u003Cp\u003EBLEU score 相比 AAAI17 的 seqGAN 有大幅度的提升。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F771\u003C\u002Fp\u003E\u003Cp\u003E代码链接：https:\u002F\u002Fgithub.com\u002FCR-Gjx\u002FLeakGAN\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3. Neural Architectures for Named Entity Recognition\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@yanyu 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#NER\u003C\u002Fp\u003E\u003Cp\u003E本文主要介绍两个处理命名实体的方法。一种是 bidirectional LSTMs + crf，一种是 transition-based。 前者已经衍生出了很多改进方法，比如输入字级别的，增加 attention。最重要的该 paper 放出了代码。大家可以进行参考。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F714\u003C\u002Fp\u003E\u003Cp\u003E代码链接：https:\u002F\u002Fgithub.com\u002FZhixiuYe\u002FNER-pytorch\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4. VSE++: Improved Visual-Semantic Embeddings\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@gujiuxiang 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#word embeddings\u003C\u002Fp\u003E\u003Cp\u003EUnlike the original paper uses the rank loss which computes the sum of violations across the negative training examples. Instead, they penalize the model according to the hardest negative examples.\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F649\u003C\u002Fp\u003E\u003Cp\u003E代码链接：https:\u002F\u002Fgithub.com\u002Ffartashf\u002Fvsepp\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 计算机视觉 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5. Deep Convolutional Neural Networks with Merge-and-Run Mappings\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@yijizhao 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#ResNet\u003C\u002Fp\u003E\u003Cp\u003E1. 对比 ResNet，从网络宽度角度探索网络结构；2. 深度融合网络；3. Merge-and-Run 结构去除 ResNets 极深的那一条线路；4. 深层数对网络本身性能的提升不是最关键的，从增加模型的潜在网络数目（Ensemble Size）角度思考网络结构。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F766\u003C\u002Fp\u003E\u003Cp\u003E代码链接：https:\u002F\u002Fgithub.com\u002Fzlmzju\u002Ffusenet\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E6. SphereFace - Deep Hypersphere Embedding for Face Recognition\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@guuker 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#face recognition\u003C\u002Fp\u003E\u003Cp\u003E对作者自己论文 Large Margin Softmax 的改进，把最后一层的权重做了归一化。开源的代码非常扎实有参考性，在 LFW 和 MegaFace 任务上取得非常好的实践效果。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F611\u003C\u002Fp\u003E\u003Cp\u003E代码链接：https:\u002F\u002Fgithub.com\u002Fwy1iu\u002Fsphereface\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E7. Self-critical Sequence Training for Image Captioning\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@jamiechoi 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#image captioning\u003C\u002Fp\u003E\u003Cp\u003EIBM 的论文，使用 RL 来做 image caption，是当前imscoco 上 captioning leaderboard 的第五名，曾经第一名。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F697\u003C\u002Fp\u003E\u003Cp\u003E代码链接：https:\u002F\u002Fgithub.com\u002Fruotianluo\u002Fself-critical.pytorch\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，点击「阅读原文」即刻加入社区！\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-30T06:37:26.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":81,"state":"published","isLiked":false,"slug":"29813466","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-30T14:37:26+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29813466\u002Fcomments"},"url":"\u002Fp\u002F29813466","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-068828bc31ffdd296d13a54ff153c06a_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F29813466","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":81},"29988301":{"title":"这个小长假，你错过了哪些精彩论文？| PaperDaily #03","author":"zhang-jun-87-61","content":"\u003Cp\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。\u003C\u002Fp\u003E\u003Cp\u003E在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 自然语言处理 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EImproving Word Representations via Global Context and Multiple Word Prototypes\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@paperhwd 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Word Embeddings\u003C\u002Fp\u003E\u003Cp\u003E文章试图通过在《Natural Language Processing (Almost) from Scratch》的基础上进行改进，使得词向量富含更丰富的语义信息。第一个创新是使用全文信息辅助已有的局部信息，第二个创新是使用多个词向量来表示多义词。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F805\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ENeural Turing Machines\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Ttssxuan 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Neural Network Architectures\u003C\u002Fp\u003E\u003Cp\u003E通过使用注意力机制以及外部存储，扩展神经网络的能力，提出类似图灵机（Turing Machine）或冯诺尹曼机（Von Neumann）的系统 Neural Turing Machines (NTM)，NTM 与图灵机和冯诺尹曼机的主要区别在于，NTM 是端到端可微的，这样可能使用梯度下降有效的对 NTM 进行训练。 \u003C\u002Fp\u003E\u003Cp\u003E本文主要从读（Reading）、写（Writing）、寻址（Addressing Mechanisms）、主控网络（Controller Network），四个方面对 NTM 进行阐述。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E读：\u003C\u002Fb\u003E每步产生个权重向量，向量决定内存每一行权重，向量和内存结合得到读取结果。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E写：\u003C\u002Fb\u003E写由两部分组成，即：擦除（erase）和增强（add）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E寻址：\u003C\u002Fb\u003E本文提出基于内容寻址（content-based addressing）和基于位置寻址（location-based addressing）两种方式结合，形成 NTM 寻址方式。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E主控网络：\u003C\u002Fb\u003E主要使用了 LSTM 和 Feedforward 两种方式 论文使用 LSTM、NTM（LSTM 控制器）、NTM（Feedforward 控制器），进行了拷贝（Copy）、重复拷贝（Repeat Copy）、Associative Recall、Dynamic N-Grams、Priority Sort 等对比实验。 \u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F810\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EEffective Approaches to Attention-based Neural Machine Translation\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@zh794390558 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E# Neural Machine Translation\u003C\u002Fp\u003E\u003Cp\u003ELuong Attention，乘法 Attention，Bahdanau attention（加法）的变种。论文对 Attention 机制讲述清晰，比 Bhdanau 实现简单，对比了多种 score 的方法。语法简单，很值得看的一篇论文。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F806\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 计算机视觉 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ESpeed\u002Faccuracy trade-offs for modern convolutional object detectors\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Molly 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Object Detection\u003C\u002Fp\u003E\u003Cp\u003E对各种主流的目标检测网络进行比较（速度、正确率、大小）。 此前各模型的 base feature extractor、 图像像素、 平台都不同，不太好比较。文章给出了一个非常详尽的 Faster R-CNN， R-FCN， SSD 系统的性能比较。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F840\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EShow, Attend and Tell: Neural Image Caption Generation with Visual Attention\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@zh794390558 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Image Captioning\u003C\u002Fp\u003E\u003Cp\u003EAttention 在图像中的应用，15 年发表至今被引用上千次。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F812\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EPixelCNN++: Improving the PixelCNN with Discretized Logistic Mixture Likelihood and Other Modifications\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@sangiovese17 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Image Generation\u003C\u002Fp\u003E\u003Cp\u003E改进了 Pixel CNN 算法，假设像素点服从一种确定形式的混合分布，通过 CNN 做回归直接预测分布的参数，从而直接的到分布。生成时从预测的分布抽样。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F838\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 机器学习 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003Enode2vec: Scalable Feature Learning for Networks\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@YFLu 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Network Embedding\u003C\u002Fp\u003E\u003Cp\u003Enode2vec 是 16 年 KDD 的一个工作，论文提出了一种学习网络节点的特征表示的算法框架。论文定义了一个网络节点邻居的灵活概念，并设计了一个带偏置的随机游走过程来获得不同邻居节点。\u003C\u002Fp\u003E\u003Cp\u003E论文的亮点主要在：采用深度优先搜索（DFS）和宽度优先搜索（BFS）两种策略，随机游走生成节点的邻居节点集合。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F823\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EBilingual Word Embeddings from Parallel and Non-parallel Corpora for Cross-Language Text Classification\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@xk57238890 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Word Embeddings\u003C\u002Fp\u003E\u003Cp\u003E该文章介绍了一种建模多语言的段落向量（BRAVE）的模型，该模型通过句子对齐或者标签对齐可以学习词语的多语言分布式表示，从而可以支持多语言的文本分类。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F821\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，\u003C\u002Fb\u003E\u003Ca href=\"http:\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E\u003Cb\u003E！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E相关活动：不得不读的GAN  \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EGAN 是现在最热门的研究方向之一，那么到底有哪些 paper 是值得一读的？\u003C\u002Fp\u003E\u003Cp\u003E为此，我们将在 PaperWeekly 社区发起一次 \u003Ca href=\"http:\u002F\u002Fwww.paperweekly.site\u002Factivity\u002F3\"\u003EGAN专题论文推荐\u003C\u002Fa\u003E，欢迎大家一起参与推荐和 GAN 相关的论文。针对活动中出现的优质论文，我们将组织发起\u003Cb\u003E论文共读\u003C\u002Fb\u003E，由一名学术大咖为活动参与者进行在线论文解读。如果你推荐的论文被大家认可，获得了全场最高点赞数，我们将为你送出一份 \u003Cb\u003EPaperWeekly 神秘大礼包\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E活动时间：10 月 9 日-10 月 20 日\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E参与方式：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E\u003Ca href=\"http:\u002F\u002Fwww.paperweekly.site\u002Factivity\u002F3\"\u003E点击进入活动页面\u003C\u002Fa\u003E\u003C\u002Fli\u003E\u003Cli\u003E点击\u003Cb\u003E我要参加\u003C\u002Fb\u003E，页面右上角将会收到活动消息通知（需注册登录）\u003C\u002Fli\u003E\u003Cli\u003E点击网站右上方的\u003Cb\u003E推荐论文\u003C\u002Fb\u003E进行推荐\u003C\u002Fli\u003E\u003Cli\u003E或从\u003Cb\u003E今日arXiv\u003C\u002Fb\u003E右侧下载arXiv Paper推荐\u003Cb\u003E插件\u003C\u002Fb\u003E，即可进行一键推荐\u003C\u002Fli\u003E\u003Cli\u003E为了更好的使用体验，建议\u003Cb\u003E通过PC端访问网站\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cp\u003E*尚未注册PaperWeekly社区的用户请先申请注册。网站目前采用审核制注册，请如实填写个人信息，我们将在\u003Cb\u003E12小时内\u003C\u002Fb\u003E完成审核。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-10-10T06:30:40.000Z"),"canComment":false,"commentPermission":"review","commentCount":3,"likeCount":17,"state":"published","isLiked":false,"slug":"29988301","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-10-10T14:30:40+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29988301\u002Fcomments"},"url":"\u002Fp\u002F29988301","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F29988301","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":17},"30001156":{"title":"PaperWeekly社区的正确打开方式（视频）","author":"zhang-jun-87-61","content":"\u003Cp\u003E\u003C\u002Fp\u003E\u003Cvideo id=\"None\" data-swfurl=\"\" poster=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-b59b999db01a70c362859b73f166a0b0.jpg\" data-sourceurl=\"https:\u002F\u002Fwww.zhihu.com\u002Fvideo\u002F901166644582313984\" data-name=\"\" data-video-id=\"\" data-video-playable=\"true\" data-lens-id=\"901166644582313984\"\u003E\u003C\u002Fvideo\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-10-10T11:39:52.000Z"),"canComment":false,"commentPermission":"review","commentCount":1,"likeCount":18,"state":"published","isLiked":false,"slug":"30001156","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-10-10T19:39:52+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30001156\u002Fcomments"},"url":"\u002Fp\u002F30001156","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F30001156","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":18},"30503693":{"title":"提升效率必备，9 篇论文帮你积累知识点 | PaperDaily #06","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E[ 自然语言处理 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EMulti-Task Learning for Speaker-Role Adaptation in Neural Conversation Models\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@paperweekly 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Seq2Seq\u003C\u002Fp\u003E\u003Cp\u003E多任务学习是个非常流行的研究方法，本文针对对话生成任务，给出了一种 seq2seq+autoencoder 的多任务学习方案，取得了一定的效果。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F988\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ESupervised Speech Separation Based on Deep Learning - An Overview\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Synced 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Supervised Learning\u003C\u002Fp\u003E\u003Cp\u003E近年来，基于深度学习的监督语音分离发展很快。本文作者对今年相关研究进行概述，介绍了语音分离的背景、监督语音分离的形成和组成部分，从历史的角度叙述了监督语音分离的技术发展过程。本文对监督语音分离的概述还包括分离算法和泛化等问题。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F992\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EMulti-Task Label Embedding for Text Classification\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@jerryshi 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Text Classification\u003C\u002Fp\u003E\u003Cp\u003E本文不同于以为文本分类中对待标签或类别的方法，传统方式是对标签进行 one-hot 编码，而该文章的思路是对标签也进行语义表示，从而在标签间获得丰富的信息，以提高最终任务的效果。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F990\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 计算机视觉 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EVisDA: The Visual Domain Adaptation Challenge\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@corenel 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Domain Adaptation\u003C\u002Fp\u003E\u003Cp\u003Edomain adaption 领域的一个新的数据集，数据是从仿真到实物的，有分类任务与分割任务两个部分，比较贴近实际项目，值得在发新文章的时候作为实验之一。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F959\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EInterpreting CNN knowledge via an Explanatory Graph\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@AkiyamaYukari 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Knowledge Representation\u003C\u002Fp\u003E\u003Cp\u003E通过一个图模型来学习\u002F可视化已经训练好的卷积神经网络中的每一层（中层比较有价值）的每个滤窗（fliter）所学习到的图像特征，在可解释 AI 方面的新的一步。 是作者下一篇文章的铺垫。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F966\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully Convolutional Network\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@atomwh 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Medical Image Analysis\u003C\u002Fp\u003E\u003Cp\u003E本文提出了一种新的深度学习网络结构 ReLayNet，用于正常人和 DME 患者的 OCT 图像层次分割。ReLayNet 借鉴 U-Net 的思想，分为下采样和上采样两个步骤，在训练过程中同时使用了交叉熵和 Dice overlap loss 函数进行优化。\u003C\u002Fp\u003E\u003Cp\u003E实验结果与 5 个 state-of-the-art 的分割方法进行比较，该方法具有更好的表现。而且该文章使用的是公开的数据集，值得做为实现对比的论文。 \u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F986\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 机器学习 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ELearning Social Image Embedding with Deep Multimodal Attention Networks\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@zhkun 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Multimodal\u003C\u002Fp\u003E\u003Cp\u003E文章提出了一种新的学习 social image embedding 的方法，针对以前的基于网络结构和基于内容的方法，文中的方法可以同时对关系和内容进行学习，是一种 multimodal 的方法，将图像和文字联合起来考虑，从而可以更加精准的理解图像的 embedding，而且文章条理清晰，写作上也很值得学习。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F989\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EA Geometric View of Optimal Transportation and Generative Model\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@JadeLi 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Deep Reinforcement Learning\u003C\u002Fp\u003E\u003Cp\u003E从使用变分法求解凸几何中亚历山大问题这个视角出发，讨论了最优传输定理与解凸几何问题的联系，从而给了生成式模型一个几何视角来解释与研究。文章将 GAN（主要是基于 WGAN）的训练过程，等效为求最优传输路径，并由此解释了 GAN 很多性能问题。 \u003C\u002Fp\u003E\u003Cp\u003E特别地，文章提出 Wasserstein GAN 中生成器和识别器的竞争理论上不需要，即交替训练没有起作用。并做实验自己的几何方法在 Multiple cluster 时对分布的度量优于 WGAN。 \u003C\u002Fp\u003E\u003Cp\u003E个人觉得本文关于 GAN 的类比过于严厉，但是无论如何，这篇文章对于 GAN 的视角值得关注。鉴于 GAN 一直囿于纳什均衡解的存在性、算法收敛性，以及机器学习本身的黑箱问题，本文从理论角度体现出来的 GAN 的问题也亟待进一步探索。 \u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F934\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EA systematic study of the class imbalance problem in convolutional neural networks\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@paperweekly 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#CNN\u003C\u002Fp\u003E\u003Cp\u003E图像分类问题中多个分类下样本不均衡问题对于 CNN 模型的影响研究。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：http:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F955\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，点击「阅读原文」即刻加入社区！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E游戏时间\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EGAN还是不GAN？— \u003C\u002Fb\u003EGAN主题论文共读小组\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E论文提名√在线投票√论文共读√\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E活动形式：语音直播 + 协同批注\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E游戏规则 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 自由推荐任何与GAN有关的论文\u003C\u002Fp\u003E\u003Cp\u003E2. 投票支持你想读的论文\u003C\u002Fp\u003E\u003Cp\u003E3. 每周六根据投票结果选出本期论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E报名方法\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E添加微信（zhangjun168305），请注明“GAN”\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-10-27T06:23:59.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":13,"state":"published","isLiked":false,"slug":"30503693","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-10-27T14:23:59+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30503693\u002Fcomments"},"url":"\u002Fp\u002F30503693","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-068828bc31ffdd296d13a54ff153c06a_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F30503693","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":13},"30608081":{"title":"论文笔记作者招募 | 让你的文字被很多很多人看到，喜欢我们不如加入我们","author":"zhang-jun-87-61","content":"\u003Cp\u003E生活中，你是否总有一些不知如何打发的时间？\u003C\u002Fp\u003E\u003Cp\u003E刷了很多本无兴趣的剧\u003C\u002Fp\u003E\u003Cp\u003E围观了很多旁人的八卦和花边\u003C\u002Fp\u003E\u003Cp\u003E手机上又下载了几款当下热门游戏\u003C\u002Fp\u003E\u003Cp\u003E而我们在做一件事\u003C\u002Fp\u003E\u003Cp\u003E把你的\u003Cb\u003E空闲时间\u003C\u002Fb\u003E变得美好、有趣\u003C\u002Fp\u003E\u003Cp\u003E并\u003Cb\u003E对他人产生意义\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后为你的这些时间\u003Cb\u003E支付报酬\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果你有一点心动\u003C\u002Fp\u003E\u003Cp\u003E并想做一点改变 \u003C\u002Fp\u003E\u003Cp\u003E不妨接着往下细看\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E我们的要求？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E我们正在寻找能撰写高质量论文笔记的兼职作者。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E你必须具备一定学术研究背景。\u003C\u002Fb\u003E在自然语言处理、计算机视觉或机器学习等 AI 相关领域有深厚的技术积累和研究经验，因为只有积累得足够多，实践得足够多，理解才足够深。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E你有非常强的信息搜索能力。\u003C\u002Fb\u003E永远相信有更好的论文，善于动手实践来解决问题。是的，对「更好」的探索本来就没有止境。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E希望你热爱分享，享受写作，知道如何正确使用「的地得」。\u003C\u002Fb\u003E只有发自内心的热爱，才能创造更好的作品。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E我们能提供什么？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E署着你名字的文章，将被很多很多人看到；\u003C\u002Fli\u003E\u003Cli\u003E最专业的 AI 学术平台、最酷的 AI 学术社区就是你的舞台；\u003C\u002Fli\u003E\u003Cli\u003E提供不怎么高但合理的稿费（真诚脸）；\u003C\u002Fli\u003E\u003Cli\u003EAI 名企内推、大会门票福利、独家周边纪念品等等等。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E如果你已经准备好加入 PaperWeekly，请准备好个人简历，并附上一篇 NLP、CV 或机器学习等 AI 相关领域的\u003Cb\u003E原创论文笔记\u003C\u002Fb\u003E，以\u003Cb\u003E「应聘兼职作者 + 姓名」\u003C\u002Fb\u003E为邮件标题，发送到：\u003Cu\u003Epaperweekly@outlook.com\u003C\u002Fu\u003E。\u003C\u002Fp\u003E\u003Cp\u003E如果要求相符，你会在 3 日之内收到我们的回复；若未收到回复，可能是因为你的作品与我们的风格有一定距离。接下来请继续保持关注，我们仍会为热情的你敞开大门。\u003C\u002Fp\u003E\u003Cp\u003E利用你的空闲时间，跟我们做一件有意义的事吧。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。 \u003C\u002Fp\u003E\u003Cp\u003E微信公众号：PaperWeekly\u003C\u002Fp\u003E\u003Cp\u003E新浪微博：@PaperWeekly\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-10-31T06:58:35.000Z"),"canComment":false,"commentPermission":"review","commentCount":1,"likeCount":7,"state":"published","isLiked":false,"slug":"30608081","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-10-31T14:58:35+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30608081\u002Fcomments"},"url":"\u002Fp\u002F30608081","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F30608081","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":7},"32043888":{"title":"Github 本周最热的 10 款「机器学习」开源项目 | PaperDaily #27","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fblockquote\u003E\u003Ch2\u003E\u003Cb\u003EKubeflow\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#用于 Kubernetes 的机器学习工具库\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 1717\u003C\u002Fli\u003E\u003Cli\u003EFork: 101\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EKubeflow 是由 Google 发布的机器学习工具库，能方便用户在 Kubernetes 上部署机器学习平台。Kuberflow 的目标不是重建其他服务，而是提供一种简便的途径找到最佳 OSS 解决方案。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fkubeflow\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003ESkorch\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#兼容 Scikit-Learn 的 PyTorch 神经网络库\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 801\u003C\u002Fli\u003E\u003Cli\u003EFork: 51\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E一个封装在 PyTorch 上并且兼容 Scikit-learn 框架的神经网络库。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fdnouri\u002Fskorch\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EFlashText\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#关键字替换和抽取\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 1437\u003C\u002Fli\u003E\u003Cli\u003EFork: 138\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本项目是对 FlashText 算法的实现，用来替换或抽取句子中的关键词。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1349\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fvi3k6i5\u002Fflashtext\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EDeepVariant\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#用深度学习实现精准基因测序\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 627\u003C\u002Fli\u003E\u003Cli\u003EFork: 122\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本项目是由 Google 开源的深度学习模型，利用测序数据拼凑更精准的人类基因图谱，还可以精确识别 DNA 序列中的突变。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdeepvariant\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EPyTorch Unsupervised Sentiment Discovery\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#高效学习情感表征的无监督系统\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 377\u003C\u002Fli\u003E\u003Cli\u003EFork: 28\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本代码基于 PyTorch，复现了来自 OpenAI 的论文 \u003Ci\u003EGenerating Reviews and Discovering Sentiment\u003C\u002Fi\u003E，训练得到的语言模型具有不错的迁移性，可以用来进行其他 NLP 任务的初始化。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F683\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fsentiment-discovery\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EMatchZoo\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#深度文本匹配开源工具\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 493\u003C\u002Fli\u003E\u003Cli\u003EFork: 112\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EMatchZoo 是一个基于 TensorFlow 的文本匹配工具包，可以应用于文本检索、自动问答、复述问题、对话系统等多种应用任务场景，包含了诸多主流深度文本匹配模型（DRMM, MatchPyramid, DUET, MVLSTM, aNMM, ARC-I, ARC-II, DSSM, CDSSM 等）。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Ffaneshion\u002FMatchZoo\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EMAgent\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#多 agent 增强学习平台\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 270\u003C\u002Fli\u003E\u003Cli\u003EFork: 39\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EMAgent 是一个多 agent 增强学习研究平台，可同时支持数百甚至数百万的 agent 进行增强学习研究。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fgeek-ai\u002FMAgent\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003Epix2pixHD\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#高分辨率图像合成和语义操作\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 1009\u003C\u002Fli\u003E\u003Cli\u003EFork: 102\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本项目是对 NVIDIA 和 UC Berkeley 论文 \u003Ci\u003EHigh-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs\u003C\u002Fi\u003E 的 PyTorch 版本实现。\u003C\u002Fp\u003E\u003Cp\u003E论文解读：\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247486623&amp;idx=1&amp;sn=09c9930244579727dd35341a2f13a7ed&amp;chksm=96e9d31fa19e5a0972eae1190c20659632caa27dfa6575a5684ea30de4a759406a4afcd69bf6&amp;scene=21#wechat_redirect\"\u003E利用条件GANs的pix2pix进化版\u003C\u002Fa\u003E\u003C\u002Fu\u003E \u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EA Pytorch Faster Faster R-CNN Implementation\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#R-CNN 模型的 PyTorch 实现\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 185\u003C\u002Fli\u003E\u003Cli\u003EFork: 18\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本项目是目标检测任务中著名的 R-CNN 模型的一个快速实现，基于 PyTorch。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fjwyang\u002Ffaster-rcnn.pytorch\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EImproved Video GAN\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#视频生成框架\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EStar: 246\u003C\u002Fli\u003E\u003Cli\u003EFork: 12\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本代码是对论文 \u003Ci\u003ETowards an Understanding of Our World by GANing Videos in the Wild\u003C\u002Fi\u003E 的实现，基于 TensorFlow。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1350\u003C\u002Fp\u003E\u003Cp\u003E项目链接：\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbernhard2202\u002Fimproved-video-gan\"\u003Ehttps:\u002F\u002Fgithub.com\u002Fbernhard2202\u002Fimproved-video-gan\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E论文在 Stacked Hourglass 基础上，提出 PRMs 模型和研究多分支网络的权重初始化方法。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1325\"\u003Ehttps:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1325\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，\u003C\u002Fb\u003E\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\u002F\"\u003E点击即刻加入社区\u003C\u002Fa\u003E\u003Cb\u003E！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E我是彩蛋\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E解锁新姿势：用微信刷论文！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly小程序上线啦\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E今日arXiv√猜你喜欢√热门资源√\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E随时紧跟最新最热论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E解锁方式\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 扫描下方小程序码打开小程序\u003C\u002Fp\u003E\u003Cp\u003E2. 用PaperWeekly社区账号进行登陆\u003C\u002Fp\u003E\u003Cp\u003E3. 登陆后即可解锁所有功能\u003C\u002Fp\u003E\u003Cimg src=\"v2-ddae2561882d116e17ea4981302f4ce2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"258\" data-rawheight=\"258\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-12-15T05:10:54.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":75,"state":"published","isLiked":false,"slug":"32043888","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-15T13:10:54+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32043888\u002Fcomments"},"url":"\u002Fp\u002F32043888","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-da00f973a0f78acb10af5c0b8fed8b1b_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F32043888","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":75},"32423092":{"title":"何恺明大神的「Focal Loss」，如何更好地理解？","author":"zhang-jun-87-61","content":"\u003Cp\u003E\u003Cb\u003E作者丨苏剑林\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E单位丨广州火焰信息科技有限公司\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E研究方向丨NLP，神经网络\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E个人主页丨kexue.fm\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E前言\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E今天在 QQ 群里的讨论中看到了 Focal Loss，经搜索它是 Kaiming 大神团队在他们的论文\u003Cb\u003EFocal Loss for Dense Object Detection\u003C\u002Fb\u003E 提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应用。\u003C\u002Fp\u003E\u003Cp\u003E本质上讲，Focal Loss 就是一个解决\u003Cb\u003E分类问题中类别不平衡、分类难度差异\u003C\u002Fb\u003E的一个 loss，总之这个工作一片好评就是了。大家还可以看知乎的讨论：\u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F63581984\"\u003E如何评价 Kaiming 的 Focal Loss for Dense Object Detection？\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E看到这个 loss，开始感觉很神奇，感觉大有用途。\u003Cb\u003E因为在 NLP 中，也存在大量的类别不平衡的任务。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E最经典的就是序列标注任务中类别是严重不平衡的，比如在命名实体识别中，显然一句话里边实体是比非实体要少得多，这就是一个类别严重不平衡的情况。\u003Cb\u003E我尝试把它用在我的基于序列标注的问答模型中，也有微小提升。\u003C\u002Fb\u003E嗯，这的确是一个好 loss。 \u003C\u002Fp\u003E\u003Cp\u003E接着我再仔细对比了一下，我发现\u003Cb\u003E这个 loss 跟我昨晚构思的一个 loss 具有异曲同工之理\u003C\u002Fb\u003E。这就促使我写这篇文章了。我将从我自己的思考角度出发，来分析这个问题，最后得到 Focal Loss，也给出我昨晚得到的类似的 loss。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E硬截断\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E整篇文章都是从二分类问题出发，同样的思想可以用于多分类问题。二分类问题的标准 loss 是交叉熵。\u003C\u002Fp\u003E\u003Cimg src=\"v2-b5ee1f2d51a18584063f2781c65d8566.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"900\" data-rawheight=\"112\"\u003E\u003Cp\u003E其中 y∈{0,1} 是真实标签，ŷ 是预测值。当然，对于二分类我们几乎都是用 sigmoid 函数激活 ŷ =σ(x)，所以相当于：\u003C\u002Fp\u003E\u003Cimg src=\"v2-afa721398c47a3cf1159a12ee0222e3c.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"926\" data-rawheight=\"120\"\u003E\u003Cp\u003E我们有 1−σ(x)=σ(−x)。\u003C\u002Fp\u003E\u003Cp\u003E我在上半年写过的文章\u003Ca href=\"http:\u002F\u002Fkexue.fm\u002Farchives\u002F4293\u002F\"\u003E文本情感分类（四）：更好的损失函数\u003C\u002Fa\u003E中，曾经针对“集中精力关注难分样本”这个想法提出了一个“硬截断”的 loss，形式为：\u003C\u002Fp\u003E\u003Cimg src=\"v2-9f7ced10942b8628bcadb5110d5fff12.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"292\" data-rawheight=\"88\"\u003E\u003Cp\u003E其中：\u003C\u002Fp\u003E\u003Cimg src=\"v2-28b865f3b3bebf292ee188e97dca8662.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"744\" data-rawheight=\"136\"\u003E\u003Cp\u003E这样的做法就是：\u003Cb\u003E正样本的预测值大于 0.5 的，或者负样本的预测值小于 0.5 的，我都不更新了，把注意力集中在预测不准的那些样本，当然这个阈值可以调整。\u003C\u002Fb\u003E这样做能部分地达到目的，但是所需要的迭代次数会大大增加。\u003C\u002Fp\u003E\u003Cp\u003E原因是这样的：以正样本为例，\u003Cb\u003E我只告诉模型正样本的预测值大于 0.5 就不更新了，却没有告诉它要“保持”大于 0.5\u003C\u002Fb\u003E，所以下一阶段，它的预测值就很有可能变回小于 0.5 了。当然，如果是这样的话，下一回合它又被更新了，这样反复迭代，理论上也能达到目的，但是迭代次数会大大增加。\u003C\u002Fp\u003E\u003Cp\u003E所以，要想改进的话，重点就是\u003Cb\u003E“不只是要告诉模型正样本的预测值大于0.5就不更新了，而是要告诉模型当其大于0.5后就只需要保持就好了”\u003C\u002Fb\u003E。好比老师看到一个学生及格了就不管了，这显然是不行的。如果学生已经及格，那么应该要想办法要他保持目前这个状态甚至变得更好，而不是不管。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E软化 loss\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E硬截断会出现不足，关键地方在于因子 λ(y,ŷ) 是不可导的，或者说我们认为它导数为 0，因此这一项不会对梯度有任何帮助，从而我们不能从它这里得到合理的反馈（也就是模型不知道“保持”意味着什么）。 \u003C\u002Fp\u003E\u003Cp\u003E解决这个问题的一个方法就是“软化”这个 loss，\u003Cb\u003E“软化”就是把一些本来不可导的函数用一些可导函数来近似\u003C\u002Fb\u003E，数学角度应该叫“光滑化”。这样处理之后本来不可导的东西就可导了，类似的算例还有\u003Ca href=\"http:\u002F\u002Fkexue.fm\u002Farchives\u002F4277\u002F\"\u003E梯度下降和EM算法：系出同源，一脉相承\u003C\u002Fa\u003E中的 kmeans 部分。我们首先改写一下 \u003Ci\u003EL∗\u003C\u002Fi\u003E。\u003C\u002Fp\u003E\u003Cimg src=\"v2-03e2b916d3453b50265ff8c735e79486.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"608\" data-rawheight=\"124\"\u003E\u003Cp\u003E这里的 \u003Ci\u003Eθ\u003C\u002Fi\u003E 就是单位阶跃函数：\u003C\u002Fp\u003E\u003Cimg src=\"v2-032edd57f8da203e0f85ac848b24e096.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"316\" data-rawheight=\"210\"\u003E\u003Cp\u003E这样的 \u003Ci\u003EL∗\u003C\u002Fi\u003E 跟原来的是完全等价的，由于 \u003Ci\u003Eσ(0)=0.5\u003C\u002Fi\u003E，因此它也等价于：\u003C\u002Fp\u003E\u003Cimg src=\"v2-b8979673023d8a765e69bd5084dfc986.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"520\" data-rawheight=\"108\"\u003E\u003Cp\u003E这时候思路就很明显了，要想“软化”这个 loss，就得“软化” \u003Ci\u003Eθ(x)\u003C\u002Fi\u003E，而\u003Cb\u003E软化它就再容易不过，它就是 sigmoid 函数\u003C\u002Fb\u003E。我们有：\u003C\u002Fp\u003E\u003Cimg src=\"v2-c8841999875107695179e4b1825d0a7d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"306\" data-rawheight=\"84\"\u003E\u003Cp\u003E所以很显然，我们将 \u003Ci\u003Eθ(x)\u003C\u002Fi\u003E 替换为 \u003Ci\u003Eσ(Kx)\u003C\u002Fi\u003E 即可：\u003C\u002Fp\u003E\u003Cimg src=\"v2-03ce0df8eeab0344dd81675c94851d64.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"564\" data-rawheight=\"126\"\u003E\u003Cp\u003E这就是我昨晚思考得到的 loss 了，显然实现上也是很容易的。\u003C\u002Fp\u003E\u003Cp\u003E现在跟 Focal Loss 做个比较。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EFocal Loss\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003EKaiming 大神的 Focal Loss 形式是：\u003C\u002Fp\u003E\u003Cimg src=\"v2-ec1c0492579574249df2be4bfecea241.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"508\" data-rawheight=\"120\"\u003E\u003Cp\u003E如果落实到 \u003Ci\u003Eŷ =σ(x)\u003C\u002Fi\u003E 这个预测，那么就有：\u003C\u002Fp\u003E\u003Cimg src=\"v2-e443edbddbbf1519f73417f3bec92f68.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"538\" data-rawheight=\"124\"\u003E\u003Cp\u003E特别地，\u003Cb\u003E如果\u003C\u002Fb\u003E \u003Cb\u003E\u003Ci\u003EK\u003C\u002Fi\u003E\u003C\u002Fb\u003E \u003Cb\u003E和\u003C\u002Fb\u003E \u003Cb\u003E\u003Ci\u003Eγ\u003C\u002Fi\u003E\u003C\u002Fb\u003E \u003Cb\u003E都取 1，那么\u003C\u002Fb\u003E \u003Cb\u003E\u003Ci\u003EL∗∗=Lfl\u003C\u002Fi\u003E\u003C\u002Fb\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E事实上 \u003Ci\u003EK\u003C\u002Fi\u003E 和 \u003Ci\u003Eγ\u003C\u002Fi\u003E 的作用都是一样的，都是调节权重曲线的陡度，只是调节的方式不一样。注意\u003Ci\u003EL∗∗\u003C\u002Fi\u003E 或 \u003Ci\u003ELfl\u003C\u002Fi\u003E 实际上都已经包含了对不均衡样本的解决方法，或者说，类别不均衡本质上就是分类难度差异的体现。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E比如负样本远比正样本多的话，模型肯定会倾向于数目多的负类（可以想象全部样本都判为负类），这时候，负类的\u003C\u002Fb\u003E \u003Ci\u003E\u003Cb\u003Eŷ γ\u003C\u002Fb\u003E\u003C\u002Fi\u003E \u003Cb\u003E或\u003C\u002Fb\u003E \u003Cb\u003E\u003Ci\u003Eσ(Kx\u003C\u002Fi\u003E) 都很小，而正类的\u003C\u002Fb\u003E \u003Cb\u003E\u003Ci\u003E(1−ŷ )γ\u003C\u002Fi\u003E\u003C\u002Fb\u003E \u003Cb\u003E或\u003C\u002Fb\u003E \u003Ci\u003E\u003Cb\u003Eσ(−Kx)\u003C\u002Fb\u003E\u003C\u002Fi\u003E \u003Cb\u003E就很大，这时候模型就会开始集中精力关注正样本。\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cp\u003E当然，Kaiming 大神还发现对 \u003Ci\u003ELfl\u003C\u002Fi\u003E 做个权重调整，结果会有微小提升。 \u003C\u002Fp\u003E\u003Cimg src=\"v2-b38f32bbbc1f128623bc5d6c8f94b394.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"600\" data-rawheight=\"130\"\u003E\u003Cp\u003E通过一系列调参，得到 \u003Ci\u003Eα=0.25, γ=2\u003C\u002Fi\u003E（在他的模型上）的效果最好。注意在他的任务中，正样本是属于少数样本，也就是说，本来正样本难以“匹敌”负样本，但经过 \u003Ci\u003E(1−ŷ )γ\u003C\u002Fi\u003E 和 \u003Ci\u003Eŷγ\u003C\u002Fi\u003E 的“操控”后，也许形势还逆转了，还要对正样本降权。\u003C\u002Fp\u003E\u003Cp\u003E不过我认为这样调整只是经验结果，理论上很难有一个指导方案来决定 \u003Ci\u003Eα\u003C\u002Fi\u003E 的值，如果没有大算力调参，倒不如直接让 \u003Ci\u003Eα=0.5\u003C\u002Fi\u003E（均等）。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E多分类\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003EFocal Loss 在多分类中的形式也很容易得到，其实就是：\u003C\u002Fp\u003E\u003Cimg src=\"v2-9b26aaa65a56f9f8f8094563424e3021.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"350\" data-rawheight=\"94\"\u003E\u003Cp\u003E\u003Ci\u003Eŷt\u003C\u002Fi\u003E 是目标的预测值，一般就是经过 softmax 后的结果。那我自己构思的 \u003Ci\u003EL∗∗\u003C\u002Fi\u003E 怎么推广到多分类？也很简单：\u003C\u002Fp\u003E\u003Cimg src=\"v2-739ba293ab3cac52217db2e71f25b0cc.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"576\" data-rawheight=\"78\"\u003E\u003Cp\u003E这里 \u003Ci\u003Ext\u003C\u002Fi\u003E 也是目标的预测值，但它是 softmax 前的结果。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E结语\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E什么？你得到了跟 Kaiming 大神一样想法的东西？\u003C\u002Fp\u003E\u003Cp\u003E不不不，本文只是对 Kaiming 大神的 Focal Loss 的一个介绍而已。更准确地说，是应对分类不平衡、分类难度差异的一些方案的介绍，并尽可能给出自己的看法而已。当然，本文这样的写法难免有附庸风雅、东施效颦之嫌，请读者海涵。\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E我是彩蛋\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E解锁新姿势：用微信刷论文！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly小程序上线啦\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E今日arXiv√猜你喜欢√热门资源√\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E随时紧跟最新最热论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E解锁方式\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 扫描下方小程序码打开小程序\u003C\u002Fp\u003E\u003Cp\u003E2. 用PaperWeekly社区账号进行登陆\u003C\u002Fp\u003E\u003Cp\u003E3. 登陆后即可解锁所有功能\u003C\u002Fp\u003E\u003Cimg src=\"v2-ddae2561882d116e17ea4981302f4ce2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"258\" data-rawheight=\"258\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2017-12-28T03:59:10.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":126,"state":"published","isLiked":false,"slug":"32423092","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-28T11:59:10+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32423092\u002Fcomments"},"url":"\u002Fp\u002F32423092","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-c9ae876753569b550dab0f86c07e8ede_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F32423092","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":126},"32459286":{"title":"Github 本周最有趣的 10 款「机器学习」开源项目 | PaperDaily #32","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fblockquote\u003E\u003Ch2\u003E\u003Cb\u003EFace Recognition\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#世界上最简单的人脸识别库\u003C\u002Fp\u003E\u003Cimg src=\"v2-a802d61cb68baa46c87ad48cbc9ebdfc.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"520\" data-rawheight=\"88\"\u003E\u003Cp\u003E本项目号称世界上最简单的人脸识别库，可使用 Python 和命令行进行调用。该库使用 dlib 顶尖的深度学习人脸识别技术构建，在户外脸部检测数据库基准（Labeled Faces in the Wild benchmark）上的准确率高达 99.38%。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fageitgey\u002Fface_recognition\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EMUSE\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#多语言词向量 Python 库\u003C\u002Fp\u003E\u003Cimg src=\"v2-f7c658371292cfee29b4b876d364cc88.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"460\" data-rawheight=\"80\"\u003E\u003Cp\u003E由 Facebook 开源的多语言词向量 Python 库，提供了基于 fastText 实现的多语言词向量和大规模高质量的双语词典，包括无监督和有监督两种。其中有监督方法使用双语词典或相同的字符串，无监督的方法不使用任何并行数据。\u003C\u002Fp\u003E\u003Cp\u003E无监督方法具体可参考 \u003Cb\u003E\u003Ci\u003EWord Translation without Parallel Data\u003C\u002Fi\u003E\u003C\u002Fb\u003E 这篇论文。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1097\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FMUSE\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EFoolNLTK\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#中文处理工具包\u003C\u002Fp\u003E\u003Cimg src=\"v2-842bee78d659298aa2e6da6537e3df54.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"452\" data-rawheight=\"80\"\u003E\u003Cp\u003E\u003Cb\u003E本项目特点：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E• 可能不是最快的开源中文分词，但很可能是最准的开源中文分词 \u003C\u002Fp\u003E\u003Cp\u003E• 基于 BiLSTM 模型训练而成 \u003C\u002Fp\u003E\u003Cp\u003E• 包含分词，词性标注，实体识别，都有比较高的准确率 \u003C\u002Fp\u003E\u003Cp\u003E• 用户自定义词典\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Frockyzhengwu\u002FFoolNLTK\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EArnold\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#最擅长玩《毁灭战士》的游戏AI\u003C\u002Fp\u003E\u003Cimg src=\"v2-4516624bf17c7a29af131075dfc3a092.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"456\" data-rawheight=\"80\"\u003E\u003Cp\u003E本项目来自卡耐基梅隆大学，是 2017 年 VizDoom《毁灭战士》AI 死亡竞赛冠军 Arnold 的 PyTorch 开源代码。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1440\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fglample\u002FArnold\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EBottom-Up Attention VQA\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#2017 VQA Challenge 第一名\u003C\u002Fp\u003E\u003Cimg src=\"v2-9cfa11325a86371ebc569662d41c4733.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"448\" data-rawheight=\"82\"\u003E\u003Cp\u003E本项目是 2017 VQA Challenge 第一名团队两篇论文的 PyTorch 复现。\u003C\u002Fp\u003E\u003Cp\u003E■ 论文 | Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F754\u003C\u002Fp\u003E\u003Cp\u003E■ 论文 | Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1441\u003C\u002Fp\u003E\u003Cp\u003E报告解读：\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247485782&amp;idx=1&amp;sn=00c3ab17d4ce24b69dbb379dc913b6ee&amp;chksm=96e9d6d6a19e5fc013891720f6bbe4a3025771aeb88f919957787890b37c045bb9afc3b9a07c&amp;scene=21#wechat_redirect\"\u003E2017 VQA Challenge 第一名技术报告\u003C\u002Fa\u003E\u003C\u002Fu\u003E \u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fhengyuan-hu\u002Fbottom-up-attention-vqa\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EYOLOv2 - PyTorch\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#PyTorch 版 YOLOv2\u003C\u002Fp\u003E\u003Cimg src=\"v2-3fae1023eb7a909e0ddb87ada587cc00.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"446\" data-rawheight=\"76\"\u003E\u003Cp\u003E著名物体检测库 YOLOv2 的 PyTorch 版本，本项目还可以将训练好的 model 转换为适配 Caffe 2。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fruiminshen\u002Fyolo2-pytorch\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003ESimple Railway Captcha Solver\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#基于 CNN 的台铁订票验证码辨识\u003C\u002Fp\u003E\u003Cimg src=\"v2-e160dc985cbddfe79e76c67305cc1e30.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"446\" data-rawheight=\"80\"\u003E\u003Cp\u003E本项目利用简单的 Convolutional Neural Network 来实作辨识台铁订票网站的验证码，训练集的部分以模仿验证码样式的方式来产生、另外验证集的部分则自台铁订票网站撷取，再以手动方式标记约 1000 笔。 \u003C\u002Fp\u003E\u003Cp\u003E目前验证集对于 6 码型态的验证码的单码辨识率达到 98.84%，整体辨识成功率达到 91.13%。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002FJasonLiTW\u002Fsimple-railway-captcha-solver\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EAlphaZero-Gomoku\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#用 AlphaZero 下五子棋\u003C\u002Fp\u003E\u003Cimg src=\"v2-5b3c7273d9ec4d90395d9ad5b574c928.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"454\" data-rawheight=\"82\"\u003E\u003Cp\u003E这是一个将 AlphaZero 算法应用在五子棋的实现，由于五子棋相比围棋或国际象棋简单得多，所以只需几个小时就可以训练出一个不错的 AI 模型。\u003C\u002Fp\u003E\u003Cp\u003E■ 论文 | AlphaZero: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1297\u003C\u002Fp\u003E\u003Cp\u003E■ 论文 | AlphaGo Zero: Mastering the game of Go without human knowledge\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F942\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002Fjunxiaosong\u002FAlphaZero_Gomoku\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003Egym-extensions\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#OpenAI Gym 扩展集\u003C\u002Fp\u003E\u003Cimg src=\"v2-775e9d4540ad949658b68a97ca25700b.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"438\" data-rawheight=\"80\"\u003E\u003Cp\u003E这是一个 OpenAI Gym 库的扩展包，实现了包括：多任务学习、迁移学习、逆增强学习等功能。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：https:\u002F\u002Fgithub.com\u002FBreakend\u002Fgym-extensions\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EMyia\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#Python 深度学习框架\u003C\u002Fp\u003E\u003Cimg src=\"v2-80cf13d0ba9479c54c8db12e54b3b236.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"426\" data-rawheight=\"82\"\u003E\u003Cp\u003EMyia 是一个全新的 Python 深度学习框架，具有使用简单、自动微分和性能优化的特点。\u003C\u002Fp\u003E\u003Cp\u003E项目链接：\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmila-udem\u002Fmyia\"\u003Ehttps:\u002F\u002Fgithub.com\u002Fmila-udem\u002Fmyia\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，\u003C\u002Fb\u003E\u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\u002F\"\u003E点击即刻加入社区\u003C\u002Fa\u003E\u003Cb\u003E！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E我是彩蛋\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E解锁新姿势：用微信刷论文！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly小程序上线啦\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E今日arXiv√猜你喜欢√热门资源√\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E随时紧跟最新最热论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E解锁方式\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 扫描下方小程序码打开小程序\u003C\u002Fp\u003E\u003Cp\u003E2. 用PaperWeekly社区账号进行登陆\u003C\u002Fp\u003E\u003Cp\u003E3. 登陆后即可解锁所有功能\u003C\u002Fp\u003E\u003Cimg src=\"v2-ddae2561882d116e17ea4981302f4ce2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"258\" data-rawheight=\"258\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-12-29T05:16:16.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":122,"state":"published","isLiked":false,"slug":"32459286","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-29T13:16:16+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32459286\u002Fcomments"},"url":"\u002Fp\u002F32459286","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-3158ef563d5a5c1deef113fda72f5cf1_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F32459286","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":122},"32653611":{"title":"2018年，你可以把论文投给这13场AI学术会议（附截稿日期）","author":"zhang-jun-87-61","content":"\u003Cp\u003E在已经过去的 2017 年，是无数优秀论文在各大 AI 主题会议频频涌现的一年。随着 AI 行业的不断升温，机器学习和人工智能也已跃然成为当下最热的科研方向。\u003C\u002Fp\u003E\u003Cp\u003E那么，2018 年，AI 领域又将迎来哪些重量级会议呢？我们根据\u003Cb\u003E截稿日期的先后顺序\u003C\u002Fb\u003E，整理了下面这样一份「2018 年 AI 学术顶会」投稿清单。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EMLDM 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#International Conference on Machine Learning and Data Mining\u003C\u002Fp\u003E\u003Cimg src=\"v2-8450e9244f7426af67c2a56f776470ca.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1558\" data-rawheight=\"418\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：1 月 15 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：7 月 14-19 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：纽约，美国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本会议侧重于多媒体相关应用，生物医学应用和 Web 挖掘这三个领域，重点关注数据挖掘和机器学习在模式识别中的理论与应用研究。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fwww.mldm.de\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003ESIGGRAPH 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#Conference on Computer Graphics and Interactive Techniques\u003C\u002Fp\u003E\u003Cimg src=\"v2-43708c8f48ceb5613cfffbebeb2a357d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1280\" data-rawheight=\"565\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：1 月 23 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：8 月 12-16 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：温哥华，加拿大\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003ESIGGRAPH 是由美国计算机协会计算机图形专业组发起的计算机图形学顶级年度会议。自 1974 年开始，SIGGRAPH 每年举行一次。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fs2018.siggraph.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003ESIGIR 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#International ACM SIGIR Conference on Research and Development in Information Retrieval\u003C\u002Fp\u003E\u003Cimg src=\"v2-9a81029060fa997f77259f148d5a18ff.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1576\" data-rawheight=\"716\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：1 月 29 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：7 月 8-12 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：安娜堡，美国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EACM SIGIR 始于 1978 年，是由国际计算机学会主办的信息检索研究领域最重要的国际学术会议。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fsigir.org\u002Fsigir2018\u002F\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EIJCAI-ECAI 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#International Joint Conference on Artificial Intelligence &amp; European Conference on Artificial Intelligence\u003C\u002Fp\u003E\u003Cimg src=\"v2-d7c1bf112b649fb73716f101d1b12c70.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1280\" data-rawheight=\"533\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：1 月 31 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：7 月 13-19 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：斯德哥尔摩，瑞典\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本次会议是 IJCAI 和 ECAI 的联合会议，该会议聚集了人工智能领域最顶尖的研究者和优秀从业者，关注研讨领域涵盖机器学习、自然语言处理、知识表示和多智能体系统等。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttps:\u002F\u002Fwww.ijcai-18.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EICML 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#International Conference on Machine Learning\u003C\u002Fp\u003E\u003Cimg src=\"v2-2a575fd36efd5fc43449d890fc026e47.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"546\" data-rawheight=\"188\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：2 月 9 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：7 月 10-15 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：斯德哥尔摩，瑞典\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EICML 是由国际机器学习学会（IMLS）主办的机器学习和人工智能顶级会议，代表着热门科研领域的最前沿，具有广泛而深远的国际影响力。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttps:\u002F\u002Ficml.cc\u002FConferences\u002F2018\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EKDD 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#Knowledge Discovery and Data Mining\u003C\u002Fp\u003E\u003Cimg src=\"v2-a30d35075361195c5480970e47aef92c.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1280\" data-rawheight=\"428\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：2 月 11 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：8 月 19-23 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：伦敦，英国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EKDD 由美国计算机协会 ACM 下的数据挖掘分会举办，是国际数据挖掘顶级会议，主要关注知识发现和数据挖掘领域的创新研究和应用。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fwww.kdd.org\u002Fkdd2018\u002F\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EACL 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#Annual Meeting of the Association for Computational Linguistics\u003C\u002Fp\u003E\u003Cimg src=\"v2-5fe00c495bed7036eed0174127a0254a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1884\" data-rawheight=\"622\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：2 月 22 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：7 月 15-20 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：墨尔本，澳大利亚\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EACL 是计算语言学和自然语言处理领域最具影响力的顶级学术会议，由由国际计算语言学协会主办，每年一届。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Facl2018.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EUAI 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#Conference on Uncertainty in Artificial Intelligence\u003C\u002Fp\u003E\u003Cimg src=\"v2-b0fd454c02dc48c9af2999a3744dda94.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1172\" data-rawheight=\"300\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：3 月 9 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：8 月 6-10 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：蒙特雷，美国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EUAI 是不确定性人工智能领域，主要侧重于不确定性人工智能中的知识表达、知识获取及推理。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fauai.org\u002Fuai2018\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EECCV 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#European Conference on Computer Vision\u003C\u002Fp\u003E\u003Cimg src=\"v2-15c06107e2b07f75506ea103e160ebca.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1200\" data-rawheight=\"280\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：3 月 14 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：9 月 8-14 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：慕尼黑，德国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EECCV 与计算机视觉模式识别会议（CVPR）和国际计算机视觉大会（ICCV）并称计算机视觉领域的三大顶级会议，每两年召开一次。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttps:\u002F\u002Feccv2018.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003ECOLING 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#International Conference on Computational Linguistics\u003C\u002Fp\u003E\u003Cimg src=\"v2-c9db451491516e50d48c018054fc45de.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"778\" data-rawheight=\"246\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：3 月 16 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：8 月 20-25 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：圣达菲，美国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003ECOLING 自 1965 年开始举办，目前已发展为计算语言学领域的重要国际会议之一，由国际计算语言学学会 （The International Committee on Computational Linguistics, ICCL）组织举办，一般每两年一届。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fcoling2018.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EInterspeech 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#International Conference on Computational Linguistics\u003C\u002Fp\u003E\u003Cimg src=\"v2-e639af8ea345d880e956aff814443fa3.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"741\" data-rawheight=\"160\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：3 月 23 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：9 月 2-6 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：海得拉巴，印度\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EInterspeech 是语音与信息处理技术领域的顶级国际会议，主要涵盖语音学、语言学基本理论研究、语音语言学技术及应用的最新进展。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Finterspeech2018.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003EBMVC 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#British Machine Vision Conference\u003C\u002Fp\u003E\u003Cimg src=\"v2-2275f8314d9d0ba14a25fa17d186b437.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1280\" data-rawheight=\"405\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：4 月 30 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：9 月 3-6 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：纽卡斯尔，英国\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003EBMVC 是计算机视觉领域的著名国际会议，其主要侧重于机器视觉、图像处理和模式识别等方向。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttp:\u002F\u002Fbmvc2018.org\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003ENIPS 2018\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E#Annual Conference on Neural Information Processing Systems\u003C\u002Fp\u003E\u003Cimg src=\"v2-72e15020d5a8e13474417152550e4b81.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1694\" data-rawheight=\"320\"\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E截稿时间：5 月 31 日\u003C\u002Fb\u003E \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议时间：12 月 3-8 日\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E会议地点：蒙特利尔，加拿大\u003C\u002Fb\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003ENIPS 始于 1987 年，被誉为是国际顶级的机器学习和神经网络学术会议。随着深度学习在研究界和工业界取得了多项突破性进展，NIPS 在机器学习领域的学术影响力也变得举足轻重。\u003C\u002Fp\u003E\u003Cp\u003E会议官网：\u003Cu\u003Ehttps:\u002F\u002Fnips.cc\u002F\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2018-01-05T05:12:37.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":11,"likeCount":209,"state":"published","isLiked":false,"slug":"32653611","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2018-01-05T13:12:37+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32653611\u002Fcomments"},"url":"\u002Fp\u002F32653611","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-0af2578cb19ee2ce01bbfceeab15e43c_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F32653611","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":11,"likesCount":209},"33606964":{"title":"「知识表示学习」专题论文推荐 | 每周论文清单","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E本期论文清单来自清华大学博士生韩旭和北师大本科生曹书林，涵盖了近年知识表示学习方向的重要论文。\u003C\u002Fblockquote\u003E\u003Ch2\u003E\u003Cb\u003E[ 综述类 ]\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cimg src=\"v2-4e118025eccb8bae7a5a45d5337e70c9.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"327\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E■ 论文 | Representation Learning: A Review and New Perspectives\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1628\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-a85591f45eb8884cbf11d437ae5f59b0.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"836\" data-rawheight=\"314\"\u003E\u003Cp\u003E■ 论文 | Knowledge Representation Learning: A Review\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1629\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-9ca9d6c6bb5e9797d4842b221f9f6e7e.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"229\"\u003E\u003Cp\u003E■ 论文 | A Review of Relational Machine Learning for Knowledge Graphs\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1630\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-951b80ec25513bab15128a8f9f48f724.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"239\"\u003E\u003Cp\u003E■ 论文 | Knowledge Graph Embedding: A Survey of Approaches and Applications\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1425\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E[ 期刊 &amp; 顶会 ]\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cimg src=\"v2-1c02191ea21409abdc494a954d68b092.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"377\"\u003E\u003Cp\u003E■ 论文 | A Three-Way Model for Collective Learning on Multi-Relational Data\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1632\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FOpenKE\u003C\u002Fp\u003E\u003Cimg src=\"v2-826d9002182bbccede6402f7f0e6310d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"217\"\u003E\u003Cp\u003E■ 论文 | Learning Structured Embeddings of Knowledge Bases\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1633\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-6a3f95cd97fab72e9468e72c443e1551.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"532\"\u003E\u003Cp\u003E■ 论文 | A Latent Factor Model for Highly Multi-relational Data\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1634\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-fc1fe58a5ae8240497cc754b90cff365.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"398\"\u003E\u003Cp\u003E■ 论文 | Reasoning With Neural Tensor Networks for Knowledge Base Completion\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1635\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-916ded423a236ea734149a791acd9626.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"620\"\u003E\u003Cp\u003E■ 论文 | Translating Embeddings for Modeling Multi-relational Data\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1636\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FOpenKE\u003C\u002Fp\u003E\u003Cimg src=\"v2-3ff0dbe736ece5fddaa2a132ebb24d94.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"282\"\u003E\u003Cp\u003E■ 论文 | Knowledge Graph Embedding by Translating on Hyperplanes\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1637\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FOpenKE\u003C\u002Fp\u003E\u003Cimg src=\"v2-246bc7932fc39ec1959d3ece152a7e6c.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"237\"\u003E\u003Cp\u003E■ 论文 | Learning Entity and Relation Embeddings for Knowledge Graph Completion\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1638\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FKB2E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247484790&amp;idx=2&amp;sn=8fd971fad080bf3639cd659f2893308a&amp;chksm=96e9daf6a19e53e0435230cf761eb9cbfafc645b973201980e086d5f23e9bb1dda62b66b1e84&amp;scene=21#wechat_redirect\"\u003EKnowledge Representation and Acquisition | 实录·PhD Talk\u003C\u002Fa\u003E\u003C\u002Fu\u003E \u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-2d1e9eb8afd827ce9a0a1981a4f6cdaf.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"291\"\u003E\u003Cp\u003E■ 论文 | Knowledge Graph Embedding via Dynamic Mapping Matrix\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1639\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FKB2E\u003C\u002Fp\u003E\u003Cimg src=\"v2-a71a6f4f70633867fd0d7399999e6f76.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"233\"\u003E\u003Cp\u003E■ 论文 | TransA: An Adaptive Approach for Knowledge Graph Embedding\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1640\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247486118&amp;idx=1&amp;sn=b769e8c0d6a7ebd50ab8e34fd89db46a&amp;chksm=96e9d526a19e5c30cfa38d63cf608303cbd177a01812182000d12b34beaf0a7db92bd4c337d8&amp;scene=21#wechat_redirect\"\u003E综述 | 知识图谱向量化表示\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-44e434b44ef0b43f5d2f92de118aad1d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"325\"\u003E\u003Cp\u003E■ 论文 | Learning to Represent Knowledge Graphs with Gaussian Embedding\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1641\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-2edd7430116f22060935374dea182111.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"345\"\u003E\u003Cp\u003E■ 论文 | Embedding Entities and Relations for Learning and Inference in Knowledge Bases\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1642\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FOpenKE\u003C\u002Fp\u003E\u003Cimg src=\"v2-006e97655a87735b5a168fb705c2627d.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"249\"\u003E\u003Cp\u003E■ 论文 | Modeling Relation Paths for Representation Learning of Knowledge Bases\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1111\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FKB2E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247484790&amp;idx=2&amp;sn=8fd971fad080bf3639cd659f2893308a&amp;chksm=96e9daf6a19e53e0435230cf761eb9cbfafc645b973201980e086d5f23e9bb1dda62b66b1e84&amp;scene=21#wechat_redirect\"\u003EKnowledge Representation and Acquisition | 实录·PhD Talk\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-c6eda1c568f97c7e7f83c36cb26bdab4.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"282\"\u003E\u003Cp\u003E■ 论文 | Composing Relationships with Translations\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1643\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-7c16aa6e986c7d7415737a1e4ef9f891.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"315\"\u003E\u003Cp\u003E■ 论文 | From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1644\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-4ac219f05f114d12cd1a814a7416c264.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"352\"\u003E\u003Cp\u003E■ 论文 | TransG : A Generative Model for Knowledge Graph Embedding\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1645\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002FBookmanHan\u002FEmbedding\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzA3MzI4MjgzMw==&amp;mid=2650719922&amp;idx=4&amp;sn=7f79a32d4233ddcd74496f9143e82efd&amp;chksm=871b02ccb06c8bda5acac3ae287cf5c8a440a529d9a007a23647b43e60774ae4cf6b94baa892&amp;scene=21#wechat_redirect\"\u003E一周论文 | 基于翻译模型(Trans系列)的知识表示学习\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-e58a0c56c1bda4c9c717b831ef39aa63.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"393\"\u003E\u003Cp\u003E■ 论文 | Complex Embeddings for Simple Link Prediction\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1646\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fttrouill\u002Fcomplex\u003C\u002Fp\u003E\u003Cimg src=\"v2-1890ce71bb56a259fc3874993e8f114a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"264\"\u003E\u003Cp\u003E■ 论文 | Holographic Embeddings of Knowledge Graphs\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F556\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fmnick\u002Fholographic-embeddings\u003C\u002Fp\u003E\u003Cimg src=\"v2-e27ba1bf1a559345692699a1b3b05c13.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"258\"\u003E\u003Cp\u003E■ 论文 | Knowledge Representation Learning with Entities, Attributes and Relations\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1647\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FKR-EAR\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247484790&amp;idx=2&amp;sn=8fd971fad080bf3639cd659f2893308a&amp;chksm=96e9daf6a19e53e0435230cf761eb9cbfafc645b973201980e086d5f23e9bb1dda62b66b1e84&amp;scene=21#wechat_redirect\"\u003EKnowledge Representation and Acquisition | 实录·PhD Talk\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-f01269bb90eafe94ca2843efb3f3f237.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"952\" data-rawheight=\"294\"\u003E\u003Cp\u003E■ 论文 | Knowledge Graph Completion with Adaptive Sparse Transfer Matrix\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1648\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FKB2E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247486118&amp;idx=1&amp;sn=b769e8c0d6a7ebd50ab8e34fd89db46a&amp;chksm=96e9d526a19e5c30cfa38d63cf608303cbd177a01812182000d12b34beaf0a7db92bd4c337d8&amp;scene=21#wechat_redirect\"\u003E综述 | 知识图谱向量化表示\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-c9ddbdf93aa77d2eb2e62d9cb8f945f2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"269\"\u003E\u003Cp\u003E■ 论文 | Representation Learning of Knowledge Graphs with Hierarchical Types\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1649\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FTKRL\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247485102&amp;idx=1&amp;sn=29737d564157a12a80dda3dcfc8a19fd&amp;chksm=96e9d92ea19e5038a57e5fca0a103701f6129edbd51d331445a6beba49a53e1a8da00e831ca8&amp;scene=21#wechat_redirect\"\u003E多源信息表示学习在知识图谱中的应用 | 实录·Guru Talk\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-731dce46aca64a9450cb1b1f9213a781.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"374\"\u003E\u003Cp\u003E■ 论文 | STransE: A Novel Embedding Model of Entities and Relationships in Knowledge Bases\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1650\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fdatquocnguyen\u002FSTransE\u003C\u002Fp\u003E\u003Cimg src=\"v2-d264ca5afbb674d4bf2ae5b78e6ed0ee.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"249\"\u003E\u003Cp\u003E■ 论文 | GAKE: Graph Aware Knowledge Embedding\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1651\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002FJuneFeng\u002FGAKE\u003C\u002Fp\u003E\u003Cimg src=\"v2-f00e9e2cea17df7b069958926b8ddba6.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"259\"\u003E\u003Cp\u003E■ 论文 | Representation Learning of Knowledge Graphs with Entity Descriptions\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1652\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FDKRL\u003C\u002Fp\u003E\u003Cimg src=\"v2-6325dbe1e5580e52c20f9746e15ba3fd.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"263\"\u003E\u003Cp\u003E■ 论文 | Learning First-Order Logic Embeddings via Matrix Factorization\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1653\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | 无\u003C\u002Fp\u003E\u003Cimg src=\"v2-04723b4e105d3f1389565b28c45b21cf.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"330\"\u003E\u003Cp\u003E■ 论文 | Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1654\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | http:\u002F\u002Fwww.ibookman.net\u002Fconference.html\u003C\u002Fp\u003E\u003Cimg src=\"v2-1b93ad3528dca4e0b2f9346df633507c.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"712\" data-rawheight=\"272\"\u003E\u003Cp\u003E■ 论文 | ProjE: Embedding Projection for Knowledge Graph Completion\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1655\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fbxshi\u002FProjE\u003C\u002Fp\u003E\u003Cimg src=\"v2-8f2ac29ff68cc894678c1487edd2b8aa.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"208\"\u003E\u003Cp\u003E■ 论文 | Analogical Inference for Multi-Relational Embeddings\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1656\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fmana-ysh\u002Fknowledge-graph-embeddings\u003C\u002Fp\u003E\u003Cimg src=\"v2-4780c9211823ae382f372f1484168968.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"254\"\u003E\u003Cp\u003E■ 论文 | Image-embodied Knowledge Representation Learning\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F449\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fxrb92\u002FIKRL\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E扩展阅读：\u003C\u002Fb\u003E \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwMTc4ODE0Mw==&amp;mid=2247485102&amp;idx=1&amp;sn=29737d564157a12a80dda3dcfc8a19fd&amp;chksm=96e9d92ea19e5038a57e5fca0a103701f6129edbd51d331445a6beba49a53e1a8da00e831ca8&amp;scene=21#wechat_redirect\"\u003E多源信息表示学习在知识图谱中的应用 | 实录·Guru Talk\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cimg src=\"v2-5bfad8dd3b263f071083fbc8c840f892.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"300\"\u003E\u003Cp\u003E■ 论文 | Iterative Entity Alignment via Joint Knowledge Embeddings\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1657\u003C\u002Fp\u003E\u003Cp\u003E■ 源码 | https:\u002F\u002Fgithub.com\u002Fthunlp\u002FIEAJKE\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E我是彩蛋\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E解锁新姿势：用微信刷论文！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly小程序上线啦\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E今日arXiv√猜你喜欢√热门资源√\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E随时紧跟最新最热论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E解锁方式\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 扫描下方小程序码打开小程序\u003C\u002Fp\u003E\u003Cp\u003E2. 用PaperWeekly社区账号进行登陆\u003C\u002Fp\u003E\u003Cp\u003E3. 登陆后即可解锁所有功能\u003C\u002Fp\u003E\u003Cimg src=\"v2-ddae2561882d116e17ea4981302f4ce2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"258\" data-rawheight=\"258\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2018-02-05T08:33:30.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":45,"state":"published","isLiked":false,"slug":"33606964","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2018-02-05T16:33:30+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F33606964\u002Fcomments"},"url":"\u002Fp\u002F33606964","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-fd9bd52677587fef538ec647736ea9b3_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F33606964","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":45},"33729052":{"title":"春节囤货清单 | 15篇近期值得读的AI论文","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E[ 自然语言处理 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EDeep Learning for Sentiment Analysis : A Survey\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@xwzhong 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Sentiment Classification\u003C\u002Fp\u003E\u003Cp\u003E近年来，深度学习有了突破性发展，NLP 领域里的情感分析任务逐渐引入了这种方法，并形成了很多业内最佳结果。本文中，来自领英与伊利诺伊大学芝加哥分校的研究人员对基于深度学习的情感分析研究进行了详细论述。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1589\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EGenerating Wikipedia by Summarizing Long Sequences\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@paperweekly 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Short Text Expansion\u003C\u002Fp\u003E\u003Cp\u003E本文来自 Google Brain，通过长序列摘要生成维基百科。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1615\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EMaskGAN: Better Text Generation via Filling in the ______\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Synced 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Paraphrase Generation\u003C\u002Fp\u003E\u003Cp\u003E谷歌大脑提出使用生成对抗网络（GAN）来提高文本质量，它通过显式地训练生成器产生高质量文本，并且已经在图像生成领域取得很大成功。GAN 最初设计用于输出可微分的值，所以生成离散语言是具有挑战性的。作者认为验证复杂度本身不代表模型生成的文本质量。\u003C\u002Fp\u003E\u003Cp\u003E本文引入条件 actor-critic GAN，它可以基于上下文填充缺失的文本。本文从定性和定量的角度证明，相比最大似然训练的模型，这种方法生成了更真实的有条件和无条件文本样本。 \u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1588\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EInvestigating the Working of Text Classifiers\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@duinodu 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Text Classification\u003C\u002Fp\u003E\u003Cp\u003E文本分类问题，给一段文本指定一个类别，在主题分类和情感分析中都有应用到。它的难点在于如何在具有语义的文本中，对句子之间的内在联系（语义或句法）进行编码。这对文本情感分类很关键，因为比如像“对照”或者“因果”等关系，会直接决定整个文档的性质。\u003C\u002Fp\u003E\u003Cp\u003E本文并没有提出一套完整的解决方法，而是通过构建新的数据集（训练集和测试集尽可能不包含共同的关键词），验证上面的猜想。此外，作者还设计了一种 ANON 的正则方法，让网络不那么容易记住文档的关键词。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1579\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EA Hybrid Framework for Text Modeling with Convolutional RNN\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@yinnxinn 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Question Answering\u003C\u002Fp\u003E\u003Cp\u003E本文使用 RNN+CNN 的结构来完成 NLP 中的问答任务，其亮点在于使用 RNN 获取 question 和 answer 的上下文语义，CNN 在语义层面对二者进行操作。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1663\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 计算机视觉 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EMAttNet: Modular Attention Network for Referring Expression Comprehension\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@EthanLC 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Multimodal\u003C\u002Fp\u003E\u003Cp\u003E本文对 referring expression（指向目标物体的自然语句）进行 modular network 的建模，提供了主语，位置，关系三个 module。\u003C\u002Fp\u003E\u003Cp\u003E每个 module 的组合权重由 attention 机制来实现，各个模块内提供不同的 visual attention 来关注图片内的相关区域。模型涉及到的 word，module，visual 的 attention 都当做隐变量自动学习。\u003C\u002Fp\u003E\u003Cp\u003E整体框架可以与 Mask R-CNN 无缝连接，在目标定位和分割两个 task 上都达到了目前最佳准确率。\u003C\u002Fp\u003E\u003Cp\u003EDemo: \u003Cu\u003Ehttp:\u002F\u002Fgpuvision.cs.unc.edu\u002Frefer\u002Fcomprehension\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1594\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EWasserstein Auto-Encoders\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@huapohen 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#GAN\u003C\u002Fp\u003E\u003Cp\u003EICLR2018 高分论文,通过 optimal transport（最优传输）的角度，Wasserstein+auto-encoder 构建生成模型。但对 GAN 有情怀，通过对抗训练学习对手来提升自己，学习此篇 WAE（WGAN 的对手）正是如此，助于我们提升 GAN 网络的生成性能和或解释性。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1578\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EA Mixed-scale Dense Convolutional Neural Network for Image Analysis\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@somtian 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#CNN\u003C\u002Fp\u003E\u003Cp\u003E本文通过将 dilated 卷积的 feature maps 做 dense connection，使模型可以处理计算机视觉中的很多问题，比如混合尺度的处理以及可以应用到很多问题中。同时减少了网络的参数，加速训练和应用。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1621\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EDynamic Weight Alignment for Convolutional Neural Networks\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@duinodu 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#CNN\u003C\u002Fp\u003E\u003Cp\u003E用 CNN 处理序列数据的问题在于，序列数据在时间上是存在畸变的，比如速率不稳定。而 CNN 的这种线性性质，让卷积核无法处理时间畸变这个问题。\u003C\u002Fp\u003E\u003Cp\u003E本文提出了一种在 CNN 的卷积核中对齐权重的方法，使得这样的 CNN 更能处理序列数据，并在多个数据集上验证了这个方法的有效性。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1591\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ESingle-Shot Refinement Neural Network for Object Detection\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@arlen 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Object Detection\u003C\u002Fp\u003E\u003Cp\u003E本文来自中科院自动化所，论文利用多层特征效果显著，结合了单阶段和双阶段的优点，在准确率和速度上有很好的均衡。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1576\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E[ 机器学习 ]\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EModel Evaluation, Model Selection, and Algorithm Selection in Machine Learning\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Synced 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Model Optimization\u003C\u002Fp\u003E\u003Cp\u003E本文回顾了用于模型评估、模型选择和算法选择任务中的不同技术，并参考理论和实证研究讨论了每种技术的主要优势和劣势。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1616\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ETraining Neural Networks by Using Power Linear Units (PoLUs)\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@snowwalkerj 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Activation Function\u003C\u002Fp\u003E\u003Cp\u003E本文设计了一种 PoLU 激活函数，在多个数据集上取得超过 ReLU 的性能。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1658\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ELearning Continuous User Representations through Hybrid Filtering with doc2vec\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@Ttssxuan 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Recommender System\u003C\u002Fp\u003E\u003Cp\u003E本文把用行为使用 item 描述进行串连，构成文档，并使用 doc2vec 训练用户表示向量。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1562\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ENDDR-CNN: Layer-wise Feature Fusing in Multi-Task CNN by Neural Discriminative Dimensionality Reduction\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@xaj 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Multi-task Learning\u003C\u002Fp\u003E\u003Cp\u003E本文研究的问题是多任务学习。作者提出了一种对多个网络（对应多个任务）进行逐层特征融合的方法。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1614\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EAn Attention-based Collaboration Framework for Multi-View Network Representation Learning\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E@arlen 推荐\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E#Object Detection\u003C\u002Fp\u003E\u003Cp\u003E本文是网络表示学习大牛 Jian Tang 的工作，论文利用 multi-view 来对网络进行表示学习。各个 view 之间通过共享邻居来保证所有节点表示在同一个空间中，同时，通过引入 attention 机制，可以学到不同节点在不同 view 的权重。\u003C\u002Fp\u003E\u003Cp\u003E论文链接：\u003Ca href=\"https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1583\"\u003Ehttps:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1583\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，\u003C\u002Fb\u003E\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\u002F\"\u003E点击即刻加入社区\u003C\u002Fa\u003E\u003Cb\u003E！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E我是彩蛋\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E解锁新姿势：用微信刷论文！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly小程序上线啦\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E今日arXiv√猜你喜欢√热门资源√\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E随时紧跟最新最热论文\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E解锁方式\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1. 扫描下方小程序码打开小程序\u003C\u002Fp\u003E\u003Cp\u003E2. 用PaperWeekly社区账号进行登陆\u003C\u002Fp\u003E\u003Cp\u003E3. 登陆后即可解锁所有功能\u003C\u002Fp\u003E\u003Cimg src=\"v2-ddae2561882d116e17ea4981302f4ce2.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"258\" data-rawheight=\"258\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2018-02-09T10:43:04.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":5,"likeCount":59,"state":"published","isLiked":false,"slug":"33729052","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2018-02-09T18:43:04+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F33729052\u002Fcomments"},"url":"\u002Fp\u002F33729052","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-4f2c6abbc4b1ba0ef55f95b4f5d72b6e_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F33729052","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":5,"likesCount":59},"36051603":{"title":"当前深度神经网络模型压缩和加速都有哪些方法？","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fblockquote\u003E\u003Cp\u003E本期推荐的论文笔记来自 PaperWeekly 社区用户 \u003Cb\u003E@yanjoy\u003C\u002Fb\u003E。\u003Cb\u003E本文全面概述了深度神经网络的压缩方法\u003C\u002Fb\u003E，主要可分为参数修剪与共享、低秩分解、迁移\u002F压缩卷积滤波器和知识精炼，\u003Cb\u003E论文对每一类方法的性能、相关应用、优势和缺陷等方面进行了独到分析。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E关于作者：小一一，北京大学在读硕士，研究方向为深度模型压缩加速。个人主页：http:\u002F\u002Fyanjoy.win\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E■ 论文 | A Survey of Model Compression and Acceleration for Deep Neural Networks\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1675\u003C\u002Fp\u003E\u003Cp\u003E■ 作者 | Yu Cheng \u002F Duo Wang \u002F Pan Zhou \u002F Tao Zhang\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E研究背景\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E在神经网络方面，早在上个世纪末，Yann LeCun 等人已经使用神经网络成功识别了邮件上的手写邮编。至于深度学习的概念是由 Geoffrey Hinton 等人首次提出，而在 2012 年，Krizhevsky 等人采用深度学习算法，以超过第二名以传统人工设计特征方法准确率 10% 的巨大领先取得了 ImageNet 图像分类比赛冠军。\u003C\u002Fp\u003E\u003Cp\u003E此后的计算机视觉比赛已经被各种深度学习模型所承包。这些模型依赖于具有数百甚至数十亿参数的深度网络，传统 CPU 对如此庞大的网络一筹莫展，只有具有高计算能力的 GPU 才能让网络得以相对快速训练。\u003C\u002Fp\u003E\u003Cp\u003E如上文中比赛用模型使用了 1 个包含 5 个卷积层和 3 个完全连接层的 6000 万参数的网络。通常情况下，即使使用当时性能顶级的 GPU NVIDIA K40 来训练整个模型仍需要花费两到三天时间。对于使用全连接的大规模网络，其参数规模甚至可以达到数十亿量级。\u003C\u002Fp\u003E\u003Cp\u003E当然，为了解决全连接层参数规模的问题，人们转而考虑增加卷积层，使全连接参数降低。随之带来的负面影响便是大大增长了计算时间与能耗。\u003C\u002Fp\u003E\u003Cimg src=\"v2-6bd8e9434a71ea8787ed6e3a4d057ea3.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"821\" data-rawheight=\"239\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E对于具有更多层和节点的更大的神经网络，\u003Cb\u003E减少其存储和计算成本变得至关重要\u003C\u002Fb\u003E，特别是对于一些实时应用，如在线学习、增量学习以及自动驾驶。\u003C\u002Fp\u003E\u003Cp\u003E在深度学习的另一端，即更贴近人们生活的移动端，\u003Cb\u003E如何让深度模型在移动设备上运行，也是模型压缩加速的一大重要目标\u003C\u002Fb\u003E。Krizhevsky 在 2014 年的文章中，提出了两点观察结论：卷积层占据了大约 90-95% 的计算时间和参数规模，有较大的值；全连接层占据了大约 5-10% 的计算时间，95% 的参数规模，并且值较小。这为后来的研究深度模型的压缩与加速提供了统计依据。\u003C\u002Fp\u003E\u003Cp\u003E一个典型的例子是具有 50 个卷积层的 ResNet-50 需要超过 95MB 的存储器以及 38 亿次浮点运算。在丢弃了一些冗余的权重后，网络仍照常工作，但节省了超过 75％ 的参数和 50％ 的计算时间。\u003C\u002Fp\u003E\u003Cp\u003E当然，网络模型的压缩和加速的最终实现需要多学科的联合解决方案，除了压缩算法，数据结构、计算机体系结构和硬件设计等也起到了很大作用。\u003Cb\u003E本文将着重介绍不同的深度模型压缩方法，并进行对比。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E研究现状\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E综合现有的深度模型压缩方法，它们主要分为四类： \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E参数修剪和共享（parameter pruning and sharing） \u003C\u002Fli\u003E\u003Cli\u003E低秩因子分解（low-rank factorization） \u003C\u002Fli\u003E\u003Cli\u003E转移\u002F紧凑卷积滤波器（transferred\u002Fcompact convolutional filters） \u003C\u002Fli\u003E\u003Cli\u003E知识蒸馏（knowledge distillation） \u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E基于参数修剪和共享的方法针对模型参数的冗余性，试图去除冗余和不重要的项。基于低秩因子分解的技术使用矩阵\u002F张量分解来估计深度学习模型的信息参数。基于传输\u002F紧凑卷积滤波器的方法设计了特殊的结构卷积滤波器来降低存储和计算复杂度。知识蒸馏方法通过学习一个蒸馏模型，训练一个更紧凑的神经网络来重现一个更大的网络的输出。 \u003C\u002Fp\u003E\u003Cp\u003E一般来说，参数修剪和共享，低秩分解和知识蒸馏方法可以用于全连接层和卷积层的 CNN，但另一方面，使用转移\u002F紧凑型卷积核的方法仅支持卷积层。\u003C\u002Fp\u003E\u003Cp\u003E低秩因子分解和基于转换\u002F紧凑型卷积核的方法提供了一个端到端的流水线，可以很容易地在 CPU\u002FGPU 环境中实现。相反参数修剪和共享使用不同的方法，如矢量量化，二进制编码和稀疏约束来执行任务，这导致常需要几个步骤才能达到目标。\u003C\u002Fp\u003E\u003Cimg src=\"v2-40d105acac9439f75fb60702f591bd5b.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"414\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E表1：不同模型的简要对比\u003C\u002Fp\u003E\u003Cp\u003E关于训练协议，基于参数修剪\u002F共享、低秩分解的模型可以从预训练模型或者从头开始训练，因此灵活而有效。然而转移\u002F紧凑的卷积核和知识蒸馏模型只能支持从零开始训练。这些方法是独立设计和相辅相成的。例如，转移层和参数修剪和共享可以一起使用，并且模型量化和二值化可以与低秩近似一起使用以实现进一步的加速。\u003C\u002Fp\u003E\u003Cp\u003E不同模型的简要对比，如表 1 所示。下文针对这些方法做一简单介绍与讨论。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E参数修剪和共享\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E根据减少冗余（信息冗余或参数空间冗余）的方式，这些参数修剪和共享可以进一步分为三类：\u003C\u002Fb\u003E模型量化和二进制化、参数共享和结构化矩阵（structural matrix）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E量化和二进制化\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-9a378037c4026a7a4d81f8254e206eda.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"644\" data-rawheight=\"235\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图2\u003C\u002Fp\u003E\u003Cp\u003E网络量化通过减少表示每个权重所需的比特数来压缩原始网络。Gong et al. 对参数值使用 K-Means 量化。Vanhoucke et al. 使用了 8 比特参数量化可以在准确率损失极小的同时实现大幅加速。Han S 提出\u003Cb\u003E一套完整的深度网络的压缩流程\u003C\u002Fb\u003E：首先修剪不重要的连接，重新训练稀疏连接的网络。然后使用权重共享量化连接的权重，再对量化后的权重和码本进行霍夫曼编码，以进一步降低压缩率。如图 2 所示，\u003Cb\u003E包含了三阶段的压缩方法：修剪、量化（quantization）和霍夫曼编码\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E修剪减少了需要编码的权重数量，量化和霍夫曼编码减少了用于对每个权重编码的比特数。对于大部分元素为 0 的矩阵可以使用稀疏表示，进一步降低空间冗余，且这种压缩机制不会带来任何准确率损失。\u003Cb\u003E这篇论文获得了 ICLR 2016 的 Best Paper\u003C\u002Fb\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E在量化级较多的情况下准确率能够较好保持，但对于二值量化网络的准确率在处理大型 CNN 网络，如 GoogleNet 时会大大降低。另一个缺陷是现有的二进制化方法都基于简单的矩阵近似，忽视了二进制化对准确率损失的影响。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E剪枝和共享\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E网络剪枝和共享起初是解决过拟合问题的，现在更多得被用于降低网络复杂度。\u003C\u002Fp\u003E\u003Cp\u003E早期所应用的剪枝方法称为偏差权重衰减（Biased Weight Decay），其中最优脑损伤（Optimal Brain Damage）和最优脑手术（Optimal Brain Surgeon）方法，是基于损失函数的 Hessian 矩阵来减少连接的数量。他们的研究表明这种剪枝方法的精确度比基于重要性的剪枝方法（比如 Weight Decay 方法）更高。这个方向最近的一个趋势是在预先训练的 CNN 模型中修剪冗余的、非信息量的权重。\u003C\u002Fp\u003E\u003Cp\u003E在稀疏性限制的情况下培训紧凑的 CNN 也越来越流行，这些稀疏约束通常作为 l_0 或 l_1 范数调节器在优化问题中引入。 \u003C\u002Fp\u003E\u003Cp\u003E剪枝和共享方法存在一些潜在的问题。首先，若使用了 l_0 或 l_1 正则化，则剪枝方法需要更多的迭代次数才能收敛，此外，所有的剪枝方法都需要手动设置层的超参数，在某些应用中会显得很复杂。\u003C\u002Fp\u003E\u003Cimg src=\"v2-a142cf6b751e5ad987d0997d27413415.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"800\" data-rawheight=\"429\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图3：剪枝和共享\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E设计结构化矩阵\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E该方法的原理很简单：如果一个 m×n 阶矩阵只需要少于 m×n 个参数来描述，就是一个结构化矩阵（structured matrix）。通常这样的结构\u003Cb\u003E不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度\u003C\u002Fb\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E这种方法的一个潜在的问题是\u003Cb\u003E结构约束会导致精确度的损失\u003C\u002Fb\u003E，因为约束可能会给模型带来偏差。另一方面，\u003Cb\u003E如何找到一个合适的结构矩阵是困难的\u003C\u002Fb\u003E。没有理论的方法来推导出来。因而该方法没有广泛推广。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E低秩分解和稀疏性\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E一个典型的 CNN 卷积核是一个 4D 张量，而全连接层也可以当成一个 2D 矩阵，低秩分解同样可行。这些张量中可能存在大量的冗余。所有近似过程都是逐层进行的，在一个层经过低秩滤波器近似之后，该层的参数就被固定了，而之前的层已经用一种重构误差标准（reconstruction error criterion）微调过。这是压缩 2D 卷积层的典型低秩方法，如图 4 所示。\u003C\u002Fp\u003E\u003Cimg src=\"v2-e702f887d56f4d50066d53581401fa54.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"515\" data-rawheight=\"169\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图4：压缩2D卷积层的典型低秩方法\u003C\u002Fp\u003E\u003Cp\u003E使用低阶滤波器加速卷积的时间已经很长了，例如，高维 DCT（离散余弦变换）和使用张量积的小波系统分别由 1D DCT 变换和 1D 小波构成。\u003C\u002Fp\u003E\u003Cp\u003E学习可分离的 1D 滤波器由 Rigamonti 等人提出，遵循字典学习的想法。Jaderberg 的工作提出了使用不同的张量分解方案，在文本识别准确率下降 1％ 的情况下实现了 4.5 倍加速。\u003C\u002Fp\u003E\u003Cp\u003E一种 flatten 结构将原始三维卷积转换为 3 个一维卷积，参数复杂度由 \u003Ci\u003EO\u003C\u002Fi\u003E(\u003Ci\u003EXYC\u003C\u002Fi\u003E)降低到\u003Ci\u003EO\u003C\u002Fi\u003E(\u003Ci\u003EX\u003C\u002Fi\u003E+\u003Ci\u003EY\u003C\u002Fi\u003E+\u003Ci\u003EC\u003C\u002Fi\u003E)，运算复杂度由 \u003Ci\u003EO\u003C\u002Fi\u003E(\u003Ci\u003EmnCXY\u003C\u002Fi\u003E) 降低到 \u003Ci\u003EO\u003C\u002Fi\u003E(\u003Ci\u003Emn\u003C\u002Fi\u003E(\u003Ci\u003EX\u003C\u002Fi\u003E+\u003Ci\u003EY\u003C\u002Fi\u003E+\u003Ci\u003EC\u003C\u002Fi\u003E)。 \u003C\u002Fp\u003E\u003Cp\u003E低阶逼近是逐层完成的。完成一层的参数确定后，根据重建误差准则对上述层进行微调。这些是压缩二维卷积层的典型低秩方法，如图 2 所示。\u003C\u002Fp\u003E\u003Cp\u003E按照这个方向，Lebedev 提出了核张量的典型多项式（CP）分解，使用非线性最小二乘法来计算。Tai 提出了一种新的从头开始训练低秩约束 CNN 的低秩张量分解算法。它使用批量标准化（BN）来转换内部隐藏单元的激活。一般来说， CP 和 BN分解方案都可以用来从头开始训练 CNN。 \u003C\u002Fp\u003E\u003Cp\u003E低秩方法很适合模型压缩和加速，但是低秩方法的实现并不容易，因为它涉及计算成本高昂的分解操作。另一个问题是目前的方法都是逐层执行低秩近似，无法执行全局参数压缩，因为不同的层具备不同的信息。最后，分解需要大量的重新训练来达到收敛。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E迁移\u002F压缩卷积滤波器\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E虽然目前缺乏强有力的理论，但大量的实证证据支持平移不变性和卷积权重共享对于良好预测性能的重要性。\u003C\u002Fp\u003E\u003Cp\u003E使用迁移卷积层对 CNN 模型进行压缩受到 Cohen 的等变群论（equivariant group theory）的启发。使 x 作为输入，Φ(·) 作为网络或层，T(·) 作为变换矩阵。则等变概念可以定义为：\u003C\u002Fp\u003E\u003Cimg src=\"v2-b971db4f6c59abe54451142661b6e4bb.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"290\" data-rawheight=\"90\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E即使用变换矩阵 T(·) 转换输入 x，然后将其传送至网络或层 Φ(·)，其结果和先将 x 映射到网络再变换映射后的表征结果一致。注意 T 和 T' 在作用到不同对象时可能会有不同的操作。根据这个理论，将变换应用到层次或滤波器 Φ(·) 来压缩整个网络模型是合理的。\u003C\u002Fp\u003E\u003Cp\u003E使用紧凑的卷积滤波器可以直接降低计算成本。在 Inception 结构中使用了将 3×3 卷积分解成两个 1×1 的卷积；SqueezeNet 提出用 1×1 卷积来代替 3×3 卷积，与 AlexNet 相比，SqueezeNet 创建了一个紧凑的神经网络，参数少了 50 倍，准确度相当。 \u003C\u002Fp\u003E\u003Cp\u003E这种方法仍有一些小问题解决。首先，这些方法擅长处理广泛\u002F平坦的体系结构（如 VGGNet）网络，而不是狭窄的\u002F特殊的（如 GoogleNet，ResidualNet）。其次，转移的假设有时过于强大，不足以指导算法，导致某些数据集的结果不稳定。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E知识蒸馏\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E利用知识转移（knowledge transfer）来压缩模型最早是由 Caruana 等人提出的。他们训练了带有伪数据标记的强分类器的压缩\u002F集成模型，并复制了原始大型网络的输出，但是，这项工作仅限于浅模型。\u003C\u002Fp\u003E\u003Cp\u003E后来改进为知识蒸馏，将深度和宽度的网络压缩成较浅的网络，其中压缩模型模拟复杂模型所学习的功能，主要思想是通过学习通过 softmax 获得的类分布输出，将知识从一个大的模型转移到一个小的模型。 \u003C\u002Fp\u003E\u003Cp\u003EHinton 的工作引入了知识蒸馏压缩框架，即通过遵循“学生-教师”的范式减少深度网络的训练量，这种“学生-教师”的范式，即通过软化“教师”的输出而惩罚“学生”。为了完成这一点，学生学要训练以预测教师的输出，即真实的分类标签。这种方法十分简单，但它同样在各种图像分类任务中表现出较好的结果。 \u003C\u002Fp\u003E\u003Cp\u003E基于知识蒸馏的方法\u003Cb\u003E能令更深的模型变得更加浅而显著地降低计算成本\u003C\u002Fb\u003E。但是也有一些缺点，例如只能用于具有 Softmax 损失函数分类任务，这阻碍了其应用。另一个缺点是模型的假设有时太严格，其性能有时比不上其它方法。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E讨论与挑战\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E深度模型的压缩和加速技术还处在早期阶段，\u003Cb\u003E目前还存在以下挑战： \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E依赖于原模型，降低了修改网络配置的空间，对于复杂的任务，尚不可靠；\u003C\u002Fli\u003E\u003Cli\u003E通过减少神经元之间连接或通道数量的方法进行剪枝，在压缩加速中较为有效。但这样会对下一层的输入造成严重的影响；\u003C\u002Fli\u003E\u003Cli\u003E结构化矩阵和迁移卷积滤波器方法必须使模型具有较强的人类先验知识，这对模型的性能和稳定性有显著的影响。研究如何控制强加先验知识的影响是很重要的；\u003C\u002Fli\u003E\u003Cli\u003E知识精炼方法有很多优势，比如不需要特定的硬件或实现就能直接加速模型。个人觉得这和迁移学习有些关联。 \u003C\u002Fli\u003E\u003Cli\u003E多种小型平台（例如移动设备、机器人、自动驾驶汽车）的硬件限制仍然是阻碍深层 CNN 发展的主要问题。相比于压缩，可能模型加速要更为重要，专用芯片的出现固然有效，但从数学计算上将乘加法转为逻辑和位移运算也是一种很好的思路。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch2\u003E\u003Cb\u003E量化实验中问题与讨论\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E实验框架的选择\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003ETensorFlow 支持的是一种静态图，当模型的参数确定之后，便无法继续修改。这对于逐阶段、分层的训练带来了一定的困难。相比之下，Pytorch 使用了动态图，在定义完模型之后还可以边训练边修改其参数，具有很高的灵活性。这也是深度学习未来的发展方向。\u003C\u002Fp\u003E\u003Cp\u003E目前的开发者版本 nightly 中，TensorFlow也开始支持动态图的定义，但还未普及。 因此在选择上，\u003Cb\u003E科研和实验优先用 Pytorch，工程和应用上可能要偏 TensorFlow\u003C\u002Fb\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E聚类算法的低效性\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E聚类算法是量化的前提，sklearn 中提供了诸如 K-Means，Mean-shift，Gaussian mixtures 等可用的方法。\u003C\u002Fp\u003E\u003Cp\u003E其中 K-Means 是一种简单有效而较为快速的方法了。在个人电脑上，由于训练网络参数规模较小，因而无法体现出其运算时间。在对 VGG 这样大型的网络测试时，发现对于 256 个聚类中心，在 fc 的 4096∗4096 维度的全连接层进行聚类时，耗时超过 20 分钟（没有运行完便停止了），严重影响了算法的实用性。\u003C\u002Fp\u003E\u003Cp\u003E目前的解决办法是抽样采样，如对 1% 的参数进行聚类作为整体参数的聚类中心。这样操作后聚类时间能缩短到 5 分钟以内。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E有没有一个更加简便的方法呢？\u003C\u002Fb\u003E对于训练好的一个模型，特别是经过 l2 正则化的，其参数分布基本上可以看作是一个高斯分布模型，对其进行拟合即可得到分布参数。这样问题就转化为：\u003Cb\u003E对一个特定的高斯分布模型，是否能够根据其参数直接得到聚类中心？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果可以，那这个聚类过程将会大大缩短时间：首先对权重进行直方图划分，得到不同区间的参数分布图，再由此拟合高斯函数，最后用这个函数获得聚类中心。这个工作需要一定的数学方法，这里只是简单猜想一下。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E重训练带来的时间成本\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们日常说道的数据压缩，是根据信源的分布、概率进行的，特别是通过构建字典，来大大减少信息冗余。这套方法直接使用在模型上，效果往往不好。一个最重要的原因就是参数虽然有着美妙的分布，但几乎没有两个相同的参数。在对 Alexnet 进行 gzip 压缩后，仅仅从 233MB 下降到 216MB，远不如文本以及图像压缩算法的压缩率。因此传统方法难以解决深度学习的问题。 \u003C\u002Fp\u003E\u003Cp\u003E剪枝量化虽好，但其问题也是传统压缩所没有的，那就是重训练所带来的时间成本。这个过程就是人为为参数增加条件，让网络重新学习降低 loss 的过程，因此也无法再重新恢复成原始的网络，因为参数不重要，重要的是结果。这个过程和训练一样，是痛苦而漫长的。又因为是逐层训练，一个网络的训练时间和层数密切相关。\u003C\u002Fp\u003E\u003Cp\u003EMnist 这种简单任务，512∗512 的权重量化重训练，由最开始的 8s 增加到 36s，增加了约 4 倍时间（不排除个人代码优化不佳的可能）。如果在 GPU 服务器上，Alex 的时间成本可能还是勉强接受的，要是有 GoogleNet，ResNet 这种，真的是要训到天荒地老了。\u003C\u002Fp\u003E\u003Cp\u003E实现过程中，有很多操作无法直接实现，或者没有找到简便的方法，不得不绕了个弯子，确实会严重降低性能。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，\u003C\u002Fb\u003E\u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\u002F\"\u003E点击即刻加入社区\u003C\u002Fa\u003E\u003Cb\u003E！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2018-04-24T05:05:19.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":108,"state":"published","isLiked":false,"slug":"36051603","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2018-04-24T13:05:19+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F36051603\u002Fcomments"},"url":"\u002Fp\u002F36051603","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-c39d8a3371a4b2c3470a11c2027c9a8c_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F36051603","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":108},"36097519":{"title":"Tree-CNN：一招解决深度学习中的「灾难性遗忘」","author":"zhang-jun-87-61","content":"\u003Cblockquote\u003E在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。 \u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\"\u003E点击即刻加入社区\u003C\u002Fa\u003E，查看更多最新论文推荐。\u003C\u002Fblockquote\u003E\u003Cp\u003E本期推荐的论文笔记来自 PaperWeekly 社区用户 \u003Cb\u003E@Cratial\u003C\u002Fb\u003E。\u003Cb\u003E深度学习领域一直存在一个比较严重的问题——“灾难性遗忘”\u003C\u002Fb\u003E，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原数据集识别的能力。\u003C\u002Fp\u003E\u003Cp\u003E为解决这一问题，\u003Cb\u003E本文提出了树卷积神经网络，通过先将物体分为几个大类，然后再将各个大类依次进行划分、识别\u003C\u002Fb\u003E，就像树一样不断地开枝散叶，最终叶节点得到的类别就是我们所要识别的类。 \u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E关于作者：吴仕超，东北大学硕士生，研究方向为脑机接口、驾驶疲劳检测和机器学习。\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E■ 论文 | Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning\u003C\u002Fp\u003E\u003Cp\u003E■ 链接 | https:\u002F\u002Fwww.paperweekly.site\u002Fpapers\u002F1839\u003C\u002Fp\u003E\u003Cp\u003E■ 作者 | Deboleena Roy \u002F Priyadarshini Panda \u002F Kaushik Roy\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E网络结构及学习策略\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E网络结构 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ETree-CNN 模型借鉴了层分类器\u003C\u002Fb\u003E，树卷积神经网络由节点构成，和数据结构中的树一样，每个节点都有自己的 ID、父亲（Parent）及孩子（Children），网（Net，处理图像的卷积神经网络），LT（\"Labels Transform\"，就是每个节点所对应的标签，对于根节点和枝节点来说，可以是对最终分类类别的一种划分，对于叶节点来说，就是最终的分类类别），其中最顶部为树的根节点。\u003C\u002Fp\u003E\u003Cp\u003E本文提出的网络结构如下图所示。对于一张图像，首先会将其送到根节点网络去分类得到“super-classes”，然后根据所识别到的“super-classes”，将图像送入对应的节点做进一步分类，得到一个更“具体”的类别，依次进行递推，直到分类出我们想要的类。 \u003C\u002Fp\u003E\u003Cimg src=\"v2-a24c78053e2fc685292fe8ac45dc3f12.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"671\" data-rawheight=\"554\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图1\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E其实这就和人的识别过程相似\u003C\u002Fb\u003E，例如有下面一堆物品：数学书、语文书、物理书、橡皮、铅笔。如果要识别物理书，我们可能要经历这样的过程，先在这一堆中找到书，然后可能还要在书里面找到理科类的书，然后再从理科类的书中找到物理书，同样我们要找铅笔的话，我们可能需要先找到文具类的物品，然后再从中找到铅笔。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E学习策略 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E在识别方面，Tree-CNN 的思想很简单。如图 1 所示，主要就是从根节点出发，输出得到一个图像属于各个大类的概率，根据最大概率所对应的位置将识别过程转移到下一节点，这样最终我们能够到达叶节点，叶节点对应得到的就是我们要识别的结果。整个过程如图 2 所示。\u003C\u002Fp\u003E\u003Cimg src=\"v2-6259057da7a009eec6f4de3dc578a7df.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"694\" data-rawheight=\"498\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图2\u003C\u002Fp\u003E\u003Cp\u003E如果仅按照上面的思路去做识别，其实并没有太大的意义，不仅使识别变得很麻烦，而且在下面的实验中也证明了采用该方法所得到的识别率并不会有所提高。而\u003Cb\u003E这篇论文最主要的目的就是要解决我们在前面提到的“灾难性遗忘问题”\u003C\u002Fb\u003E，即文中所说的达到“lifelong”的效果。 \u003C\u002Fp\u003E\u003Cp\u003E对于新给的类别，我们将这些类的图像输入到根节点网络中，根节点的输出为 OK×M×I，其中 K、M、I 分别为根节点的孩子数、新类别数、每类的图像数。然后利用式（1）来求得每类图像的输出平均值 Oavg，再使用 softmax 来计算概率情况。以概率分布表示该类与根节点下面子类的相似程度。对于第 m 类，我们按照其概率分布进行排列，得到公式（3）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-de63a8d844228c3bfa5307b1e5326f43.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"685\" data-rawheight=\"217\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cimg src=\"v2-1b25231afac5c8e3ea87994b93d7866c.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"676\" data-rawheight=\"45\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E根据根节点得到的概率分布\u003C\u002Fb\u003E，文中分别对下面三种情况进行了讨论： \u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cb\u003E当输出概率中最大概率大于设定的阈值\u003C\u002Fb\u003E，则说明该类别和该位置对应的子节点有很大的关系，因此将该类别加到该子节点上； \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E若输出概率中有多个概率值大于设定的阈值\u003C\u002Fb\u003E，就联合多个子节点来共同组成新的子节点； \u003C\u002Fli\u003E\u003Cli\u003E\u003Cb\u003E如果所有的输出概率值都小于阈值\u003C\u002Fb\u003E，那么就为新类别增加新的子节点，这个节点是一个叶节点。 \u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E同样，我们将会对别的支节点继续上面的操作。通过上面的这些操作，实现对新类别的学习，文中称这种学习方式为 incremental\u002Flifelong learning。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E实验方法与结果分析\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E在这部分，作者\u003Cb\u003E分别针对 CIFAR-10 及 CIFAT-100 数据集上进行了测试\u003C\u002Fb\u003E。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E实验方法 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. CIFAR-10 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E在 CIFAR-10 的实验中，作者选取 6 类图像作为初始训练集，又将 6 类中的为汽车、卡车设定为交通工具类，将猫、狗、马设为动物类，因此构建出的初始树的结构如图 3（a）所示\u003Cb\u003E。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-5a6de56ad532d59e297314dc39e22b4a.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"669\" data-rawheight=\"396\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图3\u003C\u002Fp\u003E\u003Cp\u003E具体网络结构如图 4 所示，根节点网络是包含两层卷积、两层池化的卷积神经网络，支节点是包含 3 层卷积的卷积神经网络。\u003C\u002Fp\u003E\u003Cimg src=\"v2-6ea0c2ff59c0a1d5f66bb7d3ebd17bf0.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"672\" data-rawheight=\"323\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图4\u003C\u002Fp\u003E\u003Cp\u003E当新的类别出现时（文中将 CIFAR-10 另外 4 个类别作为新类别），按照文中的学习策略，我们先利用根节点的网络对四种类别的图片进行分类，得到的输出情况如图 5 所示，从图中可以看出，在根节点的识别中 Frog、Deer、Bird 被分类为动物的概率很高，Airplane 被分类为交通工具的概率较高。 \u003C\u002Fp\u003E\u003Cimg src=\"v2-f53f88adf577716353fafc16ca48ac98.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"556\" data-rawheight=\"391\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图5\u003C\u002Fp\u003E\u003Cp\u003E根据文中的策略，Frog、Deer、Bird 将会被加入到动物类节点，同样 Airplane 将会被加入到交通工具类节点。经过 incremental\u002Flifelong learning 后的 Tree-CNN 的结构如图 3（b）所示。 具体训练过程如图 6 所示。\u003C\u002Fp\u003E\u003Cimg src=\"v2-93db43fb096f1d4c5fd3163661662351.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"685\" data-rawheight=\"402\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图6\u003C\u002Fp\u003E\u003Cp\u003E为了对比 Tree-CNN 的效果，作者又搭建了一个包含 4 层卷积的神经网络，并分别通过调节全连接层、全连接 +conv1、全连接 +conv1+conv2、全连接 +conv1+conv2+conv3、全连接 +conv1+conv2+conv3+conv4 的参数来进行微调。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. CIFAR-100 \u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E对于 CIFAR-100 数据集，作者将 100 类数据分为 10 组，每组包含 10 类样本。在网络方面，作者将根节点网络的卷积层改为 3，并改变了全连接层的输出数目。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E实验结果分析\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E在这部分，作者\u003Cb\u003E通过设置两个参数来衡量 Tree-CNN 的性能\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cimg src=\"v2-5f6f57a7c6e425d303df6e8c2fd97f86.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"686\" data-rawheight=\"113\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E其中，Training Effort 表示 incremental learning 网络的更改程度，即可以衡量“灾难性遗忘”的程度，参数改变的程度越高，遗忘度越强。 \u003C\u002Fp\u003E\u003Cp\u003E图 7 比较了在 CIFAR-10 上微调网络和 Tree-CNN 的识别效果对比，可以看出相对于微调策略，Tree-CNN 的 Training Effort 仅比微调全连接层高，而准确率却能超出微调全连接层 +conv1。\u003C\u002Fp\u003E\u003Cimg src=\"v2-dc9a3a7ae435e88047b95857f8a4bf35.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"461\" data-rawheight=\"425\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图7\u003C\u002Fp\u003E\u003Cp\u003E这一现象在 CIFAR-100 中表现更加明显。\u003C\u002Fp\u003E\u003Cimg src=\"v2-211a2adb3f79be17bb7e96eebd48b247.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"470\" data-rawheight=\"394\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cimg src=\"v2-76d236eefd45e14047139d8e13c50255.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"514\" data-rawheight=\"421\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图8\u003C\u002Fp\u003E\u003Cp\u003E从图 7、图 8 中可以看出 Tree-CNN 的准确率已经和微调整个网络相差无几，但是在 Training Effort 上却远小于微调整个网络。 \u003C\u002Fp\u003E\u003Cp\u003E从图 9 所示分类结果中可以看出，在各个枝节点中，具有相同的特性的类被分配在相同的枝节点中。这一情况在 CIFAR-100 所得到的 Tree-CNN 最终的结构中更能体现出来。\u003C\u002Fp\u003E\u003Cimg src=\"v2-ab318396ecdec81941ca2e14328e844e.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"503\" data-rawheight=\"415\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E除了一些叶节点外，在语义上具有相同特征的物体会被分类到同一支节点下，如图 10 所示。\u003C\u002Fp\u003E\u003Cimg src=\"v2-b304fc6e06c9a2e8be064c9ec816d3e0.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"800\" data-rawheight=\"281\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E▲ \u003C\u002Fb\u003E图10\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E总结与分析\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E本文虽然\u003Cb\u003E在一定程度上减少了神经网络“灾难性遗忘”问题\u003C\u002Fb\u003E，但是从整篇文章来看，本文\u003Cb\u003E并没能使网络的识别准确率得到提升\u003C\u002Fb\u003E，反而，相对于微调整个网络来说，准确率还有所降低。此外，\u003Cb\u003E本文搭建的网络实在太多\u003C\u002Fb\u003E，虽然各个子网络的网络结构比较简单，但是调节网络会很费时。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本文由 AI 学术社区 PaperWeekly 精选推荐，社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向，\u003C\u002Fb\u003E\u003Ca href=\"https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.paperweekly.site\u002F\"\u003E点击即刻加入社区\u003C\u002Fa\u003E\u003Cb\u003E！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-0b5d47b3e332264a145202857af89b0e.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"720\" data-rawheight=\"1280\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E\u003Cb\u003E关于PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击\u003Cb\u003E「交流群」\u003C\u002Fb\u003E，小助手将把你带入 PaperWeekly 的交流群里。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E微信公众号：PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E新浪微博：@PaperWeekly\u003C\u002Fb\u003E\u003C\u002Fp\u003E","updated":new Date("2018-04-25T05:58:37.000Z"),"canComment":false,"commentPermission":"review","commentCount":1,"likeCount":31,"state":"published","isLiked":false,"slug":"36097519","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2018-04-25T13:58:37+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F36097519\u002Fcomments"},"url":"\u002Fp\u002F36097519","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-1efd4c17bef2b32eeb0641f79c4167d5_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F36097519","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":31}},"User":{"zhang-jun-87-61":{"isFollowed":false,"name":"张俊","headline":"厚积薄发","avatarUrl":"https:\u002F\u002Fpic2.zhimg.com\u002Fa4a0b508f7b774600f5400ecbd6ed744_s.jpg","isFollowing":false,"type":"people","slug":"zhang-jun-87-61","bio":"微信公众号PaperWeekly","hash":"23d404365eb80c6eb1f9423c61eb508f","uid":27153630494720,"isOrg":false,"description":"厚积薄发","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhang-jun-87-61","avatar":{"id":"a4a0b508f7b774600f5400ecbd6ed744","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false}},"Comment":{},"favlists":{}},"me":{},"global":{"experimentFeatures":{"ge3":"ge3_9","ge2":"ge2_1","androidPassThroughPush":"all","sEI":"c","nwebQAGrowth":"experiment","qawebRelatedReadingsContentControl":"close","liveStore":"ls_a2_b2_c1_f2","nwebSearch":"nweb_search_heifetz","newSignBg":"new","rt":"y","isOffice":"false","enableTtsPlay":"post","newLiveFeedMediacard":"new","newMobileAppHeader":"true","growthSearch":"s2","hybridZhmoreVideo":"yes","nwebGrowthPeople":"default","nwebSearchSuggest":"default","qrcodeLogin":"qrcode","enableVoteDownReasonMenu":"enable","isShowUnicomFreeEntry":"unicom_free_entry_off","growthBanner":"default","newMobileColumnAppheader":"new_header","androidDbRecommendAction":"open","zcmLighting":"zcm","androidDbFeedHashTagStyle":"button","appStoreRateDialog":"close","mobileFeedGuide":"block","default":"None","isNewNotiPanel":"no","adR":"b","wechatShareModal":"wechat_share_modal_show","uRe":"1","androidProfilePanel":"panel_b"}},"columns":{"next":{},"paperweekly":{"pins":[],"followersCount":13717,"creator":{"bio":"微信公众号PaperWeekly","isFollowing":false,"hash":"23d404365eb80c6eb1f9423c61eb508f","uid":27153630494720,"isOrg":false,"slug":"zhang-jun-87-61","isFollowed":false,"description":"厚积薄发","name":"张俊","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhang-jun-87-61","avatar":{"id":"a4a0b508f7b774600f5400ecbd6ed744","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"topics":[{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19560026","id":"19560026","name":"自然语言处理"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19551275","id":"19551275","name":"人工智能"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19813032","id":"19813032","name":"深度学习（Deep Learning）"}],"activateState":"activated","href":"\u002Fapi\u002Fcolumns\u002Fpaperweekly","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":146,"id":3279,"name":"自然语言处理"},{"postsCount":117,"id":89794,"name":"深度学习（Deep Learning）"},{"postsCount":90,"id":3084,"name":"机器学习"},{"postsCount":35,"id":176100,"name":"生成对抗网络（GAN）"},{"postsCount":23,"id":350,"name":"人工智能"},{"postsCount":21,"id":98133,"name":"知识图谱"},{"postsCount":20,"id":13303,"name":"计算机视觉"},{"postsCount":17,"id":173288,"name":"chatbot"},{"postsCount":14,"id":185238,"name":"神经机器翻译(NMT)"},{"postsCount":12,"id":165276,"name":"强化学习 (Reinforcement Learning)"},{"postsCount":9,"id":22263,"name":"机器翻译"},{"postsCount":8,"id":7163,"name":"问答系统"},{"postsCount":8,"id":4259,"name":"推荐系统"},{"postsCount":7,"id":179019,"name":"迁移学习 (Transfer Learning)"},{"postsCount":7,"id":19008,"name":"神经网络"},{"postsCount":7,"id":200006,"name":"对话系统"},{"postsCount":6,"id":2038,"name":"图像处理"},{"postsCount":6,"id":181971,"name":"行人重识别"},{"postsCount":6,"id":67589,"name":"聊天机器人"},{"postsCount":6,"id":15581,"name":"目标检测"},{"postsCount":6,"id":8630,"name":"文本分类"},{"postsCount":5,"id":159806,"name":"LSTM"},{"postsCount":5,"id":140681,"name":"文本情感分析"},{"postsCount":5,"id":35373,"name":"自然语言"},{"postsCount":5,"id":166861,"name":"卷积神经网络（CNN）"},{"postsCount":5,"id":181833,"name":"RNN"},{"postsCount":5,"id":13302,"name":"无监督学习"},{"postsCount":4,"id":3001,"name":"人脸识别"},{"postsCount":4,"id":170982,"name":"bot（聊天机器人）"},{"postsCount":4,"id":949,"name":"知识库"},{"postsCount":3,"id":179169,"name":"NER"},{"postsCount":3,"id":187650,"name":"目标识别"},{"postsCount":2,"id":27413,"name":"贝叶斯理论"},{"postsCount":2,"id":9985,"name":"信息检索"},{"postsCount":2,"id":27506,"name":"语义分析"},{"postsCount":2,"id":5265,"name":"开源项目"},{"postsCount":2,"id":3547,"name":"语音识别"},{"postsCount":2,"id":4172,"name":"NVIDIA （英伟达）"},{"postsCount":2,"id":20739,"name":"数据集"},{"postsCount":2,"id":8632,"name":"有监督学习"},{"postsCount":2,"id":157162,"name":"阅读理解"},{"postsCount":2,"id":23172,"name":"医学影像"},{"postsCount":2,"id":162939,"name":"TensorFlow"},{"postsCount":1,"id":42551,"name":"解码器"},{"postsCount":1,"id":60987,"name":"统计学习"},{"postsCount":1,"id":3074,"name":"数据分析"},{"postsCount":1,"id":12839,"name":"图像识别"},{"postsCount":1,"id":5179,"name":"文本挖掘"},{"postsCount":1,"id":107411,"name":"语音合成"},{"postsCount":1,"id":113894,"name":"OCR识别"},{"postsCount":1,"id":5183,"name":"文献综述"},{"postsCount":1,"id":141628,"name":"事件流处理"},{"postsCount":1,"id":142920,"name":"自动生成"},{"postsCount":1,"id":153484,"name":"Face++（旷视科技）"},{"postsCount":1,"id":155534,"name":"短文本分类"},{"postsCount":1,"id":13741,"name":"中文分词"},{"postsCount":1,"id":159799,"name":"arXiv"},{"postsCount":1,"id":1103,"name":"数据挖掘"},{"postsCount":1,"id":159889,"name":"线下聚会"},{"postsCount":1,"id":162933,"name":"word embedding"},{"postsCount":1,"id":18030,"name":"推理"},{"postsCount":1,"id":163467,"name":"NIPS"},{"postsCount":1,"id":5288,"name":"GitHub"},{"postsCount":1,"id":166141,"name":"词义演变"},{"postsCount":1,"id":166613,"name":"DeepMind"},{"postsCount":1,"id":5739,"name":"线下活动"},{"postsCount":1,"id":170851,"name":"CVPR"},{"postsCount":1,"id":20954,"name":"微软亚洲研究院"},{"postsCount":1,"id":6381,"name":"科大讯飞"},{"postsCount":1,"id":6901,"name":"GPU 通用计算"},{"postsCount":1,"id":25671,"name":"语义识别"},{"postsCount":1,"id":1354,"name":"编程"},{"postsCount":1,"id":180973,"name":"alpha go"},{"postsCount":1,"id":181100,"name":"ResNet"},{"postsCount":1,"id":7415,"name":"摘要"},{"postsCount":1,"id":484,"name":"微软（Microsoft）"},{"postsCount":1,"id":182319,"name":"半监督学习"},{"postsCount":1,"id":2,"name":"知乎"},{"postsCount":1,"id":44434,"name":"冷启动"},{"postsCount":1,"id":54155,"name":"时间序列分析"},{"postsCount":1,"id":208782,"name":"relu"},{"postsCount":1,"id":210163,"name":"胶囊网络"}],"pendingName":"","avatar":{"id":"v2-8ae80aa47b735441469b01414fc5dcce","template":"https:\u002F\u002Fpic3.zhimg.com\u002F{id}_{size}.jpg"},"canManage":false,"description":"PaperWeekly是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"paperweekly","name":"PaperWeekly","url":"\u002Fpaperweekly","intro":"欢迎关注同名微信公众号：PaperWeekly","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":260,"canPost":false,"FULLINFO":true}},"columnPosts":{"paperweekly":{"entity":["36097519","36051603","33729052","33606964","32653611","32459286","32423092","32043888","30608081","30503693","30001156","29988301","29813466","29791260","29539532","29169978","29094872","28847070","28231483","28151434"],"next":{"rel":"next","href":"\u002Fapi\u002Fcolumns\u002Fpaperweekly\u002Fposts?limit=20&offset=20&topic=3084","query":{"limit":"20","offset":"20","topic":"3084"}},"topic":"机器学习"}},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldSetPoster":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"updating":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"edition":{"baidu":false,"yidianzixun":false,"qqnews":false},"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false,"userAgent":{"ua":"CCBot\u002F2.0 (http:\u002F\u002Fcommoncrawl.org\u002Ffaq\u002F)","browser":{},"engine":{},"os":{},"device":{},"cpu":{}}},"message":{"newCount":0},"pushNotification":{"newCount":0}}