夕小瑶的科技屋

超萌超好吃的机器学习干货

1,134 人关注

最新文章

从DPCNN出发，撩一下深层word-level文本分类模型
如今深度学习已经成为NLP领域的标配技术，在图像中大为成功的卷积神经网络（CNN）也开始广泛渗透到文本分类、机器翻译、机器阅读等NLP任务中。但是，在ACL2017以前，word-level的文本分类模…查看全文
夕小瑶Elsa
18 days ago
40 赞17 条评论
如何与深度学习服务器优雅的交互？（长期更新）
0. 故事序言如果有人问小夕："小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？"答曰："当然是去做Linux运维啊23333"小夕有一台自己负责的GPU服务器，她可让小夕操碎了心…查看全文
夕小瑶Elsa
4 months ago
256 赞38 条评论
Step-by-step to LSTM: 解析LSTM神经网络设计原理
Ps：喂喂喂，你萌不要光收藏不点赞呀_(:з」∠)_emmmm...搞清楚LSTM中的每个公式的每个细节为什么是这样子设计吗？想知道simple RNN是如何一步步的走向了LSTM吗？觉得LSTM…查看全文
夕小瑶Elsa
6 months ago
386 赞28 条评论
不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络！
文章转载自订阅号「夕小瑶的卖萌屋」中的文章《不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络》。Hello~你们的小夕终于吐泡泡了～前几天小夕又加班赶project啦，拖了…查看全文
夕小瑶Elsa
9 months ago
65 赞5 条评论
深度前馈网络与Xavier初始化原理
前言基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model…查看全文
夕小瑶Elsa
9 months ago
47 赞4 条评论
训练神经网络时如何确定batch size？
前言当我们要训练一个已经写好的神经网络时，我们就要直面诸多的超参数了。这些超参数一旦选不好，那么很有可能让神经网络跑的还不如感知机。因此在面对神经网络这种容量很大的model前，是…查看全文
夕小瑶Elsa
10 months ago
84 赞18 条评论
哈？你还认为似然函数跟交叉熵是一个意思呀？
在我重新抱起概率统计的课本之前，我一直都不清楚似然函数为什么是那样子的，只知道照着公式敲代码（那时候还没有tensorflow），于是出过各种糗：“啊？似然函数不就是交叉熵吗？”“机器学…查看全文
夕小瑶Elsa
10 months ago
48 赞13 条评论
如果你跟夕小瑶恋爱了...
如果...如果...有一天...你追到了女神夕小瑶...并且与她恋爱了... （想说“没有如果”的路人请选择狗带(￣∇￣)）小夕的生活很规律的哦，小夕每天都会依次经历且仅仅经历以下6件事情：化妆-…查看全文
夕小瑶Elsa
a year ago
133 赞42 条评论
解开玻尔兹曼机的封印会发生什么？
在上一篇文章中，小夕讲述了逻辑回归为了抗衡贝叶斯网，也开始了自己的进化。然而令我们没有想到的是，逻辑回归最终竟然进化成了一个生成式模型——受限玻尔兹曼机（RBM），也就是变成了敌…查看全文
夕小瑶Elsa
10 months ago
43 赞0 条评论
从逻辑回归到玻尔兹曼机—一个生儿育女的故事
开篇高能预警：这是一篇思维量比较大的文章，深夜阅读小心失眠哦~在那很久很久以前，可爱的小夕写了一篇将逻辑回归小题大做的文章，然后在另一篇文章中阐述了逻辑回归的本质，并且推广出了s…查看全文
夕小瑶Elsa
10 months ago
56 赞7 条评论
从前，夕小瑶种了一棵树
从前从前，小夕种了一棵树，种在了小夕的小屋后面~ 为什么要种这棵树呢？因为呀，它可以帮小夕总结历史经验，然后帮小夕对当前的局势做出决策~这样小夕就可以安心给大家写…查看全文
夕小瑶Elsa
a year ago
25 赞4 条评论
期望最大化(EM)算法真如用起来那么简单？
声明：本文改编自订阅号“夕小瑶的卖萌屋”中的《机器学习系列-强填EM算法在理论与工程之间的鸿沟（上）》、《机器学习系列-强填EM算法在理论与工程之间的鸿沟（下）》。…查看全文
夕小瑶Elsa
a year ago
97 赞15 条评论
一位老师，一位领导，一个让全体学生考上目标学校的故事
今天，小夕给大家讲一个故事...从前，有座山...山里，有座学校...学校里，有一位老师，一位领导，还有五只可爱的小仙(学)女(生)。这5个学生的名字是：小兔，小青，小路，…查看全文
夕小瑶Elsa
a year ago
197 赞16 条评论
请某些人不要再冒充内行，过分夸大深度学习好不好喵？
2月8日更新小夕重写了最后一段，加了如今的研究现状与未来愿景。欢迎大家和谐讨论哦前言是这样的，小夕几天前跟一个小学弟争论了好几个小时机器学习与深度学习的事情，这个…查看全文
夕小瑶Elsa
a year ago
95 赞55 条评论
BP算法是从天上掉下来的吗？
前馈神经网络在文章《逻辑回归到神经网络》（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在《一般化机器学习与神经网络》中，小夕阐…查看全文
夕小瑶Elsa
a year ago
52 赞4 条评论

{"database":{"Post":{"25109561":{"title":"请某些人不要再冒充内行，过分夸大深度学习好不好喵？","author":"tsxiyao","content":"\u003Ch2\u003E2月8日更新\u003C\u002Fh2\u003E\u003Cp\u003E小夕重写了最后一段，加了如今的研究现状与未来愿景。欢迎大家和谐讨论哦\u003C\u002Fp\u003E\u003Ch2\u003E前言\u003C\u002Fh2\u003E\u003Cp\u003E\u003Ci\u003E是这样的，小夕几天前跟一个小学弟争论了好几个小时机器学习与深度学习的事情，这个小学弟试图说服我\u003C\u002Fi\u003E\u003Ci\u003E“\u003C\u002Fi\u003E\u003Ci\u003E现在学人工智能只需要学神经网络，然后转深度学习就可以了\u003C\u002Fi\u003E\u003Ci\u003E”\u003C\u002Fi\u003E\u003Ci\u003E，而我问他\u003C\u002Fi\u003E\u003Ci\u003E“\u003C\u002Fi\u003E\u003Ci\u003E知不知道人工智能的进化史？还有机器学习的进化史？\u003C\u002Fi\u003E\u003Ci\u003E”\u003C\u002Fi\u003E\u003Ci\u003E。他答曰：\u003C\u002Fi\u003E\u003Ci\u003E“\u003C\u002Fi\u003E\u003Ci\u003E知道啊，就是之前人工智能就是机器学习的天下，而现在是深度学习的天下了\u003C\u002Fi\u003E\u003Ci\u003E”\u003C\u002Fi\u003E\u003Ci\u003E。小夕当场喷掉。我问他你这些思想跟谁学的？于是他发给我一篇看似极其专业，实则无知至极的一个所谓人工智能从业者的文章。小夕不喜欢跟人撕逼，但是也不想选择无视，眼看一个个对人工智能、机器学习、深度学习满怀激情的初学者走上大弯路！因此谨以此文写给真正有志于从事人工智能相关行业的人，希望能给可爱的你们带来正能量启发。\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Ch2\u003E本文主线\u003C\u002Fh2\u003E\u003Cp\u003E小夕将以人工智能的进化史为主线展开介绍。小夕会依次提及规则学习、统计学习以及深度学习，最后小夕给出一些建议。希望看完这篇文章的童鞋起码不会再义正言辞的搬出“深度学习要取代机器学习”这种言论啦。另外，下面的文字改编自小夕的微信订阅号【夕小瑶的卖萌屋】中的文章\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483667&amp;idx=1&amp;sn=2beb3a6dec9d9b9c99f4f10869219aa9&amp;chksm=970c29c5a07ba0d33406c37dada99b448f404ea8864debbbe6e3147c54d7c0792c632a8e8641#rd\" data-title=\"《引爆人工智能黑夜的是！统！计！》\" class=\"\"\u003E《引爆人工智能黑夜的是！统！计！》\u003C\u002Fa\u003E，萌气比较重，介意的童鞋请提前打开滤波器。\u003C\u002Fp\u003E\u003Ch2\u003E人工智能宝宝\u003C\u002Fh2\u003E\u003Cp\u003E人工智能这个宝宝诞生于60年前的达特茅斯会议。这个宝宝刚刚出生便受到了全世界极大的关注，都快要成神宝宝了。但是这个宝宝的成长不像数学、物理等千年乖宝宝一样稳中求破，而是几经大起大落，甚至一度被人们遗忘。然而近年来随着“深度学习”被大众媒体推上风口浪尖，人工智能宝宝正在以超越任何一个历史阶段的速度极速成长，悄然颠覆着我们的生活。\u003C\u002Fp\u003E\u003Cp\u003E那么人工智能宝宝是什么呢？人工智能宝宝怎么会走进黑夜呢？引爆黑夜的统计又是什么喵？\u003C\u002Fp\u003E\u003Cp\u003E听小夕从历史讲起哦。在人工智能宝宝出生后的一二十年（上世纪六十七年代），计算机的普及程度很低。比如在我们国家，那时候可能整个我国都没有几台计算机（好像第一台计算机是上世纪70年代我们和美建交时美送的）。哪怕在美，计算机也没有被大规模普及。因此可想而知，当时不仅计算资源稀缺（通俗讲就是计算机性能很差），而且计算机可以利用的数据量也极其稀少（比如想象一下那时的互联网发展水平）。因此在当时的条件下，各位计算机大牛告诉人工智能宝宝：“记住规则！并用规则思考！你就能茁壮成长！”。\u003C\u002Fp\u003E\u003Ch2\u003E走进黑夜\u003C\u002Fh2\u003E\u003Cp\u003E注意哦，这里小夕讲的是整个人工智能宝宝都被灌输了基于规则的思想！而人工智能是一个很大的体系，我们平常说的图像识别、视频理解等是属于计算机视觉(CV)领域的内容，而计算机视觉仅仅是人工智能技术的一个应用领域而已啦~而让计算机理解和自动处理人类日常交流用的文字，就是自然语言处理这一分支的任务。像语音识别就更不用说啦。除了这些如今热的烫手的应用领域外，人工智能还包括机器定理证明、专家系统等重要应用分支。而如今被炒的火热的机器学习理论也仅仅是人工智能理论体系中的一部分而已。所以在当时，基于规则的思想席卷了人工智能这个新兴学科，自然就包括了机器学习理论，当然更包括机器定理证明、自然语言处理等人工智能技术的应用方向啦~当然，像计算机视觉这种只有二十来年历史的新兴应用领域就没有经历这段“基于规则”的历史哦。\u003Cb\u003E（补充一下，感谢\u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Ff38193bc2f7f3c10c55042d009b411a5\" data-hash=\"f38193bc2f7f3c10c55042d009b411a5\" class=\"member_mention\" data-hovercard=\"p$b$f38193bc2f7f3c10c55042d009b411a5\"\u003E@Frankenstein\u003C\u002Fa\u003E指出，这里提到的20年主要指的是识别相关的工作。但是从整个计算机视觉领域的大历史来看，60年前就展开了，但是没有涉及基于机器学习技术的识别哦）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E那么具体来说，基于规则的思想是什么思想呢？喵喵喵，小夕不告诉你o(≧v≦)o~好啦，小夕以后会写一篇文章给大家展示一个基于规则实现人工智能的例子哦，有兴趣的同学自行关注微信订阅号【夕小瑶的卖萌屋】。限于篇幅，这篇文章就不展开讲啦(⁎⁍̴̛ᴗ⁍̴̛⁎)\u003C\u002Fp\u003E\u003Cp\u003E就酱，基于规则的思想持续了很多年，也得到了极大的发展。这种思想被成功应用甚至解决了一些不太灵活的人工智能问题，比如机器定理证明，专家系统等。但是对于机器学习、自然语言处理等更灵活的问题就很容易遇到规则爆炸、精度欠佳、矛盾规则等一系列问题，虽然后来出现的主观贝叶斯等不确定性推理等方法在努力寻求突破，但是总的来说，这些灵活的应用领域很快发展到了瓶颈。而恰恰这些灵活的应用领域正是普通大众最感兴趣且抱有期待的人工智能领域，毕竟普通大众也理解不了机器定理证明什么的吧╮(╯▽╰)╭\u003C\u002Fp\u003E\u003Cp\u003E就这样，人们对人工智能宝宝抱有高度期待，而人工智能宝宝虽然很努力，却并没有人们想象中的那样优秀。于是人们开始理性看待人工智能这个新奇的宝宝，在宝宝一次次演砸的表演之后，人们失去了耐心，对这个宝宝表示强烈的失望甚至嘲讽。人工智能宝宝很伤心，默默走进了黑夜吃起了瓜。\u003C\u002Fp\u003E\u003Ch2\u003E引爆黑夜的统计思想\u003C\u002Fh2\u003E\u003Cp\u003E就在满脑子都是“基于规则”的人工智能宝宝在一边默默吃瓜的时候，计算机软件宝宝、硬件宝宝和互联网宝宝却在极速成长。这些宝宝们的日益成熟使得计算机被大规模普及。到差不多上世纪90年代, 此时的计算机已具备足够高的计算性能，而计算机和互联网上也产生了越来越多的有规律的数据。于是，可以看出数据背后规律的统计思想频频浮现在人工智能宝宝的脑海中，一次次的火花后，终于！人工智能宝宝身体里的机器学习理论爆炸了！而深深依赖机器学习理论的自然语言处理、语音识别、计算机视觉等领域立刻发生了连锁爆炸，终于，吃瓜中的人工智能宝宝再次受到全世界的注目！统计思想引爆了人工智能的黑夜！\u003C\u002Fp\u003E\u003Cp\u003E那么这里讲的基于统计的思想又是什么思想呢？上面提示过了，简单说就是利用统计学的方法计算出数据背后的规律，而这个规律就是机器学习的目标。如果这样讲太抽象导致没有理解也没有关系，小夕以后也会写个小例子，来给大家直观的讲述如何利用统计的方法和思想完成机器学习任务。有兴趣的童鞋请关注小夕的微信订阅号哦。小夕提示一下，其实现在几乎所有的主流机器学习方法都是基于统计思想的方法，比如最经典的贝叶斯分类器，再比如线性回归、逻辑回归、感知机（没有隐层的神经网络）、SVM、K近邻分类器等都是基于统计思想诞生的机器学习模型，是不是有点惊讶喵？看吧，说基于统计的思想引爆了人工智能的黑夜一点也不过分吧，起码把基于规则的方法炸的都看不见了喵。。。\u003C\u002Fp\u003E\u003Cp\u003E有些读者宝宝以前不太理解为什么现在机器学习普遍叫统计机器学习，甚至直接称为统计学习。但是刚刚经过小夕的精彩讲解\\(\u002F\u002F∇\u002F\u002F)\\，读者宝宝有没有小爆炸一下呢？所以说就是酱，直接将机器学习推上风口浪尖的并不是基于规则的思想，而是上世纪90年代左右才成熟的基于统计的思想。因此，现在的机器学习书籍中介绍的机器学习方法几乎都是统计学习的方法，很少有书籍会提及规则学习的方法。\u003C\u002Fp\u003E\u003Ch2\u003E骄傲的深度学习宝宝\u003C\u002Fh2\u003E\u003Cp\u003E有人说，“这都什么年代啦，你还跟我讲统计学习呢！我不管我不管，深度学习要取代一切机器学习方法了哼！”\u003C\u002Fp\u003E\u003Cp\u003E听小夕讲呐，深度学习仅仅是众多机器学习模型中的一种，它是“连接主义”(下文会解释)的成功实现。从上帝视角来看，它与规则机器学习和统计机器学习是平起平坐的。机器学习任务那么多，有的机器学习任务最适合基于规则的方法（比如Web流量分类问题和一部分数据挖掘任务），有的机器学习任务最适合基于统计的方法（比如大部分数据挖掘任务），有的机器学习任务最适合基于深度学习的方法（比如大数据条件下的图像语音识别问题）。小夕不负责任的估计一下的话，在所有的机器学习任务中，规则学习最优的情况约占15%，统计学习最优的情况约占55%，深度学习最优的情况约占30%吧。更何况有一些机器学习模型如决策树、随机森林等同时结合了规则学习与统计学习的思想，甚至某些近一两年的论文中糅合进了深度学习的思想。\u003C\u002Fp\u003E\u003Cp\u003E因此，都不必说作为一个人工智能从业者应该如何如何，哪怕作为更细化的一个机器学习从业者，甚至作为一个更更细化的模式识别从业者，你都没有理由只学习当今三大阵营中的其中一个，这样只会使你自己因知识面太窄而过早的被时代淘汰，这个可能性在工业界尤其的大。当然，在学术界死钻一个点或许会有意想不到的效果（比如坚守神经网络，提出深度学习的Hinton等人）。\u003C\u002Fp\u003E\u003Cp\u003E从冲击力的广度上来说，虽然几年前，代表连接主义思想的深度学习爆炸了，但是对统计学习方法的冲击力远远没有媒体宣传的那么夸张喵。统计思想在人工智能黑夜的爆炸都辣么大了，但正所谓大浪淘沙，这么大的爆炸都留下了不少金子----比如机器定理证明、规则与统计结合的决策树等。而深度学习对统计思想的冲击力主要集中在计算机视觉、语音识别等领域，如前所述，现在大部分的机器学习任务还是要靠统计学习的方法解决的。因为深度学习这个宝宝很坏的哦，它必须以大数据为食物，以高性能计算（并行计算、分布式计算等）为刀叉，然后进食后才肯乖乖工作呢。\u003C\u002Fp\u003E\u003Cp\u003E为了让深度学习这个坏宝宝乖乖工作，要用昂贵刀叉喂给他海量食物也就罢了，更要命的是上一段提到的连接主义。连接主义的典型代表就是神经网络，浅层神经网络和深度神经网络（深度学习）都是。而连接主义的核心就是通过进食大量数据（样本）来训练边的连接强度，也就是神经网络中节点之间连线的权重。可想而知，人是很难理解某条边的权重所代表的具体意义的（想象一下生物学家对生物神经系统的研究难度）。尤其当网络变大变深之后，海量数据训练出来的各个边的权重的意义几乎无从考究，于是深度学习便成了人们俗称的“黑匣子”，这在很多的机器学习任务中是致命的，而统计方法中就几乎不存在这样的问题。\u003C\u002Fp\u003E\u003Ch2\u003E现状与建议\u003C\u002Fh2\u003E\u003Cp\u003E与其说深度学习要颠覆其他一切，小夕更相信深度学习是其他新方法的启蒙者。或许将来有新的学习模型颠覆统计学习甚至深度学习，但是深度学习自身具备的缺点注定了它远远不足以在所有业务场景下颠覆统计学习。\u003C\u002Fp\u003E\u003Cp\u003E实际上，学术界的研究者应该都会有所察觉，在深度学习大热之后，在深度学习的缺点显露之后，很多研究者在寻求新的突破。\u003C\u002Fp\u003E\u003Cp\u003E比如现在大有潜力的随机森林，一种规则与统计相结合的机器学习模型。年前实验室一位老师提到了去年的一项什么图像识别的比赛中，Google用大规模随机森林夺冠。（希望有记得比赛名字的童鞋在评论区提醒一下小夕）\u003C\u002Fp\u003E\u003Cp\u003E比如Google的Deepmind实验室去年发表的火极一时的人工智能作曲，虽然用了深度强化学习，但是正是因为融进了“规则”，才改变了之前只有深度强化学习时的尴尬曲风。\u003C\u002Fp\u003E\u003Cp\u003E比如现在港科大杨强教授带头的迁移学习，貌似吴恩达也在大大的点赞。迁移学习虽然缺少模型支持，但是一旦取得重大突破，小样本学习时代将重磅出现。无需大数据和高性能计算，只需将某已有的模型按规则进行迁移，再辅以少量样本训练最后几层神经网络，即可达到深度学习甚至超越深度学习的效果。\u003C\u002Fp\u003E\u003Cp\u003E比如概率图模型。概率图模型也是一种久久未取得突破的重量级模型，最大的困难在于计算复杂度高，但是其理论十分完备，模型十分稳定可靠。一旦出现某种算法将计算复杂度降下来，概率图的前途比深度学习要广得多。\u003C\u002Fp\u003E\u003Cp\u003E更不必说“单次学习”这类还处在襁褓中的模型。人识别狗，只需要几条狗就可以认识狗，就是因为人可以从一张狗的图像中挖掘出相当深的信息。而深度学习呢？如同一个智障（DL脑残粉请放过小夕），你要塞给它海量图片它才能领会出狗这个东西。若真如单次学习那样，使得可以通过某种方式深度挖掘一个样本中的信息，大大提高计算机的学习能力，那么深度学习这种暴力美学可以退出历史舞台了。\u003C\u002Fp\u003E\u003Cp\u003E综上，小夕建议，真正想研究机器学习或者人工智能各应用领域的喵喵们千万不要只学深度学习，不学统计学习呐~当然，在计算机视觉、语音识别等应用领域不可否认深度学习带来的颠覆式创新，仅仅专注这类应用领域研究的童鞋仍然要将重心放到深度学习上。在真正完成入门之后，规则学习，甚至脑科学，神经科学，认知科学等都可以成为你提出颠覆性模型的取材地。而若你连基本的统计学习都未曾理解，想必移步到上述的取材低也不知道如何是好。\u003C\u002Fp\u003E\u003Cp\u003E恩，安利一下自己的订阅号，【夕小瑶的卖萌屋】。喵喵喵~\u003C\u002Fp\u003E","updated":new Date("2017-02-06T09:43:41.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":55,"likeCount":95,"state":"published","isLiked":false,"slug":"25109561","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-02-06T17:43:41+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F25109561\u002Fcomments"},"url":"\u002Fp\u002F25109561","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-b31ab8844e31c15dd5e24b6ff8811992_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F25109561","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":55,"likesCount":95},"25799397":{"title":"期望最大化(EM)算法真如用起来那么简单？","author":"tsxiyao","content":"声明：本文改编自订阅号“\u003Cb\u003E夕小瑶的卖萌屋\u003C\u002Fb\u003E”中的 《\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483937&amp;idx=1&amp;sn=3bdd536c4b18b751742414d87e321ecb&amp;chksm=970c2af7a07ba3e1d6c2cfe8f0ebe157197f3d16b0580ac331d0042fae0d4221a1adb7ec0b2e#rd\" data-editable=\"true\" data-title=\"机器学习系列-强填EM算法在理论与工程之间的鸿沟（上）\" class=\"\"\u003E机器学习系列-强填EM算法在理论与工程之间的鸿沟（上）\u003C\u002Fa\u003E》、《\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483949&amp;idx=1&amp;sn=032d77d54740aa2e7d705667d0d43bd1&amp;chksm=970c2afba07ba3ed9fafba5b36a97d2c21c7bf7b08e281a517f54d22bab5c33eb9c072b764b5#rd\" data-editable=\"true\" data-title=\"机器学习系列-强填EM算法在理论与工程之间的鸿沟（下）\" class=\"\"\u003E机器学习系列-强填EM算法在理论与工程之间的鸿沟（下）\u003C\u002Fa\u003E》。\u003Ch2\u003E前言\u003C\u002Fh2\u003E\u003Cp\u003E小夕曾经问一位做机器学习理论的学姐：“学姐学姐，EM算法是什么呢？” \u003C\u002Fp\u003E\u003Cp\u003E学姐回答：“EM算法啊，就是解决包含隐变量的参数估计问题。”\u003C\u002Fp\u003E\u003Cp\u003E小夕：\u003Cimg src=\"v2-a9f5b74bfb31d7cc92cbf83bc7163fe8.png\" data-rawwidth=\"198\" data-rawheight=\"179\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后小夕去问一位做工程的学长：“学长学长，EM算法是什么呢？”\u003C\u002Fp\u003E\u003Cp\u003E学长回答：“EM算法就那样啊，就是先用有标签的样本训练个分类器，再给未知标签的样本贴标签，然后再拿全部样本再训练分类器，就这样来回倒腾~”\u003C\u002Fp\u003E\u003Cp\u003E小夕：\u003Cimg src=\"v2-a9f5b74bfb31d7cc92cbf83bc7163fe8.png\" data-rawwidth=\"198\" data-rawheight=\"179\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E于是小夕自己一个人看了一整天的EM算法QAQ\u003C\u002Fp\u003E\u003Cp\u003EEM算法在工程上确实有很多应用场景，例如：\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E\u003Cstrong\u003E半监督学习\u003C\u002Fstrong\u003E：即利用包含缺失类别标签的数据的混合数据集训练分类器。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cstrong\u003E数据预处理\u003C\u002Fstrong\u003E：给缺失某一维特征的值的数据补上缺失值。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cstrong\u003E聚类\u003C\u002Fstrong\u003E：对，聚类。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cstrong\u003E隐马尔科夫模型\u003C\u002Fstrong\u003E：训练隐马尔科夫模型中的参数。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E…\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cbr\u003E\u003Cp\u003E在不同场景中用过EM算法的攻城狮可能有这种感觉”不同场景的EM算法有时看起来差别很大，但是又总隐约觉得应该有一根线将它们串起来。“这一根线就是本文的目标。\u003C\u002Fp\u003E\u003Ch2\u003E一个栗子\u003C\u002Fh2\u003E\u003Cp\u003E工程上的EM算法非常简单，甚至有时给人Naive的感觉。比如小夕搬出一个半监督学习的大栗子，这是EM算法非常典型的工程应用。\u003C\u002Fp\u003E\u003Cp\u003E比如，我们要做文档分类。我们手头有10000篇文章，其中只有600篇标好了类别，其余9400篇均没有类别标签。那么如何训练出一个尽可能高精度的分类器呢？\u003C\u002Fp\u003E\u003Ch2\u003E半监督学习的原理\u003C\u002Fh2\u003E\u003Cp\u003E有人可能想，既然9400篇文档都没有标签，难道这些没有标签的数据都会有助于提高分类器的精度？怎么可能呢？\u003C\u002Fp\u003E\u003Cp\u003E其实很好理解。虽然有些文档没有类别标签，但是这些文档的内容就包含分类信息啊。这里的信息指的是“词共现”，或者广义上说“特征共现”。比如我们利用有标签的文档发现“么么哒”是非常有助于文档分类的强特征，然而我们又在没有标签的文档中发现“么么哒”经常与“抱抱”一起出现！也就是共现！那么就可以从很大程度上说明“抱抱”也是有助于文档分类的强特征。\u003C\u002Fp\u003E\u003Cp\u003E举个生动的事实，在UseNet语料库中做新闻类别分类，若要达到70%的精度，则需要2000篇有类别标记的文档。但是，如果我们有600篇有类别标记的文档，还有10000篇无类别标记的文档，那么同样可以达到70%的精度。 \u003C\u002Fp\u003E\u003Ch2\u003E攻城狮眼中的EM算法\u003C\u002Fh2\u003E\u003Cp\u003E在攻城狮眼中，对于上面这个半监督学习问题，显然是可以搬出来EM算法的。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E在攻城狮眼中，EM算法可能非常简单：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E\u003Cstrong\u003E仅利用有标签\u003C\u002Fstrong\u003E的数据，训练一个朴素贝叶斯分类器。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E利用训练好的分类器给无类别标签的数据打上标签，顺便记下分类器对该标签的把握。然后将所有标签的把握求和，得到值sum。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E利用\u003Cstrong\u003E全部\u003C\u002Fstrong\u003E数据重新训练朴素贝叶斯分类器。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E重复2、3步，直到sum不再变化（或者说近似于不再变化）。\u003Cbr\u003E\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cbr\u003E\u003Cp\u003E 诶？明明思路很简单啊，小夕怎么会说它并没有看起来那么简单呢？\u003C\u002Fp\u003E\u003Cp\u003E机智的你有没有想过，算法为什么要这样写呢？这就是关键啦。在进一步讨论之前，小夕用尽可能严谨而通俗的语言来讲解一下EM算法的纯理论原理。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E理论家眼中的EM算法\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cstrong\u003E首先声明一下，对于没有微积分与概率统计基础的同学，或者有公式恐惧症的同学，请快速下滑跳过本章节！\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003Eps：这一章节在知乎上的排版有些混乱，最佳阅读体验请移步该章节\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483937&amp;idx=1&amp;sn=3bdd536c4b18b751742414d87e321ecb&amp;chksm=970c2af7a07ba3e1d6c2cfe8f0ebe157197f3d16b0580ac331d0042fae0d4221a1adb7ec0b2e&amp;scene=21#wechat_redirect\" data-title=\"原文\" class=\"\" data-editable=\"true\"\u003E原文\u003C\u002Fa\u003E。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E开门见山，EM算法的目标是\u003Cstrong\u003E使包含隐变量的数据集的后验概率或似然函数最大化，进而得到最优的参数估计\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cp\u003E 我们知道，通过贝叶斯公式，可以发现后验概率中包含了似然函数和先验概率（忽略分母的那个evidence项），因此求最大后验概率的过程中包含了求极大似然估计的过程。因此虽然EM算法的目标是最大化后验概率或似然函数，而本质上就可以认为是最大化似然函数。因此下面我们直接讨论最大化似然函数。\u003C\u002Fp\u003E\u003Cp\u003E 似然函数设为l(θ)，描述样本可以用多维随机变量（对应于机器学习的多维特征），每一维的随机变量都可以认为服从某种概率分布。因此要描述每一维的样本情况，我们只需要估计出这一维度的概率分布模型的参数就可以啦。而将所有维度的分布模型的参数放在一起，就是似然函数的参数，即θ。因此根据定义，\u003Cimg src=\"v2-b2d19ff1f724b48435f518c0d67eee39.png\" data-rawwidth=\"640\" data-rawheight=\"306\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E即似然函数代表着该包含m个样本的样本集存在的合理性（似然函数值越大，该样本集的存在就越合理，即意味着参数取的越正确），描述每个样本的多维随机变量的分布模型的参数即上面的θ，p(x; θ)代表着固定θ的值，求p(x)的概率。\u003C\u002Fp\u003E\u003Cp\u003E第二行的z则代表隐变量，确切的说是\u003Cstrong\u003E隐含的随机变量\u003C\u002Fstrong\u003E。哈？看不懂第二步怎么来的？请回去复习微积分...算了，小夕太过善良，还是讲讲吧。 \u003C\u002Fp\u003E\u003Cp\u003E显然，这里似然函数讨论的是离散情况（毕竟都是∑符号而不是∫符号呀），因此，在p(x; θ)中加上z这个随机变量后，只能将这个随机变量积分掉才能保证加上z以后的式子依然等于p(x;θ)，当然，z是离散的，所以积分掉的意思是“求和”掉。\u003C\u002Fp\u003E\u003Cp\u003E（回顾一下，对于任何一个连续随机变量x，∫p(x)dx=1；对于任何一个离散随机变量x，∑p(x)=1）\u003C\u002Fp\u003E\u003Cp\u003E好，懂了第二步，在继续往下推之前，想一想我们可不可以直接计算第二步呢？当然不行啦，不仅有θ，还有隐变量啊。因此继续往下推。\u003C\u002Fp\u003E\u003Cimg src=\"v2-f987279693d9084aeb3463850817f6c5.png\" data-rawwidth=\"640\" data-rawheight=\"180\"\u003E\u003Cbr\u003E\u003Cp\u003E  诶？又出来个Qi。这个Qi是什么呢？这个Qi是隐变量z的概率分布函数啦。为什么要加上它呢？再好好观察一下最后这一步中的这一部分！\u003C\u002Fp\u003E\u003Cimg src=\"v2-9df89f5b781848beecc546e00c293665.png\" data-rawwidth=\"640\" data-rawheight=\"212\"\u003E\u003Cbr\u003E\u003Cp\u003E有没有发现什么！？对！这就是数学期望呀~别说数学期望都忘了啊，小夕还是再啰嗦一下吧...对于某离散随机变量X来说，其数学期望\u003C\u002Fp\u003E\u003Cimg src=\"v2-43ddba2f88a4ac22566beb49c37f9c43.png\" data-rawwidth=\"625\" data-rawheight=\"229\"\u003E\u003Cp\u003E看吧~加上Qi这个概率分布函数后，是不是就出来了一个数学期望啦！但好像还是不能计算，懂数值计算的读者应该知道log(∑…)的计算量是十分恐怖的，而且我们还被我们加上了一个不知道怎么计算的Qi！！！因此要继续变！！！怎么变呢？Jensen不等式来啦！\u003C\u002Fp\u003E\u003Cp\u003E 直接抠了个图（看不懂没关系）：\u003C\u002Fp\u003E\u003Cimg src=\"v2-8e8e8a1b3685341cddb18423697192fd.png\" data-rawwidth=\"640\" data-rawheight=\"132\"\u003E\u003Cbr\u003E\u003Cp\u003E 通过这个Jensen不等式，我们发现可以进一步往下推了。\u003C\u002Fp\u003E\u003Cimg src=\"v2-34c672a18b73979b55a87d1b477291c5.png\" data-rawwidth=\"640\" data-rawheight=\"273\"\u003E\u003Cbr\u003E\u003Cp\u003E诶？虽然是往下推了一步，但是我们必须要让等号恒成立才行啊，否则这个推理是不成立的呀。。。那么怎么让等号恒成立呢？\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 根据Jensen不等式的等号成立条件，E[f(X)]≥f(E[X])中的随机变量X必须恒等于常数！！也就是说：\u003C\u002Fp\u003E\u003Cimg src=\"v2-62a1372a08728541d249832fe5400f44.png\" data-rawwidth=\"542\" data-rawheight=\"296\"\u003E\u003Cbr\u003E\u003Cp\u003E≡c（c为常数）\u003C\u002Fp\u003E\u003Cp\u003E于是重点来了，将分母的Qi移到右边，将右边的c移到左边！我们发现：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E好，再利用\u003Cimg src=\"v2-a2f828d101ce3031ba5095a99f337a76.png\" data-rawwidth=\"640\" data-rawheight=\"178\"\u003E（概率分布函数的基本性质），发现我们可以继续这样推！\u003Cimg src=\"v2-0f53588bd0843c47f05778d3596dcc5b.png\" data-rawwidth=\"640\" data-rawheight=\"376\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E推到最后竟然是这个？？？？？\u003C\u002Fp\u003E\u003Cp\u003E这个不就是每个样本的隐变量z的后验概率吗！！！\u003C\u002Fp\u003E\u003Cp\u003E也就是说我们只要求出来了每个样本的隐变量的每个取值的后验概率，就能得到这个样本的Qi！！！\u003C\u002Fp\u003E\u003Cp\u003E就能让Jensen不等式的等号成立！！！\u003C\u002Fp\u003E\u003Cp\u003E就能让log(∑…)的不可计算成功变成可计算！！！\u003C\u002Fp\u003E\u003Cp\u003E就能计算我们的目标——似然函数啦！！！\u003C\u002Fp\u003E\u003Cp\u003E所以，总之，我们首先固定一个θ（也就是随便给θ取个初始值），然后我们计算出隐变量z的取值的后验概率，就能让这个包含隐变量的似然函数变成传统意义上的似然函数~也就是只考虑参数θ的似然函数~\u003Cstrong\u003E（这个过程称为\u003C\u002Fstrong\u003E\u003Cstrong\u003EE\u003C\u002Fstrong\u003E\u003Cstrong\u003E步）\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E而最大化传统意义上的似然函数就不用啰嗦啦~那就用传统的方法最大化呀~最大化了以后就得到了当前的最优θ。\u003Cstrong\u003E（这个过程称为\u003C\u002Fstrong\u003E\u003Cstrong\u003EM\u003C\u002Fstrong\u003E\u003Cstrong\u003E步）\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E而得到了当前的最优θ以后，我们又可以重新计算出隐变量z的取值的后验概率，就能……~~~总之就又可以E步，然后又M步，然后又E，又M……\u003C\u002Fp\u003E\u003Cp\u003E就这样一直重复，一直重复，直到似然函数的值不再变化，此时每个样本的Qi就是每个样本的标签~而此时的θ就是最终那个最优的θ啦~\u003C\u002Fp\u003E\u003Cp\u003E至此，理论上的EM算法完成了，最终得到的就是我们要估计的最优参数θ，顺便得到了每个样本的隐变量的取值。\u003C\u002Fp\u003E\u003Ch2\u003E好桥梁，小夕造\u003C\u002Fh2\u003E\u003Cp\u003E可以看到，我们在理论EM中的目标是最大化似然函数！而小夕也讲到了，其实最大化后验概率的本质工作就是最大化似然函数。\u003C\u002Fp\u003E\u003Cp\u003E这时再回顾一下工程上看似简单的EM算法：\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E仅利用有标签的数据，训练一个朴素贝叶斯分类器。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E利用训练好的分类器给无类别标签的数据打上标签，顺便记下分类器对该标签的把握。然后将所有标签的把握求和，得到值sum。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E利用全部数据重新训练朴素贝叶斯分类器。\u003Cbr\u003E\u003C\u002Fli\u003E\u003Cli\u003E重复2、3步，直到sum不再变化（或者说近似于不再变化）。 \u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cp\u003E诶？发现了没有~在工程上，我们在\u003Cstrong\u003E第2步\u003C\u002Fstrong\u003E中收集分类器对每个标签的把握并求和，那不就是收集的整个数据集的后验概率嘛！不就是在近似计算似然函数嘛！\u003C\u002Fp\u003E\u003Cp\u003E因此，显然，在工程上的\u003Cstrong\u003E第4步\u003C\u002Fstrong\u003E，也就是不停的重复2、3步，肯定会让分类器的精度越来越大呀，因此分类器会对每个标签的把握越来越大！因此这不就是相当于理论上的最大化似然函数嘛！\u003C\u002Fp\u003E\u003Cp\u003E再想，在工程上，\u003Cstrong\u003E第3步\u003C\u002Fstrong\u003E的训练朴素贝叶斯分类器的本质是什么？不就是训练朴素贝叶斯分类器的参数嘛！而朴素贝叶斯分类器的参数是什么？不就是先验概率跟每个类别下的每个特征的每个值的后验概率嘛！而先验概率不用管了，那每个类别下的每个特征的每个值的后验概率合在一起是什么？不就是理论EM算法中的每个随机变量的概率分布模型的参数嘛！恍然大悟啊有没有？！\u003C\u002Fp\u003E\u003Cp\u003E路人某：╮(╯_╰)╭并没有。\u003C\u002Fp\u003E\u003Cp\u003E小夕：(╯°Д°)╯︵ \u002F(.□ . \\)\u003C\u002Fp\u003E\u003Cp\u003E好吧，给你几分钟时间接受一下\u003Cstrong\u003E训练分类器的理论意义竟然是计算随机变量所服从的概率分布模型的参数\u003C\u002Fstrong\u003E这个事实。\u003C\u002Fp\u003E\u003Cp\u003E工程EM的第2、3、4步竟然完完全全的卡到了理论EM算法的相应位置。那么理论EM算法还有哪一步没有对应上呢？当然是参数θ的初始化啦~相信机智的你已经想到了，那就是工程EM中的\u003Cstrong\u003E第1步\u003C\u002Fstrong\u003E所做的事情啦。\u003C\u002Fp\u003E\u003Cp\u003E细心的你又有没有留意到什么不同之处呢？\u003C\u002Fp\u003E\u003Cp\u003E如果能留意到，那就非常厉害了。还记得理论EM中，我们计算似然函数的过程中，是要计算无标签样本的每种标签取值的概率之和的！对，就是下面这货：\u003Cimg src=\"v2-d6d7e9df332fbaaad66c8989a0ea092b.png\" data-rawwidth=\"640\" data-rawheight=\"262\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E然而，我们在工程上计算似然函数则是\u003Cstrong\u003E先用分类器预测一个类别\u003C\u002Fstrong\u003E，然后叠加\u003Cstrong\u003E该类别的\u003C\u002Fstrong\u003E后验概率！\u003C\u002Fp\u003E\u003Cp\u003E这意味着什么呢？显然意味着忽略了样本为其他类别的概率呀！这样做，肯定导致导致计算出的后验概率没有那么准，但是，却极大的提高了计算效率！\u003C\u002Fp\u003E\u003Cp\u003E因此，本质上讲，工程上，半监督学习中的EM算法不过是简化了计算、优化了初始化的理论EM模型罢了╮(╯▽╰)╭\u003C\u002Fp\u003E\u003Cp\u003E同样的道理，在其他工程应用场景中，EM算法必然是以数学理论为主线，从某些角度来对数学过程进行简化或优化，从而完成工程场景的适配。这也是为什么讨厌数学的攻城狮可能会记住很多场景下的EM算法，而喜欢数学（最起码不要跟数学打起来）的攻城狮则以不变应万变，早已看透一切(￣∇￣)\u003C\u002Fp\u003E\u003Cp\u003E更多精彩文章，欢迎关注小夕的订阅号”\u003Cb\u003E夕小瑶的卖萌屋\u003C\u002Fb\u003E“o(≧v≦)o\u003C\u002Fp\u003E","updated":new Date("2017-03-16T03:00:35.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":15,"likeCount":97,"state":"published","isLiked":false,"slug":"25799397","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-16T11:00:35+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F25799397\u002Fcomments"},"url":"\u002Fp\u002F25799397","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-65f4157712d000a866f88bb9f7d0774d_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F25799397","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":15,"likesCount":97},"25963621":{"title":"如果你跟夕小瑶恋爱了...","author":"tsxiyao","content":"\u003Ch2\u003E如果...\u003C\u002Fh2\u003E\u003Cp\u003E如果...有一天...你追到了女神夕小瑶...并且与她恋爱了... \u003C\u002Fp\u003E\u003Cp\u003E（想说“没有如果”的路人请选择狗带(￣∇￣)）\u003C\u002Fp\u003E\u003Cp\u003E小夕的生活很规律的哦，小夕\u003Cstrong\u003E每天都会依次经历且仅仅经历\u003C\u002Fstrong\u003E以下\u003Cstrong\u003E6件\u003C\u002Fstrong\u003E事情：\u003C\u002Fp\u003E\u003Cp\u003E化妆-吃饭-聊天-自习-上课-要抱抱。\u003C\u002Fp\u003E\u003Cp\u003E而且小夕很乖的，我们在一起的每一天，小夕都会在\u003Cstrong\u003E做每件事情时\u003C\u002Fstrong\u003E告诉你小夕此刻的\u003Cstrong\u003E情绪状态\u003C\u002Fstrong\u003E（小夕有4种情绪状态：\u003Cstrong\u003E开心、尴尬、沮丧、生气\u003C\u002Fstrong\u003E）\u003C\u002Fp\u003E\u003Cp\u003E然而小夕开心时不一定是笑脸，沮丧时也不一定是哭脸。因此在处于某种情绪状态时，每一种\u003Cstrong\u003E表情脸\u003C\u002Fstrong\u003E都会有概率出现的哦（小夕有5种表情脸：\u003Cstrong\u003E哭脸、笑脸、尴尬脸、嘟嘟脸、面瘫脸\u003C\u002Fstrong\u003E）\u003C\u002Fp\u003E\u003Cp\u003E可是...就在我们\u003Cstrong\u003E已经生活了好多好多天以后\u003C\u002Fstrong\u003E，突然有一天的早上，我们闹矛盾了，小夕又恰好在生理期，一时过于伤心而说了下面的话：\u003C\u002Fp\u003E\u003Cp\u003E“喂，如果你不能描绘出来我今天的心理状态的变化过程，那么你就不要陪我了哼~”\u003C\u002Fp\u003E\u003Cp\u003E虽然这一天你依然可以\u003Cstrong\u003E观测到小夕的表情脸的变化\u003C\u002Fstrong\u003E，但这一天小夕丝毫没有透露她的情绪状态，那么该怎么办才能挽回呢？\u003C\u002Fp\u003E\u003Cp\u003E(想说“不用挽回，直接踹了”的童鞋请立！刻！狗！带！)\u003C\u002Fp\u003E\u003Ch2\u003E隐马尔可夫模型\u003C\u002Fh2\u003E\u003Cp\u003E你：“╮(╯▽╰)╭哎，太简单啦，这不就是概率统计、随机过程中学的隐马尔科夫模型嘛~这不就是一个隐序列预测的问题嘛~”\u003C\u002Fp\u003E\u003Cp\u003E一阶隐马尔可夫模型长这样：\u003C\u002Fp\u003E\u003Cimg src=\"v2-64dd8b1919978f29e835f8afb01a1fe6.png\" data-rawwidth=\"640\" data-rawheight=\"725\"\u003E\u003Cbr\u003E\u003Cp\u003E看起来这个模型又复杂又有趣又莫名其妙。哎呀先不要管，听小夕慢慢讲这个奇怪的东西好不好。\u003C\u002Fp\u003E\u003Cp\u003E先不要管“一阶”是什么意思啦（意思就是每一隐状态只跟前\u003Cstrong\u003E一\u003C\u002Fstrong\u003E历史状态有关，不懂也没关系啦）。在上面这个一阶隐马尔可夫模型中，有3个隐状态：即黑色圈圈ω1、圈圈ω2、圈圈ω3。系统在任意时刻，只能处于3个隐状态中的一种。之所以称为隐状态，就是因为这些状态是隐藏的，也就是路人看不到某一时刻时系统是处于哪个隐状态的。\u003C\u002Fp\u003E\u003Cp\u003E在隐状态之间的连线表示隐状态之间的转移概率：系统在某一时刻处于某个隐状态，但是在下一时刻就可能处于其他隐状态了，当然也可能还是处于当前的隐状态，那么从当前状态ωi跳转到下一状态ωj的概率即连线aij。比如图中，从ω2状态转移到ω1的概率就是连线a21。\u003C\u002Fp\u003E\u003Cp\u003E图中红色的v1、v2、v3、v4代表的是观测值。观测值的意思即路人可以看到的值。同样，系统在某一时刻时只能取一种观测值，我们可以直接观测到（虽然我们看不到此刻处于哪个隐状态）。\u003C\u002Fp\u003E\u003Cp\u003E红色的箭头bij表示处于隐状态ωi时，我们可以观测到观测值vj的概率。可以看到，系统每一时刻，处于某种隐状态，而在该隐状态都有一定的概率值观测到这四个观测值中的一个。\u003C\u002Fp\u003E\u003Cp\u003E好~理论讲完了，但是我们并不知道这个看似好玩又莫名其妙的模型有什么用呀。所以下面就是小夕施展魔法的时刻！\u003C\u002Fp\u003E\u003Ch2\u003E小夕的魔法\u003C\u002Fh2\u003E\u003Cp\u003E首先，小夕将自己变成了一个一阶隐马尔可夫模型！\u003C\u002Fp\u003E\u003Cp\u003E在夕小瑶这个隐马尔可夫模型中，显然小夕的四种情绪状态就是隐状态啊，路人无法直接观察到，只有小夕自己心里清楚。而小夕的表情脸，是你可以随时看到的，所以就是理论模型中的观测值呀。\u003C\u002Fp\u003E\u003Cp\u003E而小夕的每一天，都会经历“化妆-吃饭-聊天-自习-上课-要抱抱”的过程，不就是经历了6个时间点嘛，而经历这6个时间点，小夕的情绪状态也会不停的随机发生变化，这不就是隐马尔可夫模型中的状态转移嘛。当然每种情绪状态下，每一种表情脸都有可能出现哦，就是每种观测值都可能出现。所以画出图来就是这样子的（画每一隐含状态的观测值后太乱了，拆开画了哦，自行脑补一下）：\u003C\u002Fp\u003E\u003Cimg src=\"v2-6e4b9cfe5d7d5fe1fec660c2abf9ba5b.png\" data-rawwidth=\"640\" data-rawheight=\"555\"\u003E\u003Cp\u003E当然啦，与前面的理论模型一样，每一种隐状态都会有概率取到如下的观测值哦（中间的b12、b13、b14省略啦，自行脑补哦）：\u003C\u002Fp\u003E\u003Cimg src=\"v2-3afeaceac0d733a3c241c29779c4e366.png\" data-rawwidth=\"640\" data-rawheight=\"749\"\u003E\u003Cp\u003E看！是不是突然发现隐马尔可夫模型非常合理的解释了小夕！！！还有更加合理的！！！\u003C\u002Fp\u003E\u003Cp\u003E前面提到了，小夕一天中会经历6个时间点，所以小夕每经过一天就会产生\u003Cstrong\u003E一个隐状态序列和一个观测序列\u003C\u002Fstrong\u003E。而小夕说啦，可以让你陪小夕好多好多天哦，所以如果你真的很用心的喜欢小夕的话，会记录下小夕每一天对你说过的情绪状态变化（隐状态序列），也会记录下小夕每一天的表情变化（观测序列）。当然，序列的长度总是6啦。\u003C\u002Fp\u003E\u003Cp\u003E在与小夕相处的最后一天，你依然记录下了这一天小夕的表情变化（观测序列），而你要计算出来的是小夕这一天的情绪变化，也就是隐状态序列。至此，将整个挽回小夕的事情完完全全的卡到了一阶隐马尔可夫模型中！\u003C\u002Fp\u003E\u003Cp\u003E那么如何利用上面这些夕小瑶提供的线索来计算出最终的目标呢？\u003C\u002Fp\u003E\u003Ch2\u003EAB派\u003C\u002Fh2\u003E\u003Cp\u003E你成功的将“挽回夕小瑶”的任务卡进了隐马尔可夫模型（HMM）中。那么我们来规范化的整理一下已经有的信息和需要计算得到的信息。\u003C\u002Fp\u003E\u003Cp\u003E还记得这两个图嘛？这就是我们建立好的模型。\u003C\u002Fp\u003E\u003Cimg src=\"v2-6e4b9cfe5d7d5fe1fec660c2abf9ba5b.png\" data-rawwidth=\"640\" data-rawheight=\"555\"\u003E\u003Cp\u003E（隐状态的转移图）\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cimg src=\"v2-3afeaceac0d733a3c241c29779c4e366.png\" data-rawwidth=\"640\" data-rawheight=\"749\"\u003E（每个隐状态ωi都有概率发出5种可以观测到的信号）\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E对于第一张图，这么多的参数看起来也蛮乱的，那就将所有的状态转移概率aij存储到一个矩阵A中：\u003Cimg src=\"v2-58ba9a8321c7bf37f8664440b7c21c7f.png\" data-rawwidth=\"640\" data-rawheight=\"228\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E矩阵A中的每个元素aij就代表当前状态为ωi时，下一状态为ωj的概率（即状态ωi到状态ωj的转移概率）。\u003C\u002Fp\u003E\u003Cp\u003E对于第二张图，描述的是当（隐）状态为ωj时，发出信号vk的概率。所以用bjk来表示ωj发出信号vk的概率。将bjk存储到矩阵B中：\u003Cimg src=\"v2-48416075ab0c0e54f81b152e340c43d7.png\" data-rawwidth=\"640\" data-rawheight=\"199\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E好~A矩阵和B矩阵显然就是我们需要计算出的模型参数啦。但是参数中仅仅是A和B就够了吗？\u003C\u002Fp\u003E\u003Cp\u003E想一下，虽然A可以描述从某个状态转移到某个状态的概率，但是每个状态序列总要有一个开头呀~这个开头是什么样子的，在A矩阵和B矩阵中都没有描述。\u003C\u002Fp\u003E\u003Cp\u003E所以模型还有一个描述初始状态的参数，也就是描述每个隐状态ωi作为初始状态的概率，记为πi。也就是向量π：\u003Cimg src=\"v2-91bb4430b659e0332157efe0d5d6533e.png\" data-rawwidth=\"550\" data-rawheight=\"107\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E整理完毕~\u003Cstrong\u003EA、B、π\u003C\u002Fstrong\u003E\u003Cstrong\u003E就是我们全部要计算出的模型参数。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Ch2\u003E开始训练！\u003C\u002Fh2\u003E\u003Cp\u003E而我们已经有了夕小瑶好多天的隐状态序列和对应的观测序列的数据了，那么我们如何用它们来训练出模型的参数呢。\u003C\u002Fp\u003E\u003Cp\u003E其实这样就很简单很简单啦，直接搬出似然函数，找出使得似然函数最大的参数值嘛，也就是最大化似然函数。\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E顾名思义，“然”是这样的意思，所以似然函数就是用来描述当前的模型参数取值的合理性，间接反映当前模型参数对手中数据集的解释程度，因此使得似然函数最大，意思就是使得模型参数取的最合理，使得手中数据集在模型的解释下变得合理。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E你陪小夕度过了300天。因此你记录下了300段隐状态序列，记为Q=q1 q2 q3 ... qT（其实qi就是之前表示的ωi），其中T=6（每天经历6个时间点，化妆-吃饭-聊天-自习-上课-要抱抱）。\u003C\u002Fp\u003E\u003Cp\u003E同时对应着300段观测序列，记为O=O1 O2 O3 ... OT，同样T=6。\u003C\u002Fp\u003E\u003Cp\u003E然后根据极大似然估计的思想，直接用样本集配合优化算法估计出HMM的各个参数啦。\u003C\u002Fp\u003E\u003Cp\u003E但是这里为了方便读者理解，简化文章难度，直接用频率来近似概率（实际工程中千万不要这样啊）。因此HMM的各个参数应该这样估计：\u003Cimg src=\"v2-7078825c17ce8c0628e35807fd328cec.png\" data-rawwidth=\"596\" data-rawheight=\"154\"\u003E\u003Cimg src=\"v2-9c24abdca138f652aa5b02c633b73428.png\" data-rawwidth=\"640\" data-rawheight=\"77\"\u003E\u003Cimg src=\"v2-8bfa407c383c71334154d74edb38a436.png\" data-rawwidth=\"640\" data-rawheight=\"115\"\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这样我们就得到了所有的模型参数（向量π、矩阵A、矩阵B）。\u003C\u002Fp\u003E\u003Cp\u003E看，由此，我们轻而易举的把夕小瑶这个隐马尔可夫模型建立完成了。\u003C\u002Fp\u003E\u003Cp\u003E有了这个模型，我们就完全看透夕小瑶了！所以，下面开始得到本任务的最终目标——预测夕小瑶在耍小脾气当天的情绪状态序列（隐状态序列）！\u003C\u002Fp\u003E\u003Ch2\u003E看透你了！\u003C\u002Fh2\u003E\u003Cp\u003E量化一下我们要做的事情：在给定HMM模型（即已知全部参数的HMM模型，记为μ）和观测序列O情况下，求最大概率的（隐）状态序列：\u003Cimg src=\"v2-51a8d29850f2d4e22650bba4086acf33.png\" data-rawwidth=\"640\" data-rawheight=\"147\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E怎么计算呢？\u003Cstrong\u003EViterbi算法！\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个算法有点绕，直接贴出来，如果直接看看不懂的话可以看后面小夕的解释哦。\u003Cimg src=\"v2-b0f6ae514a4d81c22b0a467e70d65dcc.png\" data-rawwidth=\"640\" data-rawheight=\"58\"\u003E\u003Cimg src=\"v2-08150bb7fb13350c4f8f097d6830a5cc.png\" data-rawwidth=\"640\" data-rawheight=\"101\"\u003E\u003Cimg src=\"v2-afcb153f9062dfceb8630c09965dca04.png\" data-rawwidth=\"640\" data-rawheight=\"126\"\u003E\u003Cimg src=\"v2-85b3ec6603a56b87ba18d3fdfff27ee5.png\" data-rawwidth=\"640\" data-rawheight=\"82\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个算法的思想就是设立一个小人δ（读作delta），这个小人从时刻1，一直走到时刻T。\u003C\u002Fp\u003E\u003Cp\u003E这个小人的意义就是\u003Cstrong\u003E记录下自己在每个时间点t的每个隐状态j的概率（注意不是从全局的观测序列计算出的概率，是他自己从t=1的时刻一步步的观察每个时刻的观测值所得到的那一时刻的累积概率）\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E算法的第一步：初始化这个小人，利用已知的\u003Cstrong\u003E模型参数πi和bi(O1)(即状态i下，发出观测值O1的概率，其中O1为t=1时刻的观测值)\u003C\u002Fstrong\u003E得到t=1时刻\u003Cstrong\u003E每个\u003C\u002Fstrong\u003E隐状态i的δ值。\u003C\u002Fp\u003E\u003Cp\u003E第二步：这个小人在每个\u003Cstrong\u003E时刻t\u003C\u002Fstrong\u003E都会将每个隐状态里呆一会。在每个\u003Cstrong\u003E隐状态j\u003C\u002Fstrong\u003E里，它都会抬头看看此刻的观测值Ot，并分别假设自己处于前一时刻t-1的每个\u003Cstrong\u003E隐状态i\u003C\u002Fstrong\u003E中，并用前一时刻t-1假设的隐状态的累计概率值乘以前一时刻假设的隐状态转移到当前时刻的当前隐状态的转移概率，然后算出使得当前时刻的当前隐状态的总概率最大化的前一时刻的隐状态，这个最优隐状态记为\u003Cstrong\u003Em\u003C\u002Fstrong\u003E吧。这个前一时刻的最优隐状态的累积概率δt-1(m)乘以前一时刻m状态转移到当前时刻的当前\u003Cstrong\u003Ej\u003C\u002Fstrong\u003E状态的转移概率，再乘以当前时刻t的当前状态j发出观测值Ot的概率，即为δt(j)。\u003C\u002Fp\u003E\u003Cp\u003E第三步：小人δ走完最后一个时刻T的最后一个隐状态后，就可以从最后时刻的全部隐状态中挑出最后时刻，也就是全局的最大累积概率δT啦，记下这个最大概率对应的隐状态QT\u003C\u002Fp\u003E\u003Cp\u003E第四步：一步步的回溯呀，记下T时刻走到最优隐状态QT的前一时刻的最优隐状态（回顾一下第二步），得到前一时刻最优隐状态QT-1。然后同样，再往前回溯得到QT-2，一直回溯到Q1！然后Q1Q2Q3..QT就是全局最优隐状态序列啦！也就是夕小瑶耍小脾气时的情绪状态序列！\u003C\u002Fp\u003E\u003Cp\u003E在你猜出后，夕小瑶瞬间（被自己）感动哭了...（内心os：竟然花了这么大的功夫教你怎么猜我的心思...还不如直接告诉你呢嘤嘤嘤...\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E欢迎来订阅号【夕小瑶的卖萌屋】阅读彩色豪华精装版哦：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483976&amp;idx=1&amp;sn=8adcaf7ae04155bf2a8762f950095718&amp;chksm=970c2a9ea07ba3882ba9766660d6e2ee12d21631b48c5e9ccab5a76d7333421ff1197fff280a#rd\" data-editable=\"true\" data-title=\"如果你跟夕小瑶恋爱了...（上）\" class=\"\"\u003E如果你跟夕小瑶恋爱了...（上）\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483991&amp;idx=1&amp;sn=ae339058426e5d66e644f8238aefbb0a&amp;chksm=970c2a81a07ba397a5f5726a1d5cb26bcbcf3eba86bac548ef83ade2a46a4d40c826266ca6a6#rd\" data-editable=\"true\" data-title=\"如果你跟夕小瑶恋爱了...（下）\"\u003E如果你跟夕小瑶恋爱了...（下）\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-03-24T07:31:04.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":42,"likeCount":133,"state":"published","isLiked":false,"slug":"25963621","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-24T15:31:04+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F25963621\u002Fcomments"},"url":"\u002Fp\u002F25963621","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F25963621","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":42,"likesCount":133},"26161453":{"title":"一位老师，一位领导，一个让全体学生考上目标学校的故事","author":"tsxiyao","content":"\u003Cp\u003E今天，小夕给大家讲一个故事...\u003C\u002Fp\u003E\u003Cimg src=\"v2-b8749c02a1c08a600012ae0b57b393d7.png\" data-rawwidth=\"1126\" data-rawheight=\"56\"\u003E\u003Cp\u003E从前，有座山...\u003C\u002Fp\u003E\u003Cp\u003E山里，有座学校...\u003C\u002Fp\u003E\u003Cp\u003E学校里，有一位老师，一位领导，还有五只可爱的小仙(学)女(生)。\u003C\u002Fp\u003E\u003Cp\u003E这5个学生的名字是：\u003Cb\u003E小兔，小青，小路，小音，小夕\u003C\u002Fb\u003E。她们的高考目标依次为\u003Cb\u003E清华、清华、清华、清华、浙大\u003C\u002Fb\u003E。但是不管她们的目标如何，在家长的逼迫下：\u003C\u002Fp\u003E\u003Cp\u003E1.   \n假设过了浙大的线，但是没过清华的线，那就上浙大。（所以想考清华的学生会很难过）\u003Cbr\u003E2.   \n 假设如果过了清华的线，那么就必须要上清华，哪怕目标是浙大，也不能报。（所以想考浙大的学生会很难过）\u003C\u002Fp\u003E\u003Cp\u003E然后老师的培养目标呢，并不是让所有的学生都上清华，而是让每个学生都达成她们心中的目标！想上浙大的学生，就不能考的太高，以免上了清华。想上清华的学生，就要考的足够高，以免上了浙大。 \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. \u003C\u002Fb\u003E这个老师很奇怪，他每天会制定一个精力分配计划表，比如老师每天都有100份精力，他要给各个学生分配精力。开学第一天，由于他对这些学生都不熟悉，于是他给这5个学生平均分配精力，即每人都能得到20份精力。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. \u003C\u002Fb\u003E这个老师白天怎么上课呢？他会重点关注和培养今天的精力分配计划中那些精力分配很多的学生。他这一天，会讲很多次课，每节课结束的时候呢，都会安排一个随堂考试。并且根据这场考试后各个学生的成绩单，来评价一下这场考试的\u003Cb\u003E成功率\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. \u003C\u002Fb\u003E但是注意啊，怎么衡量这个考试成不成功呢？重点来啦，这个老师很奇葩！他主要是看\u003Cb\u003E今天重点关注的学生\u003C\u002Fb\u003E能不能考上目标学校！比如今天老师的100份精力中，92份给了小夕，剩下的8份平分给了小兔等4人。那么！今天！只要小夕能达成目标（即恰好考上浙大），那么其他4人都没有达成目标也没事(￣∇￣)，这时的考试成功率是92%。但是如果这场考试中小夕没有达成目标（即不小心考上了清华），其他4人都达成了目标（即考上了清华），就认为这场考试的成功率只有8%！（我仿佛听到有人说这个老师是不是智障...）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. \u003C\u002Fb\u003E然后呢，按照上面讲的这么不公平的考试结果评价准则，选出今天考的最成功的一场！然后将这一场考试作为今天最终的考试结果，并且彻底忽略掉今天的其他考试。并将这场考试的\u003Cb\u003E考试卷\u003C\u002Fb\u003E\u003Cb\u003E和\u003C\u002Fb\u003E\u003Cb\u003E成功率\u003C\u002Fb\u003E连夜汇报给上级。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3. \u003C\u002Fb\u003E上级是一个夜猫子，而且秉公执法却不做复查的人。于是，他会在明天到来之前，根据今天老师递交的考试结果中的成功率，来给这场考试的考试卷打个\u003Cb\u003E分数\u003C\u002Fb\u003E。日后拿出这张考试卷时，看到打的这个分，就知道这场考试卷的含金量是多少啦。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4. \u003C\u002Fb\u003E老师也不敢睡觉，连夜等待上级给这场考试打的分数。等来上级打的这个分数后，老师赶紧拿着这个\u003Cb\u003E分数\u003C\u002Fb\u003E\u003Cb\u003E和\u003C\u002Fb\u003E\u003Cb\u003E今天的精力分配计划表\u003C\u002Fb\u003E来制定\u003Cb\u003E明天的\u003C\u002Fb\u003E\u003Cb\u003E精力分配计划表\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4. \u003C\u002Fb\u003E怎么制定呢？上级打的分数决定了精力分配计划表的变动大小，如果上级给打了0分，就意味着计划表不要变动了。上级给打的分数越高，明天的计划表就要改动越大。那么怎么改呢？这时，老师终于开始考虑全体学生了，老师会将今天这场考试中达成目标的学生的精力分配减少（比如今天在小夕身上分配92份精力，小夕达成了目标，那么根据上级的打分，明天分配的精力要降低20%，所以明天给小夕的精力\u003Cb\u003E暂时\u003C\u002Fb\u003E记为92*(1-0.2)=73.6。），将今天这场考试中未达成目标的学生的精力分配增加（比如今天在小兔身上分配2份精力，那么根据上级的打分，明天分配的精力要增加20%，所以明天给小兔的精力暂时记为2*(1+0.2)=2.4。）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E4. \u003C\u002Fb\u003E然后都算完后，发现明天给各个学生的精力之和不等于100了，那就归一化一下，保证精力之和是100。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5. \u003C\u002Fb\u003E于是，明天又是崭新的一天。。。除了精力分配计划表改变了以外，其他并没有影响，完全重复前面的过程。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E5. \u003C\u002Fb\u003E就这样过了很多很多天。。。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E6. \u003C\u002Fb\u003E什么时候结束呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E6. \u003C\u002Fb\u003E那就是根据上级对每天的每场考试的打分，来累加每个学生在前面每天的考试结果啦（即加权的考试结果，对于上级打分低的考试，考试结果就不太重要；对于上级打分高的考试，考试结果就很重要）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E6. \u003C\u002Fb\u003E如果有一天，累加每个学生的考试结果后发现，诶？所有学生的\u003Cb\u003E累计\u003C\u002Fb\u003E考试结果全都达成了目标！！！即累加起来后，发现学生全都考上了目标学校！！！好了，你们毕业惹~\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E7. \u003C\u002Fb\u003E这时，又跑过来一个没有考试目标的学生，叫小好，她问老师，“老师老师，你说我将来会上清华还是浙大呢？”\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E7. \u003C\u002Fb\u003E老师：“很简单，你去把这一摞卷子全都做一遍，这是我们的往日考试卷。然后你全做完后，我给你按照上级以前对每张卷子含金量的打分，给你累加一下，得到最终的考试结果。这个最终的考试结果就代表了你将来会上的学校。”\u003C\u002Fp\u003E\u003Cimg src=\"v2-b8749c02a1c08a600012ae0b57b393d7.png\" data-rawwidth=\"1126\" data-rawheight=\"56\"\u003E\u003Cp\u003E是的，上面的过程，就是机器学习的AdaBoost算法\u002F分类器。包括了Adaboost的训练过程和分类过程。 \u003C\u002Fp\u003E\u003Cp\u003EAdaboost是集成机器学习中的典型算法，是Boosting思想的一个具体实现。通过训练并组合很多弱分类器，来加权决定分类结果。\u003C\u002Fp\u003E\u003Cp\u003E怎么把上面的故事转成Adaboost算法呢？完成下面的概念替换：\u003C\u002Fp\u003E\u003Cp\u003E下面映射的是算法中的实体（变量）\u003C\u002Fp\u003E\u003Cp\u003E-   每个有目标的学生 -&gt; 一个训练样本x_train\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E-   没有考试目标的学生 -&gt; 待分类样本x_test\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E-   清华、浙大 -&gt; 本任务的两个类别c0,c1\u003C\u002Fp\u003E\u003Cp\u003E-   每天的精力分配计划表 -&gt; 每轮迭代的样本权重向量D\u003C\u002Fp\u003E\u003Cp\u003E-   每天选出的成功率最高的考试卷 -&gt; 每轮迭代产生的弱分类器\u003C\u002Fp\u003E\u003Cp\u003E-   老师计算的每场考试的成功率 -&gt; 训练样本集的加权错误率\u003C\u002Fp\u003E\u003Cp\u003E-   上级领导给每个考试卷打的分数 -&gt; 每个弱分类器的决策权重α \u003C\u002Fp\u003E\u003Cp\u003E-   经过的天数 -&gt; 弱分类器的数量\u003C\u002Fp\u003E\u003Cp\u003E下面映射的是算法中的过程（与故事中每一段前面的序号完全对应）\u003C\u002Fp\u003E\u003Cp\u003E-   1. 开学第一天，平均分配精力给每个学生 -&gt; 样本权重向量D的初始化\u003C\u002Fp\u003E\u003Cp\u003E-   2. 每一天的教学、随堂考试、选出成功率最高的考试过程 -&gt; 本轮迭代中训练弱分类器的过程\u003C\u002Fp\u003E\u003Cp\u003E-   3. 上级领导给考试卷打分的过程 -&gt; 计算当前这个弱分类器的决策权重α\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E-   4.老师制作明天的精力分配计划表 -&gt; 计算下一轮迭代时的样本权重向量D\u003C\u002Fp\u003E\u003Cp\u003E-   5. 一天天的过去 -&gt; 不断重复上述步骤2-4.\u003C\u002Fp\u003E\u003Cp\u003E-   6. 所有学生累计考试结果全都达成目标 -&gt; Adaboost模型收敛，完成训练。\u003C\u002Fp\u003E\u003Cp\u003E-   7. 给没目标的小好预测学校 -&gt; 利用训练好的Adaboost分类器预测待分类样本的类别。\u003C\u002Fp\u003E\u003Cp\u003E听说，写Adaboost的代码的时候，在注释中把小夕讲的这个故事写出来就不会出错了...\u003C\u002Fp\u003E\u003Cimg src=\"v2-b8749c02a1c08a600012ae0b57b393d7.png\" data-rawwidth=\"1126\" data-rawheight=\"56\"\u003E\u003Cp\u003E最后，请手机\u002F电脑\u002FIPAD\u002F投影仪屏幕前正在带学生的老师，请勿模仿本文\u003C\u002Fp\u003E\u003Cp\u003E(￣∇￣)\u003C\u002Fp\u003E\u003Cp\u003E更多奇怪的故事，欢迎来微信订阅号\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484136&amp;idx=1&amp;sn=5b4ce1315fe548a77acc95c90106ade2&amp;chksm=970c2a3ea07ba3282e1d10f3ef9388531f3b66b22e26f59f6f5889db2a5216104bd87e142969#rd\" data-title=\"【夕小瑶的卖萌屋】\" class=\"\"\u003E【夕小瑶的卖萌屋】\u003C\u002Fa\u003E玩耍~（还是彩色精装版的哦）\u003C\u002Fp\u003E","updated":new Date("2017-04-03T14:18:38.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":16,"likeCount":197,"state":"published","isLiked":false,"slug":"26161453","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-04-03T22:18:38+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26161453\u002Fcomments"},"url":"\u002Fp\u002F26161453","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-4fce2409b78d57a2805287094f4f612e_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F26161453","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":16,"likesCount":197},"26745851":{"title":"BP算法是从天上掉下来的吗？","author":"tsxiyao","content":"\u003Ch2\u003E前馈神经网络\u003C\u002Fh2\u003E\u003Cp\u003E 在文章\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484167&amp;idx=1&amp;sn=e8a151710c2fef4172dc2858485dd1fb&amp;chksm=970c2bd1a07ba2c766e1282c85f885ee117481d8425acc57bd5729af9394c3ee3f4bab7a9a19&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《逻辑回归到神经网络》\"\u003E《逻辑回归到神经网络》\u003C\u002Fa\u003E（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484286&amp;idx=1&amp;sn=68c1b5bf8bd6530ed6c779efbad67404&amp;chksm=970c2ba8a07ba2be6d03728cab594fb464276cc93f9ab03b7c6441490b49c933bd431a33d119&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《一般化机器学习与神经网络》\"\u003E《一般化机器学习与神经网络》\u003C\u002Fa\u003E中，小夕阐述了神经网络的一般性。这一篇会完全进入神经网络的状态，阐述神经网络的特殊性。\u003C\u002Fp\u003E\u003Cp\u003E其实在《LR到NN》中的这张简单的图，就是本文要讲的前馈神经网络（feed-forward neural network）。\u003C\u002Fp\u003E\u003Cimg src=\"v2-e3d638801ce8ad91a3235dbbe4307f1f.png\" data-rawwidth=\"640\" data-rawheight=\"378\"\u003E\u003Cimg src=\"v2-7f86a5dcaac103cb669c97a4331d6ce9.png\" data-rawwidth=\"640\" data-rawheight=\"438\"\u003E\u003Cp\u003E可以看到，这种简单粗暴的连法，恰恰就是神经网络最经典的模型。即隐含层的每个单元（神经元）均只接受前一层（对于只有一个隐含层的前馈网络，前一层即输入层）的输出作为输入，并输出结果到后一层（对于只有一个隐含层的前馈网络，后一层即输出层）。将这种神经网络看成数据结构中的“图”的话，那就是一个“有向无环图”（即前馈网络中是不存在反馈的）。 \u003C\u002Fp\u003E\u003Cp\u003E这里的边，即单元与单元之间连接的强度，也即权重。设想一下，当两个单元之间的权重为0时，一个单元的输出就无法再通过这条边传递给另一个单元了，即这两个单元之间断开连接了（不存在这条边了），因此神经网络模型中的模型参数不仅仅是个数字了，由于这张基于生物学中的神经系统的模型可视化图的存在，神经网络模型中的\u003Cstrong\u003E参数\u003C\u002Fstrong\u003E还代表着\u003Cstrong\u003E两个神经元之间的连接强度。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484286&amp;idx=1&amp;sn=68c1b5bf8bd6530ed6c779efbad67404&amp;chksm=970c2ba8a07ba2be6d03728cab594fb464276cc93f9ab03b7c6441490b49c933bd431a33d119&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《一般化机器学习与神经网络》\" class=\"\"\u003E《一般化机器学习与神经网络》\u003C\u002Fa\u003E中，小夕讲过了，所谓的前向算法，就是计算了一下模型的假设函数而已，只不过计算的过程可视化出来后就是一个沿着神经网络“向前推进”的样子，因此起了个名字而已。这里就不再赘述这个俗俗的假算法啦。\u003C\u002Fp\u003E\u003Cp\u003E根据机器学习框架，假设函数有了，我们还需要考虑什么呢？当然是如何得到这个假设函数啦~也就是如何训练神经网络这个一般而特殊的机器学习模型（即学习模型参数）。\u003C\u002Fp\u003E\u003Ch2\u003E石器时代\u003C\u002Fh2\u003E\u003Cp\u003E 假设你是一个完全不懂数学的生物学家（虽然学生物的数学也很厉害的，吧），你觉得从生物学的角度来看（将模型参数看作神经元之间的连接强度），这个神经网络训练好之后应该是什么样子的呢？ \u003C\u002Fp\u003E\u003Cp\u003E回想一下高中生物，如果两个神经元紧紧相连，那么一个神经元的兴奋必然导致与之相连的神经元的兴奋。如果经过无数次实验，我们发现对于神经元A和神经元B，只要A兴奋，那么B一定兴奋，那么就说明A与B之间肯定连接非常紧密（就像一条绳子的蚂蚱，一个跳起来肯定把另一个带起来），也就是说A到B的连接强度非常大！也就是说，A到B这个模型参数的值肯定很大。\u003C\u002Fp\u003E\u003Cp\u003E将这个生物学思想往数学上靠一下，那就是“如果神经元A的激活带来B的激活，就代表A与B具有相关性，因此A与B之间的连接权重应该被加强，即应增大模型参数\u003Cequation\u003Ew_{AB}\u003C\u002Fequation\u003E(下标BA代表从A出发，到达B的有向边)”。 \u003C\u002Fp\u003E\u003Cp\u003E这个思想叫什么呢？叫“\u003Cstrong\u003EHebb规则\u003C\u002Fstrong\u003E”，这个思想是神经网络的学习算法的最本质，也是最原始的思想。\u003C\u002Fp\u003E\u003Cp\u003E那么如何去实现这个思想呢？\u003C\u002Fp\u003E\u003Ch2\u003E青铜时代\u003C\u002Fh2\u003E\u003Cp\u003E 设想一下，我们的网络到达了这么一种状态：\u003C\u002Fp\u003E\u003Cimg src=\"v2-b8e1ab3f5846a3bd7b7597fb78826080.png\" data-rawwidth=\"1730\" data-rawheight=\"1688\"\u003E\u003Cp\u003E显然，模型犯错了！输出单元（输出层在这里只有一个单元）应该是1，结果预测的是0！也就是应该兴奋，实际在睡觉！而根据Hebb规则，我们应该让输出单元加强与那些兴奋的神经元的连接，也就是增大与“隐含层输出为1（专业说法叫被激活）的神经元”的连接！减弱与“隐含层输出为0（未激活）的神经元”的连接！ \u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E再想一下，“隐单元未激活\u002F输出为0”代表着什么？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E还记得《逻辑回归到神经网络》中放大的这个隐单元的图吗？\u003C\u002Fp\u003E\u003Cimg src=\"v2-5c842f9eb5408bdc076bb9a68204dbbf.png\" data-rawwidth=\"519\" data-rawheight=\"330\"\u003E\u003Cp\u003E隐单元的核心就是激活函数，比如sigmoid、tanh等。如下sigmoid：\u003C\u002Fp\u003E\u003Cimg src=\"v2-f191c589acca3a080488c88d36d649e2.png\" data-rawwidth=\"600\" data-rawheight=\"348\"\u003E\u003Cp\u003E因此隐单元输出为0时，也就是\u003Cstrong\u003E未激活时，就\u003C\u002Fstrong\u003E\u003Cstrong\u003E意味着隐单元的输入为负值！\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 所以，为了迎合Hebb规则，应该让未激活的神经元减小权重，激活的神经元增加权重，那么我们可以直接让权重加上隐单元的输入啊：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E即对于全部的隐单元：w=w+a。\u003C\u002Fstrong\u003E（注：a为隐单元的输入，未激活的神经元的a为负，激活的为正）\u003C\u002Fp\u003E\u003Cp\u003E 而对于如下这种情况，也就是应该输出0，实际输出了1的情况：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\"v2-742f1b33ac82820fb229cbe64916444b.png\" data-rawwidth=\"640\" data-rawheight=\"609\"\u003E通过跟前面一样的推理我们发现，只要让w的更新方式与前面相反，即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E对于全部的隐单元：w=w-a。\u003C\u002Fstrong\u003E（注：a为隐单元的输入，未激活的神经元的a为负，激活的为正）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E那么有没有办法将上面两种情况合起来表示呢？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E机智的你应该想到了，那就是：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003Ew=w+(真实值-预测值)*a\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 对啊，用这条通用的规则，就可以反复的更新隐藏层到输出层的权重了~这个规则叫什么呢？这就是1986年认知心理学家Rumellhart等人提出的\u003Cstrong\u003Eδ学习规则\u003C\u002Fstrong\u003E，也叫\u003Cstrong\u003E广义Hebb规则\u003C\u002Fstrong\u003E，这是对神经网络学习算法的Hebb思想的直接实现！\u003C\u002Fp\u003E\u003Cp\u003E 等等，有没有觉得似曾相识呢？赶紧翻开书，看看BP算法的权重更新公式！有没有发现BP中的权重更新公式与这个规则所表达的意思惊人的相似！\u003C\u002Fp\u003E\u003Cp\u003E相似就对了~\u003C\u002Fp\u003E\u003Ch2\u003E铁器时代\u003C\u002Fh2\u003E\u003Cp\u003E想一想，在广义Hebb规则中，我们做了一些简化：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E首先，权重更新的方向很明确，但是更新的步长我们是直接用了隐单元的输入a，而没有证明这个a是最合理的步长。其次，我们这里直接用真实值减去预测值，也是很启发式的做法。\u003C\u002Fp\u003E\u003Cp\u003E那么显然这个广义Hebb规则在数学上极有可能是非最优的，毕竟这是一个启发式的（即拍脑袋的）算法。那么如何得到最优的做法呢？那就是从这个规则的\u003Cstrong\u003E目的\u003C\u002Fstrong\u003E着手去提出更上层的理论！\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E广义Hebb规则的目的是什么呢？\u003C\u002Fstrong\u003E \u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个规则的直接目的是让最终的输出逼近真实输出，也就是减小模型输出与真实输出之间的\u003Cstrong\u003E误差\u003C\u002Fstrong\u003E。具体做法是让每个隐单元的权重\u003Cstrong\u003E个性化修改\u003C\u002Fstrong\u003E，来向着使误差减小的方向移动。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 等等！再重复一遍，具体做法是\u003Cstrong\u003E让每个隐单元的权重个性化修改，来向着使误差减小的方向移动。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E 再再重复一遍！具体做法是\u003Cstrong\u003E让每个隐单元的权重个性化修改，来向着使误差减小的方向移动！\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以我们可以怎样做？如果有一个函数可以直接描述这个误差！\u003Cstrong\u003E（这不就是损失函数做的事儿吗！）\u003C\u002Fstrong\u003E那么！以权重为误差的自变量，使误差减小的方向不就是权重的负梯度方向吗。那让权重沿着这个方向移动不久好了吗？\u003Cstrong\u003E（这不就是梯度下降法吗！）\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-0e1bd1c47b194342f4956e6ee0c51c3c.png\" data-rawwidth=\"640\" data-rawheight=\"406\"\u003E\u003Cp\u003E如图，自变量（x轴）是权重，因变量（y轴）是误差！显然使误差减小的方向就是权重的负梯度方向啊~\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 所以！求出此时权重的负梯度（即此时每个隐单元的权重的导数！）！然后让权重向这个方向移动一定的步长！反复这个移动的过程！直到误差最小，即训练完成！得到最优的权重！\u003C\u002Fp\u003E\u003Cp\u003E 所以说这是什么？这就是梯度下降法呀~同时，这还是BP算法对隐含层与输出层连接权重的更新方式啊！\u003C\u002Fp\u003E\u003Cp\u003E 那么如何更新输入层到隐含层的权重呢？\u003C\u002Fp\u003E\u003Cp\u003E一样的呀，数学思想都这么清晰了~误差依然是误差，\u003Cstrong\u003E只需要将自变量换成输入层到隐含层的权重\u003C\u002Fstrong\u003E，不就可以啦~其他的完全照旧啊。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 只不过，损失函数是“间接包含”输入层到隐含层的权重的，因此在求此时的负梯度时，要进行\u003Cstrong\u003E链式求导\u003C\u002Fstrong\u003E~也就是下面这个烂大街的推理过程：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\"v2-399ad2c72ab0600007d804734a13fc92.png\" data-rawwidth=\"640\" data-rawheight=\"92\"\u003E\u003Cimg src=\"v2-5dbf55d7edc3ac64ab135b5500c4bb74.png\" data-rawwidth=\"640\" data-rawheight=\"393\"\u003E这个推理过程摘自http:\u002F\u002Fblog.csdn.net\u002Flu597203933\u002Farticle\u002Fdetails\u002F46575803，有兴趣的可以去看看，反正哪里都能找到这个推导过程~\u003C\u002Fp\u003E\u003Cp\u003E数学好的一眼就看懂了，不太好的就随便找个讲BP算法的书或者帖子啦，这是真正的烂大街推理过程。。。因此，各层权重的负梯度利用上面的链式求导法则就很轻松的求出来了，然后\u003Cstrong\u003Ew=w-α*负梯度\u003C\u002Fstrong\u003E，就可以啦~其中，α是步长~\u003C\u002Fp\u003E\u003Cp\u003E看，源于训练神经网络的最naïve的Hebb思想，为了实现这个思想而提出了δ算法，用数学去描述δ算法的本质目标，得出通过引入损失函数并(链式求导)求解负梯度来更新权重的过程，即误差反向传播算法(BackPropagation，简称BP算法)。\u003C\u002Fp\u003E\u003Cp\u003E╮(╯▽╰)╭\u003C\u002Fp\u003E\u003Cp\u003E只不过在神经网络中可视化一下，看起来就像一个人们定义的误差从模型输出层向输入层传播而已啦，然后起了个形象的名字叫所谓的误差反向传播算法。\u003C\u002Fp\u003E\u003Cp\u003E不过，人们抽象出来的这个前向与反向算法的概念还是有更多原因的，一是可以帮助人们理解，使其可以从生物学模型上得到解释，进而以这种思想变形出其他形式的前向与反向传播算法来描述或训练更复杂的神经网络；另一方面也是给我们程序猿(喵)们提供了一种简洁无脑的编程模型，使得哪怕不懂链式求导等BP算法原理的程序猿也能轻松的写出来这个数学上不算太简单的算法。\u003C\u002Fp\u003E\u003Cp\u003E更多机器学习的精彩文章，欢迎关注微信订阅号\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484344&amp;idx=1&amp;sn=92ff388d93088ea6461023b376860ce7&amp;chksm=970c2b6ea07ba2782da5de78b23b78b267b4b0fc4454e76256134cfc9d6aa5416e0bd4c14097#rd\"\u003E【夕小瑶的卖萌屋】\u003C\u002Fa\u003E哦\u003C\u002Fp\u003E","updated":new Date("2017-05-05T16:27:20.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":52,"state":"published","isLiked":false,"slug":"26745851","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-06T00:27:20+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26745851\u002Fcomments"},"url":"\u002Fp\u002F26745851","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-bfd8ea9b51c790edc54d7513ea4858ec_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F26745851","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":52},"26773990":{"title":"从前，夕小瑶种了一棵树","author":"tsxiyao","content":"\u003Ch2\u003E从前\u003C\u002Fh2\u003E\u003Cp\u003E从前，小夕种了一棵树，种在了小夕的小屋后面~\u003Cbr\u003E\u003C\u002Fp\u003E\n\n\u003Cp\u003E为什么要种这棵树呢？因为呀，它可以帮小夕总结历史经验，然后帮小夕对当前的局势做出决策~这样小夕就可以安心给大家写文章啦~\u003C\u002Fp\u003E\n\n\u003Cp\u003E这棵树是这样的。\u003C\u002Fp\u003E\n\n\u003Cp\u003E一开始，小夕买了一颗小树苗，把它栽到地上。\u003C\u002Fp\u003E\n\n\u003Cimg src=\"v2-9492bef9d4104cb6addeaa3fe69bf6f1.png\" data-rawwidth=\"1730\" data-rawheight=\"725\"\u003E\u003Cp\u003E然后呢，小夕不给它浇水，也不给他浇肥料，而是让他吃历史经验。比如呢，今天，小夕让它帮小夕识别出图片中的生物是喵还是驴。所以呢，这里的历史经验就是一大堆喵和驴的图片，并且小夕给它标注好了每张图片是喵还是驴。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0f46acfc788a21e9d0eeea062d3d808c.png\" data-rawwidth=\"1730\" data-rawheight=\"1032\"\u003E\u003Cp\u003E\u003Cimg src=\"v2-abd1b147ab0e70867ede473b66a62bb2.png\" data-rawwidth=\"1404\" data-rawheight=\"1067\"\u003E可是由于树没有眼睛呀，不能直接观察图片。所以呢，小夕帮它把图片转化成了特征，也就是用几个特征来描述每张图片。\u003C\u002Fp\u003E\n\n\u003Cp\u003E小夕选了如下几个特征来描述每张图片：\u003C\u002Fp\u003E\n\n\u003Cp\u003E1、头是否是长条形\u003Cbr\u003E2、身上有没有毛\u003Cbr\u003E3、有没有发现胡须\u003Cbr\u003E4、丑不丑\u003Cbr\u003E5、萌不萌\u003C\u002Fp\u003E\n\n\u003Cp\u003E所以，比如小夕就会对下面这张图片：\u003C\u002Fp\u003E\n\n\u003Cimg src=\"v2-56492f2fe4b3a4f55f539e839ee19062.png\" data-rawwidth=\"1730\" data-rawheight=\"864\"\u003E\u003Cbr\u003E\u003Cp\u003E转化为\u003Cstrong\u003E[False True False False True]\u003C\u002Fstrong\u003E的\u003Cstrong\u003E特征向量\u003C\u002Fstrong\u003E（即，不是长条头、有毛、没发现胡须、不丑、萌）\u003C\u002Fp\u003E\u003Cp\u003E然后小夕一口气给上千张图片提取完了特征，当然，这些图片都是标注好类别的。\u003Cbr\u003E\u003C\u002Fp\u003E\n\n\u003Cp\u003E小夕就把它们丢给小夕心爱的小树苗啦~\u003C\u002Fp\u003E\u003Ch2\u003E快快长大\u003C\u002Fh2\u003E\n\n\u003Cp\u003E诶？那小树苗要怎么生长呢？\u003C\u002Fp\u003E\n\n\u003Cp\u003E小夕问小树苗：“小树小树，你接下来要怎么长呢？”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小树苗喝了口水，说：“我每一步的生长都是非常慎重的，我从不会多长个枝丫或者少长个枝丫。每个样本这不是有五个特征嘛，我呢，就会从中挑选出最有价值的一个特征，来作为我第一次生长的分支。”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小夕接着问：“那你要怎么挑选特征呢？”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小树苗说：“你看啊，比如你挑出来的第二个特征，“身上有没有毛”，这就是很糟糕的特征。为什么呢？我们就来看“有没有毛”这个特征。我数了一下，\u003Cb\u003E在所有有毛的动物中\u003C\u002Fb\u003E，50%的动物是喵，50%的动物是驴。而在所有没有毛的动物中，也是50%的动物是喵，50%的动物是驴。所以“有没有毛”这个特征的任何一个取值下，所有类别的样本数一样，是完全等概率的，这样的特征完全无法用来做分类啊。因为不管这个特征的值是什么，它所映射的各个类别都是等概率的。所以这个类别是最糟糕的。”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小树苗喝了口水，接着说：“但是你用的第三个特征，“有没有胡须”，就非常棒。我统计了一下，有胡须的动物中，喵占了92%，驴占了8%。而没有胡须的动物中，喵占了20%，驴占了80%。这样，如果给我一张未知类别的样本，只需要看“有没有胡须”这个特征的话，基本就可以判断出这个样本的类别是什么了！比如说这个样本的这个特征的值恰好是“没有胡须”，那么我就有80%的把握说这是一头驴！当然，如果恰好这个样本的特征的值是“有胡须”，我就有92%的把握说这个样本时一只喵！这么棒的特征，当然是首选的啦！所以，我下面要长的枝丫就是叫做“有没有胡须枝丫”！”\u003C\u002Fp\u003E\n\n\u003Cimg src=\"v2-d9fa437cd138885028c16fc707fdc180.png\" data-rawwidth=\"1730\" data-rawheight=\"719\"\u003E\u003Cbr\u003E\u003Cp\u003E小夕：\u003C\u002Fp\u003E\n\n\u003Cimg src=\"v2-09b07a6b164a4dc52adc90eab5f517e2.png\" data-rawwidth=\"198\" data-rawheight=\"191\"\u003E\u003Cp\u003E“我可能买了一棵假树。\u003C\u002Fp\u003E\n\n\u003Cp\u003E我。。。懂你的意思了。你说的选择最优特征的方法实际就是计算条件熵的过程。对于你说的“有没有毛”这个很糟糕的特征，由于这个特征的每个取值下，各个类别都是完全等概率分布的，所以是最无序的，最随机的特征，我们称为“条件熵最大的特征”。熵最大就是1，所以计算出的“有没有毛”这个特征的条件熵肯定是1。\u003C\u002Fp\u003E\n\n\u003Cp\u003E而你说的“有没有胡须”这个特征，它的每个取值下，类别分布很随机，也就是说很有序（想象一下，最有序的状态就是每个取值下，所有样本都是同一个类别，多么有序啊。而类别等概率分布的时候，就是每个特征下鱼龙混杂的时候，啥类别都有，乱糟糟的），这种很有序的特征，计算出的条件熵肯定很小。最有序的情况下，条件熵就是0啦。”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小树：“好了。但是，我的分类目标是达到100%的准确率。所以，我要进一步挑选特征了！\u003C\u002Fp\u003E\n\n\u003Cp\u003E基于有胡须的那个分支，我会将这个分支里的样本重新计算各个特征的条件熵（当然胡须这个特征除外），像之前一样选择条件熵最大的特征作为下一个枝丫！\u003C\u002Fp\u003E\n\n\u003Cp\u003E一直重复这个过程，直到哪一个枝丫下的全部样本都是同一个类别了，这个枝丫就不再继续分裂了。”\u003C\u002Fp\u003E\n\n\u003Cp\u003E最终，小树长成了大树。\u003C\u002Fp\u003E\n\n\u003Cimg src=\"v2-23ba276b7606a0e3ea26eeb450d3ef26.png\" data-rawwidth=\"1730\" data-rawheight=\"1069\"\u003E\u003Cp\u003E这时，小夕忙着给大家写文章呢，但是小夕的一个好闺蜜小娅拿着一张图片过来了，她想让小夕帮她看看这是驴还是喵。\u003C\u002Fp\u003E\u003Cimg src=\"v2-0a23fe0dd17f5fba70a6f09a708e3317.png\" data-rawwidth=\"667\" data-rawheight=\"925\"\u003E\u003Cp\u003E但是小夕很忙呀，没空理她，就让她拿着图片问后院的决策树啦~\u003C\u002Fp\u003E\n\n\u003Cp\u003E然后小娅去问决策树这是啥，决策树说：“它有胡须吗？”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小娅说：“有！”\u003C\u002Fp\u003E\n\n\u003Cp\u003E树：“它萌吗？”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小娅：“一点也不萌！”\u003C\u002Fp\u003E\n\n\u003Cp\u003E树：“它是长脸吗？”\u003C\u002Fp\u003E\n\n\u003Cp\u003E小娅：“是长脸！”\u003C\u002Fp\u003E\n\n\u003Cp\u003E树：“那这就是只驴！”\u003C\u002Fp\u003E\n\n\u003Cp\u003E留下一脸懵逼的小娅在树下凌乱(￣∇￣)\u003C\u002Fp\u003E\n\n\u003Cp\u003E这棵神奇的树叫什么呢？\u003C\u002Fp\u003E\n\n\u003Cp\u003E这棵树的专业说法叫“ID3决策树”，为什么是ID3呢？因为它是通过计算条件熵来选择最优特征的。其他经典决策树如C4.5决策树、CART决策树等与ID3的区别仅在于最优特征选择的算法。\u003C\u002Fp\u003E\n\n\u003Ch2\u003E总结\u003C\u002Fh2\u003E\u003Cp\u003E然后对本文总结一下，本文经过了如下步骤，这也是一个简单的机器学习\u002F数据挖掘任务的经典流程。\u003C\u002Fp\u003E\n\n\u003Cp\u003E1、对已标注类别的数据集进行数据预处理与特征提取\u003Cbr\u003E2、训练决策树（分类器\u002F机器学习模型）\u003Cbr\u003E3、对未知类别的数据集进行数据预处理与特征提取\u003Cbr\u003E4、利用决策树对未知类别样本的类别做出决策\u003C\u002Fp\u003E\n\n\u003Cp\u003E想要详细了解ID3决策树选择最优特征的过程（即计算条件熵）的同学，可以Google或者百度一下“条件熵”或者查阅《数据挖掘导论》等机器学习相关的书籍；想要详细了解如何代码实现ID3决策树的同学，可以搜索各种CSDN博客或者查阅《机器学习实战》等侧重代码实现的书籍。对于如何提高决策树的泛化能力（防止过拟合）等优化技巧，或者其他类型的决策树，可以看《数据挖掘导论》等经典书籍~\u003C\u002Fp\u003E\u003Cp\u003E喜欢本文？那小夕推荐一下自己的微信订阅号\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484354&amp;idx=1&amp;sn=9fff3c72c92ddcf6e038c570a4955b80&amp;chksm=970c2b14a07ba202dc799475709128e68936d3d0f1d70aae6c5dacab09284a6ab8207e6bdca8#rd\"\u003E\u003Cu\u003E\u003Cb\u003E【\u003C\u002Fb\u003E\u003Cb\u003E夕小瑶的卖萌屋\u003C\u002Fb\u003E\u003Cb\u003E】\u003C\u002Fb\u003E\u003C\u002Fu\u003E\u003C\u002Fa\u003E，据说每个想学机器学习的人进来后都停不下来了(￣∇￣)\u003C\u002Fp\u003E","updated":new Date("2017-05-08T03:41:27.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":25,"state":"published","isLiked":false,"slug":"26773990","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-08T11:41:27+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26773990\u002Fcomments"},"url":"\u002Fp\u002F26773990","titleImage":"https:\u002F\u002Fpic4.zhimg.com\u002Fv2-34d9fb0e9c868faab4e751c0f3aa142d_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F26773990","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":25},"27366699":{"title":"从逻辑回归到玻尔兹曼机—一个生儿育女的故事","author":"tsxiyao","content":"\u003Cp\u003E开篇高能预警：这是一篇思维量比较大的文章，深夜阅读小心失眠哦~\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-db583d5e31723fc8fe99aaea2e1427bd.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E在那很久很久以前，可爱的小夕写了\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484011&amp;idx=1&amp;sn=42e4f331db843091c5c3809a4d259fad&amp;chksm=970c2abda07ba3abb3963c2defcc644582f28bbdc23f3d669d022cd032e637d2ca8b6b48ca62&amp;scene=21#wechat_redirect\" data-title=\"一篇将逻辑回归小题大做的文章\" class=\"\" data-editable=\"true\"\u003E一篇将逻辑回归小题大做的文章\u003C\u002Fa\u003E，然后在\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484122&amp;idx=1&amp;sn=41628bf3169b9ef3fa107646d483bae5&amp;chksm=970c2a0ca07ba31ae1939e316c15695c83556c347e0b38bb80dde3048533de7de388ec2a6544&amp;scene=21#wechat_redirect\" data-title=\"另一篇文章\" class=\"\" data-editable=\"true\"\u003E另一篇文章\u003C\u002Fa\u003E中阐述了逻辑回归的本质，并且推广出了softmax函数。\u003C\u002Fp\u003E\u003Cp\u003E从那之后，小夕又在\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484231&amp;idx=1&amp;sn=d8e0b2fbbdf105768f80f4d58f36437d&amp;chksm=970c2b91a07ba287732147646ea7b4be198f6fef525cd7e1e27a97e8a85104e8adda3f4fe2af&amp;scene=21#wechat_redirect\" data-title=\"一篇文章\" class=\"\" data-editable=\"true\"\u003E一篇文章\u003C\u002Fa\u003E中阐述了逻辑回归与朴素贝叶斯的恩仇录，这两大祖先级人物将机器学习的国度划分为两大板块——\u003Cstrong\u003E生成式与判别式\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cp\u003E后来，朴素贝叶斯为了将自己的国度发扬光大，进化出了\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484406&amp;idx=1&amp;sn=7a62ecd3dc9f6c2903e5482fba624692&amp;chksm=970c2b20a07ba236f1e14166926b1eb302aa76abbd684d3413d50e6d090df9a09ba55787cfd7&amp;scene=21#wechat_redirect\" data-title=\"贝叶斯网\" class=\"\" data-editable=\"true\"\u003E贝叶斯网\u003C\u002Fa\u003E以抗衡逻辑回归，一雪前耻。\u003C\u002Fp\u003E\u003Cp\u003E然而，傲娇的逻辑回归怎能就此善罢甘休呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003Eps：对上面的故事有不认识的名词的同学，务必点一下上面的文章链接复习一下哦。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-db583d5e31723fc8fe99aaea2e1427bd.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E先复习一下逻辑回归的结论。在之前的\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484011&amp;idx=1&amp;sn=42e4f331db843091c5c3809a4d259fad&amp;chksm=970c2abda07ba3abb3963c2defcc644582f28bbdc23f3d669d022cd032e637d2ca8b6b48ca62&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"文章1\" class=\"\"\u003E文章1\u003C\u002Fa\u003E和\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484122&amp;idx=1&amp;sn=41628bf3169b9ef3fa107646d483bae5&amp;chksm=970c2a0ca07ba31ae1939e316c15695c83556c347e0b38bb80dde3048533de7de388ec2a6544&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"文章2\"\u003E\u003Cstrong\u003E文章\u003C\u002Fstrong\u003E\u003Cstrong\u003E2\u003C\u002Fstrong\u003E\u003C\u002Fa\u003E中已经解释了，逻辑回归是个二类分类器，它的假设函数是\u003Cimg src=\"v2-f3750bfbfe530ab909e9059d85fc0fac.png\" data-rawwidth=\"167\" data-rawheight=\"20\"\u003E并且本质上这个假设函数算出来的是\u003Cstrong\u003E其中一个类别的后验概率p(y=1|x)\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cp\u003E而sigmoid函数本身并不单纯，而是一个现实意义非常丰富的函数，所以逻辑回归模型可以表示成\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003Ep(y=1|x) \u003C\u002Fstrong\u003E\u003Cstrong\u003E= exp(\u003C\u002Fstrong\u003E\u003Cstrong\u003Ex与类别1的\"亲密度\") \u003C\u002Fstrong\u003E\u003Cstrong\u003E\u002F exp(\u003C\u002Fstrong\u003E\u003Cstrong\u003Ex与所有类别的\"亲密度\"之和\u003C\u002Fstrong\u003E\u003Cstrong\u003E)\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E其中，亲密度直接用内积x·y描述。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E对上面的结论有疑问的同学，回看一下那两篇文章哦。\u003C\u002Fp\u003E\u003Cimg src=\"v2-db583d5e31723fc8fe99aaea2e1427bd.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E\u003Cstrong\u003E再次提醒！\u003C\u002Fstrong\u003E\u003Cstrong\u003E前方超级高能预警！！！\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E请务必在进入战场前确认已经装备以下三神器：\u003C\u002Fp\u003E1、\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484011&amp;idx=1&amp;sn=42e4f331db843091c5c3809a4d259fad&amp;chksm=970c2abda07ba3abb3963c2defcc644582f28bbdc23f3d669d022cd032e637d2ca8b6b48ca62&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"1、浅入深出被人看扁的逻辑回归\"\u003E浅入深出被人看扁的逻辑回归\u003C\u002Fa\u003E\u003Cbr\u003E2、\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484122&amp;idx=1&amp;sn=41628bf3169b9ef3fa107646d483bae5&amp;chksm=970c2a0ca07ba31ae1939e316c15695c83556c347e0b38bb80dde3048533de7de388ec2a6544&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"2、sigmoid与softmax的血缘关系\"\u003Esigmoid与softmax的血缘关系\u003C\u002Fa\u003E\u003Cbr\u003E3、\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484231&amp;idx=1&amp;sn=d8e0b2fbbdf105768f80f4d58f36437d&amp;chksm=970c2b91a07ba287732147646ea7b4be198f6fef525cd7e1e27a97e8a85104e8adda3f4fe2af&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"3、逻辑回归与朴素贝叶斯的战争\" class=\"\"\u003E逻辑回归与朴素贝叶斯的战争\u003C\u002Fa\u003E\u003Cimg src=\"v2-db583d5e31723fc8fe99aaea2e1427bd.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E显然，逻辑回归这么简单的model有很大的改良余地。尤其是所谓的亲密度！\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E 想象一下，在逻辑回归中，亲密度就是用x与y的内积来表示了，但是这个做法过于简单了。我们暂且不管最佳描述亲密度的函数是什么，我们就直接用一个函数E(x,y)来表示x与y的亲密度，然后我们尽可能的让E(x,y)的形式变得合理，尽可能的用最优的方式去描述x与y的亲密度。\u003C\u002Fp\u003E\u003Cp\u003E首先，描述x与y的亲密度，就是描述两个向量的亲密度嘛~为了避免让大家思考的时候总是带着机器学习的影子，我们不妨用两个一般的向量v1和v2来表示x与y。\u003C\u002Fp\u003E\u003Cp\u003E为了找出最优的描述v1与v2亲密度的函数E(v1,v2)，我们想想以前直接用v1·v2来描述亲密度有什么缺陷。 \u003C\u002Fp\u003E\u003Cp\u003E设想一下，如果v1代表老板，v2代表老板手下的秘书呢？\u003C\u002Fp\u003E\u003Cp\u003E显然，v1与v2的亲密度来说，v2并没有多大的发言权，老板（v1）想跟谁亲密，那么v1就跟哪个v2的亲密度大。所以！\u003Cstrong\u003E我们需要一个权重来表示某个向量在计算亲密度时的说话分量：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E我们就用参数b\u003C\u002Fstrong\u003E\u003Cstrong\u003E来表示v1\u003C\u002Fstrong\u003E\u003Cstrong\u003E的说话分量，用参数c\u003C\u002Fstrong\u003E\u003Cstrong\u003E来表示v2\u003C\u002Fstrong\u003E\u003Cstrong\u003E的说话分量啦~\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后，再想象一下，v1和v2的亲密度完全可以体现在方方面面呀~比如老板与小王由于都喜欢美妆从而比较亲密，老板与小李都喜欢打篮球从而比较亲密，但是由于老板心里觉得美妆比篮球更重要，所以综合来看老板跟小王更亲密。\u003C\u002Fp\u003E\u003Cp\u003E而之前用v1直接用v2做内积的话，显然向量的各个维度（篮球、美妆等各个方面）的权重都是相等的，无法描述不同维度在老板心里的权重。\u003Cstrong\u003E那么如何分出来不同维度在老板心里的权重呢？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E显然！在v1与v2之间加个同样维度的向量描述各个维度权重！这个参数暂时用小写的w表示。诶？不对啊，如果w是个向量的话，v1、v2、w这三个向量无论怎么计算，都不可能乘出来一个表示亲密度的值啊（回想一下做矩阵乘法时的结果的维度与各乘子的维度的关系）\u003C\u002Fp\u003E\u003Cp\u003E所以这里的w不能是向量！假如v1和v2的维度是n的话，那么\u003Cstrong\u003Ew只需要是个n*n对角矩阵\u003C\u002Fstrong\u003E就可以啦！这样\u003Cequation\u003Ev1^T\\cdot w\\cdot v2\u003C\u002Fequation\u003E就是维度 1*n 乘以 n*n 乘以 n*1 ，这样得到的结果就是一个值了~\u003C\u002Fp\u003E\u003Cp\u003E 所以，我们把前面的参数b和c也高级化一下，让b也能刻画不同维度下v1的分量，以及c刻画不同维度下v2的分量，所以\u003Cstrong\u003E参数b和c就是个n维向量\u003C\u002Fstrong\u003E啦\u003Cstrong\u003E~\u003C\u002Fstrong\u003E（\u003Cequation\u003Ev1^T\\cdot b\u003C\u002Fequation\u003E，就是维度1*n与维度n*1相乘，直接得到一个值。v2与c同理。）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E再想想，这时参数b和c是n维向量，w是个n*n的对角矩阵。还能继续优化亲密度的描述吗？\u003C\u002Fstrong\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E设想一下，如果老板（v1）的第1维的含义是“喜欢化妆”，秘书（v2）的第5维的含义是“喜欢买化妆品”，那么当v1与v2直接求内积的时候，哪怕v1的第1维与v2的第5维会碰撞出强烈的亲密度，但是由于v1与v2直接求内积，也就是说v1的第i维只能跟v2的第i维碰撞，这样明显丧失了很多潜在的亲密度啊！所以我们要用额外的参数来描述v1的第i维与v2的任意的第j维之间的“关联度”，如果关联度非常大，那参数就尽可能大，让v1的第i维去尽情碰撞v2的第j维，看看能不能出来强烈的亲密度~当然，两个关联度很小的维度的话，对应的参数的值就会接近0，就没有碰撞的必要啦~碰撞的结果也没有啥影响力啦~\u003C\u002Fp\u003E\u003Cp\u003E想的很好，那么这个复杂的参数怎么表示呢？\u003C\u002Fp\u003E\u003Cp\u003E其实对于数学基础扎实的同学来说非常简单！参数矩阵的非对角线元素就是描述这种关系的！（有没有想起概率统计中的协方差矩阵？想起的肯定秒懂啦，没想起同学也没关系~）\u003C\u002Fp\u003E\u003Cp\u003E 所以，我们只要把\u003Cstrong\u003E对角矩阵w变成普通的矩阵W\u003C\u002Fstrong\u003E！这样W的对角线元素依然描述每个维度的权重，而非对角线元素就可以描述上述v1的各个维度与v2的各个维度之间的关联度啦！\u003C\u002Fp\u003E\u003Cp\u003E 通过\u003Cstrong\u003E向量b、向量c、矩阵W\u003C\u002Fstrong\u003E，简直是不能更完美的刻画v1与v2的亲密度了！所以综合起来，亲密度函数如下：\u003C\u002Fp\u003E\u003Cequation\u003EE(v1,v2)=b^Tv1+c^Tv2+v1^T\\cdot W\\cdot v2\u003C\u002Fequation\u003E\u003Cbr\u003E\u003Cp\u003E 所以，这个新的机器学习模型跟逻辑回归一样，只是把亲密度定义了一下，并且：\u003C\u002Fp\u003E\u003Cp\u003E 1、跟逻辑回归一样可以很自由的推广到多类分类的情况（不理解的同学回\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484122&amp;idx=1&amp;sn=41628bf3169b9ef3fa107646d483bae5&amp;chksm=970c2a0ca07ba31ae1939e316c15695c83556c347e0b38bb80dde3048533de7de388ec2a6544&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"这篇文章\"\u003E\u003Cstrong\u003E这篇文章\u003C\u002Fstrong\u003E\u003C\u002Fa\u003E复习一下sigmoid到softmax）\u003Cbr\u003E2、跟逻辑回归一样可以很自由的由判别式推广到生成式（不理解的同学回\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484231&amp;idx=1&amp;sn=d8e0b2fbbdf105768f80f4d58f36437d&amp;chksm=970c2b91a07ba287732147646ea7b4be198f6fef525cd7e1e27a97e8a85104e8adda3f4fe2af&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"这篇文章\"\u003E\u003Cstrong\u003E这篇文章\u003C\u002Fstrong\u003E\u003C\u002Fa\u003E复习一下逻辑回归到朴素贝叶斯）\u003C\u002Fp\u003E\u003Cp\u003E好！那么我们就将这些进化全都用上（好疯狂...）：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E1、改良亲密度的定义\u003Cbr\u003E\u003C\u002Fstrong\u003E\u003Cstrong\u003E2、推广到多类\u003Cbr\u003E\u003C\u002Fstrong\u003E\u003Cstrong\u003E3、推广到生成式\u003C\u002Fstrong\u003E \u003C\u002Fp\u003E\u003Cp\u003E那么得到的超级模型的\u003Cstrong\u003E假设函数\u003C\u002Fstrong\u003E就是：\u003C\u002Fp\u003E\u003Cequation\u003Ef=p(x=i,y=j)=\\frac{e^{E(x=i,y=j)}}{\\sum_{m=1}^M\\sum_{k=1}^Ke^{E(x=m,y=k)}}\n\u003C\u002Fequation\u003E\u003Cp\u003E 其中，E(x,y)就是本文的改良版“亲密度”函数；M代表样本数量，K代表类别数量。\u003C\u002Fp\u003E\u003Cp\u003E在这个模型中，参数就是亲密度函数中的向量b、向量c、矩阵W。\u003C\u002Fp\u003E\u003Cp\u003E这个用尽高级技术的复杂而优美的模型叫什么呢？\u003C\u002Fp\u003E\u003Cp\u003E这就是：\u003Cstrong\u003E受限玻尔兹曼机（Restricted\u003C\u002Fstrong\u003E\u003Cstrong\u003E Boltzmann Machine\u003C\u002Fstrong\u003E\u003Cstrong\u003E，即RBM）\u003C\u002Fstrong\u003E！\u003C\u002Fp\u003E\u003Cp\u003E其中，这里小夕讲的亲密度函数的\u003Cstrong\u003E前面加个负号\u003C\u002Fstrong\u003E，就是概率图模型中所谓的\u003Cstrong\u003E能量函数\u003C\u002Fstrong\u003E，也叫\u003Cstrong\u003E势能函数\u003C\u002Fstrong\u003E（理论物理中的概念），这里也是用\u003Cstrong\u003EE(v1,v2)\u003C\u002Fstrong\u003E表示(\u003Cstrong\u003E新的E(v1,v2)=-旧的E(v1,v2)\u003C\u002Fstrong\u003E)。假设函数中那个有两个求和号的恐怖大分母，就是概率图模型中的\u003Cstrong\u003E配分函数Z\u003C\u002Fstrong\u003E，跟小夕这里讲的意思是一模一样的,只不过用新的E(v1,v2)表示而已啦。\u003C\u002Fp\u003E\u003Cp\u003E所以用\u003Cstrong\u003E概率图中的表示方法，RBM的假设函数\u003C\u002Fstrong\u003E即：\u003C\u002Fp\u003E\u003Cequation\u003Ef=P(x=i,y=j)=\\frac{1}{Z}exp(-E(x=i,y=j))\n\u003C\u002Fequation\u003E\u003Cp\u003E其中，配分函数：\u003C\u002Fp\u003E\u003Cequation\u003EZ=\\sum_{m=1}^M\\sum_{k=1}^Ke^{-E(x=m,y=k)}\u003C\u002Fequation\u003E\u003Cp\u003E看~概率图中被包装的如此抽象的RBM，本质上就是个究极进化版的逻辑回归而已啦。\u003C\u002Fp\u003E\u003Cimg src=\"v2-db583d5e31723fc8fe99aaea2e1427bd.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E那么，为什么说这是“受限”玻尔兹曼机呢？难道还有不受限的玻尔兹曼机吗？这个答案就让小夕在下一篇文章中告诉你吧，看看RBM是如何继续进化的~\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E等等！\u003C\u002Fp\u003E\u003Cp\u003E纳尼？？？逻辑回归培养到最后，怎么培养成了生成式模型呀！所以竟然培养成了对方战场的究级武器？？？\u003C\u002Fp\u003E\u003Cp\u003E╮(￣▽￣\"\")╭\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E我想，这大概跟小夕父母的心情差不多吧——明明生的是儿子，养着养着就成女儿了（生儿育女）。\u003C\u002Fp\u003E\u003Cp\u003E本文转自微信订阅号\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484506&amp;idx=1&amp;sn=382609033311acf5959fbcc5d113ce73&amp;chksm=970c2c8ca07ba59a2ac1e0abbd600ad119c7452e8e73cf2f02ab6d1af6e59d9d6e0a7e1d5ed7#rd\" class=\"\" data-editable=\"true\" data-title=\"【夕小瑶的卖萌屋】\"\u003E【夕小瑶的卖萌屋】\u003C\u002Fa\u003E，据说每个想学机器学习的人进来后都停不下来了哦(￣∇￣)\u003C\u002Fp\u003E","updated":new Date("2017-06-12T17:16:14.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":7,"likeCount":56,"state":"published","isLiked":false,"slug":"27366699","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-13T01:16:14+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27366699\u002Fcomments"},"url":"\u002Fp\u002F27366699","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27366699","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":7,"likesCount":56},"27435212":{"title":"解开玻尔兹曼机的封印会发生什么？","author":"tsxiyao","content":"\u003Cp\u003E在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484506&amp;idx=1&amp;sn=382609033311acf5959fbcc5d113ce73&amp;chksm=970c2c8ca07ba59a2ac1e0abbd600ad119c7452e8e73cf2f02ab6d1af6e59d9d6e0a7e1d5ed7&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"上一篇文章\"\u003E\u003Cstrong\u003E上一篇文章\u003C\u002Fstrong\u003E\u003C\u002Fa\u003E中，小夕讲述了逻辑回归为了抗衡贝叶斯网，也开始了自己的进化。然而令我们没有想到的是，逻辑回归最终竟然进化成了一个生成式模型——受限玻尔兹曼机（RBM），也就是变成了敌方（生成式模型）的武器。\u003C\u002Fp\u003E\u003Cp\u003E意外得到RBM的朴素贝叶斯万分惊喜，并且燃起了将它自己做的贝叶斯网与敌方送的RBM融合的冲动！\u003C\u002Fp\u003E\u003Cp\u003E 那么朴素贝叶斯的疯狂想法能不能实现呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E 还是按照惯例，先叙述背景姿势。在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484406&amp;idx=1&amp;sn=7a62ecd3dc9f6c2903e5482fba624692&amp;chksm=970c2b20a07ba236f1e14166926b1eb302aa76abbd684d3413d50e6d090df9a09ba55787cfd7&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《朴素贝叶斯到贝叶斯网》\"\u003E《朴素贝叶斯到贝叶斯网》\u003C\u002Fa\u003E中，小夕为朴素贝叶斯画了一幅肖像：\u003Cimg src=\"v2-27c2f2b98754751d4e48e439de5bdc27.png\" data-rawwidth=\"640\" data-rawheight=\"495\"\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E 朴素贝叶斯看到自己的肖像后，深感自己的朴（弱）素（鸡），于是进行了进化——抛弃自己的条件独立性假设，建模特征向量X内部各个维度的条件依赖关系。于是，朴素贝叶斯进化出了下图的贝叶斯网：\u003Cimg src=\"v2-82779aa2b66bf0647cb4d473a6607ec3.png\" data-rawwidth=\"640\" data-rawheight=\"501\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E在上一篇文章\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484506&amp;idx=1&amp;sn=382609033311acf5959fbcc5d113ce73&amp;chksm=970c2c8ca07ba59a2ac1e0abbd600ad119c7452e8e73cf2f02ab6d1af6e59d9d6e0a7e1d5ed7&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《逻辑回归到受限玻尔兹曼机》\"\u003E《逻辑回归到受限玻尔兹曼机》\u003C\u002Fa\u003E中，RBM相比逻辑回归有了非常大的进步，可以更加合理的计算每个样本与每个类别的“亲密度”，也就是与之关联的概率图模型中能量函数E(v1,v2)的大小。\u003C\u002Fp\u003E\u003Cp\u003ERBM看起来这么复杂，那么灵魂画师夕小瑶能不能像对贝叶斯一样，给RBM画一个肖像呢？\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E\u003Cstrong\u003ERBM的肖像？\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E当然可以啦~从上一篇文章对能量函数E(v1,v2)的定义来看，这个函数计算向量v1和v2的“亲密度”时是没有方向的，也就是说E(v1,v2)一定等于E(v2,v1)的。所以对于图中的任意两个点来说，他们之间的边是没有方向的（注意区分朴素贝叶斯和贝叶斯网中的有向边哦）。所以对于RBM中有连接的两个点： \u003C\u002Fp\u003E\u003Cimg src=\"v2-c23cb3d31deaecac4c503d33e58e3c6f.png\" data-rawwidth=\"433\" data-rawheight=\"280\"\u003E\u003Cp\u003E边是无向的，并且用一个蓝色小方块表示用能量函数连接。\u003C\u002Fp\u003E\u003Cp\u003E 按照上一篇文章的表述，RBM中的一个参数——矩阵W连接了特征向量X中的每个维度与类别向量Y的每个维度，因此RBM应该是下面这个样子的：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\"v2-833b058257c141e3139e34ace1fb6a5d.png\" data-rawwidth=\"1730\" data-rawheight=\"1022\"\u003E（小方块太多啦，省略掉了~但是每条边依然代表着这两个节点用能量函数(中的参数)连接）\u003C\u002Fp\u003E\u003Cp\u003E 诶？有没有觉得。。。还不够乱！（好丧心病狂的想法\u003C\u002Fp\u003E\u003Cp\u003E 回想一下，从朴素贝叶斯到贝叶斯网就是经历了将X内部的各个维度（各个随机变量）之间的关系也建模了！而RBM则是跟朴素贝叶斯一样的，对X内部（更一般化的说还包括Y内部）的随机变量是有独立性假设的。而在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484406&amp;idx=1&amp;sn=7a62ecd3dc9f6c2903e5482fba624692&amp;chksm=970c2b20a07ba236f1e14166926b1eb302aa76abbd684d3413d50e6d090df9a09ba55787cfd7&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《朴素贝叶斯到贝叶斯网》\" class=\"\"\u003E《朴素贝叶斯到贝叶斯网》\u003C\u002Fa\u003E中已经详细叙述了这个独立性假设在很多情况下是非常致命的！\u003C\u002Fp\u003E\u003Cp\u003E 所以，才不要什么人为的假设呢~解开玻尔兹曼机身上的枷锁吧~让X内部以及Y内部的随机变量也可以随意的交流（即，使模型具备描述X和Y内部各随机变量之间条件依赖性关系的能力，只不过这里直接描述了双向的条件依赖性关系）。所以从图中看是这样子的：\u003Cimg src=\"v2-31fcef2a0b3902d6129d1d3b7a23edec.png\" data-rawwidth=\"1730\" data-rawheight=\"1123\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E玻尔兹曼机：\u003C\u002Fstrong\u003E喵喵喵~最喜欢自由的感觉啦~\u003C\u002Fp\u003E\u003Cp\u003E那么在数学上怎么描述呢？当然可以直接照搬RBM中的做法啦。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003ERBM的假设函数中的能量函数：\u003C\u002Fp\u003E\u003Cequation\u003EE(v1,v2)=-(b^Tv1+c^Tv2+v1^T\\cdot W\\cdot v2)\u003C\u002Fequation\u003E\u003Cp\u003E用一个矩阵W连接了X所有维度与Y的所有维度。因此要连接X内部所有维度和Y内部所有维度的话，只需要：\u003Cimg src=\"v2-d1bd6fdc102fff33317086ce5600040b.png\" data-rawwidth=\"639\" data-rawheight=\"25\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E 相信聪明的你很轻松就看懂啦，这里用两个与W同理的\u003Cstrong\u003E矩阵R、S\u003C\u002Fstrong\u003E来分别连接v1内部的各维度以及v2内部的各维度。\u003C\u002Fp\u003E\u003Cp\u003E 所以玻尔兹曼机（BM）的假设函数跟RBM的形式一样，都是\u003Cimg src=\"v2-2fbb89787e10085fdf32f28ac0e417f2.png\" data-rawwidth=\"640\" data-rawheight=\"61\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E其中配分函数Z：\u003Cimg src=\"v2-e86b538be2f7e73b20e5e2186d585830.png\" data-rawwidth=\"236\" data-rawheight=\"62\"\u003E\u003C\u002Fp\u003E\u003Cp\u003E只是将里面的能量函数换成上面的更丧心病狂的形式了而已~\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E而根据\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484286&amp;idx=1&amp;sn=68c1b5bf8bd6530ed6c779efbad67404&amp;chksm=970c2ba8a07ba2be6d03728cab594fb464276cc93f9ab03b7c6441490b49c933bd431a33d119&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《一般化机器学习》\"\u003E《一般化机器学习》\u003C\u002Fa\u003E，我们已经理解了玻尔兹曼机（BM）的假设函数，那么还需要探索如何训练这个自由而强大的模型。而如何训练，即寻找或设计一个合适的损失函数，然后选择合适的最优化算法来最小化损失函数从而得到model。\u003C\u002Fp\u003E\u003Cp\u003E然而，自由而随意所带来的代价就是：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E非！常！难！以！训！练！\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E设想一下，假如损失函数我们就用最通用的似然函数（诶诶？是不是还缺一篇写损失函数的文章？没事没事，还好在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483937&amp;idx=1&amp;sn=3bdd536c4b18b751742414d87e321ecb&amp;chksm=970c2af7a07ba3e1d6c2cfe8f0ebe157197f3d16b0580ac331d0042fae0d4221a1adb7ec0b2e&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"《EM算法》\" class=\"\"\u003E《EM算法》\u003C\u002Fa\u003E中有讲似然函数），那么任何主流的最优化算法都会计算量爆炸（想象一下对玻尔兹曼机的假设函数求导，\u003Cstrong\u003E尤其是对配分函数这个恐怖大分母\u003C\u002Fstrong\u003E！），哪怕是最简单的梯度下降法（当然这里\u003Cstrong\u003E最大化\u003C\u002Fstrong\u003E似然函数就是梯度上升啦），都会使得工程上训练BM很不现实。\u003C\u002Fp\u003E\u003Cp\u003E 那么怎么办呢？\u003C\u002Fp\u003E\u003Cp\u003E一个主流的解决办法是使用一种改良的梯度上升法——\u003Cstrong\u003EMCMC算法\u003C\u002Fstrong\u003E来最大化似然函数。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个算法的由来就是一个纯数学过程了，需要一篇很长很崩溃的堆砌公式的文章才能讲清楚，所以。。。详情可以参考《Deep Learning》(中文版链接\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fexacity\u002Fdeeplearningbook-chinese\" data-editable=\"true\" data-title=\"exacity\u002Fdeeplearningbook-chinese\"\u003Eexacity\u002Fdeeplearningbook-chinese\u003C\u002Fa\u003E)的第18章啦(￣∇￣)，数学不太好的慎入哦（小夕诚实的讲，小夕也没有很清晰的理解透...所以现在讲的肯定不如书上好~）\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E诶诶？爱思考的小夕又有疑问惹：\u003C\u002Fp\u003E\u003Cp\u003E 首先，这就是玻尔兹曼机的全部潜力了吗？怎么看着能量函数有点眼熟呢。。。有点像，\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484266&amp;idx=1&amp;sn=6d93414cb7457f4b929cdfcd7ce69060&amp;chksm=970c2bbca07ba2aa4b37c0a17ea2a1bfee6f8b044c5c663b91d21b7f0e76fe937d512b00341d&amp;scene=21#wechat_redirect\" data-editable=\"true\" data-title=\"神经张量网络(NTN)\"\u003E神经张量网络(NTN)\u003C\u002Fa\u003E？诶？会不会跟神经网络有关系呢？会不会。。。会不会跟深度学习碰撞出火花？叫做\u003Cstrong\u003E深度玻尔兹曼机\u003C\u002Fstrong\u003E？\u003C\u002Fp\u003E\u003Cp\u003E而且，既然贝叶斯网络是用有方向的边去描述的，玻尔兹曼机是用无方向的边去描述的，而且这两者看起来都很自由~那这两个。。。哪个更好呢？\u003C\u002Fp\u003E\u003Cp\u003E就让小夕站在概率图的高度来描述一场新的战争吧~\u003C\u002Fp\u003E\u003Cp\u003E本文转自微信订阅号\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484521&amp;idx=1&amp;sn=5c62c691c7954c263eef6850a6892b2c&amp;chksm=970c2cbfa07ba5a9e50f85773c6f990cc926bac86da855d5ff802b65efa2aebc32a85a1f20d6#rd\" class=\"\" data-editable=\"true\" data-title=\"【夕小瑶的卖萌屋】\"\u003E【夕小瑶的卖萌屋】\u003C\u002Fa\u003E，据说每个想学机器学习的人进来后都停不下来了哦(￣∇￣)\u003C\u002Fp\u003E","updated":new Date("2017-06-16T16:23:18.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":43,"state":"published","isLiked":false,"slug":"27435212","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-17T00:23:18+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27435212\u002Fcomments"},"url":"\u002Fp\u002F27435212","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27435212","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":43},"27719875":{"title":"哈？你还认为似然函数跟交叉熵是一个意思呀？","author":"tsxiyao","content":"\u003Cp\u003E在我重新抱起概率统计的课本之前，我一直都不清楚似然函数为什么是那样子的，只知道照着公式敲代码（那时候还没有tensorflow），于是出过各种糗：\u003C\u002Fp\u003E\u003Cp\u003E“啊？似然函数不就是交叉熵吗？”\u003Cbr\u003E“机器学习中的似然函数怎么看起来跟概率统计课本里的不一样呢？”\u003Cbr\u003E“学长学长，我把这个model的输出接上交叉熵后怎么报错了？”\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-caption=\"\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E“似然函数”名字的意义已经在以前的多篇文章中提过了，更通用的定义来说，似然函数就是衡量当前模型参数对于已知样本集的解释情况，通用的表现形式如下：\u003Cequation\u003EL=P(X ; \\theta)\u003C\u002Fequation\u003E注意！似然函数的定义当然没有限定样本集X的分布函数。这样来看似然函数的话很抽象，不知道实际中如何去用。所以我们把问题缩小一下啦。\u003C\u002Fp\u003E\u003Cp\u003E比如，我们将似然函数作为机器学习模型的损失函数，并且用在分类问题中。 \u003C\u002Fp\u003E\u003Cp\u003E这时，似然函数是直接作用于模型的输出的（损失函数就是为了衡量当前参数下model的预测值predict距离真实值label的大小，所以似然函数用作损失函数时当然也是为了完成该任务），所以对于似然函数来说，这里的样本集就成了label集（而不是机器学习意义上的样本集X了），这里的参数也不是机器学习model 的参数，而是predict值！（哈？是不是觉得搞siao了~屏住呼吸，慢慢来）\u003C\u002Fp\u003E\u003Cp\u003E其实作为损失函数的似然函数并不关心你当前的机器学习model的参数是怎样的，毕竟它此时所接收的输入只有两部分：\u003Cb\u003E1、predict。2、label。\u003C\u002Fb\u003E当然还有一个隐含的输入——\u003Cb\u003E3、分布模型\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E显然这里的label就是似然函数手里的观测值，也就是它眼里的样本集。\u003Cb\u003E而它眼里的模型，当然就是predict这个随机变量所服从的概率分布模型。它的目的，就是衡量predict背后的模型对于当前观测值的解释程度。而每个样本的predict值，恰恰就是它所服从的分布模型的参数。（好啦，给你1小时的时间理解一下加粗的这几句话，如果理解不了，看下面这个栗子吧）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E比如此时我们的机器学习任务是一个4个类别的分类任务，机器学习model的输出就是当前样本X下的每个类别的概率，如predict=[0.1, 0.1, 0.7, 0.1]，而该样本的标签是类别3，表示成向量就是label=[0, 0, 1, 0]。那么label=[0, 0, 1, 0]就是似然函数眼里的样本，然后我们可以假设predict这个随机变量背后的模型是\u003Cb\u003E单次观测下的多项式分布\u003C\u002Fb\u003E，为什么呢？\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-caption=\"\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E在谈多项式分布前，先讲一下二项(式)分布。\u003C\u002Fp\u003E\u003Cp\u003E在讲二项分布前，先讲一下贝努利分布。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E贝努利分布\u003C\u002Fb\u003E也叫\u003Cb\u003E两点分布\u003C\u002Fb\u003E。贝努利分布可以看成是将一枚硬币（只有正反两个面，代表两个类别）向上扔出，出现某个面（类别）的概率情况，因此其概率密度函数为：\u003C\u002Fp\u003E\u003Cimg src=\"v2-d0d08a33fbc215d5fc1fe13b638086f4.png\" data-caption=\"\" data-rawwidth=\"640\" data-rawheight=\"97\"\u003E\u003Cp\u003E一定要好好体会中间这个 \u003Cequation\u003E p^x(1-p)^{1-x}\u003C\u002Fequation\u003E ！！！这是理解似然函数做损失函数的关键！另外，贝努利分布的模型参数就是其中一个类别的发生概率。\u003C\u002Fp\u003E\u003Cp\u003E而二项分布呢，就是将贝努利实验重复n次（各次实验之间是相互独立的）。\u003C\u002Fp\u003E\u003Cp\u003E而多项式分布呢，就是将二项分布推广到多个面（类别）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E所以，单次观测下的多项式分布就是贝努利分布的多类推广！即：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ef_{multi}(x ; p) = \\prod \\limits _{i=1}^C p_i^{xi}\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E其中，C代表类别数。p代表向量形式的模型参数，即各个类别的发生概率，如p=[0.1, 0.1, 0.7, 0.1]，则p1=0.1, p3=0.7等。即，\u003Cb\u003E多项式分布的模型参数就是各个类别的发生概率！\u003C\u002Fb\u003Ex代表\u003Cb\u003Eone-hot形式\u003C\u002Fb\u003E的观测值，如x=类别3，则x=[0, 0, 1, 0]。xi代表x的第i个元素，比如x=类别3时，x1=0，x2=0，x3=1，x4=0。\u003C\u002Fp\u003E\u003Cp\u003E好了，聪明的你如果能把这个单次观测下的多项式分布的表达式理解了，那么你就完成80%的理解任务了。\u003C\u002Fp\u003E\u003Cp\u003E想一下，机器学习model对某个样本的输出，就代表各个类别发生的概率。但是，对于当前\u003Cb\u003E这一个\u003C\u002Fb\u003E样本而言，它肯定只能有\u003Cb\u003E一个类别\u003C\u002Fb\u003E，所以这一个样本就可以看成是一次实验（观察），而这次实验（观察）的结果要服从上述各个类别发生的概率，那不就是服从多项式分布嘛！而且是单次观察！各个类别发生的概率predict当然就是这个多项式分布的参数阿。\u003C\u002Fp\u003E\u003Cp\u003E好了，建模完成了，小总结一下：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E对于多类分类问题，似然函数就是衡量当前这个以predict为参数的单次观测下的多项式分布模型与样本值label之间的似然度。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-caption=\"\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E所以，根据似然函数的定义，单个样本的似然函数即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EL=f_{multi}(label ; predict)\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以，整个样本集（或者一个batch）的似然函数即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EL = \\prod\\limits _X f_{multi}(label ; predict) = \\prod\\limits _X \\prod \\limits _{i=1}^C predict(i)^{label(i)}\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E(感谢评论区 \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002F331651d69b866cbf2be3635f9e294797\" data-hash=\"331651d69b866cbf2be3635f9e294797\" data-hovercard=\"p$b$331651d69b866cbf2be3635f9e294797\"\u003E@Ken Chen\u003C\u002Fa\u003E 耐心指出这里的错误。之前写成了累加，一直理解错了。今天突然想起来这篇文章好像有读者指出过错误，回来一细想果然错了！原错误公式为 \u003Cequation\u003EL = \\sum\\limits _X f_{multi}(label ; predict) = \\sum\\limits _X \\prod \\limits _{i=1}^C predict(i)^{label(i)}\u003C\u002Fequation\u003E ，关于该公式为什么错了请见评论区置顶评论。）\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E看~这就是庐山真面目了。而由于式子里有累乘运算，所以习惯性的加个log函数来将累乘化成累加以提高运算速度（虽然对于每个样本来说只有一个类别，但是哪怕是算0.2^0也是算了一遍指数函数啊，计算机可不会直接口算出1）。所以在累乘号前面加上log函数后，就成了所谓的对数似然函数：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EL = \\sum\\limits _{X} \\sum_{i=1}^C label(i)\\log (predict(i))\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E而最大化对数似然函数就等效于最小化负对数似然函数，所以前面加个负号后不就是我们平常照着敲的公式嘛。。。\u003C\u002Fp\u003E\u003Cp\u003E而这个形式跟交叉熵的形式是一模一样的：\u003C\u002Fp\u003E\u003Cp\u003E对于某种分布的随机变量X~p(x), 有一个模型q(x)用于近似p(x)的概率分布，则分布X与模型q之间的交叉熵即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EH(X,q) = -\\sum_xp(x)\\log q(x)\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E这里X的分布模型即样本集label的真实分布模型，这里模型q(x)即想要模拟真实分布模型的机器学习模型。可以说交叉熵是直接衡量两个分布，或者说两个model之间的差异。而似然函数则是解释以model的输出为参数的某分布模型对样本集的解释程度。因此，可以说这两者是“同貌不同源”，但是“殊途同归”啦。\u003C\u002Fp\u003E\u003Cp\u003E当然，补充一句无关的话，在将负对数似然\u002F交叉熵拿来做损失函数的时候，不要忘记对batch取average，这样算出来的才是期望（直接套公式出来的是sum版）。\u003C\u002Fp\u003E\u003Cp\u003Eover。\u003C\u002Fp\u003E\u003Cimg src=\"v2-7429becd51ead3c3c4fa0fdf00756795.png\" data-caption=\"\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E算了，再送点赠品好了~\u003C\u002Fp\u003E\u003Cp\u003E同样的道理，使用似然函数作为损失函数时，多于多类的情况，很自然的建模出了单次观测下的多项式分布，那么二类情况呢？当然就是前面已经讲过的贝努利分布啦~快点把贝努利分布的概率密度函数带进去试试吧~是不是突然发现，二类分类器逻辑回归的损失函数“pia”的一下就出来啦~\u003C\u002Fp\u003E\u003Cp\u003E本文转载自\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484563&amp;idx=1&amp;sn=30a82e9b0760c9957f50ae5e969c10ee&amp;chksm=970c2c45a07ba553f31e88ee29c6bfc926d03da0f3bb793a75507226f3dc6cf665b51c7071cb#rd\"\u003E【夕小瑶的卖萌屋\u003C\u002Fa\u003E】，听说每一个想学机器学习的人到这里都停不下来了~\u003C\u002Fp\u003E","updated":new Date("2017-07-05T17:03:20.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":13,"likeCount":48,"state":"published","isLiked":false,"slug":"27719875","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-06T01:03:20+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27719875\u002Fcomments"},"url":"\u002Fp\u002F27719875","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27719875","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":13,"likesCount":48},"27763696":{"title":"训练神经网络时如何确定batch size？","author":"tsxiyao","content":"\u003Ch2\u003E前言\u003C\u002Fh2\u003E\u003Cp\u003E当我们要训练一个已经写好的神经网络时，我们就要直面诸多的超参数了。这些超参数一旦选不好，那么很有可能让神经网络跑的还不如感知机。因此在面对神经网络这种容量很大的model前，是很有必要深刻的理解一下各个超参数的意义及其对model的影响的。\u003C\u002Fp\u003E\u003Ch2\u003E回顾\u003C\u002Fh2\u003E\u003Cp\u003E简单回顾一下神经网络的\u003Cb\u003E一次\u003C\u002Fb\u003E迭代过程：\u003C\u002Fp\u003E\u003Cimg src=\"v2-2e9e673571e3a56728798e3b15777afd.png\" data-rawwidth=\"1729\" data-rawheight=\"1120\"\u003E\u003Cp\u003E即，首先选择n个样本组成一个batch，然后将batch丢进神经网络，得到输出结果。再将输出结果与样本label丢给loss函数算出本轮的loss，而后就可以愉快的跑BP算法了（从后往前逐层计算参数之于loss的导数）。最后将每个参数的导数配合步长参数来进行参数更新。这就是训练过程的一次迭代。\u003C\u002Fp\u003E\u003Ch2\u003EBatch Size\u003C\u002Fh2\u003E\u003Cp\u003E由此，最直观的超参数就是batch的大小——我们可以一次性将整个数据集喂给神经网络，让神经网络利用全部样本来计算迭代时的梯度（即传统的梯度下降法），也可以一次只喂一个样本（即随机梯度下降法，也称在线梯度下降法），也可以取个折中的方案，即每次喂一部分样本让其完成本轮迭代（即batch梯度下降法）。\u003C\u002Fp\u003E\u003Cp\u003E数学基础不太好的初学者可能在这里犯迷糊——一次性喂500个样本并迭代一次，跟一次喂1个样本迭代500次相比，有区别吗？\u003C\u002Fp\u003E\u003Cp\u003E其实这两个做法就相当于：\u003C\u002Fp\u003E\u003Cp\u003E第一种：\u003Cbr\u003Etotal = 旧参下计算更新值1+旧参下计算更新值2+...+旧参下计算更新值500 ;\u003Cbr\u003E新参数 = 旧参数 + total\u003C\u002Fp\u003E\u003Cp\u003E第二种：\u003Cbr\u003E新参数1 = 旧参数 + 旧参数下计算更新值1；\u003Cbr\u003E新参数2 = 新参数1 + 新参数1下计算更新值1；\u003Cbr\u003E新参数3 = 新参数2 + 新参数2下计算更新值1；\u003Cbr\u003E...\u003Cbr\u003E新参数500 =\n新参数500 + 新参数500下计算更新值1；\u003C\u002Fp\u003E\u003Cp\u003E也就是说，第一种是将参数一次性更新500个样本的量，第二种是迭代的更新500次参数。当然是不一样的啦。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E那么问题来了，哪个更好呢？\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EWhich one？\u003C\u002Fh2\u003E\u003Cp\u003E我们首先分析最简单的影响，哪种做法收敛更快呢？\u003C\u002Fp\u003E\u003Cp\u003E我们假设每个样本相对于大自然真实分布的标准差为σ，那么根据概率统计的知识，很容易推出n个样本的标准差为 \u003Cequation\u003E\\sigma\u002F\\sqrt{n}\u003C\u002Fequation\u003E （有疑问的同学快翻开概率统计的课本看一下推导过程）。从这里可以看出，我们使用样本来估计梯度的时候，1个样本带来σ的标准差，但是使用n个样本区估计梯度并不能让标准差线性降低（也就是并不能让误差降低为原来的1\u002Fn，即无法达到σ\u002Fn），而n个样本的计算量却是线性的（每个样本都要平等的跑一遍前向算法）。\u003C\u002Fp\u003E\u003Cp\u003E由此看出，显然在同等的计算量之下（一定的时间内），使用整个样本集的收敛速度要远慢于使用少量样本的情况。换句话说，要想收敛到同一个最优点，使用整个样本集时，虽然迭代次数少，但是每次迭代的时间长，耗费的总时间是大于使用少量样本多次迭代的情况的。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E那么是不是样本越少，收敛越快呢？\u003C\u002Fp\u003E\u003Cp\u003E理论上确实是这样的，使用单个单核cpu的情况下也确实是这样的。但是我们要与工程实际相结合呀~实际上，工程上在使用GPU训练时，跑一个样本花的时间与跑几十个样本甚至几百个样本的时间是一样的！当然得益于GPU里面超多的核，超强的并行计算能力啦。因此，在工程实际中，从收敛速度的角度来说，小批量的样本集是最优的，也就是我们所说的mini-batch。这时的batch size往往从几十到几百不等，但一般不会超过几千（你有土豪显卡的话，当我没说）。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E那么，如果我真有一个怪兽级显卡，使得一次计算10000个样本跟计算1个样本的时间相同的话，是不是设置10000就一定是最好的呢？虽然从收敛速度上来说是的，但！是！\u003C\u002Fp\u003E\u003Cp\u003E我们知道，神经网络是个复杂的model，它的损失函数也不是省油的灯，在实际问题中，神经网络的loss曲面（以model参数为自变量，以loss值为因变量画出来的曲面）往往是非凸的，这意味着很可能有多个局部最优点，而且很可能有鞍点！\u003C\u002Fp\u003E\u003Cp\u003E插播一下，鞍点就是loss曲面中像马鞍一样形状的地方的中心点，如下图：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\"v2-817cf83b6e9b5da3859457cee2d70215.png\" data-rawwidth=\"1003\" data-rawheight=\"549\"\u003E（图片来自《Deep Learning》）\u003C\u002Fp\u003E\u003Cp\u003E想象一下，在鞍点处，横着看的话，鞍点就是个极小值点，但是竖着看的话，鞍点就是极大值点（线性代数和最优化算法过关的同学应该能反应过来，鞍点处的Hessian矩阵的特征值有正有负。不理解也没关系，小夕过几天就开始写最优化的文章啦~），因此鞍点容易给优化算法一个“我已经收敛了”的假象，殊不知其旁边有一个可以跳下去的万丈深渊。。。（可怕）\u003C\u002Fp\u003E\u003Cp\u003E回到主线上来，小夕在\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247483887&amp;idx=1&amp;sn=e402f45fd2eaccf5bccf2b348d2f85c5&amp;chksm=970c2939a07ba02f53b125708b4d5069d2ad6d5b0e8b95d27e15ae36694814470e9d2bd7a9e1&amp;scene=21#wechat_redirect\"\u003E《机器学习入门指导（4）》\u003C\u002Fa\u003E中提到过，传统的最优化算法是无法自动的避开局部最优点的，对于鞍点也是理论上很头疼的东西。但是实际上，工程中却不怎么容易陷入很差劲的局部最优点或者鞍点，这是为什么呢？\u003C\u002Fp\u003E\u003Cp\u003E暂且不说一些很高深的理论如“神经网络的loss曲面中的局部最优点与全局最优点差不太多”，我们就从最简单的角度想~\u003C\u002Fp\u003E\u003Cp\u003E想一想，样本量少的时候会带来很大的方差，而这个大方差恰好会导致我们在梯度下降到很差的局部最优点（只是微微凸下去的最优点）和鞍点的时候不稳定，一不小心就因为一个大噪声的到来导致炸出了局部最优点，或者炸下了马（此处请保持纯洁的心态！），从而有机会去寻找更优的最优点。\u003C\u002Fp\u003E\u003Cp\u003E因此，与之相反的，当样本量很多时，方差很小（咦？最开始的时候好像在说标准差来着，反正方差与标准差就差个根号，没影响的哈~），对梯度的估计要准确和稳定的多，因此反而在差劲的局部最优点和鞍点时反而容易自信的呆着不走了，从而导致神经网络收敛到很差的点上，跟出了bug一样的差劲。\u003C\u002Fp\u003E\u003Cp\u003E小总结一下，batch的size设置的不能太大也不能太小，因此实际工程中最常用的就是mini-batch，一般size设置为几十或者几百。但是！\u003C\u002Fp\u003E\u003Cp\u003E好像这篇文章的转折有点多了诶。。。\u003C\u002Fp\u003E\u003Cp\u003E细心的读者可能注意到了，这之前我们的讨论是基于梯度下降的，而且默认是一阶的（即没有利用二阶导数信息，仅仅使用一阶导数去优化）。因此对于SGD（随机梯度下降）及其改良的一阶优化算法如Adagrad、Adam等是没问题的，但是对于强大的二阶优化算法如共轭梯度法、L-BFGS来说，如果估计不好一阶导数，那么对二阶导数的估计会有更大的误差，这对于这些算法来说是致命的。\u003C\u002Fp\u003E\u003Cp\u003E因此，对于二阶优化算法，减小batch换来的收敛速度提升远不如引入大量噪声导致的性能下降，因此在使用二阶优化算法时，往往要采用大batch哦。此时往往batch设置成几千甚至一两万才能发挥出最佳性能。\u003C\u002Fp\u003E\u003Cp\u003E另外，听说GPU对2的幂次的batch可以发挥更佳的性能，因此设置成16、32、64、128...时往往要比设置为整10、整100的倍数时表现更优（不过我没有验证过，有兴趣的同学可以试验一下~\u003C\u002Fp\u003E\u003Cp\u003E参考文献《Deep Learning》\u003C\u002Fp\u003E\u003Cp\u003E本文转载自微信订阅号【\u003Cb\u003E\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484570&amp;idx=1&amp;sn=4c0b6b76a7f2518d77818535b677e087&amp;chksm=970c2c4ca07ba55ad5cfe6b46f72dbef85a159574fb60b9932404e45747c95eed8c6c0f66d62#rd\"\u003E夕小瑶的卖萌屋\u003C\u002Fa\u003E】\u003C\u002Fb\u003E，听说每个想学机器学习的人到这里都停不下来了~ \u003C\u002Fp\u003E","updated":new Date("2017-07-07T15:32:45.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":18,"likeCount":84,"state":"published","isLiked":false,"slug":"27763696","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-07T23:32:45+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27763696\u002Fcomments"},"url":"\u002Fp\u002F27763696","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27763696","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":18,"likesCount":84},"27919794":{"title":"深度前馈网络与Xavier初始化原理","author":"tsxiyao","content":"\u003Ch2\u003E前言\u003C\u002Fh2\u003E\u003Cp\u003E基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。\u003C\u002Fp\u003E\u003Ch2\u003E前向\u003C\u002Fh2\u003E\u003Cp\u003E前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就是已经在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484448&amp;idx=1&amp;sn=80479bf682d7ade4184fde809ea0cc3e&amp;chksm=970c2cf6a07ba5e0e046e4d5b8169e8fb58c9e858878840b571d43060e30986152a534830bc6&amp;scene=21#wechat_redirect\"\u003E《神经网络激活函数》\u003C\u002Fa\u003E中详细讲过的线性与非线性交替映射的过程：\u003C\u002Fp\u003E\u003Cimg src=\"v2-ce9f66e6afbb4cc7faeb5cb583f3f95c.png\" data-rawwidth=\"640\" data-rawheight=\"367\"\u003E\u003Ch2\u003E反向\u003C\u002Fh2\u003E\u003Cp\u003E误差反向传播的过程也很简单，其本质就是基于链式求导+梯度下降，原因已在\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484344&amp;idx=1&amp;sn=92ff388d93088ea6461023b376860ce7&amp;chksm=970c2b6ea07ba2782da5de78b23b78b267b4b0fc4454e76256134cfc9d6aa5416e0bd4c14097&amp;scene=21#wechat_redirect\"\u003E《BP算法的本质》\u003C\u002Fa\u003E中讲解，这里就重点讲解一下BP算法的过程。\u003C\u002Fp\u003E\u003Cp\u003E首先往上翻一翻，记住之前说过的前馈网络无非就是反复的线性与非线性映射。然后：\u003C\u002Fp\u003E\u003Cp\u003E首先，假设某个神经元的输入为z，经过激活函数f1(·)得到输出a。即函数值a=f1(z)。如果这里的输入z又是另一个函数f2的输出的话（当然啦，这里的f2就是线性映射函数，也就是连接某两层的权重矩阵），即z=f2(x)，那么如果基于a来对z中的变量x求导的时候，由于 \u003C\u002Fp\u003E\u003Cimg src=\"v2-8266a66c11cfc27097e8447338d47cff.png\" data-rawwidth=\"244\" data-rawheight=\"43\"\u003E\u003Cp\u003E显然只要乘以激活函数f1的导数，就不用操心激活函数的输出以及更后面的事儿了（这里的“后面”指的是神经网络的输出端方向），只需要将精力集中在前面的东西，即只需要关注z以及z之前的那些变量和函数就可以了。因此，误差反向传播到某非线性映射层的输出时，只需要乘上该非线性映射函数在z点的导数就算跨过这一层啦。\u003C\u002Fp\u003E\u003Cp\u003E而由于f2(·)是个线性映射函数，即 \u003Cequation\u003Ef_2(x)=w\\cdot x\u003C\u002Fequation\u003E ，因此\u003C\u002Fp\u003E\u003Cimg src=\"v2-a0197d2fb27d22f5b484e373e0e31b25.png\" data-rawwidth=\"217\" data-rawheight=\"44\"\u003E\u003Cp\u003E因此，当误差反向传播到线性映射层的输出时，若想跨过该层，只需要乘以线性映射函数的参数就可以啦~即乘上w。\u003C\u002Fp\u003E\u003Cp\u003E而这里的x，又是更前面的非线性映射层的输出，因此误差在深度前馈网络中反向传播时，无非就是反复的跨过非线性层和线性层，也就是反复的乘以非线性函数的导数(即激活函数的导数)和线性函数的导数（即神经网络的参数\u002F权重\u002F连接边）。\u003C\u002Fp\u003E\u003Cp\u003E也就是下面这张图啦（从右往左看）：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-d25b371675d618385e981334a46bb9c3.png\" data-rawwidth=\"640\" data-rawheight=\"203\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(图片来自中科院自动化所赵军老师的课件)\u003C\u002Fp\u003E\u003Ch2\u003EXavier\u003C\u002Fh2\u003E\u003Cp\u003E前向与反向都讲解完了，下面就是更加实用的工程tricks。提起tricks，先想到参数的初始化啦。如果无脑的将model的参数初始化成全0，那训练到天荒地老也是个废猫倒了。\u003C\u002Fp\u003E\u003Cp\u003E而为什么初始化成全0就不行了呢？这个不用讲啦，全0的时候每个神经元的输入和输出没有任何的差异，换句话说，根据前面BP算法的讲解，这样会导致误差根本无法从后一层往前传\u003Cb\u003E（乘以全0的w后误差就没了）\u003C\u002Fb\u003E，这样的model当然没有任何意义。\u003C\u002Fp\u003E\u003Cp\u003E那么我们不把参数初始化成全0，那我们该初始化成什么呢？换句话说，如何既保证输入输出的差异性，又能让model稳定而快速的收敛呢？\u003C\u002Fp\u003E\u003Cp\u003E要描述“差异性”，首先就能想到概率统计中的\u003Cb\u003E方差\u003C\u002Fb\u003E这个基本统计量。对于每个神经元的输入z这个随机变量，根据前面讲BP时的公式，它是由线性映射函数得到的，\u003C\u002Fp\u003E\u003Cp\u003E也就是 \u003Cequation\u003Ez=\\sum\\limits_{i=1}^nw_ix_i\u003C\u002Fequation\u003E ，其中n是上一层神经元的数量。因此，根据概率统计里的两个随机变量乘积的方差展开式：\u003C\u002Fp\u003E\u003Cimg src=\"v2-d7760569461f444fca316b098c94901f.png\" data-rawwidth=\"640\" data-rawheight=\"43\"\u003E\u003Cp\u003E可以得到，如果E(xi)=E(wi)=0（可以通过批量归一化Batch Normalization来满足，其他大部分情况也不会差太多），那么就有：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EVar(z)= \\sum\\limits_{i=1}^nVar(xi)Var(wi)\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果随机变量xi和wi再满足独立同分布的话：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EVar(z)= \\sum\\limits_{i=1}^nVar(xi)Var(wi)=nVar(w)Var(x)\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E好了，这时重点来了。试想一下，根据文章《激活函数》，整个大型前馈神经网络无非就是一个超级大映射，将原始样本\u003Cb\u003E稳定的\u003C\u002Fb\u003E映射成它的类别。也就是将样本空间映射到类别空间。试想，如果样本空间与类别空间的分布差异很大，比如说类别空间特别稠密，样本空间特别稀疏辽阔，那么在类别空间得到的用于反向传播的误差丢给样本空间后简直变得微不足道，也就是会导致模型的训练非常缓慢。同样，如果类别空间特别稀疏，样本空间特别稠密，那么在类别空间算出来的误差丢给样本空间后简直是爆炸般的存在，即导致模型发散震荡，无法收敛。因此，我们要让样本空间与类别空间的分布差异（密度差别）不要太大，\u003Cb\u003E也就是要让它们的方差尽可能相等\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E因此为了得到Var(z)=Var(x)，只能让n*Var(w)=1，也就是Var(w)=1\u002Fn。\u003C\u002Fp\u003E\u003Cp\u003E同样的道理，正向传播时是从前往后计算的，因此 \u003Cequation\u003EVar(w)=1\u002F(n_{in})\u003C\u002Fequation\u003E ，反向传播时是从后往前计算的，因此 \u003Cequation\u003EVar(w)=1\u002F(n_{out})\u003C\u002Fequation\u003E 。然而 \u003Cequation\u003En_{in}\u003C\u002Fequation\u003E 和 \u003Cequation\u003En_{out}\u003C\u002Fequation\u003E 往往不相等啊，怎么办呢？所以就取他们的均值就好啦~即：\u003C\u002Fp\u003E\u003Cp\u003E令 \u003Cequation\u003EVar(w)=\\frac{2}{n_{in}+n_{out}}\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E假设w为均匀分布的话，由w在区间[a,b]内均匀分布时的方差为\u003C\u002Fp\u003E\u003Cimg src=\"v2-4dd80d7788308caf0f2c0deeeb5b4fb4.png\" data-rawwidth=\"640\" data-rawheight=\"241\"\u003E\u003Cp\u003E代码前面的Var(w)公式解得参数a和b，即得：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ew\\sim U[-\\frac{\\sqrt 6}{\\sqrt {n_{in}+n_{out}}},\\frac{\\sqrt6}{\\sqrt {n_{in}+n_{out}}}]\u003C\u002Fequation\u003E\u003C\u002Fp\u003E\u003Cp\u003E（让w在这个区间里均匀采样就好啦）\u003C\u002Fp\u003E\u003Cp\u003E得到的这个结论就是\u003Cb\u003EXavier初始化方法\u003C\u002Fb\u003E。这就是为什么使用Xavier初始化这个trick经常可以让model的训练速度和分类性能取得大幅提高啦~所以在使用前馈网络时，除非你的网络设计的明显不满足xavier的假设，否则使用xavier往往不会出错。当然，另一方面来说，也很少有场合可以完全迎合xavier假设，因此时间充裕的话，改改分子，甚至去掉n_out都有可能带来意想不到的效果。\u003C\u002Fp\u003E\u003Cp\u003E参考文献：Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[J]. Journal of Machine Learning Research, 2010, 9:249-256.\u003C\u002Fp\u003E\u003Cp\u003E本文转载自\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484619&amp;idx=1&amp;sn=1c48f2b743e7ef548287a6626f9bca37&amp;chksm=970c2c1da07ba50b743fa66034dfba38217c04e0dbf58c84885bf3439313cff372197f7d68d9#rd\"\u003E【夕小瑶的卖萌屋\u003C\u002Fa\u003E】，据说每个想学机器学习的人到这里都停不下来了~\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-07-16T17:32:04.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":47,"state":"published","isLiked":false,"slug":"27919794","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-17T01:32:04+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27919794\u002Fcomments"},"url":"\u002Fp\u002F27919794","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27919794","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":47},"28398894":{"title":"不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络！","author":"tsxiyao","content":"\u003Cp\u003E\u003Cb\u003E文章转载自订阅号「夕小瑶的卖萌屋」中的文章《\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484679&amp;idx=1&amp;sn=3684aa5a3379ecc3993be08c804d186b&amp;chksm=970c2dd1a07ba4c7a145b3d0554cea6406b83cd282d98c9a68db7517e34d8ecebd3059a2f6fd#rd\"\u003E不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络\u003C\u002Fa\u003E》。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003EHello~你们的小夕终于吐泡泡了～前几天小夕又加班赶project啦，拖了好几天，都快患上拖稿焦虑症了_(:з」∠)_\u003C\u002Fp\u003E\u003Cp\u003E关于卷积神经网，小夕就不从卷积讲啦。以前不止一个粉丝问我卷积神经网络中卷积的意义，甚至在知乎上被邀请回答一个“卷积神经网络为什么不叫互相关神经网络”的类似的奇怪问题，终于忍不住，还是赶紧把CNN写了吧（说的自己要去拯救世界了一样\\(\u002F\u002F∇\u002F\u002F)\\\u003C\u002Fp\u003E\u003Cp\u003E我们还是从前面更简单的机器学习model开始。回顾一下前面已经讲过N*N*N次的全连接前馈神经网络，\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484167&amp;idx=1&amp;sn=e8a151710c2fef4172dc2858485dd1fb&amp;chksm=970c2bd1a07ba2c766e1282c85f885ee117481d8425acc57bd5729af9394c3ee3f4bab7a9a19&amp;scene=21#wechat_redirect\"\u003E前面文章\u003C\u002Fa\u003E中小夕讲过，对于一个有一个隐含层的全连接前馈网络：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-b9c09eb1ee8d9a1e80de1d75617dcbc8.jpg\" data-rawwidth=\"640\" data-rawheight=\"378\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这里就可以看作是两层简单的分类器的前后级联，前一层分类器的输出就是后一层分类器的输入，那么显然前一层分类器的每个输出（即每个隐单元）代表什么含义我们是不清楚的，也就是前一层分类器学到的是分类未知意义的类别！而后一层分类器则直接利用前一个分类器得到的未知类别来学习输出最终我们定义的类别！举个栗子。\u003C\u002Fp\u003E\u003Cp\u003E比如输入是一副图像：\u003C\u002Fp\u003E\u003Cimg src=\"v2-95a7176d3b0164acc6d9ae9e200cf95c.jpg\" data-rawwidth=\"590\" data-rawheight=\"590\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个图像假设是100*100的，也就是有10000个像素点。每个像素点取值0-255。\u003C\u002Fp\u003E\u003Cp\u003E试想一下，如果我们不想人为定义特征，想要直接将原始图像丢进去，去分类图像是否包含狗这个类别。那么这时就相当于输入层有10000维，也就是有10000个特征，每个特征就是一个像素点的值。\u003C\u002Fp\u003E\u003Cp\u003E如果我们的机器学习模型不加隐含层的话：\u003C\u002Fp\u003E\u003Cimg src=\"v2-3beb01bcea8ba51543896cc27a7d2949.jpg\" data-rawwidth=\"640\" data-rawheight=\"529\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这时的模型显然是将每个像素点直接连接到了“是不是狗”这两个最终类别上。然而我们稍微想一下也知道，其实每个像素点的值跟是不是狗并没有什么联系（你不能说这个像素点是黑的（值为0），就说这个像素点是狗身上的，同样，像素点是白的（值为255）也不能说明这个像素点是不是狗身上的。）所以显然直接用每个像素点的值做特征去决策是不是狗这件事是非常不靠谱的！（每个特征都跟类别关系不大啊姐姐）\u003C\u002Fp\u003E\u003Cp\u003E但是，如果我们加一个隐含层呢？这样情况会不会好一些呢？\u003C\u002Fp\u003E\u003Cimg src=\"v2-4a808a73cb334096136891f9094d46c5.jpg\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E设想一下，如前所述，加一个隐含层后，模型可以学习出一层未知类别，而这些类别完全可以做到跟像素点强相关！比如一个隐含类别是“以图像中心为圆心，半径为50的地方是否有一个圆形”\u003C\u002Fp\u003E\u003Cimg src=\"v2-7b1ad7c8de68c33e7443244dcde949ac.png\" data-rawwidth=\"341\" data-rawheight=\"347\"\u003E\u003Cp\u003E学习出这个分类器很简单，model只需要让这个圆圈所在的像素点对应的权重很大（比如2），让其他特征的权重接近0。这样这个地方出现的圆越明显（像素值越接近0），就会导致该子分类器的输出接近0，而这个地方没有出现圆的时候（像素值接近255）就会导致分类器的输出很大，看，很轻松的就学会了这个简单的分类任务吧（当然，为了学到这个地方有没有圆，还需要考虑圆周围的像素点（要有足够对比度才能说明这里真有圆哦），不过忽略这些细节啦，懂了小夕瑶表达的意思就好）。\u003C\u002Fp\u003E\u003Cp\u003E好啦，这个子分类器训练好啦，也就是一个隐节点弄好了，那么同样的道理，其他的子分类器（隐节点）也可以学习到一些奇怪而简单的隐含类别，这一系列的类别组合起来完全有可能是这样子的\u003C\u002Fp\u003E\u003Cimg src=\"v2-52ccc188fe99feedb958ccd2823d7347.png\" data-rawwidth=\"322\" data-rawheight=\"320\"\u003E\u003Cp\u003E看，基于这些类别（也就是对下一级分类器而言的特征），下一级分类器就很容易分类这个图片是不是狗啦～比如上面这个图片中，就大约有7个隐节点，分别负责7个线条存在与否的分类决策。那么下一级分类器只需要让这7个特征的权重都大一些，这样当这些特征全部存在的时候，显然这就是一条狗啊！那么后一级分类器就能很自信的决策说：“这图片是一条狗！”看～这比直接让单个像素点与狗挂钩的做法科学多了，自信多了吧～\u003C\u002Fp\u003E\u003Cp\u003E这就是用深度全连接前馈神经网络做分类的基本原理。\u003C\u002Fp\u003E\u003Cimg src=\"v2-4a808a73cb334096136891f9094d46c5.jpg\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E但是！你一定能发现问题！这样显然有很大的局限性！比如狗一旦换个姿势呢？狗一旦换个大小呢？图像中的狗蜷缩在一个角落呢？\u003C\u002Fp\u003E\u003Cp\u003E显然！这时全连接前馈网络的隐含层的任务量要爆炸了！要有非常多非常多的隐节点来学到非常多隐含类别\u002F隐含特征才可能足够应付这么多复杂局面！\u003C\u002Fp\u003E\u003Cp\u003E而\u003Cb\u003E隐含层节点大量增多后将会导致神经网络的参数迅速增加！\u003C\u002Fb\u003E比如上面这个例子，增加一个隐节点就要增加10000+2个参数，显然代价是非常大的。那么有没有更好的解决方案呢？\u003C\u002Fp\u003E\u003Cp\u003E很显然啊！既然我们的简单分类器要学的是一个简单的圆，一个简单的直线，一个简单的决策任务，那么所有的学习圆的隐节点完全可以合并为一个节点啊！这时我们可以用一个远小于整幅图像的“窗”来表示。比如就用一个20*20的窗（这样就只有400个参数，而之前全连接的时候要100*100=10000个参数），而且这个窗就负责找出图片中各处的小圆！这个“窗”就叫“\u003Cb\u003E卷积核\u003C\u002Fb\u003E”，（显然本质上就是一个缩小版的输入到一个隐节点的连接权重）为了寻找图像中各个角落的小圆，我们就可以让这个卷积核依次滑过图像的各个角落，只要在某处发现了小圆，就在该处激活，即标记好这里有个小圆。\u003C\u002Fp\u003E\u003Cp\u003E因此，就跟前面全连接的时候一样，\u003Cb\u003E为了学到多个特征，我们肯定要设置多个卷积核呀\u003C\u002Fb\u003E～每个卷机核负责一种简单的分类任务（说到这个份上了，大家也能猜到，这依然是跟全连接的时候一样，这里的简单分类任务其实就是为下一层的子分类器抛弃旧特征，创造新特征啦）。\u003C\u002Fp\u003E\u003Cp\u003E显然，依然跟全连接时一样，比如同样是20*20的卷积核，不同的参数就代表提取出了不同的特征，有的负责提取20*20块里的小圆，有的负责提取三角，有的提取直线等等～同一组大小的多个卷积核，就统称为一个20*20的\u003Cb\u003E滤波器(filter)（即一个某size的滤波器下可以设置学习多个卷积核）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E而我们既然需要从20*20的块里去分类小圆，因此当然也可能需要从50*50的块里寻找大圆啦～因此\u003Cb\u003E在一个卷积层，我们还可以设置多个size的滤波器\u003C\u002Fb\u003E～当然每个size的滤波器下可以设置多个卷积核来提取不同特征。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E我们再来考虑更复杂的情况！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们知道，很多时候的输入并不是只有一个表示层！比如彩色图像就会包含红色、蓝色、绿色这三个图层，而不像前面的灰度图一样仅仅包含一个图层。\u003C\u002Fp\u003E\u003Cimg src=\"v2-4adf1597202c1a014a779db27d7627af.jpg\" data-rawwidth=\"590\" data-rawheight=\"590\"\u003E\u003Cp\u003E有时候彩色图像的一个圆圈仅仅出现在蓝色图层里，而没有出现在其他两个图层，因此显然如果我们的负责提取圆圈的卷积核仅在一个图层里滑动的话，可能会在很多位置遗漏很多信息，因此当输入的数据可以表示成很多层（即有很多不同角度的数据表示）的时候，\u003Cb\u003E卷积核要在每个位置处把所有的图层都映射\u002F\"卷积\"一下，并且求和\u003C\u002Fb\u003E，才是真正确定图像在这个位置处到底有没有该卷积核要找的特征的做法。这里输入的多个层被称为多个\u003Cb\u003E输入通道(channel-in)\u003C\u002Fb\u003E，\u003Cb\u003E所以一个卷积层，不仅可以设置多个size的滤波器，还可以在每个size的滤波器下设置多个卷积核，还可以让同一个卷积核每次同时考虑输入数据的多个通道！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E我们再来考虑更更复杂的情况！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E假如我们现在的分类任务变了！变得更难了！现在我们直接想识别出一个图片中是不是正在发生\u003Cb\u003E猫狗大战\u003C\u002Fb\u003E！\u003C\u002Fp\u003E\u003Cimg src=\"v2-00d0d6957ce22387f0194500527b6c5f.jpg\" data-rawwidth=\"480\" data-rawheight=\"320\"\u003E\u003Cp\u003E这样的话！我们要有好多好多分类器啊！我们要识别猫，要识别狗，要识别头上的包，要识别创可贴等等，这么多子分类任务怎么办呢？能不能直接纳入一个卷积层呢？\u003C\u002Fp\u003E\u003Cp\u003E当然可以啦！既然都可以有多个输入通道，当然也可以设置多个\u003Cb\u003E输出通道（channel-out）\u003C\u002Fb\u003E啊！一个输出通道就代表着一个子分类任务～（当然啦，每个子分类任务都会有它的一套filter及其一堆卷积核）。（当然啦，这些子分类任务也是人类不清楚的，神经网络自己知道）\u003C\u002Fp\u003E\u003Cp\u003E至此，完整的卷积层就定义完成啦。我们再总结一下，一个卷积核在每个位置处要同时考虑所有的channel-in；然后一个size的filter下可以设置多个卷积核用于提取不同特征；然后可以设置不同size的多个filter来控制特征提取的粒度；然后可以设置多个输出通道channel-out表示多个分类任务。而且跟全连接前馈网络一样，被卷积核映射完（即线性映射结束后）别忘了丢激活函数哦～\u003C\u002Fp\u003E\u003Cp\u003E所以在图像中，一个卷积层就分成多个size的filter，每个size的filter就对应着一个channel-in*width*height*channel-out的4D参数Tensor，其中的width和height就是卷积核这个窗口的宽和高啦～这种二维窗口的卷积核也称为2D卷积，同理三维卷积窗口就是3D卷积，参数Tensor就是5D的啦。\u003C\u002Fp\u003E\u003Cp\u003E想一想，还有没有什么需要解决的问题呢？\u003C\u002Fp\u003E\u003Cimg src=\"v2-4a808a73cb334096136891f9094d46c5.jpg\" data-rawwidth=\"360\" data-rawheight=\"18\"\u003E\u003Cp\u003E刚才我们讨论的对象仅仅是针对卷机核在一个位置上的操作！显然一个卷积核滑过整个输入数据后，会在各种产生很多输出，那么这么多输出怎么取舍呢？\u003C\u002Fp\u003E\u003Cp\u003E试想一下，其实我们要找出来猫的话，不管猫的位置是在图片左上角的角落，还是右下角，还是铺满整个图片，其实我们都说这个图片中包含了猫！大部分时候我们对它的位置不感兴趣，仅仅是关心这个图片中到底有没有这个东西，因此我们只需要判断该卷积核在所有的位置点产生的最强输出有多强就够啦～而其他位置点的输出直接抛弃就好咯～这个操作就叫\u003Cb\u003E最大池化（max-pooling）\u003C\u002Fb\u003E！这也是为什么大部分情况下最大池化是最有效的池化方式。\u003C\u002Fp\u003E\u003Cp\u003E显然，处理一个卷积核的所有位置点，除了取最大值的方式，肯定还有一些场景需要其他更合理的方式。这些方式都叫\u003Cb\u003E池化\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E除了最大池化，还有时会用均值池化（average-pooling）、取前n个最大值池化（max-n pooling）等，从名字就能猜到池化方式啦，就不一一啰嗦了～当然，对所有位置点进行一次池化的话叫全局池化，相当于提取了全局的一个特征或者说一个类别。如果我们对池化操作也定义一个范围（即一个窗\u002F一个池化核）的话，就是局部池化啦～得到的就是局部特征\u002F类别。\u003C\u002Fp\u003E\u003Cp\u003E哦对了，都已经讲解到这里啦，很显然池化是肯定跟在卷积层后面的（当然，由于卷积后务必跟一个激活函数保证模型的非线性，所以如果激活函数也算一层的话，池化层是跟在激活层后面的）。\u003C\u002Fp\u003E\u003Cp\u003E好啦～卷积神经网络讲完了，卷积-激活-池化，就这么简单。当然，正如之前所说，如果池化的结果仍然是作为一个隐含类别的话（即池化的输出不接我们最终的分类任务的话），那么这依然跟前面一样，可以作为下一层的特征去使用。因此池化层后面当然又可以接新一轮的卷积-激活-池化，也就是形成真正意义上的深度神经网络。\u003C\u002Fp\u003E","updated":new Date("2017-08-08T13:18:16.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":5,"likeCount":65,"state":"published","isLiked":false,"slug":"28398894","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-08T21:18:16+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28398894\u002Fcomments"},"url":"\u002Fp\u002F28398894","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F28398894","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":5,"likesCount":65},"30465140":{"title":"Step-by-step to LSTM: 解析LSTM神经网络设计原理","author":"tsxiyao","content":"\u003Cblockquote\u003EPs：喂喂喂，你萌不要光收藏不点赞呀_(:з」∠)_\u003C\u002Fblockquote\u003E\u003Ch2\u003Eemmmm...\u003C\u002Fh2\u003E\u003Cp\u003E搞清楚LSTM中的每个公式的每个细节为什么是这样子设计吗？想知道simple RNN是如何一步步的走向了LSTM吗？觉得LSTM的工作机制看不透？恭喜你打开了正确的文章！\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E零、前置知识1:\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E在上一篇文章\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484682&amp;idx=1&amp;sn=51520138eed826ec891ac8154ee550f9&amp;chksm=970c2ddca07ba4ca33ee14542cff0457601bb16236f8edc1ff0e617051d1f063354dda0f8893&amp;scene=21#wechat_redirect\"\u003E《前馈到反馈：解析RNN》\u003C\u002Fa\u003E中，小夕从最简单的无隐藏层的前馈神经网络引出了简单的循环神经网络：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ey(t)=f(X(t)* W + y(t-1) * V+ b) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E它就是\u003Cb\u003E无隐藏层的\u003C\u002Fb\u003E循环神经网络，起名叫\u003Cb\u003E“simple RNN”\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E这种方式即在每个时刻做决策的时候都考虑一下上一个时刻的决策结果。画出图来就是酱的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-252ea014345388b927a35f4e710ef544.jpg\" data-caption=\"其中圆球里的下半球代表两向量的内积，上半球代表将内积结果激活\" data-rawwidth=\"2513\" data-rawheight=\"1434\"\u003E\u003Cp\u003E虽然通过这种简单反馈确实可以看出\u003Cb\u003E每个时间点的决策会受前一时间点决策的影响\u003C\u002Fb\u003E，但是似乎很难让人信服这竟然能跟记忆扯上边！\u003C\u002Fp\u003E\u003Cp\u003E想一下，人的日常行为流程是这样的。比如你在搭积木，那么每个时间点你的行为都会经历下面的子过程：\u003C\u002Fp\u003E\u003Cp\u003E1、眼睛看到现在手里的积木。\u003Cbr\u003E2、回忆一下目前最高层的积木的场景。\u003Cbr\u003E3、结合1和2的信息来做出当前时刻积木插到哪里的决策。\u003C\u002Fp\u003E\u003Cp\u003E相信聪明的小伙伴已经知道我要表达的意思啦。第1步手里的积木就是当前时刻的外部输入X；第2步就是调用历史时刻的信息\u002F记忆；第3步就是融合X和历史记忆的信息来推理出决策结果，即RNN的一步前向过程的输出y(t)。\u003C\u002Fp\u003E\u003Cp\u003E有没有更加聪明的小伙伴惊奇的注意到第2步！！！我们在回忆历史的时候，一般不是简单的回忆上一个积木的形状，而是去回忆一个更加\u003Cb\u003E模糊而宏观\u003C\u002Fb\u003E的场景。在这个例子中，这个场景就是最近几次行为所产生出的抽象记忆——即“积木最高层的地形图”！\u003C\u002Fp\u003E\u003Cp\u003E也就是说，人们在做很多时序任务的时候，尤其是稍微复杂的时序任务时，潜意识的做法\u003Cb\u003E并不是直接将上个时刻的输出y(t-1)直接连接进来，而是连接一个模糊而抽象的东西进来\u003C\u002Fb\u003E！这个东西是什么呢？\u003C\u002Fp\u003E\u003Cp\u003E当然就是神经网络中的\u003Cb\u003E隐结点h\u003C\u002Fb\u003E啊！也就是说，人们潜意识里直接利用的是一段历史记忆融合后的东西h，而不单单是上一时间点的输出。而网络的输出则取自这个隐结点。所以更合理的刻画人的潜意识的模型应该是这样的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-2a4cbff5a56410d6732c9f95fc4c1ea8.jpg\" data-caption=\"记忆在隐单元中存储和流动，输出取自隐单元\" data-rawwidth=\"1550\" data-rawheight=\"1233\"\u003E\u003Cp\u003E这种加入了隐藏层的循环神经网络就是经典的RNN神经网络！即\u003Cb\u003E“standard RNN”\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003ERNN从simple到standard的变动及其意义对于本文后续内容非常重要哦。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E零、前置知识2: \u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E在上一篇文章\u003Ca href=\"http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIwNzc2NTk0NQ==&amp;mid=2247484682&amp;idx=1&amp;sn=51520138eed826ec891ac8154ee550f9&amp;chksm=970c2ddca07ba4ca33ee14542cff0457601bb16236f8edc1ff0e617051d1f063354dda0f8893&amp;scene=21#wechat_redirect\"\u003E《从前馈到反馈：循环神经网络（RNN）》\u003C\u002Fa\u003E中简单讲解和证明过，由于在误差反向传播时，算出来的梯度会随着往前传播而发生\u003Cb\u003E指数级\u003C\u002Fb\u003E的衰减或放大！而且这是在数学上板上钉钉的事情。因此，\u003Cb\u003ERNN的记忆单元是短时的。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E一、如何无损的运输梯度信息？\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E好啦，那我们就借鉴前辈设计RNN的经验，从\u003Cb\u003Esimple\u003C\u002Fb\u003E版本开始，即无隐藏层的、简单完成输出到输入反馈的网络结构开始，去设计一个全新的、\u003Cb\u003E可以解决梯度爆炸消失问题从而记住长距离依赖关系\u003C\u002Fb\u003E的神经网络吧！\u003C\u002Fp\u003E\u003Cp\u003E那么\u003Cb\u003E如何让梯度随着时间的流动不发生指数级消失或者爆炸呢？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E好像想起来挺难的，但是这个问题可能中学生会解答！那就是让算出来的梯度恒为1！\u003Cb\u003E因为1的任何次方都是1嘛\u003C\u002Fb\u003E(￣∇￣)\u003C\u002Fp\u003E\u003Cp\u003E所以按照这个搞笑的想法，我们把要设计的长时记忆单元\u003Cb\u003E记为c（以下全部用c指代长时记忆单元）\u003C\u002Fb\u003E，那么我们设计出来的长时记忆单元的数学模型就是这样子喽：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ec(t) = c(t-1) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E这样的话，误差反向传播时的导数就恒定为1啦～误差就可以一路无损耗的向前传播到网络的前端，从而学习到遥远的前端与网络末端的远距离依赖关系。\u003C\u002Fp\u003E\u003Cimg src=\"v2-c542419d65253b699b1b48c70a6ee27a.jpg\" data-caption=\"\" data-rawwidth=\"825\" data-rawheight=\"796\"\u003E\u003Cp\u003E路人：Excuse me？\u003C\u002Fp\u003E\u003Cp\u003E不要急不要急，反正假设我们的c中存储了信息，那么c就能把这个信息一路带到输出层没问题吧？在T时刻算出来的梯度信息存储在c里后，它也能把梯度一路带到时刻0而无任何损耗也没问题吧？对吧(￣∇￣)\u003C\u002Fp\u003E\u003Cp\u003E所以信息的\u003Cb\u003E运输问题解决了\u003C\u002Fb\u003E，那么就要解决对信息进行\u003Cb\u003E装箱\u003C\u002Fb\u003E和\u003Cb\u003E卸车\u003C\u002Fb\u003E的问题。\u003C\u002Fp\u003E\u003Ch2\u003E二、如何将信息装入长时记忆单元？\u003C\u002Fh2\u003E\u003Cp\u003E当然要先定义一下新信息是什么。不妨直接拿来simple RNN中对新信息的定义，即当前时刻的外部输入x(t)与前一时刻的网络输出（即反馈单元）y(t-1)联合得到网络在当前这一时刻get到的新信息，记为 \u003Cequation\u003E\\hat c(t)\u003C\u002Fequation\u003E 。即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E \\hat c(t) = f(W\\cdot x(t)+V\\cdot y(t-1)) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cblockquote\u003E感谢评论区 \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002F42eb39dfddf7adaa3baa3ded57a8a7d6\" data-hash=\"42eb39dfddf7adaa3baa3ded57a8a7d6\" data-hovercard=\"p$b$42eb39dfddf7adaa3baa3ded57a8a7d6\"\u003E@hoshino042\u003C\u002Fa\u003E 指出此处笔误\u003C\u002Fblockquote\u003E\u003Cp\u003E好，新信息 \u003Cequation\u003E\\hat c\u003C\u002Fequation\u003E 定义完成。下面考虑把 \u003Cequation\u003E\\hat c\u003C\u002Fequation\u003E 加到c里面去。如果把这个问题拿去问小学生的话，那么可能会兵分两路：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1、乘进去！\u003Cbr\u003E2、加进去！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E那么这两种哪种可行呢？\u003C\u002Fp\u003E\u003Cp\u003E其实稍微一想就很容易判断：乘法操作更多的是作为一种对信息进行某种控制的操作（比如任意数与0相乘后直接消失，相当于关闭操作；任意数与大于1的数相乘后会被放大规模等），而加法操作则是新信息叠加旧信息的操作。\u003C\u002Fp\u003E\u003Cp\u003E下面我们深入的讨论一下\u003Cb\u003E乘性操作\u003C\u002Fb\u003E和\u003Cb\u003E加性操作\u003C\u002Fb\u003E，这在理解LSTM里至关重要。当然，首先，你要掌握偏导的概念和方法、复合函数的求导法则、链式求导法则。有了这三点微积分基础后才能看懂哦。基础不够的童鞋可以跳过这里的讨论。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E论乘法：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E乘法时即令长时记忆添加信息时的数学模型为：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E c(t)=c(t-1)*\\hat c(t) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E因此网络完整数学模型如下：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ec(t)=c(t-1)*\\hat c(t) \u003C\u002Fequation\u003E 公式【0.1】\u003Cbr\u003E\u003Cequation\u003E\\hat c(t) = f(W\\cdot x(t)+V\\cdot y(t-1)) \u003C\u002Fequation\u003E 公式【0.2】\u003Cbr\u003E \u003Cequation\u003Ey(t)=f(c(t)) \u003C\u002Fequation\u003E 公式【0.3】\u003C\u002Fp\u003E\u003Cp\u003E为了计算方便，还是像之前一样\u003Cb\u003E假设激活函数为线性激活\u003C\u002Fb\u003E（即没有激活函数。实际上tanh在小值时可以近似为线性，relu在正数时也为线性，这个假设还是很无可厚非的），这时网络模型简化为：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E y(t)=y(t-1) * (W\\cdot x(t)+V\\cdot y(t-1)) \u003C\u002Fequation\u003E 公式【1】\u003C\u002Fp\u003E\u003Cp\u003E假如网络经过了T个时间步到了loss端，这时若要更新t=0时刻下网络参数V的权重，则即对t=0时刻的参数V求偏导，即计算\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\frac{\\partial loss(t=T)}{\\partial V(t=0)} \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E其中 \u003Cequation\u003Eloss(t=T)=f_{loss}(y(t=T))\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E（其中的f_loss(·)为损失函数）\u003C\u002Fp\u003E\u003Cp\u003E好，稍微一算，发现 \u003Cequation\u003E\\frac{\\partial loss(t=T)}{\\partial V(t=0)}=f_{loss}'*y'(t=T) \u003C\u002Fequation\u003E 中的f_loss'的值就是我们要往前传的梯度（参数更新信息），则我们的目标就是讨论y'(t=T)，写全了就是\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\frac{\\partial y(t=T)}{\\partial V(t=0)} \u003C\u002Fequation\u003E 公式【2】\u003C\u002Fp\u003E\u003Cp\u003E对V求偏导时其他变量（就是说的W和x）自然也就成了常量，这里我们再做一个过分简化，直接删掉 \u003Cequation\u003EW\\cdot x(t-1)\u003C\u002Fequation\u003E 项！（在y二阶乘方存在的情况下忽略一阶乘方），这时就可以直接展开公式【1】：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E y(T) =y(T-1)^2\\cdot v(T-1) =v(0)^{2^T-1}\\cdot y(0)^{2^{T-2}} \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E对v(0)求导的话，会得到\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E y' =y(0)^{2^{T-2}}\\cdot (2^T-1)\\cdot v(0)^{2^T-2} \u003C\u002Fequation\u003E \u003Cequation\u003E=a\\cdot v(0)^{2^T-2}\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E如果说RNN的 \u003Cequation\u003Ev^T\u003C\u002Fequation\u003E 是音速级的梯度爆炸和消失，那这 \u003Cequation\u003Ev^{2^T-2}\u003C\u002Fequation\u003E 简直是光速级爆炸和消失了呐！～\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E所以说直接将新信息乘进长时记忆单元只会让情况更糟糕\u003C\u002Fb\u003E，导致当初c(t)=c(t-1)让导数恒为1的构想完全失效，\u003Cb\u003E这也说明了乘性更新并不是简单的信息叠加，而是控制和scaling。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E感谢评论区\u003C\u002Fb\u003E \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Ff1400399c87bc2a45632b9dffad4e9ef\" data-hash=\"f1400399c87bc2a45632b9dffad4e9ef\" data-hovercard=\"p$b$f1400399c87bc2a45632b9dffad4e9ef\"\u003E@承翊\u003C\u002Fa\u003E 改进此处表述\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cb\u003E论加法：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果改成加性规则呢？此时添加信息的数学模型为\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E c(t)=c(t-1)+\\hat c(t) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E与前面的做法一样，假设线性激活并代入网络模型后得到\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E y(T) =y(T-1)+\\hat c(T)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E=y(T-1)+x*w+ v(T-1)*y(T-1)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E=(v(0)+1)^T*y(0)+T*x*w\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E噫？也有指数项～不过由于v加了一个偏置1，导致爆炸的可能性远远大于消失。不过通过做梯度截断，也能很大程度的缓解梯度爆炸的影响。\u003C\u002Fp\u003E\u003Cp\u003E嗯～梯度消失的概率小了很多，梯度爆炸也能勉强缓解，看起来比RNN靠谱多了，毕竟控制好爆炸的前提下，梯度消失的越慢，记忆的距离就越长嘛。\u003C\u002Fp\u003E\u003Cp\u003E因此，在往长时记忆单元添加信息方面，加性规则要显著优于乘性规则。\u003Cb\u003E也证明了加法更适合做信息叠加，而乘法更适合做控制和scaling。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E由此，我们就确定应用加性规则啦，至此我们设计的网络应该是这样子的：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ec(t)=c(t-1)+\\hat c(t) \u003C\u002Fequation\u003E 公式【3.1】\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E\\hat c(t) = f(W\\cdot x(t)+V\\cdot y(t-1)) \u003C\u002Fequation\u003E 公式【3.2】\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ey(t)=f(c(t)) \u003C\u002Fequation\u003E 公式【3.3】\u003C\u002Fp\u003E\u003Cp\u003E那么有没有办法\u003Cb\u003E让信息装箱和运输同时存在的情况下，让梯度消失的可能性变的更低，让梯度爆炸的可能性和程度也更低呢？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E你想呀，我们往长时记忆单元添加新信息的频率肯定是很低的，现实生活中只有很少的时刻我们可以记很久，大部分时刻的信息没过几天就忘了。因此现在这种模型一股脑的试图永远记住每个时刻的信息的做法肯定是不合理的，\u003Cb\u003E我们应该只记忆该记的信息。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E显然，对新信息选择记或者不记是一个控制操作，应该使用乘性规则。因此在新信息前加一个控制阀门，只需要让公式【3.1】变为\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E c(t)=c(t-1)+g_{in}*\\hat c(t) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E这个g_in我们就叫做\u003Cb\u003E“输入门”\u003C\u002Fb\u003E啦，取值0.0～1.0。\u003C\u002Fp\u003E\u003Cp\u003E为了实现这个取值范围，我们很容易想到使用\u003Cb\u003Esigmoid函数\u003C\u002Fb\u003E作为输入门的激活函数，毕竟sigmoid的输出范围一定是在0.0到1.0之间嘛。因此以输入门为代表的控制门的激活函数均为sigmoid，因此控制门：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E g_x = sigmoid(...) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E当然，这是对一个长时记忆单元的控制。我们到时候肯定要设置很多记忆单元的，要不然脑容量也太低啦。因此每个长时记忆单元都有它专属的输入门，在数学上我们不妨使用 \u003Cequation\u003E\\otimes\u003C\u002Fequation\u003E 来表示这个按位相乘的操作，用大写字母C来表示长时记忆单元集合。即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EC(t)=C(t-1)+g_{in}\\otimes \\hat C(t) \u003C\u002Fequation\u003E 公式【4】\u003C\u002Fp\u003E\u003Cp\u003E嗯～由于输入门只会在必要的时候开启，因此大部分情况下公式【4】可以看成C(t)=C(t-1)，也就是我们最理想的状态。由此加性操作带来的梯度爆炸也大大减轻啦，梯度消失更更更轻了。\u003C\u002Fp\u003E\u003Ch2\u003E三、频繁装填带来的问题\u003C\u002Fh2\u003E\u003Cp\u003E等等，爱思考的同学可能会注意到一个问题。万一神经网络读到一段信息量很大的文本，以致于这时\u003Cb\u003E输入门欣喜若狂，一直保持大开状态，狼吞虎咽的试图记住所有这些信息，会发生什么呢？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E显然就会导致c的值变的非常大！\u003C\u002Fp\u003E\u003Cp\u003E要知道，我们的网络要输出的时候是要把c激活的（参考公式【0.3】），当c变的很大时，sigmoid、tanh这些常见的激活函数的输出就完全饱和了！比如如图tanh：\u003C\u002Fp\u003E\u003Cimg src=\"v2-d815aa55d11a77803ba1630aced5c721.jpg\" data-caption=\"\" data-rawwidth=\"1275\" data-rawheight=\"829\"\u003E\u003Cp\u003E当c很大时，tanh趋近于1，这时c变得再大也没有什么意义了，因为饱和了！脑子记不住这么多东西！\u003C\u002Fp\u003E\u003Cp\u003E这种情况怎么办呢？显然relu函数这种正向无饱和的激活函数是一种选择，但是我们总不能将这个网络输出的激活函数限定为relu吧？那也设计的太失败啦！\u003C\u002Fp\u003E\u003Cp\u003E那怎么办呢？\u003C\u002Fp\u003E\u003Cp\u003E其实想想我们自己的工作原理就知道啦。我们之所以既可以记住小时候的事情，也可以记住一年前的事情，也没有觉得脑子不够用，不就是因为我们。。。\u003Cb\u003E爱忘事嘛\u003C\u002Fb\u003E。所以还需要加一个门用来忘事！这个门就叫做\u003Cb\u003E“遗忘门”\u003C\u002Fb\u003E吧。\u003Cb\u003E这样每个时刻到来的时候，记忆要先通过遗忘门忘掉一些事情再考虑要不要接受这个时刻的新信息。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E显然，遗忘门是用来控制记忆消失程度的，因此也要用乘性运算，即我们设计的网络已进化成：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E c(t)=g_{forget}c(t-1)+g_{in}*\\hat c(t) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E或者向量形式的：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EC(t)=g_{forget}C(t-1)+g_{in}\\otimes \\hat C(t) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E好啦～解决了如何为我们的长时记忆单元可控的添加新信息的问题，又贴心的考虑到并优雅解决了信息输入太过丰富导致输入控制门“合不拢嘴”的尴尬情况，那么是时候考虑我们的长时记忆单元如何输出啦～\u003C\u002Fp\u003E\u003Ch2\u003E四、网络如何输出\u003C\u002Fh2\u003E\u003Cp\u003E有人说，输出有什么好考虑的，\u003Cb\u003E当前的输出难道不就仅仅是激活当前的记忆吗？\u003C\u002Fb\u003E难道不就是最前面说的y(t)=f(c(t))？（其中f(·)为激活函数）\u003C\u002Fp\u003E\u003Cp\u003E试想，假如人有1万个长时记忆的脑细胞，每个脑细胞记一件事情，那么我们在处理眼前的事情的时候是每个时刻都把这1万个脑细胞里的事情都回忆一遍吗？显然不是呀，\u003Cb\u003E我们只会让其中一部分跟当前任务当前时刻相关的脑细胞输出\u003C\u002Fb\u003E，即应该给我们的长时记忆单元添加一个输出阀门！也就是说应该输出：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Ey(t)=g_{out} * f(c(t)) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E嗯～终于看起来好像没有什么问题了。\u003C\u002Fp\u003E\u003Ch2\u003E五、控制门受什么控制\u003C\u002Fh2\u003E\u003Cp\u003E那么我们最后再\u003Cb\u003E定义一下控制门们（输入门、遗忘门、输出门）受谁的控制就可以啦。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个问题也很显然，当然就是让各个门受当前时刻的外部输入x(t)和上一时刻的输出y(t-1)啦，即 \u003Cequation\u003Eg_x(t)=f(W\\cdot x(t)+V\\cdot y(t-1))\u003C\u002Fequation\u003E 。。。。。。？\u003C\u002Fp\u003E\u003Cp\u003E好像这样的思维在RNN中并不会有什么问题，但！是！不要忘了在我们这个新设计的网络中，多了一堆阀门！尤其注意到输出门，\u003Cb\u003E一旦输出门关闭，就会导致其控制的记忆f(c(t))被截断，下一时刻各个门就仅仅受当前时刻的外部输入x(t)控制了\u003C\u002Fb\u003E！这显然不符合我们的设计初衷（尽可能的让决策考虑到尽可能久的历史信息）。怎么办呢？\u003C\u002Fp\u003E\u003Cp\u003E最简单的做法就是再把长时记忆单元接入各个门，即把上一时刻的长时记忆c(t-1)接入遗忘门和输入门，把当前时刻的长时记忆c(t)接入输出门（当信息流动到输出门的时候，当前时刻的长时记忆已经被计算完成了）。即\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Eg_{in}(t) = sigm(W\\cdot x(t)+V\\cdot y(t-1)+U\\cdot c(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Eg_{forget}(t) = sigm(W\\cdot x(t)+V\\cdot y(t-1)+U\\cdot c(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003E g_{out}(t) = sigm(W\\cdot x(t)+V\\cdot y(t-1)+U\\cdot c(t)) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E当然，这个让各个门考虑长时记忆的做法是后人打的补丁，这些从长时记忆单元到门单元的连接被称为\u003Cb\u003E\"peephole（猫眼）\"\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Ch2\u003E六、Simple版本设计完成\u003C\u002Fh2\u003E\u003Cp\u003E至此还有什么问题吗？看起来真没有问题啦～我们设计的\u003Cb\u003Esimple版\u003C\u002Fb\u003E的网络就完成啦，总结一下，即：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003E C(t)=g_{forget}C(t-1)+g_{in}\\otimes \\hat C(t) \u003C\u002Fequation\u003E \u003Cequation\u003E\\hat c(t) = f(W\\cdot x(t)+V\\cdot y(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Ey(t)=g_{out} \\otimes f(C(t)) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Eg_{in}(t) = sigm(W\\cdot x(t)+V\\cdot y(t-1)+U\\cdot c(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Eg_{forget}(t) = sigm(W\\cdot x(t)+V\\cdot y(t-1)+U\\cdot c(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Eg_{out}(t) = sigm(W\\cdot x(t)+V\\cdot y(t-1)+U\\cdot C(t)) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E就起名叫\u003Cb\u003E“门限simple RNN”\u003C\u002Fb\u003E吧！（非学术界认可）\u003C\u002Fp\u003E\u003Ch2\u003E七、向Standard版本演进\u003C\u002Fh2\u003E\u003Cp\u003E然而，作为伟大的设计者，怎么能止步于simple呢！\u003Cb\u003E我们要像simple RNN推广出standardRNN的做法那样，推广出我们的standard版本！即加入隐藏层！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E为什么要加隐藏层已经在本文开头提到了，这也是simpleRNN到standardRNN的核心区别，这也是RNN及其变种可以作为深度学习的主角之一的原因。模仿RNN的做法，我们直接用隐藏层单元h来代替最终输出y：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003EC(t)=g_{forget}\\otimes C(t-1)+g_{in}\\otimes \\hat C(t) \u003C\u002Fequation\u003E \u003Cequation\u003E\\hat C(t) = f(W\\cdot x(t)+V\\cdot h(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Eh(t)=g_{out} \\otimes f(C(t)) \u003C\u002Fequation\u003E \u003Cequation\u003Ey(t)=h(t)\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Eg_{in}(t) = sigm(W\\cdot x(t)+V\\cdot h(t-1)+U\\cdot C(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Eg_{forget}(t) = sigm(W\\cdot x(t)+V\\cdot h(t-1)+U\\cdot C(t-1)) \u003C\u002Fequation\u003E \u003Cequation\u003Eg_{out}(t) = sigm(W\\cdot x(t)+V\\cdot h(t-1)+U\\cdot C(t)) \u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cb\u003E感谢评论区\u003C\u002Fb\u003E \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Ff1400399c87bc2a45632b9dffad4e9ef\" data-hash=\"f1400399c87bc2a45632b9dffad4e9ef\" data-hovercard=\"p$b$f1400399c87bc2a45632b9dffad4e9ef\"\u003E@承翊\u003C\u002Fa\u003E  修正公式中的符号错误\u003C\u002Fblockquote\u003E\u003Cp\u003E显然，由于h随时都可以被输出门截断，所以我们可以很感性的把h理解为短时记忆单元。\u003C\u002Fp\u003E\u003Cp\u003E而从数学上看的话，更是短时记忆了，因为梯度流经h的时候，经历的是h(t)-&gt;c(t)-&gt;h(t-1)的连环相乘的路径（在输入输出门关闭前），显然如前边的数学证明中所述，这样会发生梯度爆炸和消失，而梯度消失的时候就意味着记忆消失了，即h为短时记忆单元。\u003C\u002Fp\u003E\u003Cp\u003E同样的思路可以再证明一下，由于梯度只从c走的时候，存在一条无连环相乘的路径，可以避免梯度消失。又有遗忘门避免激活函数和梯度饱和，因此c为长时记忆单元。\u003C\u002Fp\u003E\u003Cp\u003E好啦，我们standard版本的新型网络也完成了！有没有觉得信息量超级大，又乱掉了呢？不要急，贴心的小夕就再带你总结一下我们这个网络前馈的过程：\u003C\u002Fp\u003E\u003Cp\u003E新时刻t刚刚到来的时候，\u003C\u002Fp\u003E\u003Cp\u003E1、首先长时记忆单元c(t-1)通过遗忘门g_forget去遗忘一些信息。\u003Cbr\u003E2、其中g_forget受当前时刻的外部输入x(t)、上一时刻的输出(短时记忆)h(t-1)、上一时刻的长时记忆c(t-1)的控制。\u003Cbr\u003E3、然后由当前时刻外部输入x(t)和上一时刻的短时记忆h(t-1)计算出当前时刻的新信息 \u003Cequation\u003E\\hat c(t)\u003C\u002Fequation\u003E 。\u003Cbr\u003E4、然后由输入门g_in控制，将当前时刻的\u003Cb\u003E部分\u003C\u002Fb\u003E新信息 \u003Cequation\u003E\\hat c(t)\u003C\u002Fequation\u003E 写入长时记忆单元，产生新的长时记忆c(t)。\u003Cbr\u003E5、其中g_in受x(t)、h(t-1)、c(t-1)的控制。\u003Cbr\u003E6、激活长时记忆单元c(t)，准备上天（输出）。\u003Cbr\u003E7、然后由输出门g_out把控，将至目前积累下来的记忆c(t)选出部分相关的记忆生成这一时刻我们关注的记忆h(t)，再把这部分记忆进行输出y(t)。\u003Cbr\u003E8、其中输出门g_out受x(t)、h(t-1)和当前时刻的长时记忆c(t)的控制。\u003C\u002Fp\u003E\u003Cp\u003E宏观上看就是：\u003C\u002Fp\u003E\u003Cimg src=\"v2-2d900438060a9854d5fcd02ec4552bbb.jpg\" data-caption=\"此图没有加入peephole连接\" data-rawwidth=\"865\" data-rawheight=\"336\"\u003E\u003Cp\u003E前馈的过程写完了，梯度反传的过程就让深度学习平台去自动求导来完成吧～有M倾向的同学可以尝试对上述过程进行手动求导。\u003C\u002Fp\u003E\u003Ch2\u003E八、起个名字\u003C\u002Fh2\u003E\u003Cp\u003E好啦，最后对全文的设计过程总结一下：\u003C\u002Fp\u003E\u003Cp\u003E1、我们为了解决RNN中的梯度消失的问题，为了让梯度无损传播，想到了c(t)=c(t-1)这个朴素却没毛病的梯度传播模型，我们于是称c为“长时记忆单元”。\u003C\u002Fp\u003E\u003Cp\u003E2、然后为了把新信息平稳安全可靠的\u003Cb\u003E装入\u003C\u002Fb\u003E长时记忆单元，我们引入了“输入门”。\u003C\u002Fp\u003E\u003Cp\u003E3、然后为了解决新信息装载次数过多带来的\u003Cb\u003E激活函数饱和\u003C\u002Fb\u003E的问题，引入了“遗忘门”。\u003C\u002Fp\u003E\u003Cp\u003E4、然后为了让网络能够\u003Cb\u003E选择合适的记忆进行输出\u003C\u002Fb\u003E，我们引入了“输出门”。\u003C\u002Fp\u003E\u003Cp\u003E5、然后为了解决记忆被\u003Cb\u003E输出门截断\u003C\u002Fb\u003E后使得各个门单元\u003Cb\u003E受控性降低\u003C\u002Fb\u003E的问题，我们引入了“peephole”连接。\u003C\u002Fp\u003E\u003Cp\u003E6、然后为了将神经网络的简单反馈结构升级成\u003Cb\u003E模糊历史记忆\u003C\u002Fb\u003E的结构，引入了隐单元h，并且发现h中存储的模糊历史记忆是短时的，于是记h为短时记忆单元。\u003C\u002Fp\u003E\u003Cp\u003E7、于是该网络既具备长时记忆，又具备短时记忆，就干脆起名叫\u003Cb\u003E“长短时记忆神经网络(Long Short Term Memory Neural Networks，简称LSTM)“\u003C\u002Fb\u003E啦。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E参考文献：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E1.Hochreiter S, Schmidhuber J. Long Short-TermMemory[J]. Neural Computation,\u003Cbr\u003E1997, 9(8): 1735-1780.\u003Cbr\u003E2. Gers F A, Schmidhuber J, Cummins F, et al.Learning to Forget: Continual Prediction with\u003Cbr\u003ELSTM[J]. Neural Computation,2000, 12(10): \u003Ca href=\"tel:2451-2471\"\u003E2451-2471\u003C\u002Fa\u003E.\u003Cbr\u003E3. Gers F A,Schraudolph N N, Schmidhuber J, etal. Learning precise timing with lstm\u003Cbr\u003Erecurrent networks[J]. Journal of MachineLearning Research, 2003, 3(1):\u003Cbr\u003E115-143.\u003Cbr\u003E4. A guide to recurrent neural networks and backpropagation. Mikael Bod ́en.\u003Cbr\u003E5. http:\u002F\u002Fcolah.github.io\u002Fposts\u002F2015-08-Understanding-LSTMs\u002F\u003Cbr\u003E6. 《Supervised Sequence Labelling with Recurrent Neural Networks》Alex Graves\u003Cbr\u003E7. 《Hands on machine learning with sklearn and tf》Aurelien Geron\u003Cbr\u003E8. 《Deep learning》Goodfellow et.\u003C\u002Fp\u003E","updated":new Date("2017-10-26T04:24:31.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":28,"likeCount":386,"state":"published","isLiked":false,"slug":"30465140","isTitleImageFullScreen":true,"rating":"none","sourceUrl":"","publishedTime":"2017-10-26T12:24:31+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30465140\u002Fcomments"},"url":"\u002Fp\u002F30465140","titleImage":"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-cde650c54f269ebcf9408b265930c493_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F30465140","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":28,"likesCount":386},"32496193":{"title":"如何与深度学习服务器优雅的交互？（长期更新）","author":"tsxiyao","content":"\u003Ch2\u003E0. 故事序言\u003C\u002Fh2\u003E\u003Cp\u003E如果有人问小夕：\"小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？\"\u003C\u002Fp\u003E\u003Cp\u003E答曰：\"当然是去做Linux运维啊23333\"\u003C\u002Fp\u003E\u003Cp\u003E小夕有一台自己负责的GPU服务器，她可让小夕操碎了心呐，真是好不容易把这娇气的小公举拉扯大了。下面就向各位服务器宝宝的爸爸妈妈们传授一下育女经验，让她早日成长为一个省心的深度学习服务器。\u003C\u002Fp\u003E\u003Cp\u003E下面小夕将依次介绍：\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E操作系统建议\u003C\u002Fli\u003E\u003Cli\u003Essh免密快速登录\u003C\u002Fli\u003E\u003Cli\u003E内网穿透（跨网段访问服务器）\u003C\u002Fli\u003E\u003Cli\u003E文件传输与实时同步\u003C\u002Fli\u003E\u003Cli\u003E多开发环境管理\u003C\u002Fli\u003E\u003Cli\u003E多任务管理（并行调参）\u003C\u002Fli\u003E\u003Cli\u003E睡觉调参模式（串行调参）\u003C\u002Fli\u003E\u003Cli\u003E关于Jupyer Notebook\u003C\u002Fli\u003E\u003Cli\u003E单任务霸占GPU模式\u003C\u002Fli\u003E\u003Cli\u003E来自订阅号评论区的其他神操作\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cimg data-rawheight=\"334\" src=\"v2-4a6341db78434a225a8bd4d843980b43.jpg\" data-size=\"normal\" data-rawwidth=\"395\"\u003E\u003Ch2\u003E1. 操作系统建议\u003C\u002Fh2\u003E\u003Cp\u003E如果你主要用tensorflow来作为你的深度学习框架，那么小夕还是建议安装16.04服务器版。注意是服务器版！为什么呢？因为有很多显卡的高版本驱动与桌面版的图形界面不兼容，导致容易出现循环登陆问题，要解决循环登陆问题也是极其的麻烦，小夕曾经在所里配的笔记本上捣鼓过一周多，重装10余次系统，尝遍国内外各种方法，最终放弃╮(╯▽╰)╭\u003C\u002Fp\u003E\u003Cp\u003E所以这一次小夕直接为服务器装了ubuntu16.04的服务器版！注意服务器版是没有图形界面的，对shell不熟悉的童鞋要尽快打好基础哦。果然，在服务器版下装驱动装cuda一路next，0errors，0warnings\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"197\" src=\"v2-08b8ae53edc55f09378f9e5a1e499bfe.jpg\" data-size=\"normal\" data-rawwidth=\"226\"\u003E\u003Chr\u003E\u003Cp\u003E由于小夕在高中时实在讨厌炸了国产软件全家桶对windows的狂轰滥炸，导致一遍遍的重复\u003C\u002Fp\u003E\u003Ccode lang=\"python3\"\u003Ewhile True:\n    系统变乱\n    系统变卡\n    重装系统\u003C\u002Fcode\u003E\u003Cp\u003E的过程，于是大学里在一学长的诱惑下，成功入了mac的坑，从此整个世界都清净了，同时对命令行（mac与linux都是基于posix标准，命令行\u002Fshell语法高度相似）的沦陷一发不可收拾。。。（好像又跑题了？咳咳，小夕是想说，由于最近几年很少接触windows了，所以本文所列tricks可能对windows的兼容性略差。不过话说回来，做深度学习的日常怎么可能在windows上进行啊喂，不知道pytorch都懒得出windows版本了嘛。（放钩---&gt;\u003C\u002Fp\u003E\u003Chr\u003E\u003Ch2\u003E\u003Cb\u003E2. ssh免密快速登录\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E远程登录最最方便的当然就是ssh啦。看小夕的一键登录！\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"300\" src=\"v2-5a8dcc4426155e8acf047a1de2ebeb21.jpg\" data-size=\"normal\" data-rawwidth=\"864\"\u003E第一行黄色的是小夕的用户名、电脑名、当前目录。小夕设置的命令就是sshdlnlp，敲上这个命令直接进入服务器！\u003Cp\u003E实现这个非常简单，分两步：\u003C\u002Fp\u003E\u003Cp\u003E首先，将你的登录命令写入你的pc端的bash启动脚本中。Mac系统为 \u003Ci\u003E~\u002F.bash_profile\u003C\u002Fi\u003E ，linux系统为 \u003Ci\u003E~\u002F.bashrc\u003C\u002Fi\u003E 。例如你的服务器用户名为dlnlp，ip为102.10.60.23，那么就把这句登录命令写进去：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Ealias sshdlnlp=\"ssh dlnlp@102.10.60.23\"  \u003C\u002Fcode\u003E\u003Cblockquote\u003E感谢评论区 \u003Ca class=\"member_mention\" href=\"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002F4358b1ea191be2dc0bf41d1385b35455\" data-hash=\"4358b1ea191be2dc0bf41d1385b35455\" data-hovercard=\"p$b$4358b1ea191be2dc0bf41d1385b35455\"\u003E@karajan1001\u003C\u002Fa\u003E 指出，还有一种更科学强大的方法：将你的服务器信息写入\u003Cb\u003EPC端的\u003C\u002Fb\u003Essh配置文件中，配置文件位于 \u003Ci\u003E~\u002F.ssh\u002Fconfig \u003C\u002Fi\u003E，例如你的服务器用户名为dlnlp，ip为102.10.60.23，那么就把这句写进去：\u003Cbr\u003E\u003Ci\u003EHost dlnlp\u003C\u002Fi\u003E\u003Cbr\u003E\u003Ci\u003E[一个Tab]User dlnlp\u003C\u002Fi\u003E\u003Cbr\u003E\u003Ci\u003E[一个Tab]Hostname 102.10.60.23\u003C\u002Fi\u003E\u003Cbr\u003E\u003Ci\u003E[一个Tab]Port 22\u003C\u002Fi\u003E\u003Cbr\u003E（Host后面那个dlnlp是你起的名字，你也可以用更简短的名字）\u003Cbr\u003E这样可以 \u003Ci\u003Essh dlnlp \u003C\u002Fi\u003E也能快捷登录，注意中间的空格哈。而且scp也更加方便了。\u003C\u002Fblockquote\u003E\u003Cp\u003E当然，登录命令叫sshdlnlp，你也可以改成别的。保存后别忘 \u003Ci\u003Esource ~\u002F.bash_profile \u003C\u002Fi\u003E或者 \u003Ci\u003Esource ~\u002F.bashrc \u003C\u002Fi\u003E激活一下启动脚本哦。\u003C\u002Fp\u003E\u003Cp\u003E然后，经过第一步后，只需要再敲密码就可以进入啦。但是懒癌至深的我们怎么能容忍敲密码这么麻烦的事情呢！（划掉，应该是小仙女怎么能容忍敲密码这种事情呢）但是我们又不能牺牲服务器的安全性，那怎么办呢？考验大学里计算机网络基础的时候到了～\u003C\u002Fp\u003E\u003Cp\u003E也很简单，把你PC端的ssh公钥写入服务器的ssh信任列表里就可以啦。首先用`ssh-keygen`命令生成rsa密钥对（生成一只私钥和一只公钥），一路enter即可，但是注意：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"116\" src=\"v2-4caf762d4648f366adcb23dc05fdad94.jpg\" data-size=\"normal\" data-rawwidth=\"864\"\u003E\u003Cp\u003E之前有已经生成过的同学在此处就选择n吧，没有生成过的同学就一路next～\u003C\u002Fp\u003E\u003Cp\u003E然后去 \u003Ci\u003E~\u002F.ssh\u002F \u003C\u002Fi\u003E文件夹下将公钥发送到服务器上的某文件夹里：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"95\" src=\"v2-505040d0a11a5d5ba45af596377e5e91.jpg\" data-size=\"normal\" data-rawwidth=\"864\"\u003E\u003Cp\u003E然后去服务器上，把你PC端的公钥丢进ssh信任列表：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Ecat id_rsa.pub &gt;&gt; ~\u002F.ssh\u002Fauthorized_keys\u003C\u002Fcode\u003E\u003Cp\u003E好啦～搞定啦，再回到你的PC端登录试试吧，是不是连输入密码都省掉啦。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E3. 内网穿透（跨网段访问服务器）\u003C\u002Fb\u003E \u003C\u002Fh2\u003E\u003Cp\u003E但是注意哦，如果你的服务器是在局域网内，那你的PC离开这个局域网的时候当然就找不到你的服务器啦。想要在家里用GPU服务器？很简单，小夕教你分分钟内网穿透！\u003C\u002Fp\u003E\u003Cp\u003E在内网穿透方面，小夕试了好几种方案后，感觉还是\u003Cu\u003E\u003Cb\u003E\u003Ca href=\"https:\u002F\u002Fhsk.oray.com\u002Fdownload\u002F\"\u003E花生壳\u003C\u002Fa\u003E\u003C\u002Fb\u003E\u003C\u002Fu\u003E对新手最友好也最稳定。我们的内网穿透只需要将服务器内网ip以及22端口号（即ssh端口号）映射到外网ip的某个端口号。这个过程使用花生壳非常简单，在网上有很多教程，小夕就不啰嗦啦。之后我们要做的就是将这个外网ip和端口号也封装成一条命令，比如花生壳分配给我们的外网ip是103.44.145.240，端口是12560，那么只需要把这个写入客户端shell启动脚本：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Ealias sshdlnlp_remote=\"ssh -p 12560 dlnlp@103.44.145.240\"\n（别忘用source刷新启动脚本）\u003C\u002Fcode\u003E\u003Cp\u003E之后就可以在世界各地用一条命令访问你的gpu服务器啦。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E4. 文件传输与同步\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E对于一次性的文件传输，这方面最简单的当然还是直接使用scp命令啦，文件夹和文件都能轻松传输。\u003C\u002Fp\u003E\u003Cp\u003E但是我们做深度学习的话，在服务器端大面积改代码、重量级调试的话还是不方便，毕竟服务器上没有图形界面，大部分人还是用不惯vim的，那么能不能在PC端用漂亮的编辑器修改代码，将修改结果实时的同步到服务器端呢？当然可以！这里小夕推荐文件同步神器\u003Cu\u003E\u003Cb\u003E\u003Ca href=\"https:\u002F\u002Fsyncthing.net\u002F\"\u003Esyncthing\u003C\u002Fa\u003E\u003C\u002Fb\u003E\u003C\u002Fu\u003E。\u003C\u002Fp\u003E\u003Cp\u003E剩下的就是傻瓜式配置啦。\u003Cb\u003E记得要更改文件夹刷新频率哦\u003C\u002Fb\u003E（默认是60秒，我们可以改的短一点，比如3秒），这样在客户端我们用漂亮的文本编辑器对代码的改动就能实时的同步到服务器上啦，在服务器端就只需要负责运行就可以咯。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E5. 多开发环境管理\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E如果不幸你的GPU服务器并不是你一个人用，那么这时多人（尤其是混入小白多话）经常把服务器默认的python环境弄的乌烟瘴气，比如有人用python2，有人用python3，有人用tensorflow1.3，有人用0.12等...最后导致大家的程序全跑崩了。\u003C\u002Fp\u003E\u003Cp\u003E所以在服务器端管理深度学习的开发环境是极其必要的，这里\u003Cb\u003E\u003Cu\u003E\u003Ca href=\"https:\u002F\u002Fanaconda.org\u002F\"\u003Eanaconda\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fb\u003E直接搞定！每个人建立和管理自己的开发环境，包括python版本、各种库的版本等，互不干扰。而且在发布project时，也方便直接将环境导出为requirements文件，免得自己去手写啦。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E6. 多任务管理（并行调参）\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E如果你的服务器上有多个GPU，或者你的任务消耗GPU资源不多，那么并行的训练模型调参数是极大提高开发效率的！这里小夕给出几种场景下的常用方案：\u003C\u002Fp\u003E\u003Cp\u003E1、比如我们在服务器上除了训练还要接着干别的事情（比如还要捣鼓一下贪吃蛇什么的），那么我们就可以直接将训练任务挂后台。具体如下。\u003C\u002Fp\u003E\u003Cp\u003E在linux中，在命令后面加上 \u003Ci\u003E&amp;\u003C\u002Fi\u003E 符号可以将命令在后台执行，为了能看到训练日志，我们当时还需要输出重定向（否则会打印到屏幕上干扰正常工作的），所以比如我们调batchsize参数时可以这样：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Edlnlp@ubuntu:~$ python train.py --batchsize=16 &gt; log_batch16.txt &amp;\u003C\u002Fcode\u003E\u003Cp\u003E当然再挂上其他batchsize大小，如：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Edlnlp@ubuntu:~$ python train.py --batchsize=16 &gt; log_batch16.txt &amp;\ndlnlp@ubuntu:~$ python train.py --batchsize=64 &gt; log_batch64.txt &amp;\ndlnlp@ubuntu:~$ python train.py --batchsize=128 &gt; log_batch128.txt &amp;\u003C\u002Fcode\u003E\u003Cp\u003E通过 \u003Ci\u003Ejobs \u003C\u002Fi\u003E命令可以看到后台任务的运行状况（running、stopped等），通过 \u003Ci\u003Ebg [任务号] \u003C\u002Fi\u003E可以让后台stopped的命令继续running，通过 \u003Ci\u003Efg [任务号] \u003C\u002Fi\u003E可以让后台的任务来前台执行。对于前台已经执行起来的任务，可以 \u003Ci\u003Ectrl+z \u003C\u002Fi\u003E来丢进后台（丢后台时stop了的话用bg让其run起来）。\u003C\u002Fp\u003E\u003Cblockquote\u003E感谢微信用户A Bad Candy在微信订阅号后台留言提醒上面的丢后台方法会在ssh断开连接后进程终止，因此：\u003C\u002Fblockquote\u003E\u003Cp\u003E如果我们还不希望ssh断开后导致训练任务终止，那么需要再在命令前面加上 \u003Ci\u003Enohup 。如：\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003Edlnlp@ubuntu:~$ nohup python train.py --batchsize=16 &gt; log_batch16.txt &amp;\u003C\u002Fcode\u003E\u003Cp\u003E2、如果我们特别着急，不仅要并行挂着很多训练任务，而且都要实时的监控它们的训练进展，那么使用 \u003Ci\u003Escreen\u003C\u002Fi\u003E命令吧，这个命令就相当于可以让你同时开很多个窗口（就像桌面上那样，你可以开很多应用程序的很多窗口），而且多个窗口之间可以轻松切换，同样这种方法不会因为ssh的断开而停止训练任务。\u003C\u002Fp\u003E\u003Cp\u003E具体的操作可以直接在linux下 \u003Ci\u003Eman screen \u003C\u002Fi\u003E来查看screen命令的帮助文档。英文恐惧症的童鞋可以看本文参考文献[1]。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E7. 睡觉调参模式（串行调参）\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E大部分场合下我们没有那么多充裕的GPU可以用，我们一般只能一次挂一个任务，但是我们又有很重的调参任务，那怎么办呢？\u003C\u002Fp\u003E\u003Cp\u003E依然很简单啦，首先，装好\u003Cb\u003E\u003Cu\u003E\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fpython-fire\"\u003Epython-fire\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fb\u003E这个工具。\u003C\u002Fp\u003E\u003Cp\u003E它可以非常轻松的将你的python程序变成命令行程序，并且可以轻松的将你要调的参数封装成命令行参数的形式。\u003C\u002Fp\u003E\u003Cp\u003E然后，写一个调参shell脚本，把你要调的参数全都写进去！比如就像这样：\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"350\" src=\"v2-65c4751a21d99fc1f642d3446414bf3b.jpg\" data-size=\"normal\" data-rawwidth=\"1238\"\u003E\u003Cp\u003E（当然别忘在代码里将训练的summary写到某个文件里）\u003C\u002Fp\u003E\u003Cp\u003E然后就可以挂上这个脚本去睡觉啦～睡到天亮发现各个最优参数都找到了，超级开心有木有。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E8. 关于jupyter notebook\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E\u003Cu\u003E\u003Ca href=\"http:\u002F\u002Fjupyter.org\u002F\"\u003Ejupyter notebook\u003C\u002Fa\u003E\u003C\u002Fu\u003E\u003C\u002Fb\u003E这个神器小夕在历史文章中写过啦，也是一个重量级调参神器！或者直接可以说深度学习神器！在服务器端依然犀利的无可替代，只需要如下的tricks。\u003C\u002Fp\u003E\u003Cp\u003E1、服务器端开启jupyter notebook后\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"229\" src=\"v2-e777f00637e4c3fa6ce06cc1a710416a.jpg\" data-size=\"normal\" data-rawwidth=\"864\"\u003E\u003Cp\u003E然后复制最后那一行的 \u003Ci\u003Etoken=xxx \u003C\u002Fi\u003E，这个token就是远程访问的密码！同时记下 \u003Ci\u003E最后那行显示的端口号 \u003C\u002Fi\u003E8888（因为如果服务器上同时开多个的话，端口号就不一定是8888了哦），然后去PC端做一个端口映射！即通过ssh隧道来将服务器端的8888端口号映射到本地（PC端）的某个端口（如1234）：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Essh -L 1234:localhost:8888 dlnlp@102.10.60.23\u003C\u002Fcode\u003E\u003Cp\u003E（这个操作同样可以用于远程监视服务器端tensorboard）\u003C\u002Fp\u003E\u003Cp\u003E这时就可以在PC端的浏览器\u003C\u002Fp\u003E\u003Ccode lang=\"text\"\u003Ehttp:\u002F\u002Flocalhost:1234\u003C\u002Fcode\u003E\u003Cp\u003E直接访问服务器上的jupyter notebook啦～当然，访问时会让你输入密码，这时就输入之前记下的那个token哦。\u003C\u002Fp\u003E\u003Cp\u003E2、让jupyer notebook跟anaconda开发环境融合。\u003C\u002Fp\u003E\u003Cp\u003E默认的情况下jupyter notebook是运行在系统默认环境里的，如果要让它运行在我们自己用ananconda创建的环境中，要进入那个环境中，然后安装 \u003Ci\u003Enb_conda \u003C\u002Fi\u003E这个库：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Econda install nb_conda\u003C\u002Fcode\u003E\u003Cp\u003E这时再开启jupyter notebook就能选择在我们这个环境里运行代码啦。\u003C\u002Fp\u003E\u003Ch2\u003E\u003Cb\u003E9. 单任务全霸占模式\u003C\u002Fb\u003E\u003C\u002Fh2\u003E\u003Cp\u003E有时我们的训练任务非常重要且急迫，且绝对不允许被别人挤崩，或者我们明知要占用全部GPU资源了，那么这时我们就可以。。。emmm事先说明，非必要时刻请勿频繁使用哦：\u003C\u002Fp\u003E\u003Cp\u003E使用linux中的 \u003Ci\u003Erun-one \u003C\u002Fi\u003E命令，这个命令可以保证同一条命令最多同时运行一个。比如 run-one python xxx 就会只允许运行一个python程序，后来的python程序在这个python程序执行完毕前是得不到执行的（一执行就会出错返回）。所以我们可以写入.bashrc：\u003C\u002Fp\u003E\u003Ccode lang=\"bash\"\u003Ealias python='run-one python'\u003C\u002Fcode\u003E\u003Cp\u003E（别忘source激活哦）\u003C\u002Fp\u003E\u003Cp\u003E这时\u003C\u002Fp\u003E\u003Cimg data-rawheight=\"206\" src=\"v2-5c6c877a01a7cde6e398854b921253c9.jpg\" data-size=\"normal\" data-rawwidth=\"864\"\u003E\u003Cp\u003E看，我通过将第一个python挂到后台了，后面的python完全执行不起来。除非前一个python结束。（所以其他小伙伴可能以为自己的程序出问题了，然后emmm陷入了无尽的困惑）\u003C\u002Fp\u003E\u003Ch2\u003E参考文献\u003C\u002Fh2\u003E\u003Cp\u003E[1] \u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F31457591?utm_medium=social&amp;utm_source=wechat_session\"\u003E跑深度学习代码在linux服务器上的常用操作(ssh,screen,tensorboard,jupyter notebook)\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Ch2\u003E订阅号精彩评论\u003C\u002Fh2\u003E\u003Cimg data-rawheight=\"1035\" src=\"v2-4043bf04209a2e535f8fecc3b3e44dec.jpg\" data-size=\"normal\" data-rawwidth=\"750\"\u003E\u003Cimg data-rawheight=\"1164\" src=\"v2-3f66b93fb45e90f4cdfc417acb404973.jpg\" data-size=\"normal\" data-rawwidth=\"750\"\u003E","updated":new Date("2017-12-30T15:07:01.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":38,"likeCount":256,"state":"published","isLiked":false,"slug":"32496193","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-30T23:07:01+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32496193\u002Fcomments"},"url":"\u002Fp\u002F32496193","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F32496193","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":38,"likesCount":256},"35457093":{"title":"从DPCNN出发，撩一下深层word-level文本分类模型","author":"tsxiyao","content":"\u003Cp\u003E如今深度学习已经成为NLP领域的标配技术，在图像中大为成功的卷积神经网络（CNN）也开始广泛渗透到文本分类、机器翻译、机器阅读等NLP任务中。但是，在ACL2017以前，word-level的文本分类模型（以单词为语义单位）自2014Kim等人提出的TextCNN模型后，就没有再出现过显著有效的CNN系模型，尤其是深层模型。\u003C\u002Fp\u003E\u003Cimg src=\"v2-4d4ddbd628a5411d32c06e5bf5d3d124.jpg\" data-caption=\"图1 TextCNN（ShallowCNN）模型\" data-size=\"normal\" data-rawwidth=\"830\" data-rawheight=\"342\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E而在2017年的ACL上有这么一篇文章，\u003Cb\u003EDeep Pyramid Convolutional Neural Networks for Text Categorization [1]\u003C\u002Fb\u003E，论文中提出的深层金字塔卷积网（DPCNN）是严格意义上第一个word-level的广泛有效的深层文本分类卷积神经网，其性能表如下：\u003C\u002Fp\u003E\u003Cimg src=\"v2-1a791b349b18ebd072d57a3956afe106.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1810\" data-rawheight=\"578\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E当然，这篇论文里还使用了\u003Ci\u003Etwo-view embedding\u003C\u002Fi\u003E来进一步提升模型性能，不过从模型性能上纵向比较来看，其也比经典的TextCNN（表格第二行ShallowCNN）有了明显提高，在Yelp五分类情感分类任务中提升了近2个百分点。也是第一次真正意义上证明了在word-level的文本分类问题上，深层CNN依然是有想象空间的。\u003C\u002Fp\u003E\u003Cp\u003E好啦，直接搬来DPCNN、ShallowCNN、ResNet的对比图，正文开始～\u003C\u002Fp\u003E\u003Cimg src=\"v2-2ce7dc875d0b6d83ef33e41265c2265e.jpg\" data-caption=\"图2 DPCNN、TextCNN与ResNet\" data-size=\"normal\" data-rawwidth=\"830\" data-rawheight=\"502\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Ch2\u003ERegion embedding\u003C\u002Fh2\u003E\u003Cp\u003E从图中的a和c的对比可以看出，DPCNN与ResNet差异还是蛮大的。同时DPCNN的底层\u003Cb\u003E貌似\u003C\u002Fb\u003E保持了跟TextCNN一样的结构，这里作者将TextCNN的包含多尺寸卷积滤波器的卷积层的卷积结果称之为Region embedding，意思就是对一个文本区域\u002F片段（比如3gram）进行一组卷积操作后生成的embedding。\u003C\u002Fp\u003E\u003Cp\u003E对一个3gram进行卷积操作时可以有两种选择，一种是保留词序，也就是设置一组size=3*D的二维卷积核对3gram进行卷积（其中D是word embedding维度）；还有一种是不保留词序（即使用词袋模型），即首先对3gram中的3个词的embedding取均值得到一个size=D的向量，然后设置一组size=D的一维卷积核对该3gram进行卷积。显然TextCNN里使用的是保留词序的做法，而DPCNN使用的是词袋模型的做法，DPCNN作者argue前者做法更容易造成过拟合，后者的性能却跟前者差不多（其实这个跟DAN网络（Deep averaging networks）中argue的原理和结论差不多，有兴趣的可以下拉到下一部分的知乎传送门中了解一下）。\u003C\u002Fp\u003E\u003Ch2\u003E卷积层or全连接层？\u003C\u002Fh2\u003E\u003Cp\u003E产生region embedding后，按照经典的TextCNN的做法的话，就是从每个特征图中挑选出最有代表性的特征，也就是直接应用全局最大池化层（max-over-time-pooling layer），这样就生成了这段文本的特征向量（假如卷积滤波器的size有3，4，5这三种，每种size包含100个卷积核，那么当然就会产生3*100幅特征图，然后将max-over-time-pooling操作应用到每个特征图上，于是文本的特征向量即3*100=300维）。\u003C\u002Fp\u003E\u003Cp\u003E但是显然TextCNN这样做会有很严重的问题诶，这样做的意义本质上与词袋模型（含ngram）+weighting+NB\u002FMaxEnt\u002FSVM的经典文本分类模型没本质区别，只不过one-hot表示到word embedding表示的转变避免了词袋模型遭遇的数据稀疏问题罢了。可以说，TextCNN本质上收益于词向量的引入带来的“近义词有相近向量表示”的bonus，同时TextCNN恰好可以较好的利用词向量中的知识（近义关系）罢了。这意味着，经典模型里难以学习的远距离信息（如12gram）在TextCNN中依然难以学习。\u003Cb\u003E那么这些长距离复杂模式如何让网络学习到呢？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E显然，要么加深全连接层，要么加深卷积层。加深哪个更好呢？小夕埋下了一个伏笔哦，答案就在小夕这个知乎回答里： \u003C\u002Fp\u003E\u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F270245936\" data-draft-node=\"block\" data-draft-type=\"link-card\"\u003E卷积层和分类层，哪个更重要？\u003C\u002Fa\u003E\u003Ch2\u003E等长卷积\u003C\u002Fh2\u003E\u003Cp\u003E在得到Region embedding后，为了避免后续想象太抽象，我们不妨还是把Region embedding看成word embedding，假想为交给网络后面的就是word embedding序列哦。\u003C\u002Fp\u003E\u003Cp\u003E首先交代一下卷积的一个基本概念——等长卷积。我们在文本分类里最常用的可能是窄卷积，输入序列长度为seq_len，卷积核大小为n的话，窄卷积后的输出序列的长度就是seq_len-n+1。而等长卷积顾名思义就是输出序列的长度等于输入序列长度seq_len。没有想像出来的同学自行Google一下哦，就不展开讲啦。\u003C\u002Fp\u003E\u003Cp\u003E那么对文本，或者说对word embedding序列进行等长卷积的意义是什么呢？\u003C\u002Fp\u003E\u003Cp\u003E既然输入输出序列的位置数一样多，我们将输入输出序列的第n个embedding称为第n个词位，那么这时size为n的卷积核产生的等长卷积的意义就很明显了，那就是\u003Cb\u003E将输入序列的每个词位及其左右((n-1)\u002F2)个词的上下文信息压缩为该词位的embedding\u003C\u002Fb\u003E，也就是说，产生了每个词位的被上下文信息修饰过的更高level更加准确的语义。\u003C\u002Fp\u003E\u003Cp\u003E好，回到DPCNN上来。我们想要克服TextCNN的缺点，捕获长距离模式，显然就要用到深层CNN啦。那么直接等长卷积堆等长卷积可不可以呢？\u003C\u002Fp\u003E\u003Cp\u003E显然这样会让每个词位包含进去越来越多，越来越长的上下文信息，但是这样效率也太低了喂，显然会让网络层数变得非常非常非常深，这样笨拙的操作怎么能有呢哼。不过，既然等长卷积堆等长卷积会让每个词位的embedding描述语义描述的更加丰富准确，那么\u003Cb\u003E当然我们可以适当的堆两层来提高词位embedding的表示的丰富性。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E所以region embedding层（这里假想为word embedding层，对应序列为“小娟 姐姐 带来 的 抹茶 青团 好 好吃 哦”）之上就可以如图3这样设计啦：\u003C\u002Fp\u003E\u003Cimg src=\"v2-7eff2b765aaea4b74032c2182975fc38.jpg\" data-caption=\"图3\" data-size=\"normal\" data-rawwidth=\"1080\" data-rawheight=\"349\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Ch2\u003E固定Feature Map的数量\u003C\u002Fh2\u003E\u003Cp\u003E在表示好每个词位的语义后，其实很多邻接词或者邻接ngram的词义是可以合并的，例如“小娟 姐姐 人 不要 太好”中的“不要”和“太好”虽然语义本来离得很远，但是作为邻接词“不要太好”出现时其语义基本等价为“很好”，这样完全可以把“不要”和“太好”的语义进行合并哇。同时，合并的过程完全可以在原始的embedding space中进行的，毕竟原文中直接把“不要太好”合并为“很好”是很可以的哇，\u003Cb\u003E完全没有必要动整个语义空间\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E而实际上，相比图像中这种从“点、线、弧”这种low-level特征到“眼睛、鼻子、嘴”这种high-level特征的明显层次性的特征区分，文本中的特征进阶明显要扁平的多，即从单词（1gram）到短语再到3gram、4gram的升级，其实很大程度上均满足“语义取代”的特性。而图像中就很难发生这种”语义取代“现象（例如“鼻子”的语义可以被”弧线“的语义取代嘛？）。\u003C\u002Fp\u003E\u003Cp\u003E因此（划重点），DPCNN与ResNet很大一个不同就是，在DPCNN中固定死了feature map的数量，也就是固定住了embedding space的维度（为了方便理解，以下简称语义空间），使得网络有可能让整个邻接词（邻接ngram）的合并操作在原始空间或者与原始空间相似的空间中进行（当然，网络在实际中会不会这样做是不一定的哦，只是提供了这么一种条件）。也就是说，整个网络虽然形状上来看是深层的，但是从语义空间上来看完全可以是扁平的。而ResNet则是不断的改变语义空间，使得图像的语义随着网络层的加深也不断的跳向更高level的语义空间。\u003C\u002Fp\u003E\u003Ch2\u003E1\u002F2池化层\u003C\u002Fh2\u003E\u003Cp\u003E好啦，所以提供了这么好的合并条件后，我们就可以用pooling layer进行合并啦。每经过一个size=3, stride=2（大小为3，步长为2）的池化层（以下简称1\u002F2池化层），序列的长度就被压缩成了原来的一半（请自行脑补）。这样同样是size=3的卷积核，每经过一个1\u002F2池化层后，其能感知到的文本片段就比之前长了一倍。\u003C\u002Fp\u003E\u003Cblockquote\u003E感谢评论区 \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fe339fa80395863b0f9b1cdc3c79bc5fe\" data-hash=\"e339fa80395863b0f9b1cdc3c79bc5fe\" data-hovercard=\"p$b$e339fa80395863b0f9b1cdc3c79bc5fe\"\u003E@陈诚\u003C\u002Fa\u003E 指出pooling size的错误\u003C\u002Fblockquote\u003E\u003Cp\u003E例如之前是只能感知3个词位长度的信息，经过1\u002F2池化层后就能感知6个词位长度的信息啦，这时把1\u002F2池化层和size=3的卷积层组合起来如图4所示。\u003C\u002Fp\u003E\u003Cimg src=\"v2-7f8c9c424b9e6c4f7881d401b6955613.jpg\" data-caption=\"图4\" data-size=\"normal\" data-rawwidth=\"1936\" data-rawheight=\"752\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E好啦，看似问题都解决了，目标成功达成。剩下的我们就只需要重复的进行等长卷积+等长卷积+1\u002F2池化就可以啦，也就是重复如图5的Block：\u003C\u002Fp\u003E\u003Cimg src=\"v2-291b84f66912419a29859fd0d882860d.jpg\" data-caption=\"图5\" data-size=\"small\" data-rawwidth=\"680\" data-rawheight=\"448\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Ch2\u003E残差连接\u003C\u002Fh2\u003E\u003Cp\u003E但是！如果问题真的这么简单的话，深度学习就一下子少了超级多的难点了。\u003C\u002Fp\u003E\u003Cp\u003E首先，由于我们在初始化深度CNN时，往往各层权重都是初始化为一个很小的值，这就导致最开始的网络中，后续几乎每层的输入都是接近0，这时网络的输出自然是没意义的，而这些小权重同时也阻碍了梯度的传播，使得网络的初始训练阶段往往要迭代好久才能启动。\u003C\u002Fp\u003E\u003Cp\u003E同时，就算网络启动完成，由于深度网络中仿射矩阵（每两层间的连接边）近似连乘，训练过程中网络也非常容易发生梯度爆炸或弥散问题（虽然由于非共享权重，深度CNN网络比RNN网络要好点）。\u003C\u002Fp\u003E\u003Cp\u003E当然，上述这两点问题本质就是梯度弥散问题。那么如何解决深度CNN网络的梯度弥散问题呢？当然是膜一下何恺明大神，然后把ResNet的精华拿来用啦～\u003C\u002Fp\u003E\u003Cp\u003EResNet中提出的shortcut-connection\u002Fskip-connection\u002Fresidual-connection（残差连接）就是一种非常简单、合理、有效的解决方案。看着图5想一下，\u003Cb\u003E既然每个block的输入在初始阶段容易是0而无法激活，那么直接用一条线把region embedding层连接到每个block的输入乃至最终的池化层\u002F输出层不就可以啦！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E想象一下，这时的shortcut connection由于连接到了各个block的输入（当然为了匹配输入维度，要事先经过对应次数的1\u002F2池化操作），这时就相当于一个短路连接，即region embedding直接短路连接到了最终的池化层或输出层。等等，这时的DPCNN不就退化成了TextCNN嘛。深度网络不好训练，就一层的TextCNN可是异常容易训练的。这样模型的起步阶段就是从TextCNN起步了，自然不会遭遇前面说的深度CNN网络的冷启动问题了。\u003C\u002Fp\u003E\u003Cp\u003E同样的道理，有了shortcut后，梯度就可以忽略卷积层权重的削弱，从shortcut一路无损的传递到各个block手里，直至网络前端，从而极大的缓解了梯度消失问题。\u003C\u002Fp\u003E\u003Cp\u003E所以DPCNN里的Block里加上了shortcut connection后，就完美多啦。即设计出了如下最终版的网络形态：\u003C\u002Fp\u003E\u003Cimg src=\"v2-40607f235bc4a5990b975943429ddbd7.jpg\" data-caption=\"\" data-size=\"small\" data-rawwidth=\"770\" data-rawheight=\"962\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E最后点一下题目，由于前面所述的1\u002F2池化层的存在，文本序列的长度会随着block数量的增加呈指数级减少，即\u003C\u002Fp\u003E\u003Cp\u003E\u003Cequation\u003Enum\\_blocks=log_2seq\\_len\u003C\u002Fequation\u003E \u003C\u002Fp\u003E\u003Cp\u003E这导致序列长度随着网络加深呈现金字塔（Pyramid）形状：\u003C\u002Fp\u003E\u003Cimg src=\"v2-27406ca0abbaf6eb176818e956bac13f.jpg\" data-caption=\"\" data-size=\"small\" data-rawwidth=\"762\" data-rawheight=\"146\" data-watermark=\"\" data-original-src=\"\" data-watermark-src=\"\" data-private-watermark-src=\"\"\u003E\u003Cp\u003E因此作者将这种深度定制的简化版ResNet称之为Deep “Pyramid” CNN。\u003C\u002Fp\u003E","updated":new Date("2018-04-09T08:18:25.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":17,"likeCount":40,"state":"published","isLiked":false,"slug":"35457093","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2018-04-09T16:18:25+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F35457093\u002Fcomments"},"url":"\u002Fp\u002F35457093","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F35457093","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":17,"likesCount":40}},"User":{"tsxiyao":{"isFollowed":false,"name":"夕小瑶Elsa","headline":"好玩儿的东西：深度学习，自然语言处理，美妆。\n好吃的东西：论文、代码、数学公式。\n不喜欢的东西：不要跟我谈性别。我是妹子，不服请闭嘴。\n\n&gt;&gt;&gt;  python版分割线\n\n小夕给你讲个故事。你有没有听说过一个叫【夕小瑶的卖萌屋】的微信订阅号呢。\n\n传说，这是一个被萌气环绕的小屋。\n\n传说，这里有美美程序喵夕小瑶精心撰写的【机器学习】相关的技术文章。\n\n传说，夕小瑶在这里编织了一张巨大的网，试图将统计机器学习、深度学习、概率图等模型优雅的联系到一起。\n\n传说，这里还有夕小瑶为后辈绘制的机器学习\u002F深度学习\u002F算法入门指导。\n\n传说，夕小瑶难过的时候，开心的时候，也会在这里留下她的点点滴滴的小故事。\n\n还有一个奇怪的现象，凡是来到这个小屋的人，都不舍得走呢(￣∇￣)","avatarUrl":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-70ae276a4834426ad670577b953f4fbb_s.jpg","isFollowing":false,"type":"people","slug":"tsxiyao","bio":"NLPer \u002F MtF \u002F 订阅号“夕小瑶的卖萌屋” \u002F 带毒仙女，慎撩","hash":"02c1927a26f1fa47d3d43ec304b81015","uid":697119379778728000,"isOrg":false,"description":"好玩儿的东西：深度学习，自然语言处理，美妆。\n好吃的东西：论文、代码、数学公式。\n不喜欢的东西：不要跟我谈性别。我是妹子，不服请闭嘴。\n\n&gt;&gt;&gt;  python版分割线\n\n小夕给你讲个故事。你有没有听说过一个叫【夕小瑶的卖萌屋】的微信订阅号呢。\n\n传说，这是一个被萌气环绕的小屋。\n\n传说，这里有美美程序喵夕小瑶精心撰写的【机器学习】相关的技术文章。\n\n传说，夕小瑶在这里编织了一张巨大的网，试图将统计机器学习、深度学习、概率图等模型优雅的联系到一起。\n\n传说，这里还有夕小瑶为后辈绘制的机器学习\u002F深度学习\u002F算法入门指导。\n\n传说，夕小瑶难过的时候，开心的时候，也会在这里留下她的点点滴滴的小故事。\n\n还有一个奇怪的现象，凡是来到这个小屋的人，都不舍得走呢(￣∇￣)","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Ftsxiyao","avatar":{"id":"v2-70ae276a4834426ad670577b953f4fbb","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false}},"Comment":{},"favlists":{}},"me":{},"global":{"experimentFeatures":{"ge3":"ge3_9","ge2":"ge2_1","androidPassThroughPush":"all","sEI":"c","nwebQAGrowth":"experiment","qawebRelatedReadingsContentControl":"close","liveStore":"ls_a2_b2_c1_f2","nwebSearch":"nweb_search_heifetz","newSignBg":"new","rt":"y","isOffice":"false","enableTtsPlay":"post","newLiveFeedMediacard":"new","newMobileAppHeader":"true","growthSearch":"s2","hybridZhmoreVideo":"yes","nwebGrowthPeople":"default","nwebSearchSuggest":"default","qrcodeLogin":"qrcode","enableVoteDownReasonMenu":"enable","isShowUnicomFreeEntry":"unicom_free_entry_off","growthBanner":"default","newMobileColumnAppheader":"new_header","androidDbRecommendAction":"open","zcmLighting":"zcm","androidDbFeedHashTagStyle":"button","appStoreRateDialog":"close","mobileFeedGuide":"block","default":"None","isNewNotiPanel":"no","adR":"b","wechatShareModal":"wechat_share_modal_show","uRe":"1","androidProfilePanel":"panel_b"}},"columns":{"next":{},"xixiaoyao":{"pins":[],"followersCount":1134,"creator":{"bio":"NLPer \u002F MtF \u002F 订阅号“夕小瑶的卖萌屋” \u002F 带毒仙女，慎撩","isFollowing":false,"hash":"02c1927a26f1fa47d3d43ec304b81015","uid":697119379778728000,"isOrg":false,"slug":"tsxiyao","isFollowed":false,"description":"好玩儿的东西：深度学习，自然语言处理，美妆。\n好吃的东西：论文、代码、数学公式。\n不喜欢的东西：不要跟我谈性别。我是妹子，不服请闭嘴。\n\n&gt;&gt;&gt;  python版分割线\n\n小夕给你讲个故事。你有没有听说过一个叫【夕小瑶的卖萌屋】的微信订阅号呢。\n\n传说，这是一个被萌气环绕的小屋。\n\n传说，这里有美美程序喵夕小瑶精心撰写的【机器学习】相关的技术文章。\n\n传说，夕小瑶在这里编织了一张巨大的网，试图将统计机器学习、深度学习、概率图等模型优雅的联系到一起。\n\n传说，这里还有夕小瑶为后辈绘制的机器学习\u002F深度学习\u002F算法入门指导。\n\n传说，夕小瑶难过的时候，开心的时候，也会在这里留下她的点点滴滴的小故事。\n\n还有一个奇怪的现象，凡是来到这个小屋的人，都不舍得走呢(￣∇￣)","name":"夕小瑶Elsa","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Ftsxiyao","avatar":{"id":"v2-70ae276a4834426ad670577b953f4fbb","template":"https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"topics":[{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19559450","id":"19559450","name":"机器学习"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19813032","id":"19813032","name":"深度学习（Deep Learning）"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19560026","id":"19560026","name":"自然语言处理"}],"activateState":"activated","href":"\u002Fapi\u002Fcolumns\u002Fxixiaoyao","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":13,"id":3084,"name":"机器学习"},{"postsCount":10,"id":89794,"name":"深度学习（Deep Learning）"},{"postsCount":5,"id":19008,"name":"神经网络"},{"postsCount":4,"id":350,"name":"人工智能"},{"postsCount":3,"id":1103,"name":"数据挖掘"},{"postsCount":3,"id":3279,"name":"自然语言处理"},{"postsCount":1,"id":6584,"name":"决策树"},{"postsCount":1,"id":8630,"name":"文本分类"},{"postsCount":1,"id":91931,"name":"概率图模型"},{"postsCount":1,"id":162939,"name":"TensorFlow"}],"pendingName":"","avatar":{"id":"v2-8aa1d9a0fffc3a597429ecf7e03f2820","template":"https:\u002F\u002Fpic3.zhimg.com\u002F{id}_{size}.jpg"},"canManage":false,"description":"同步与改编自微信订阅号【夕小瑶的卖萌屋】中的文章","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"xixiaoyao","name":"夕小瑶的科技屋","url":"\u002Fxixiaoyao","intro":"超萌超好吃的机器学习干货","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":15,"canPost":false,"FULLINFO":true}},"columnPosts":{"xixiaoyao":{"entity":["35457093","32496193","30465140","28398894","27919794","27763696","27719875","25963621","27435212","27366699","26773990","25799397","26161453","25109561","26745851"]}},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldSetPoster":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"updating":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"edition":{"baidu":false,"yidianzixun":false,"qqnews":false},"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false,"userAgent":{"ua":"CCBot\u002F2.0 (http:\u002F\u002Fcommoncrawl.org\u002Ffaq\u002F)","browser":{},"engine":{},"os":{},"device":{},"cpu":{}}},"message":{"newCount":0},"pushNotification":{"newCount":0}}