AI机动队
首发于AI机动队
机器学习的《易筋经》:深度学习花书前言(上)

机器学习的《易筋经》:深度学习花书前言(上)

什么是花书

Deep Learning是大神Ian GoodFellow, Yoshua Bengio 和 Aaron Courville合著的深度学习的武功秘籍,涵盖深度学习各个领域,从基础到前沿研究。因为封面上有人工智能生成的鲜花图像,人送外号“花书”。

为什么要做读书笔记

我一直对机器学习领域比较感兴趣,在13、14年学习了Andrew Ng的CS229 Machine Learning,还有Jure Leskovic的CS246 Data Mining,这两门课都是非常好的机器学习的基础课,但是在当时对于刚刚再次兴起的深度学习领域基本上没有介绍。后来工作前两年在做数据处理和可视化的工作,近两年做一些推荐和搜索方面的机器学习的模型,都属于比较传统的数据挖掘及机器学习的应用。虽然因为用到深度神经网络的模型也会零散的去看一些论文,但是总感觉知识不系统,理解不够透彻。另一方面从广度来讲如果仅限于工作方面的知识总感觉眼界不够宽阔,不能了解机器学习其他领域的发展。看了几章花书后感觉对整个框架清晰了不少,所以决定深入学习一下花书,但是由于花书内容庞杂,希望通过做笔记整理重点以加深理解。武术讲究内外兼修,花书就仿佛是一本机器学习的《易筋经》,能帮你理顺经脉,而不是只修习外家拳脚,沦为调参小猴子。闲言少叙,先从第一章前言开始,以后争取每周整理一章。

声明:图片均截取自花书,非原创。

前言(上)

表征!表征!表征!

AI文氏图

机器学习早期的时候十分依赖于已有的知识库和人为的逻辑规则,需要人们花大量的时间去制定合理的逻辑判定,可以说是有多少人工,就有多少智能。

后来逐渐发展出一些简单的机器学习方法例如logistic regression、naive bayes等,机器可以通过一些特征来学习一定的模式出来,但这非常依赖于可靠的特征,比如对于logistic regression用来辅助医疗诊断,我们无法将核磁共振图像直接输入机器来作出诊断,而是医生需要先做一份报告总结一些特征,而机器通过报告中提供的表征再来进行机器学习,这就对如何提取有效表征提出了很大的要求,仍是一个需要花费很多人力的过程。

鉴于这些简单模型只能从专家提供的表征映射到结果,而不能自己提取出特征的局限性,人们发展出了表征学习(representation learning),希望机器自己能够提取出有意义的特征而无需人为干预。经典的例子就是Autoencoder,主要就是由加码器encoder从原始数据提取特征,然后可以通过解码器decoder利用新的表征来重塑原始数据。

如果你愿意一层一层一层的剥开我的心

这些表征很有可能是隐含的、抽象的,比如图像识别中单个像素可能没有有效的信息,更有意义的是若干像素组成的边,由边组成的轮廓,进而由轮廓组成的物体。深度学习就是通过一层层的表征学习,每层可能逻辑很简单,但之后的层可以通过对前面简单的层的组合来构建更复杂的表征。经典的例子如多层感知机(multilayer perceptron),就是每个感知机的数理逻辑都很简单,层内可以并行执行,层间顺序执行,通过层层叠加实现更复杂的逻辑。深度学习的“深”可以理解为通过更多层来结合出更复杂的逻辑,这就完成了从输入到内在层层表征再由内在表征到输出的映射。

花书总体结构

花书可以大致分为三大部分:

  1. 机器学习基础知识:涵盖线性代数,概率论,数值计算和传统机器学习基础等知识。如果之前学过Andrew Ng的CS229的话基本可以跳过。
  2. 深度神经网络核心知识:属于本书必读部分,涵盖前馈神经网络,卷积神经网络(CNN),递归神经网络(RNN) 等。
  3. 深度学习前沿:有一些前沿研究领域的介绍,如线性因子模型,表征学习,生成模型等。

可以按照自己的需要选读相关章节。


改天更新【前言下半部分——“名称有什么关系呢?玫瑰不叫玫瑰,依然芳香如故”】

编辑于 2018-06-24

文章被以下专栏收录