AI机动队
首发于AI机动队
深度学习花书读书笔记后记与延伸

深度学习花书读书笔记后记与延伸

历经6个月,终于将深度学习花书20章的读书笔记全部总结完毕,同时也融合了如下的课程和论文,使得相关解释更充实详尽,当然这个笔记里无法包含这些资料的全部内容,感兴趣的小伙伴们可以对这些资料进行更为仔细的延伸阅读:

CS229: Machine Learning

CS231n: Convolutional Neural Networks for Visual Recognition

CS224n: Natural Language Processing with Deep Learning

CS 228 - Probabilistic Graphical Models

Variational Inference: A Review for Statisticians

NIPS 2016 tutorial: Generative Adversarial Networks

感觉有些思想贯穿了花书如利用方差来分析泛化误差或采样稳定性,表征空间的意义,参数共享的意义,贝叶斯统计等等,尤其是贝叶斯统计,提供了另一种解释事物发展规律的角度。另一方面,有很多深度学习的方法和思想来源于基础科学,尤其是物理学中的理论力学和平衡态统计物理,如拉格朗日乘子法、熵、蒙特卡洛方法、配分函数、变分法、平均场近似等等,作为一个曾经是物理系的同学思考这些学科之间的联系还是挺有意思的。

读完整个花书的小伙伴想必对监督学习与无监督学习的主要思想都有了些了解,另一个机器学习的重要领域是强化学习,强化学习的思想可以说和人学习的自然过程有些相似,也可能是我们最终实现强人工智能的必要手段,当然,强化学习也存在很多的难点,所以准备开始根据Sutton的《Reinforcement Learning: An Introduction》第二版(2018版,较第一版有很多改动)开始写强化学习方面的笔记总结,同样也会结合David Silver的RL course以及伯克利CS 294-112 Deep Reinforcement Learning 来总结。

另一方面,可能会深入的总结一下某些领域如NLP,主要是结合Chris Manning的两门课程web.stanford.edu/~jurafCS224n: Natural Language Processing with Deep Learning (2016-2017),分别是偏统计的NLP和深度学习NLP。

To be continued。

编辑于 2018-12-04

文章被以下专栏收录