智能单元
首发于智能单元

CS 294:深度增强学习,2017年春季学期

译者注:本文编译自伯克利大学2017年春季学期课程CS294介绍页面。该课程主题选择深度增强学习,即紧跟当前人工智能研究的热点,又可作为深度学习的后续方向,值得推荐

课程时间

2017年1月18日至5月3日。

课程前置要求

学习该课程,会假设学员对于增强学习,最优化方法和机器学习这些知识背景比较熟悉。要是学员对于这些内容不太了解,就需要根据提供的参考资料补习以下的知识点:

  • 增强学习和马尔科夫决策过程(MDPs)
    • MDPs的定义
    • 具体算法:策略迭代和价值迭代
    • 搜索算法
  • 数值最优化方法
    • 梯度下降和随机梯度下降
    • 反向传播算法
  • 机器学习
    • 分类和回归问题:用什么样的损失函数,如何拟合线性或非线性模型
    • 训练/测试误差,过拟合
译者注:在2016年跟着专栏翻译的CS231n课程笔记学习的知友可以发现,缺少的知识点只有增强学习和马尔科夫决策过程,学习这门课的难度降低。

对于增强学习和MDPs的介绍材料有

译者注:该著作重要,建议中文母语学习者打印该书,方便查阅、学习与装逼:)
译者注:不想看大部头的著作就看这篇,简明扼要方便理解。
  • David Silver的课程,下文有链接。
译者注:要是看完并基本掌握了David Silver的课程,这门课也就是看看了。

对于机器学习和神经网络的介绍材料有


  • Andrej Karpathy的课程
  • 译者注:也就是CS231n了,算成是AK的也不太妥当,毕竟老板是李大姐,讲师还有Justin 。
    译者注:拜拜亨大爷总是安心些。
    译者注:本人没有看过这个课程,有学习过的知友可以在评论中简单谈谈感受。

    课程安排

    如下图所示,课件和参考材料会随着课程进度发布。这篇翻译的内容也会同步更新。

    课程视频

    原文展示了2015年的4个课程视频,在Youtube上,清晰度很低,这里就不放出了,感兴趣的知友自行查看原文。随着课程进展,本部分也更新2017年的课程视频链接。

    相关课程

    译者注:重要
  • Nando de Freitas关于机器学习的课程
  • 译者注:没必要,看吴恩达的课程。

    译者注:去年我们一直在推荐,不赘述了。

    相关书籍

    译者注:重要,系统学习的话就打印吧。

    泛读链接


    译者注:收藏了你也不会看的,但是可以装逼:)

    之前课程

    2015年秋季开过同名课程,介绍链接点击这里

    课程简介翻译完毕

    学习建议

    想要学习深度增强学习的知友,在我个人的看来,可能是以下几种情况:

    • 看到了深度增强学习的前景,想要提前布局,提高自身价值;
    • 学完了深度学习,想要继续学习人工智能领域其他内容;
    • 大公司或者拿了投资的创业公司的项目组想要搞相关应用,比如BetaGo或者GammaGo:)

    都挺好的,学吧!专栏成立的初心之一,就是促进这个领域的学习和交流。个人也会以这次课程为抓手,再系统性地把深度增强学习给学扎实。后续会以该课程学习为主题,在专栏进行相关内容的写作,也欢迎大家针对课程学习内容进行讨论。

    如果是因为近几年人工智能突然火热起来想要学习的知友,需要知道人工智能领域历史上起起落落好几次,入坑前想好自己是不是真的感兴趣。

    如果上文中的课程前置要求中三方面知识点都不太熟悉,也不建议直接学习该课程。建议先看吴恩达或者Hinton的课程,然后看CS231n,然后再来学习这门课程

    最后照例打鸡血:虽说人工智能起起落落好几次,但是这次确实是解决了之前没有解决的问题,突破了之前没有突破的水平,不是吗?相较于“呵呵,根据历史规律,人工智能也就还能火几年,步子太大要扯到蛋”的态度,我个人更倾向:

    I am looking at the future with concern, but with good hope. -Albert Schweitzer

    ----------------------------------------------------------------------------------------

    PS:我们开通了智能单元微信公众号,搜索“智能单元”就能找到,内容上会和专栏差异化。可以的话请大家关注支持一个,算是对我的鼓励,先谢过啦:)

    编辑于 2017-01-05

    文章被以下专栏收录

      面向通用人工智能和机器人学习,聚焦深度增强学习,可微神经计算机和生成对抗模型。