李宏毅深度学习课程图解版

李宏毅深度学习课程图解版

很多尝试过机器学习和深度学习的小伙伴,可能都有被其隐含的数学吓到过的经历,反正我有;

我很向往能理解神奇的量子力学,但我相信,真正懂量子力学的人,是不会用一堆玄奥的数学公式和天书般的语言来吓唬人的;

吴恩达的深度学习课程(以及他的机器学习的课程)就是在平易近人地讲解这些被炒作得“玄奥”的技术;李宏毅的课程也是中文中难得的好课;

完成吴恩达的深度学习的课程笔记后,现在开始李宏毅的课程,我想尝试用更通俗的语言,用更少的数学基础,来记录我对这些概念和技术的理解和直观感受(不推演公式,不讲编程,只聚焦深度学习及其数学背后的逻辑,直觉,intuition),希望能帮助到那些仅因为数学受阻的小伙伴;

但是,我从来不认为,理解机器学习,深度学习,或者任意一门学科和技术,是件容易的事情;无需数学基础,其实是更高的要求,因为没有多年数学的训练和积累,我们必然要付出更多的耐心,韧性,拥有更开放的心态,用更多时间去思考,探讨和沉淀....



李宏毅课程官网 (YouTube 视频)

国内bilibili: 机器学习课程 深度学习课程

我的学习笔记合集在bilibili,将包含以上全2套课程


Lesson0 Introduction to machine learning 课程12

图解笔记系列
1.00 李宏毅深度学习笔记开始.mp4
1.01AI, ML, DL之间的关系.mp4
1.02 什么是hand-crafted AI .mp4
1.03 什么是真正意义上的机器学习(机器智能).mp4
1.04 机器获取智能的三个步骤.mp4
1.05 什么是regression.mp4
1.06 什么是classification model.mp4
1.07 非线性模型中的深度学习解决分类问题.mp4
1.08 什么是supervised, semi-supervised, transfer, unsupervised learning
1.09 什么是structured learning
1.10 什么是reinforcement learning.mp4
1.11 人类新职业:AI训练师.mp4
1.12 如何理解深度学习中的scenario, task, method的区别

Lecture1 Regression - Case Study 课程

图解笔记系列
2.01 回顾regression定义和例子.mp4
2.02 建模的第一步:选择模型框架(线性模型,regression).mp4
2.03 建模step2.01收集和查看训练数据.mp4
2.04 建模step2.2如何判断众多模型的好坏loss function
2.05 建模step3.1 如何筛选最优的模型(参数).mp4
2.06 建模step3.2 gradient descent 是如何高效找到最优模型的.mp4
2.07 建模step3.3 gradient descent推演最优模型的过程.mp4
2.08 建模step3.4 gradient descent在现实世界中面临的挑战.mp4
2.09 如何验证训练好的模型的好坏.mp4
2.10 是不是能画出直线就是线性函数,各种复杂的曲线就是非线性函数.mp4
2.11 如何进一步寻找更强大表现更好的模型
2.12 如何理解overfitting
2.13 更多数据能缓解overfitting问题.mp4
2.14 如何理解2个input的四个线性函数是如何合并到一个线性函数中的.mp4
2.15 如果希望模型更强大表现更好(更多参数,更多input,数据量没有明显增加,仍旧导致overfitting.mp4
2.16 直观理解regularization.mp4

Bias and Variance 课程

图解笔记系列
3.1 如何直观理解bias and variance01.mp4
3.2 如何直观理解bias and variance02.mp4
3.3 如何解决模型的bias过大的问题.mp4
3.4 如何解决variance过高的问题.mp4
3.5 validation set and cross-validation 如何在实际的训练中挑选最优模型.mp4

Gradient Descent 课程

图解笔记系列
4.01 什么是gradient
4.02 如何在图上理解gradient与参数的更新.mp4
4.03 从gradient descent中窥见人工智能.mp4
4.04 人类手动设计的learning-rate不够智慧.mp4
4.05 如何让learning rate(自动)逐步缩小步伐幅度.mp4
4.06 如何让learning-rate针对每个参数和不同时点来量身定制学习步伐幅度.mp4

classification 课程

图解笔记系列
5.01 什么是classification定义和例子
5.02 为什么用regression做分类问题存在本质缺陷 part1
5.03 为什么用regression做分类问题存在本质缺陷 part2
5.04 如何用概率来解决分类问题.mp4
5.05 如何解决generative model的overfitting问题.mp4
5.06 什么是naive bayes classifer.mp4
5.07 sigmoid函数的由来.mp4
5.08 神经网络中的linear combination的由来.mp4

Logistic Regression 课程

图解笔记系列
6.01 logistic regression 是怎么来的.mp4
6.02 binary cross entropy loss是怎么来的.mp4
6.03 为什么分类问题的损失函数不能用MSE.mp4
6.04 generative model vs discriminative model的区别.mp4
6.05 如何构建多元分类(softmax的由来).mp4
6.06 什么是logistic regression的局限和feature transformation的意义.mp4
6.07 从features transformation(logistic regression)到深度学习.mp4

Introduction to deep learning 课程

图解笔记系列
7.01 什么是neuralnet和内在运算.mp4
7.02 为什么深度学习计算高效.mp4
7.03 feature transformation与neuralnet.mp4
7.04 neuralnet的解题流程.mp4

Backpropagation 课程

图解笔记系列
8 如何理解backpropagation.mp4
9.01 为什么要用mini-batch来训练
9.02 为什么要做training data shuffling.mp4

Tips in Deep Learning 课程

图解笔记系列
10.01 最常见的3中模型表现差的特征和原因.mp4
10.02 ReLU如何解决vanishing gradient的问题.mp4
10.03 如何理解maxout激活函数的意义和计算逻辑.mp4
10.04 如何直观理解adagrad, RMSProp, Momentum.mp4
10.05直观理解early stopping
10.06 直观理解regularization L2.mp4
10.07 直观理解regularization L1.mp4
10.08直观理解dropout
10.09 直观理解ensemble vs dropout.mp4

CNN 课程

图解笔记系列
11.01 为什么fully connected NN 不适合做图片任务.mp4
11.02 图像识别任务对CNN模型的要求.mp4
11.03 如何理解CNN结构设计(以及stride padding).mp4
11.04 为什么input layer 切分成blocks, 而不是vector,为什么输出matrix而不是scalar, 如何直观理解feature map? .mp4
11.05 如何理解pooling layer和最后的fully connected layer在CNN中的作用.mp4
11.06 如何直观理解CNN每层中的weights feature maps activations

Why deep? 课程

12.01 为什么深层模型表现更好且更好应对数据缺陷
12.02 如何直观理解feature map
12.03 深模型的优势举例

Semi-Supervised Learning 课程bilibili.com/video/av20

13.01什么是semi supervised learning 和generative model的解法
13.02 什么是low density assumption
13.03什么是smoothness assumption

Unsupervised Learning - Linear Methods 课程

unsupervised learning PCA Matrix Factorization
直觉版:如何理解supervised learning PCA clustering和降维度

Reinforcement learning 课程

如何理解reinforcement learning-policy based learningA3C
直觉版:如何用一张图理解reinforcement learning

Unsupervised learning - auto-encoder 课程

图解 unsupervised learning 之 auto-encoder

Generative Adversarial Network 课程

GAN的简化版笔记

Unsupervised Learning - Word Embedding 课程


待续部分

26、15: Unsupervised Learning - Neighbor Embedding27、、17- Unsupervised Learning - Deep Generative Model (Part I)29、18- Unsupervised Learning - Deep Generative Model (Part II)30、19: Transfer Learning31、20- Support Vector Machine (SVM)32、21- Structured Learning - Introduction33、22- Structured Learning - Linear Model34、23- Structured Learning - Structured SVM35、24- Structured Learning - Sequence Labeling36、25: Recurrent Neural Network (Part I)37、26: Recurrent Neural Network (Part II)38、27: Ensemble39、


1、Review: Basic Structures for Deep Learning Models (Part I)2、Review: Basic Structures for Deep Learning Models (Part II)3、Computational Graph & Backpropagation4、Deep Learning for Language Modeling5、Spatial Transformer Layer6、Highway Network & Grid LSTM7、Recursive Network8、Conditional Generation by RNN & Attention9、Pointer Network - YouTube (HD)10、Batch Normalization11、SELU - YouTube (HD)12、Capsule - YouTube (HD)13、Tuning Hyperparameters - YouTube (HD)14、Interesting things about deep learning - YouTube (HD)16、Improved Generative Adversarial Network17、RL and GAN for Sentence Generation and Chat-bot18、機械学習で美少女化 _ あるいはNEW GAME! の世界 - YouTube (HD)19、Imitation Learning20、Evaluation of Generative Models21、Ensemble of GAN22、Energy-based GAN23、Video Generation by GAN24、A3C25、Gated RNN and Sequence Generation (Recorded at F

编辑于 2018-04-17

文章被以下专栏收录