AI+X
首发于AI+X

神经网络原理演示动画合集

开帖搜集几个网上炫酷的神经网络原理演示动画

来自 Tensorflow 的分类神经网络

网址:Tensorflow — Neural Network Playground

初学者可以检验自己是否理解什么是 Epoch, Learning rate, Activation, Regularization, Regularization rate, Hidden Layers, number of neurons 以及改变它们会对分类结果造成的影响。对于下面这种对角分类,可以看一下不加隐藏层,神经网络是否可以成功分类。

网站截图如下:

如何初始化神经网络参数

网址:deeplearning.ai/ai-note

这是 deeplearning.ai 做的系列教学网页中的一篇。讲述为何神经网络参数初始化的时候数值太小有梯度消失,数值太大有梯度爆炸,以及为何 Xavier 初始化提供了大小合适的神经网络参数初始化方案,刚好能够解决这两种问题。

Xavier 参数初始化方案为

Xavier 参数初始化方案,第 [l] 层的权重 W 初始化为满足正态分布的随机数。正态分布的平均值为0,方差为第 l-1 层神经元个数 n 的倒数。Bias b 初始化为0. Xavier 初始化又叫 Glorot 初始化。

不同优化算法的对比

网址:gitlab.com/snowhitiger/

这是我做的各种优化算法可视化对比的 JupyterNotebook 动画。点击上面网址中的蓝色 binder 按钮,等待一会儿, 再点击 sgd_visualization.ipynb ,可以在线打开 notebook。手动调节学习率 lr, 动量参数以及 Adam 的 \beta_1\beta_2 参数,能够直观的学到不同优化算法的参数应该如何设置。网页截图:

Adam 优化算法。beta1 默认一般选0.99,但可视化显示 beta1 选 0.5 可以减少Adam 在极小值附近的盘旋。beta2 一定要非常接近1,太小则震荡。

知乎介绍:zhuanlan.zhihu.com/p/64

相似的对比不同优化算法的可视化网页还有:

Why Momentum Really Works: distill.pub/2017/moment 网页截图:

deeplearning.ai deeplearning.ai/ai-note

之前网络太差,没有发现 deeplearning.ai 出第二期教学网页了,又是一篇精品。网页截图


在浏览器里训练卷积神经网络

斯坦福大学AI网红 Karpathy 写的 javascript 代码 convnetjs 可以使你在浏览器里训练一个卷积神经网络。

网址: cs.stanford.edu/people/

神经网络的全局解释

distill.pub 每篇文章都是经典。这篇文章介绍神经网络的全局解释,试图理解每个神经元(或卷积核)学到了什么特征。

The Building Blocks of Interpretability 网址:distill.pub/2018/buildi

网址截图:

强化学习值函数与时间差分

The Paths Perspective on Value Learning 网址:distill.pub/2019/paths-

网址截图:

总结:

网络上有很多学习深度神经网络的资源。这些交互式动画能以最直观的方式,最快的速度,解释概念,传播深度学习方向的知识。此搜集中的网页截图归原网页制作者所有。

编辑于 2019-11-15

文章被以下专栏收录

    此专栏会关注AI领域的最新进展,代码复现,交叉学科应用