从OpenAI看深度学习研究前沿

人工智能等 2 个话题下的优秀答主

版权说明：本文为原创文章，未经作者允许不得转载。

1 前言

想必很多知友都知道OpenAI这家初创公司。OpenAI是2015年底刚成立的人工智能公司，由Elon Musk领投，号称有10亿美金的投资额，由几位人工智能的顶尖好手组成。这基本上意味着一个新的DeepMind公司诞生，只不过这次OpenAI是一个非营利性的研究机构，不属于任何大公司。

为什么要了解OpenAI？

因为OpenAI的研究内容很大程度上代表着人工智能的研究方向，由于Elon Musk的影响力，公司非盈利的性质以及地处加州硅谷这种黄金地段，未来聚集更多顶尖人才的可能性很大，成为一个和DeepMind公司抗衡的可能性非常大。OpenAI的出现将使顶级人工智能的研究不至于被Google，Microsoft，Facebook，Baidu，IBM，Nvidia等等行业巨头垄断。

OpenAI 网址：www.openai.com
OpenAI AMA: AMA网址

OpenAI的很多成员恐怕大家都比较熟悉，有Hinton的学生 Ilya Sutskever，有李飞飞的学生 Andrej Karpathy，有Yann Lecun的学生Wojciech Zaremba，有Pieter Abbeel的学生John Schulman，也就是Andrew Ng的徒孙了。最近Ian Goodfellow大牛也加入了，Deep Learning那本书就是他主笔的。而最新的消息 Pieter Abbeel，深度增强学习的大牛，也加入了OpenAI。

OpenAI的核心目标和DeepMind公司一样，就是Solve Intelligence。解决智能，然后服务全人类，并且通过公开的方式来防止人工智能威胁。对于防止人工智能威胁的方法这里我们就不讨论了，我们更关心的是：

OpenAI具体在研究什么？
为什么研究这些问题？
这些问题是解决人工智能最关键的问题吗？

本文尝试分析以上的问题。

2 OpenAI的研究方向

从OpenAI AMA中可以看到OpenAI提了三点研究方向：

Training Generative Models
algorithms for inferring algorithms from data
new approaches to reinforcement learning

这基本代表了以下三个研究主题：

Deep Generative Model 深度生成模型
Neural Turing Machine 神经图灵机
Deep Reinforcement Learning 深度增强学习

那么这三个方向的研究的意义在哪里呢？

3 Deep Generative Model 深度生成模型

深度生成模型的研究目标是通过学习现有的数据生成新的数据，即包含监督学习，也包含无监督学习。比如下图的例子来自otoro.net，通过学习文字，然后自动生成新的文字，而这些文字人类几乎看不出区别。

比较有名的例子就是在艺术上的应用，比如Deep Dream，Neural Art，这些方法能够提取绘画艺术风格的特征，然后将特征应用在新的图片上从而产生新的图像。

除了上面的例子，还有Sequence to Sequence Learning,从序列到序列的学习。翻译：输入英文，输出中文。聊天：输入A对话，输出B对话。输入文字，输出手写字体。另一个比较重要的工作就是Deep Generative Adversarial Networks深度生成对抗网络，以及据此发展的DCGAN深度卷积生成对抗网络：

除了以上，深度生成模型也包含one shot learning的研究，也就是看一眼图像，就衍生出其变种,最新的进展是DeepMind的 One-Shot Generalization in Deep Generative Models ：

那么这方面的研究意义在哪呢？我的观点是探索人工智能的感知理解能力。一方面是不同类型数据的感知，一方面是快速感知与学习。对于不同类型数据的感知。以前只是图像识别，现在开始识别艺术特征，也可以识别文字信息的特征用于翻译对话等等。然后我们发现RNN简直无敌，什么信息都能自动提取。对于同一个seq2seq网络，用在翻译，聊天，理解炉石传说的卡片。。。 RNN可以理解任意形式的内容。另一方面我们希望能够想人类一样快速感知，而不需要巨量的训练数据，也就是看一眼就认得。

4 Neural Turing Machine 神经图灵机

理论上基于RNN计算机可以学习任何东西，那么当然也包括算法和程序了。所以Neural Turing Machine是目的是让计算机能够学习程序，从而具备推理能力。举个栗子：让计算机看很多加法运算，然后学会加法，这大概是最简单的例子。但基本是这个意思。那么Neural Turing Machine需要具备外部记忆，不过RNN，LSTM本身就具备记忆功能。想象一下未来的电脑真的变成一个“脑”：一个巨大的神经网络来实现输入输出。。

上一类研究问题是实现AI更强的感知能力，那么这一类问题可以说更变态了，直接要实现AI不仅能理解还能推导。当然本质上和第一类问题是一样的。感知也是一种理解。归根到底都是提取某种特征或者说知识信息,并且具备生成能力。依然是用RNN，目前最新的是基于增强学习的NTM。也就是说也通过自学习来增强理解。而ICLR 2016的最佳论文则通过神经网络实现程序的解释器：

NEURAL PROGRAMMER-INTERPRETERS

这一部分的研究还面向公式的证明，但这次是使用神经网络来证明公式。
其实只要能通过RNN使计算机具备理解能力，那么做什么事都一样。

5 Deep Reinforcement Learning 深度增强学习

上面两类问题主要依赖于现有知识，目的是使AI具备牛逼的学习能力。但是要使AI超越人类，就需要自我学习。大家知道AlphaGo能够自我学习，关键就是利用增强学习Reinforcement Learning.
因此，这部分Deep Reinforcement Learning，重点在于使用增强学习实现自学习能力。有很多任务并不是提供很多的样本，特别在机器人控制领域。这类问题严重需要自学习能力。也就是类比为人类的运动能力。大家知道我们要打篮球打得好需要长期的练习，并不是看一眼就会的。因此，Deep Reinforcement Learning，通往AGI的终极武器，要使AI具备自我学习的能力，只要给定一个目标。

OpenAI发布的第一项工作就是OpenAI Gym，增强学习研究平台，一个类似于ImageNet的平台，大家提交结果进行增强学习任务的比较。