StrongAI和规则嵌入式神经网络

StrongAI和规则嵌入式神经网络

摘要:本文从人工智能(AI)的定义和历史出发,剖析现有AI的不足,并据此引出了人工神经网络走向强人工智能(StrongAI)的关键因素——知识。然后,本文分析了人工神经网络与知识相结合的现有技术,并提出“规则嵌入式神经网络(ReNN)”技术。最后,本文展示了ReNN在时间序列特征点检测应用中的效果,并提供了对应研究论文的下载地址。


从2005年开始做二维条码以及数字验证码的模式识别至今,本人执着于机器学习与人工智能(AI)相关问题十多年,逐渐懂得了AI的一些皮毛。基于这些年的思考和实验,近期有一些收获和突破,在此与大家分享,希望能够为AI的发展引入新的方法,同时也请各位给予批评和建议。

为了更清楚地引入本文工作,咱先来个刨根问底的哲学三问:

AI是什么?

AI从哪里来?

AI将去向何方?

第一个问题涉及到较多的领域和学科,在此我们将其简单定义为人类制造的、用以辅助人类生产和生活的、能够应对不确定性问题的工具。我们重点分析后两个问题。


第二个问题,AI从哪里来?

最早可回溯到古希腊神话中的赫菲斯托斯,据说他会制造机器人 [1]。(不知中国古代神话最早的机器人是什么时候的呢?)真正的AI之父当属英国科学家阿兰图灵,他于1936年从理论上设计了象征AI的图灵机,并提出了至今仍在使用的图灵测试 [2]。之后AI发展可谓经历了三起三落。


首先是1956年的Dartmouth会议,与会者包括Minksy和Shannon等大牛科学家,他们乐观、甚至狂妄地认为AI将由他们那一代人得以完全实现。结果发现步履维艰,引来了第一次人工智能寒冬(1974年)[1]。

随着计算机技术的发展,上世纪80年代发展出来的专家系统再次得到热捧,引起第二次AI浪潮。然而,由于专家系统是基于符号计算的,而符号计算的复杂度随着符号的增加呈现指数爆炸,这使得专家系统的实现难度超出了资本界的极限,从而无法进行深入迭代。

第三次热浪兴起于90年代前后的统计机器学习,以Vapnik的SVM为代表,李开复老师基于统计的语音识别也是业界代表作之一。自此,AI算是走出少年的浮华,逐渐进入创造价值的阶段。不过,这个阶段的AI还只能处理较为简单的事情,诸如特征提取等关键步骤还需大量的人力和物力,而且最终效果常常不及初中学生,业界对于AI逐渐恢复理性。


2006年,“AI教父”Hinton老爷子在《科学》上发表文章[3],开启了基于深度学习(深度神经网络)的AI新浪潮。在随后的十年里,深度学习技术不断刷新AI新高度,在图像、语音识别等领域达到人类水平[4],在棋牌游戏领域超越人类[5]。尽管有研究人员警告AI泡沫已高达百分之九十,工业界和学术界对AI的投入依然热情不减。


本文工作有关第三个问题,AI将去向何方?

Hinton老爷子总结认为,AI在2017年未能出现所期待的突破。我想,老爷子所期待的可能是某种程度上的强人工智能(StrongAI),或者是通往StrongAI的清晰途径。那么,什么是StrongAI呢?如果能够通过80多年前所设计的图灵测试,大概就可认为是StrongAI了。图灵测试简单来说,就是在两个屋子里分别有一个人和一台机器,如果人类不能通过问若干问题辨别出哪个是人哪个是机器,则认为机器通过了图灵测试 [2]。


以达尔文的生物进化论类比,当前的深度学习技术大概进化到了动物智能阶段,即:给定一个明确输入和输出的任务(例如通过照片识别物种),深度学习技术利用神经网络的强大拟合和计算能力能够达到同类最佳水平,这好比是鹰的神经系统进化出了强大的视觉、狗的神经系统进化出了强大的嗅觉和听觉等。深度学习技术还可以通过网络结构和参数的部分复制处理迁移学习任务,从而适应和解决新的问题(例如通过照片识别身份),这里的复制可以认为是动物神经系统的遗传。显然,动物智能可以处理的问题还很有限,是不能通过图灵测试的。目前,学术界关于人工神经网络的主要努力方向依然在于如何使用数学理论优化模型的拟合和计算能力,用以实现更强大的动物智能。


那么,如何从动物智能进化到人类智能(StrongAI)呢?通过数学理论优化模型可能难以很快实现StrongAI,因为这个过程在生物进化过程中可是花费了数百万年的漫长时间!

我们决定直接参考并引入人类智能的关键因素来设计StrongAI。人类智能最关键的因素当属“知识”:当我们的祖先创造了符号,用以记录天地日月的规律,他们才算真正从动物进化成了人类。简单来说,知识是基于对客观世界的抽象认识和定义而总结出来的规律。然而,当前的深度学习技术除了神经网络结构和参数的共享(对应非常具体和细节的认知),并不包括抽象化的知识共享,我们认为这是其难以达到StrongAI的主要原因。因此,引入知识可能是深度学习技术走向StrongAI的关键步骤。


现有两种将深度学习和知识结合起来的方式:

  1. 基于知识提取特征后进行深度学习(预处理方式);
  2. 应用知识对深度学习的结果进行补充或者修正(后处理方式)

我们认为,这两种方式只是形式地将深度学习和知识结合到了一起,深度学习本身并没有领悟到知识的语义层面。第一种方式退回到了传统的统计机器学习,需要大量人力和物力进行特征工程。第二种方式只利用了深度神经网络的最终输出结合知识进行推理,而忽略了神经网络内部对输入细节特征的认识,这使得知识的应用难以综合考虑细节特征而显得生硬。另一方面,深度神经网络内部依然没有引入知识,其结果依然处于动物智能的水平。


我们使用的是另一种嵌入式处理方式,即,规则嵌入式神经网络(ReNN)。其中,规则用来表示计算机可处理的领域知识。ReNN将深度神经网络的“黑盒”拆分为局部推断和全局推理两个步骤。局部推断只处理从经验数据中容易学到的局部模式,这个过程可类比为人类认知过程中对原始数据的抽象化过程,其目标在于提取原始高维数据中的一些知识语义元素,例如人脸识别时的嘴、耳、眼睛等器官。全局推理通过规则调制模块对数据中的语义元素进行规则化建模,最终综合建模所产生规则调制图和局部模式产生最终输出。ReNN的计算图如图1所示。


图1. ReNN的计算图


以下,我们以智能穿戴设备的心电图(ECG)R波峰识别举例。ECG是使用体表电极检测到的心脏电活动,已在医学上使用100多年了,是用于分析心脏结构和功能的第一手资料。近年来,ECG被引入到智能穿戴设备上,用于便捷地监测用户的心脏状态,并对某些心脏病变进行报警。R波峰是心室去电极化的关键时间点,是精确分析心率变异性、脉搏传导时间的重要依据。然而,由于皮肤接触电阻变化、肌电、运动和电磁波等噪声因素的干扰,R波峰检测并不是一件容易的事情。尤其是智能穿戴设备为了减少用户的不适性,信号中的干扰成分更多。图2展示了智能穿戴设备采集的ECG示意图,其中,上部曲线所示为噪声干扰较少的ECG,下部曲线所示为噪声干扰严重的ECG。

图2. 智能穿戴设备采集的ECG示意图

对于图2中噪声干扰严重的ECG信号的R波峰,其信号电压范围只有0.2mV左右,而标准心电一般是其5倍。即使对于心内科医生或者技师,他们一时半会儿也不能准确辨认哪些是R波峰,哪些是噪声干扰(当然,他们一般拒绝分析这样的信号)。现有计算机算法一般是没有能力准确检测的,或多或少会出现一些错误。不过还好,我们可以依据该用户的生理状况来找出真正的R波峰。该ECG信号是由一名25岁无心脏病史的女性在静息状态下测量得到的,所以我们知道,该ECG中不存在早搏或者心率不齐,从而获得准确的R波峰标签。


图3所示为我们提出的ReNN模型的检测效果。图中横轴表示时间;上部的红线是ECG时序数据;其余三条曲线自上到下分别表示局部推断(线F)、规则调制(线R)和全局推断(线O)的结果;红圈标识了R波峰的时间位置。向下的三角形标记了一处局部推断的误识(线F,推断概率为0.58),而全局推断依据规则调制图(线R,推断概率为0.13)降低了改时间点的推断概率(线O,推断概率为0.36),从而避免了此处的误识。此外,该三角形前的第一个R波峰受噪声影响发生了较大的形变,是一个容易漏识的R波峰(线F,局部推断概率仅为0.55),而全局推断依据规则调制图(线R,推断概率为0.88)提高了该时间点的推断概率(线O,推断概率为0.66),从而增强了对噪声的鲁棒性。

图3. ReNN的心电检测效果示意图

除了提高模型的准确性,我们的实验还表明:

  1. 由于规则调制模块接管了针对数据中的远距离(long-term)依赖的建模功能,ReNN中的神经连接主要负责短距离(short-term)建模功能,这使得ReNN还有能力降低模型的计算复杂度;
  2. ReNN可以从局部推断、规则调制和全局推断三个方面对结果进行解释,因此具有较强的可解释性。

具体技术可参阅我们的预印版论文[6]。


当然,ReNN的探索和研究刚开始,还存在很多待解决的问题,例如:

  1. 在ECG的R峰识别问题中,有必要依据心内科的医学知识构建更丰富的规则库,用以学习心内科医生对早搏、二联律等异常节律的识别和分析
  2. 考虑不同专业领域的规则库,有的是领域独有的(例如心脏早搏的方式),有的是共性的(例如近似周期性既可用于心率,还可以用于脉搏、呼吸、流感等数据的分析),因此,有必要对规则进行归纳和分类,从而让StrongAI从规则库中自动、快速的找到适用的规则
  3. 参照人类的学习和成长过程,我们也需要为StrongAI设计一套学习知识的机制,使其能够不断积累、重构并优化规则库,从而在给定的计算资源条件下,达到最佳的智能。


希望此项工作能够为机器学习和StrongAI的发展引入新的方法,不当之处,敬请批评。欢迎各位给予讨论和建议,诚邀合作研究。此外,本人长期招收对AI感兴趣愿意为之奉献的实习生。


最后,特别感谢悦享趋势科技的朱宇东先生为此项研究提供的支持;

特别感谢中科院自动化所的王珏老师,其“结构+平均”理念是此项研究的灵感之源。


本文首发于悦享Blog,技术讨论请移步知乎,研究合作请联系:

tiger@lohas-tech.com.cn, wlys111@163.com

marketing@lohas-tech.com.cn (商务)


参考文献

[1] baijiahao.baidu.com/s?

[2] en.wikipedia.org/wiki/T

[3] G. E. Hinton and R. R. Salakhutdinov, "Reducing the dimensionality of data with neural networks," Science, vol. 313, pp. 504-507, 2006.

[4] K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770-778.

[5] D. Silver, J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, et al., "Mastering the game of go without human knowledge," Nature, vol. 550, p. 354, 2017.

[6] H. Wang, “ReNN: Rule-embedded Neural networks,” arXiv preprint arXiv: 1801.09856, 2018

编辑于 2018-01-31

文章被以下专栏收录