深度学习在推荐系统中的一些应用
1 概述
目前,业界常用的对推荐系统推荐的结果进行打分的模型有LR,FM,GBDT,最近看了一些公司如Google[1][2],网易[3]将深度神经网络模型用于推荐系统的文章,都表明深度学习模型在推荐中非常不错的效果,本文会对这几篇文章中介绍的如何将深度学习模型用于推荐系统做一个简单的介绍。
2 Google将深度学习用于Google Play App推荐和Youtube视频推荐
2.1 Wide & Deep Learning for Recommend Systems
本文的主要想法是将推荐,广告中常用的LR模型(使用中需要进行大量特征变换来保证模型的“记忆“能力)和DNN模型(对稀疏的,未知的特征组合做低维嵌入来保证模型的“泛化”能力)结合起来进行联合训练,从而保证记忆能力和泛化能力的均衡。话不多说,看下图:
- 这里针对LR模型值得提的是针对离散特征的叉积变换,定义如下:
这里
- 联合训练模型
这里,是LR模型权重,
是深度学习模型激活层输出
的权重,结构图如下:
- 离线AUC和在线转化率评测效果
2.2 Deep Neural Networks for YouTube Recommendations
本文的主要思想是将深度神经网络模型应用推荐系统中的两个关键过程:候选集生成和排序。
- 候选集生成
这里的目的是从海量视频库中筛选出和用户相关的几百个视频。核心方法是将推荐转化为分类问题,公式如下:
这里,
- 排序
这里通过神经网络和LR模型对每个候选的视频打分,并根据得分值对视频做排序。这里的预测目标是预期的观看时间,而不是常用的点击率。
3 网易将循环神经网络和前向神经网络用于电商网站考拉的物品推荐
本文的核心思想是用深度RNN模型对用户的浏览模式进行建模并联合FNN模型从而给用户提供个性化,实时的精准推荐。整个推荐模块的流程图如下:
- Deep RNN Model
在RNN中要保持之前所有的状态是几乎不可能完成的,现实使用中只能跟踪有限数目的状态。假设能跟踪的状态数目为
- Feedforward Neural Network
这里,文中使用FNN来模拟CF算法的过程,如下图所示:
(1)FNN有否对单物品预测准确率的影响
(2)FNN有否对topK物品准确率的影响
4 小结
深层的神经网络在横扫图像,语音领域后,也正在向个性化推荐系统领域进军,深层的模型能更好的的对用户意图进行建模,更好的发现用户和物品之间的匹配。但神经网络模型用在推荐中解决的可能只是新颖性的问题,推荐系统的问题是多种多样的,因此,并不能抛弃传统的模型。此外,数据的处理也并没有因为深度学习模型的出现而变得不重要,Garbage In, Garbage Out!!!
参考文献
[1]Wide & Deep Learning for Recommender Systems
[2]Deep Neural Networks for YouTube Recommendations
[3]Personal Recommendation Using Deep Recurrent Neural Networks in NetEase