从ctr预估问题看看f(x)设计—LR篇

点击率预估模型,如果包括各个模型的变种,可能不下数十种,主流模型大概分几个流派:

  • 复杂特征+简单模型:以大规模离散LR为代表,学到的知识全部存储到模型
  • 简单特征+复杂模型:以GBDT,DNN为代表,学到的知识存储在特征和模型两个地方

不管哪一种都是就相对静态的,都是截取过去某一个时间片的规律来预测未来。潜在假设是过去时规律在未来同样有效,这种假设在现实面前还是too young too simple,sometimes naive。用户的行为影响推荐系统,推荐系统又反过来影响用户的行为,循环往复;除了这种模型自身的扰动,还有运营手段以及外部大环境的干扰,很多因素都在改变数据中的规律,模型刚上线效果非常好,运行一段时间之后慢慢变得不起作用。目前看到两条路尝试解决这个问题:

  • 一条路是“与时俱进”,更快的模型更新直到在线学习
  • 另一条路是引入博弈论,强化学习对用户-系统交互行为进行建模

综上,ctr预估的f(x)可以分大规模离散LRTrees, DNN&Embedding,以及Reinforcement-Learing四个分支,本文着重介绍大规模离散LR分支的两条演进路线,来看看LR/FM/FFM/CGL/MLR/LASER之间的关系:

参考factorization machine和logistic regression的区别?

参考资料:

[1] meihua.info/a/65329

[2] difangzhi.org/1375930.h

[3] tech.meituan.com/deep-u

[4] 海量数据下的非线性模型探索

[5] Coupled Group Lasso for Web-Scale CTR Prediction in Display Advertising

[6] Simple and scalable response prediction for display advertising

[7] LASER: A Scalable Response Prediction Platform For Online Advertising

[8] Computational Advertising: The LinkedIn Way

[9] Field-aware Factorization Machines for CTR Prediction

[10] Factorization Machines

[11] Factorization Machines with libFM

[12] Netflix winner solution PPT

[13] blog.csdn.net/zc0205112

[14] voidcn.com/blog/lujiand

[15] https://mp.weixin.qq.com/s?__biz=MzIzOTU0NTQ0MA==&mid=2247485097&idx=1&sn=6dbc197e67e8a2ba3ee78786b13d894d&chksm=e9293ba6de5eb2b05ebb7646ae643fd5748f28f2dde6f27342a8b01e1c25aafe21f8d6b5539f&mpshare=1&scene=1&srcid=0615Bq9o2nTWrxUzs3q5hzIJ#rd mlr细节公开含paper

编辑于 2018-07-25