辍耕录
首发于辍耕录
点赞的泡沫——基于对照实验的证据

点赞的泡沫——基于对照实验的证据

许多网站,包括知乎,都有点赞和反对设置。用户依赖赞、反对和衍生指标判断答案质量,自己再根据观感作评论。这里马上引出问题:赞数和反对数能不能反映答案真实质量?耶路撒冷希伯来大学的Muchnik,哈佛大学的Sinan和纽约大学的Taylor联手做实验检验这一点,发现赞比反对更易被扭曲。商业、时政、文化与社会类话题赞数泡沫最大,娱乐、经济及普通新闻扭曲最小。用户关系对扭曲程度影响依关系类型及赞同/反对不同而不同。

文章很简单,故只做简单介绍。他们实验对象是某大型新闻网站评论区。每一评论有点赞及反对按钮。评论还有分数指标,用点赞数减反对数计算。实验按以下方式执行:他们随机抽取101281条评论,随机分三组:点赞处理组(up-treated group),出场自带1赞;反对处理组(down-treated group);控制组。如果没有泡沫,三组分数不应有显著差异。他们用重复抽样加分层贝叶斯模型控制可能存在的非随机异质性。主要结果见上图右侧:5个月后,点赞处理平均增加25%分数值,反对处理影响不显著。图中直线与横线不接触代表95%显著。

另一有趣结果是不同题材新闻下评论,随机处理结果差异很大。看上图,如果红线绿线相交,说明点赞/反对处理为新闻最终得分带来显著差异,说明先期一个无意义的赞对最终结果影响很大;如果不相交,说明处理影响不明显,分数泡沫较小。结果发现商业新闻评论泡沫最明显,文化与社会类新闻及时政新闻类似现象也显著。计算机、娱乐、经济及普通新闻泡沫不显著。知乎答案排序计算方式并非简单相减,反对数量也不可见,机制与“某网站”有显著差异。但类似现象在知乎,或者类似网站是不是也存在?这个问题非常有意思。

作者还考察了用户关系对泡沫大小影响。“某网站”用户可以对另一用户使用“喜欢(like)”或“不喜欢(dislike)”按钮,作者分别称之为“朋友(friends)”和“敌人(enemies)”。对具体评论,虽然看不到支持者反对者是谁,评论者信息是可见的。结果显示:如果朋友评论出场自带1赞,用户点赞概率平均高11%。虽然这一结果显著,但比起捧场,守望相助效应似乎更加明显:如果朋友评论出场自带1反对,用户赞成概率陡升约17%大家对敌人评论似乎更理性,所有估计结果都不显著。看来,大家都记得“不要仇恨你的敌人”这句教诲。

作者还考察了处理对评论回复数影响,发现结果不显著。如果把评论者分两类,一类平时赞成较多,一类平时反对较多。赞成处理让两类评论者数量都增加,评论者行为和平时相比变化不大。反对处理同样增加了两类评论者数量,但平时反对者此时多倾向于赞成,平时赞成者此时多倾向于反对,二者相互抵消。总体而言,赞成/反对处理都能增加表达立场的用户数量,但对用户立场本身影响差别很大。赞成泡沫比反对大,泡沫大小随讨论题材不同而不同。

参考文献:

Muchnik L, Aral S, Taylor S J. Social influence bias: A randomized experiment[J]. Science, 2013, 341(6146): 647-651.

发布于 2016-08-29

文章被以下专栏收录