Python情感分析:鹿晗的粉丝们究竟原谅他了吗?

Python情感分析:鹿晗的粉丝们究竟原谅他了吗?

国庆长假的最后一天,鹿晗在微博上公开宣布和关晓彤的恋情。消息来得太突然,不仅粉丝圈里炸了,顺带连微博服务器也给炸了。在此心疼新浪运维工程师一秒,放个假都不能省心。

这条微博让粉丝们心情复杂,却让各路媒体们集体高潮,从各种刁钻的角度进行了全方位的报道和评论,蹭热点的姿势令人眼花缭乱。(在这点上不得不承认,我们是个不称职的公众号,到今天才有了这么一篇分析。)

到目前,这条微博已经有了280多万条评论。有点赞祝福的,有质疑的,当然也少不了悲痛欲绝,甚至表示取关粉转路人的。那么究竟粉丝们对此事的态度如何,真的“原谅”鹿晗了吗?于是,我们编程教室的小伙伴用 python 对评论里的情绪做了个简单的统计分析。

先说我们的结论:原谅?不存在!

此微博的评论中负面情绪较多,说明还是被扎心的粉丝们占了多数,不是一时半会儿就能“原谅”的。这也是符合主观感受的。引用一个热评来说就是“3909万粉丝,一起失恋了”。

这是我们通过一些数据分析得出的结论,到底是不是可信,可以一起来看下我们的分析过程。

1. 抓取微博评论

抓取微博使用了爬虫框架 scrapy,并结合 mongodb 作为数据存储。通常来说,手机版网页会比 PC 版网页更容易抓取数据,所以我们通过 m.weibo.cn 找到了此条微博的评论数据接口:

https://m.weibo.cn/api/comments/show?id=4160547165300149&page=1

通过修改 page 参数,可以获取各页评论。

得到数据之后,通过正则或 bs4 对信息进行提取(我们的代码里用了正则),将评论内容文本存入数据库。

2. 情感分析

2.1 snownlp

首先我们使用了 python 的一个情感分析库 snownlp。在开发过程中,我们看到知乎上也有人做了同样的工作:

snownlp(github.com/isnowfy/snow)是一个可以方便处理中文文本的 python 库,提供了分词、词性标注、情感分析、文本分类、转拼音、繁转简、提取关键词、摘要等功能,功能十分强大。

分析结果:

图中情感值越接近 0 表示越消极,越接近 1 表示越积极。从结果来看,0、1 两端和中间 0.5 的数量最多,整体上较为平衡,稍稍偏积极一些。

可真的是这样吗?

我们来挑几热门评论尝试下:

  1. 大家觉得是假的点赞 0.99
  2. 大家觉的鹿晗与关晓彤不配的请点赞。 0.48
  3. 一定是电视剧的宣传。一定是。 0.39
  4. 不喜欢关晓彤的赞我 0.80
  5. 哥哥 我们心脏不好 0.98
  6. 同意恋爱,关晓彤就算了吧。 0.55
  7. 如果不是关晓彤。。我觉得我还没那么心痛!人生的悲哀就是最喜欢的和最讨厌的在一起了 0.81


这好像不大对吧。

后来进一步了解发现,snownlp 的默认训练语料库是针对网上商品的购买评价,将其得出的模型用在此微博评论的分析上并不是很准确。于是我们又从网上找了一份针对腾讯微博上新闻事件评价的语料库,来修正训练数据。但可惜因为样本量较少,并且也不是很符合此场景,因此结果和上述差别不大。

我们上面提到的两篇文章,结论也与此类似。如果要进一步提升 snownlp 准确性,则需要一定数量的手动标记样本。

2.2 腾讯文智

那如果一时没有那么多的标记样本,有没有其他方法?我们找到了“腾讯文智” — 腾讯出品的中文语义平台,支持 NLP、转码、抽取、全网数据抓取等中文语义分析需求。这个平台是收费的,不过有一些免费配额,足够我们做一些小的实验分析。

在使用之前,我们也将前文的几条热评测试了一下:

我们来挑几热门评论尝试下:

  1. 大家觉得是假的点赞 0.52
  2. 大家觉的鹿晗与关晓彤不配的请点赞。 0.53
  3. 一定是电视剧的宣传。一定是。 0.50
  4. 不喜欢关晓彤的赞我 0.62
  5. 哥哥 我们心脏不好 0.02
  6. 同意恋爱,关晓彤就算了吧。 0.48
  7. 如果不是关晓彤。。我觉得我还没那么心痛!人生的悲哀就是最喜欢的和最讨厌的在一起了 0.35

从这几个例子来看,文智相对要准确一点,虽然有些评论依然没有被划归到负面,但至少没有给到很夸张的积极情感值。

由于文智的数量限制,我们对数据中进行了随机抽样,用一小部分数据进行分析,并且过滤掉了情感值为 0.5 的部分(其中有不少是纯表情回复),得到如下结果:

尽管在手动测试时发现文智的预测会略偏积极,但即便如此,最终的结果依然偏向消极。由此推断,实际的情感可能比这个分布更加负面。这也就是我们文章开始时给出的结论。

这个结论其实并没有多大意义(反正我也不粉鹿晗),但通过程序来做情感分析,也许你会用得到。

获取源码和详细文档,请在公众号(Crossin的编程教室)中回复 鹿晗


════

其他文章及回答:

用 Python 解读十九工作报告
Python有嘻哈:Crossin教你用代码写出押韵的verse
听说你好不容易写了个爬虫,结果没抓几个就被封了?
喏,你们要的 PyCharm 快速上手指南
编程新手:看懂很多示例,却依然写不好一个程序
给伸手党的福利:Python 新手入门引导
如何用100行Python代码做出魔性声控游戏“八分音符酱”
学习编程的过程中可能会走哪些弯路,有哪些经验可以参考?
你是如何自学 Python 的?

Crossin的编程教室

微信公众号ID:crossincode
网站:crossincode.com
QQ群:657099683
微信加群:crossin123(新手/进阶/爬虫)

编辑于 2017-10-23

文章被以下专栏收录

    本专栏旨在为编程初学者提供浅显易懂的入门科普。微信公众号:Crossin的编程教室(crossincode),内有面向零基础学习者的 Python 入门教程。代码问题可上 bbs.crossincode.com 发帖提问。