当我们在读唐诗时,我们在读什么?

当我们在读唐诗时,我们在读什么?

前段时间随着《中国诗词大会》的热播,全国人民掀起了读唐诗的浪潮。作为一名古典诗词爱好者,我也从网上找到了一份《全唐诗》。统计了一下,一共42974首诗,顿时有了一种“天下好诗,尽入吾硬盘矣”的错觉。

这么多的好诗,白白放在硬盘上岂不浪费。

作为一名程序员,我打算站在科技与文艺的交叉口(模仿老罗的语气),写程序来分析唐诗,看看唐朝的诗人都写了什么?

1 基于字的分析

我们从最简单的,基于字的分析来入手。

1.1 作品数量

首先来看看作品数量排名。排名前十的作者如下:

前三名是众望所归,小学到高中语文课本中的选诗,也应该是这三位最多吧。第四名NA表示无名氏。后面的几位除了齐己和贯休,也都是大名鼎鼎的高手。我查了一下,齐己和贯休居然都是和尚。齐己生卒年为863年—937年,贯休生卒年为832年-912年,而唐朝亡于907年,猜测是因为他们处于唐朝末期,所以流传下来的诗歌比较多。

1.2 常用字

再看看常用字排名

除去前两名的逗号和句号,唐诗中出现最多的字是“不”字,这可能会让很多人吃惊。其实这不意外,朱自清先生在《<唐诗三百首>指导大概》说过:后人从唐诗七绝中推选了十一首经典之作,其中有八首都用了否定语:

劝君更尽一杯酒,西出阳关无故人。(王维《渭城曲》)
玉颜不及寒鸦色,犹带昭阳日影来。(王昌龄《长信怨》)
但使龙城飞将在,不教胡马度阴山。(王昌龄《出塞》)
醉卧沙场君莫笑,古来征战几人回?(王翰《凉州曲》)
两岸猿声啼不住,轻舟已过万重山。(李白《下江陵》)
羌笛何须怨杨柳?春风不度玉门关。(王之涣《凉州词》)
不知何处吹芦管,一夜征人尽望乡。(李益 《夜上受降城闻笛》)
商女不知亡国恨,隔江犹唱后庭花。 (杜牧《泊秦淮》)

这也许是因为否定句表达的语气更强,比较适合传唱,所以,“不”字才能得到诗人们的青睐吧。

1.3 季节

看看诗人们最喜欢哪个季节。

毫不意外,春天和秋天呈现出压倒性的场面。这就是一个伤春悲秋的群体啊。

1.4 颜色

再看看诗人们都喜欢啥颜色。

居然最喜欢白色,为什么??有没有懂乐嘉色彩心理学的,给分析分析吧。。

1.5 植物

松树和竹子最受诗人们喜爱,建议这两种植物作为文青界的图腾,一年四季不落叶,都是青色,多好。

1.6 动物

有了植物,当然也不能少了动物。

首先看了十二生肖的数量,后来我想到猿和猴,狗和犬是同义词,把这两个也加上了。然而并不能撼动龙和马的第一梯队地位,难道唐朝也讲龙马精神吗?

2 基于词的分析

只对字的分析当然满足不了我们,接下来我将以词为单位来分析,这就涉及到了分词的问题。我们使用清华大学NLP实验室(THULAC:一个高效的中文词法分析工具包)提供的分词工具THULAC来作为分词工具。这个工具在返回分词结果的同时,还能提供词性标记,很是方便。

以上面为例:“我”后面跟’r’表示代词,“爱”为动词(v),北京和天安门都为地名(ns)。
由于THULAC是用现代语文语料训练的,对唐诗的分词效果总有些差强人意。不过没有办法,现阶段还没有针对古典文献的分词工具,将就用吧。
用这个分词工具对《全唐诗》分词之后,就可以看到一些更好玩的结果了。

2.1 地名

首先看看唐诗中最常出现的地名。

江南和长安还是最吸引人啊,毕竟一个地方环境好,一个地方是首都,想必这两个地方的房价一定也很贵。其他如洛阳,黄河,长江,洞庭,长沙,江城(泛指水边的城市)都是游玩的好地方,古代诗人们的生活太潇洒了。
起初我把“沧洲”看错成了“沧州”,还想着怎么“沧州”这种小地方出镜率这么高。后来仔细一查“沧洲”在古文献中借指隐者居住的地方,立刻就明白为啥排名这么靠前了。看来古代的诗人除了游玩,就想着隐居,写诗误国,编程兴邦啊。

2.2 时间

再来看看时间词。

前五名居然都是一个意思,有点意外,我还想着诗人们都比较怀旧呢。看来古人也讲究活在当下啊。

2.3 场景

再来看看什么场景能引发诗人们的兴致。

门前,海上,江边,楼上,这都是写诗的好地方啊。这就跟我们现在到景区门前要合影留念,到海边、河边、高楼上都要拍照发朋友圈是一个意思吧。唐朝到现在已经过了一千多年了,发朋友圈这习惯一直没有变啊。

3 基于词向量的分析

利用THULAC的分词结果,我们接下来分析词之间的关联。为了分析词之间的联系,首先要将词转换到向量空间(我之前的文章有讲向量空间哦,不记得的同学快去复习)里,用word2vec这个工具实现词到向量的转换。word2vec的原理就是利用词之间的相对位置关系,求出词的向量表示。后续有时间的话,我会写几篇文章讲解word2vec,记得关注我哦(公众号搜索“mrqianjinsi”)。
经过word2vec的转换,我们将一个个词转换为了向量,比如“今日”这个词被表示为很长的一串数字。

所有的词被表示为数字之后,再来分析词的关系就很简单啦。比如我们看看和“天子”这个词和什么词的意思比较近,程序会列出意思最相近的十个词。

看看,我们发现了什么。天子首先是懂礼的,其次还是圣贤的,还长寿,既儒雅又雄才。天啊,唐朝诗人拍马屁的功夫比我们强多了,以后我要多读唐诗啦。
再看看和“寂寞”意思比较接近的十个词。

能看出来,诗人们往往在春日的深夜里,在树叶摇落的季节里,在旅途中,怀念故国的时候,最容易寂寞。这也难怪,我写完上个句子,都感觉有点寂寞了呢。

好了,这次的分析就都这里啦,是不是很有意思呢。后续我还将对唐诗进行更深层次的挖掘,欢迎大家关注~

注1:题图来自ctext.org/zh,这是我见过的最好的古文献阅读网站。
注2:本文首发于我的微信公众号(mrqianjinsi),欢迎大家搜索关注。
编辑于 2017-02-26