首发于科学投资
如何搭建量化投资研究系统?(数据篇)

如何搭建量化投资研究系统?(数据篇)

本篇「科学投资」文章来自知友 @徐瑞龙 的投稿,非常感谢 @徐瑞龙 的支持!

如果有其他知友希望投稿给「科学投资」知乎专栏或者「科学投资」公众号,请私信@王喆 或者关注「科学投资」公众号(kexuetouzi)留言,「科学投资」团队欢迎大家踊跃投稿!

一、量化投资,数据是基础

量化投资的理念现在越来越被人熟知,不论是在学校还是在职场,对量化投资感兴趣,想要一试身手,甚至是将Quant定为职业目标的人也越来越多。不过许多朋友现在还只是临时搜罗有限的数据,做一些零星的研究、测试和计算。与其这样没有明确目标地小打小闹,不如着手建立一个比较完善的“量化投资研究系统”,下面我将和朋友们分享一下我在这方面尝试的心得。

中国有句古话叫做“兵马未动,粮草先行”,对于量化投资研究而言应该改为“模型未动,数据先行”,高质量的数据是出色研究的基础。需求决定功能,我们要做哪方面的量化投资研究,决定了我们需要哪些数据。

我所理解的量化投资研究大致包括3块内容:

  1. 学术化的研究工作,例如金融时间序列分析,这一块研究主要集中在各种金融产品的交易数据上,例如股票、期货、期权的价格,基金净值等等;
  2. 构建交易策略或投资组合,这一块研究需要交易数据、宏观经济指标和公司财务数据等等;
  3. 策略回测,这一块研究需要大量历史交易数据,用来测试评估交易策略和投资组合。

“天下没有免费的午餐”,为了获得数据,要么付出金钱成本,购买数据终端(例如Wind终端);要么付出时间成本,自己动手搭建维护一个金融数据库。如果没有机会摆弄万得、彭博,还是毛主席那句话——“自己动手,丰衣足食”。

信息时代,最大的数据源就是互联网,而且在绝大部分情况下,互联网可以提供公开免费的数据。所以我们要搭建的数据库实际上是依赖“网络爬虫”获取互联网上的数据。不过在讨论如何获取数据之前,为了确保将来的工作简单高效,先要“约法三章”:

  1. 尽量以下载文件,而不是抓取网页内容的方式获得数据;
  2. 尽量减少抓取网页的次数,换言之,一张网页上的数据要尽可能的多;
  3. 尽量抓取静态网页内容,而不是动态网页。(有一个简单的规则区别静态和动态网页,如果网页内容变化之后,地址栏里的URL链接跟着变化,就是静态网页,反之则是动态的。)


二、寻找金融数据源

废话不多说,下面正式讨论如建立自己的金融数据库(目前只限于股票和基金数据)。

首先来到上交所和深交所的网站,目的是找到股票代码和指数代码列表。深交所以文件下载的方式提供股票和指数代码(业界良心),上交所则是以网页形式提供。天天基金网以网页的形式提供了基金代码列表(网址1234567.com.cn/allfund.)。

基金代码(天天基金网)

接下来看股票和指数的交易数据,要想获得这些数据,一个最自然的想法就是到主流门户网站上去找。事实上网易、新浪、和讯和东方财富等门户网站都以网页的形式提供每日交易数据。不过网易这一次成为了业界良心,网易提供数据下载服务,可以下载csv文件获得股票和指数的历史交易数据,以及股票最近一周的高频交易数据。网易提供的数据甚至包括除权调整过的昨收数据(妈妈再也不用担心我计算收益率了,真是业界良心啊)。

历史交易数据(平安银行)


成交明细(平安银行)


和交易相关的另一种重要数据是“复权因子”,可惜提供复权因子数据的网站并不多,新浪这一次成为了业界良心,新浪以静态网页的形式提供每日的复权因子。

复权因子(平安银行)


基金净值数据,和股票跟指数一样,门户网站大多以网页的形式提供历史净值数据,不过和讯这一次做了业界良心,和讯在基金的历史净值网页上展示了该基金所有的历史净值数据。

基金净值(华夏成长)


一些基本资料层面的数据,例如上市公司的基本资料,基金的基本资料等,对于这些数据,网站之间的大同小异区别不大。

最后看上市公司的财务数据,有些类型的量化投资特别需要研究公司财务数据,尤其是量化选股,需要大量财务数据构造因子,用来对股票估值和预测未来收益率。不过对比多家网站之后,不幸地发现不同网站提供的财务数据格式不尽相同,数据内容也是有出入。这一部分数据的搜集比想象的要复杂得多,将来会专门写一篇文章讨论这个问题,暂时搁置一下。



三、开始搭建金融数据库

通过上面的文章,数据源已经基本确定了,接下来就要“修渠引水,汇入水库”。水库的话,就选择最常用的数据库MySQL;水渠的话,这里用R语言。

前面讲过了,整个数据库依赖网络爬虫获得数据,所以修水渠之前要先掌握下面几个方面的基本知识:

  1. R的语法,以及如何使用RCurl、XML、xml2等R包设计爬虫;
  2. 网页的基本结构,以及如何利用FireFox浏览器的FireBug插件或Chrome浏览器研究网页结构;
  3. 正则表达式;
  4. XPath语法,以及使用XPath提取html文件中的特定节点。

看起来需要很多的知识准备,不过以我个人的经验,每个方面只要掌握最基本的知识就可以利用R做出一个靠谱的爬虫。如果想要集中时间系统化的学习上述知识,这里推荐两本书《Automated Data Collection with R》、《XML and Web Technologies for Data Sciences with R》和一篇网络教程《55分钟学会正则表达式》。

接下来用一个实例演示如何获得数据。

首先,到交易所网站手工收集整理A股的股票代码和指数代码列表,分别保存在文件SH.A.list.txt、SH.IDX.list.txt、SS.A.list.txt、SS.IDX.list.txt中。用R函数readLines读取称为相应的字符串向量,接着构造“市场代码向量”用来标识股票和指数对应的市场,沪市记为0深市记为1,将这些向量组合成数据框(data.frame,R中常用的数据结构,类似excel表格)A.list和IDX.list。

第二步,找到包含所需信息的网页,解析网页链接的模式。

以平安银行为例,现在想要获得股票的首次上市日。网易平安银行的网页链接是quotes.money.163.com/10,1000001中开头的1是市场代码,000001是股票代码。在Chrome中打开网页,按F12打开网页分析工具,找到“首次上市”节点,右键复制XPath,即“/html/body/div[2]/div[22]/div[2]/p[9]”。

在R中运行下面的语句:

# 加载xml2和stringr包

library(xml2)

library(stringr)

# 链接

url <- "http://quotes.money.163.com/1000001.html"

# 读取网页

html <- read_html(url)

# XPath

path <- "/html/body/div[2]/div[22]/div[2]/p[9]"

# 找到“首次上市”节点

date <- xml_find_all(html,

 xpath = path)

# 转化成文本

date <- xml_text(date)

date

# 如果乱码,修改编码

Encoding(date) <- "UTF-8"

date

# 用正则表达式提取日期

date <- str_extract(date,

                    "[0-9]{4}-[0-9]{2}-[0-9]{2}")

date

最后得到date=”1991-04-03”,正是想要的首次上市日期。

如果是下载文件的话,先要通过浏览器获得下载地址,例如

其中蓝色的是市场代码,红色的是股票代码,绿色的是日期,紫色的是数据项。

R中的download.file函数可以用于下载文件,或是借助RCurl中的getBinaryURL函数,并配合使用writeBin函数。在R中运行下面的语句:

url <- "http://quotes.money.163.com/service/chddata.html?

code=1000001&start=19910403&end=20150629&fields=TCLOSE;

HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;

VOTURNOVER;VATURNOVER;TCAP;MCAP"

# 方法一

download.file(url,

 destfile = "000001.csv")

# 方法二

file <- getBinaryURL(url)

writeBin(file,

 con = "000001.csv")

就可以下载平安银行的历史交易数据。

在成功获得数据,并保存到若干csv、txt文件之后,最后一步就是导入数据库MySQL。借助R包RMySQL,可以实现R和MySQL的连接,在R环境中直接操作MySQL数据库。

# 载入RMySQL包

library(RMySQL)

# 建立数据库连接

conn <- dbConnect(MySQL(),

                  dbname = "数据库名",

                  username = "用户名",

                  password = "密码")

# 启动非严格模式

dbSendQuery(conn,

 "SET @@sql_mode=ANSI;")

# win7环境下如果汉字乱码,就运行这条命令

dbSendQuery(conn,

 "SET NAMES GBK")

将文件中的数据导入数据库可以使用下面的R命令:

sql <- "load data infile ‘文件名’

into table 表名

character set GBK

fields terminated by ','

lines terminated by '\r\n';"

dbSendQuery(conn, sql)

至此,金融数据库从无到有。未来数据库的维护工作可以安排在周末,利用一个下午的时间,运行R程序获取这一周新增的数据,并导入MySQL。在实际操作中,建库和维护会遇到很多琐碎的细节问题,比如说网页编码、股票退市、新发股票、网站出现故障、表的设计等等,这里不能展开来讲,只能在动手的过程中自己摸索,具体问题具体分析具体解决。



在未来的「科学投资」文章中,我们会介绍更多科学的投资方法,帮助您实现资产的稳健增值,期待您关注「科学投资」微信公众号和知乎专栏阅读更多「科学投资」文章!



欢迎关注「科学投资 」微信公众号:kexuetouzi

编辑于 2015-07-05

文章被以下专栏收录