拥有属于自己的Python爬虫框架--练习编写多线程、协程爬虫框架!

拥有属于自己的Python爬虫框架--练习编写多线程、协程爬虫框架!

大概两个月前,我把自己维护的一个“极为简洁”的Python爬虫框架PSpider放在了Github,并在专栏中做了简单介绍:一个极为简洁的Python爬虫框架。没想到两个月的时间,“竟然”收到了超过300的star,让我很意外,所以我也一直在尽量改进这个框架:xianhu/PSpider

写这个框架的初衷,主要有以下几点:

  1. 熟悉Python爬虫框架原理和逻辑,而不是只会用别人的框架。
  2. 练习Python的各种语法,包括多线程、多进程、协程、装饰器、元类、多继承等。
  3. 尝试自己去维护一个开源框架,熟悉Git用法等。虽然框架不牛,但还是挺锻炼自己的。

关于开源作品,有兴趣的可以看一下这个回答:如何在 Github 上做一个规范的开源项目?

如果大家有兴趣可以Fork代码之后仔细读一遍,结合我的一些说明,应该不难理解框架其中的逻辑。当然也很欢迎大家star?。对于协程部分,如果没有协程基础,建议转到:理解Python中的异步IO和协程(Coroutine),并应用在爬虫中



PSpider框架的特性和功能

首先说一下PSpider框架的特性和功能:

  1. 支持两种爬虫框架模型:多线程爬虫框架 和 协程爬虫框架(利用aiohttp库)。写两个模型的目的,也是为了练习Python的高级特性,以及爬虫的高级用法。
  2. 定义了爬虫工作中通用的函数、类等,比如URLFilter,make_random_useragent等。
  3. 尽量考虑爬虫工作的各个场景,尽量使得使用者只专注业务(解析、反爬等),而不用考虑其他事情,比如如何线程同步、如何设计数据流等。
  4. 爬虫框架虽然有两种模型,但是代码量较少(6、7百行左右),容易阅读、理解和扩展。
  5. 下一步计划再加一种爬虫框架模型:分布式爬虫。


PSpider框架的基本结构和原理

这里再一次简单说一下框架的原理和逻辑,有什么不明白的,可以自己去读一下源码,应该很容易理解。PSpider框架主要有这么几个模块:
  1. utilities模块:主要定义了一些工具函数、工具类等,即抽象出爬虫工作中的具体流程、通用流程等做成函数或者类,目的是为了节省爬虫工程师的时间。比如定义UrlFilter类用于过滤Url,定义make_random_useragent随机获取UA值。
  2. instances模块:主要定义了多线程爬虫模型中用到的Fetcher、Parser、Saver三个工作类,即爬虫在工作过程中真正干活的流程。使用框架时,一般都需要继承并改写上边的三个类,特别是Parser类。即三者都需要定制化,框架在这一步还做不到完全通用。
  3. concurrent模块:定义多线程爬虫框架(concur_threads.py)和协程爬虫框架(concur_async.py),用于爬虫过程中线程和协程的合理调度、数据共享、状态监控等。该模块是框架的核心模块。

如果把爬虫框架比作一个工厂,则对于多线程爬虫框架,concurrent模块定义多个车间并做相应的调度、信息同步等,instances模块定义每个车间中工人的工作流程,utilities模块定义一些生产过程需要的工具、机器等。Fetcher类根据url进行简单的抓取,并返回抓取内容。Parser类根据抓取内容进行解析,生成待保存的Item及待抓取的Url列表。Saver类进行Item的保存。(具体可查看上文中的流程图)。

具体的用法,大家可以参考Github上的说明文档。有什么问题,可以随时和我沟通,非常非常欢迎大家根据自己的业务提出需求,甚至提出代码合并请求等。

另外,代码部分有一些demos_*的文件夹,是一些框架使用的demo,包括当当图书信息抓取、豆瓣电影抓取、NBA球员信息抓取等。由于PSpider框架的不断变化,这里不保证每个Demo都还能直接调用,但是应该稍微修改就能使用。如果你希望分享你自己的Demo,也欢迎大家提交Pull Request。

再一次放上爬虫框架代码地址:xianhu/PSpider

=============================================================

作者主页:笑虎(Python爱好者,关注爬虫、数据分析、数据挖掘、数据可视化等)

作者专栏主页:撸代码,学知识 - 知乎专栏

作者GitHub主页:撸代码,学知识 - GitHub

欢迎大家拍砖、提意见。相互交流,共同进步!


==============================================================

编辑于 2016-12-20

文章被以下专栏收录