从零开始写Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍

从零开始写Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍

这次我们要介绍一个及其强大的爬虫框架---Scrapy,相比于前面我们写的bs4爬虫来说,这次要学习的框架更加的具有规模性,具有良好的并发性能,话不多说,让我们开始吧。


Srapy框架的安装:

无论是在windows还是mac下,都可以是用pip工具进行快速安装:


pip install scrapy

这里推荐一个非常好用的Python调试shell:ipython

ipython是一种基于Python的交互解释器,比原生的Python shell提供了更加强大的编辑和交互功能,比如,代码高亮,自动补全等等。
我们依旧用pip工具进行安装:

pip install ipython

Scrapy框架的基本介绍:

首先,我们得明白一点,Scrapy不是一个功能函数库,而是一个爬虫框架,简单的说,他是一个半成品,可以帮助用户简单快速的部署一个专业的网络爬虫。如果说前面我们写的定制bs4爬虫是”手动挡“,那Scrapy就相当于”半自动档“的车。

Scrapy框架结构:

首先来一张框架整体的图:


从图中我们可以清楚的看到,整个框架一共分为五个部分:


  • SPIDERS
  • ITEM PIPELINES
  • DOWNLOADER
  • SCHEDULER
  • ENGIINE


这五个部分互相协作,共同完成了整个爬虫项目的工作。下面我们来一个一个介绍。

  • SPIDERS:

Spiders这个模块就是整个爬虫项目中需要我们手动实现的核心部分,就是类似我们之前写的get_content函数部分,最主要的功能是 解析网页内容、产生爬取项、产生额外的爬去请求。

  • ITEM PIPELINES:

    这个模块也是需要我们手动实现的,他的主要功能是将我们爬取筛选完毕的数据写入文本,数据库等等。总之就是一个“本地化”的过程。

  • DOWNLOADER:

    这个模块,是Scrapy帮我们做好的,不需要我们自己编写,直接拿来用就行,其主要功能就是从网上获取网页内容,类似于我们写的get_html函数,当然,比我们自己写的这个简单的函数要强大很多

  • SCHEDULER:

    这个模块对所有的爬取请求,进行调度管理,同样也是不需要我们写的模块。通过简单的配置就能达到更加多线程,并发处理等等强大功能。

  • ENGIINE
    这个模块相当于整个框架的控制中心,他控制着所有模块的数据流交换,并根据不同的条件出发相对应的事件,同样,这个模块也是不需要我们编写的。


Scrapy框架的数据流动:

先上一张图:


说了各个模块的作用,那么整个项目跑起来的时候,数据到底是怎么运作的呢?让我来详细说明:

  1. Engine从Spider处获得爬取请求(request)
  2. Engine将爬取请求转发给Scheduler,调度指挥进行下一步
  3. Engine从Scheduler出获得下一个要爬取的请求
  4. Engine将爬取请求通过中间件发给Downloader
  5. 爬取网页后后,downloader返回一个Response给engine
  6. Engine将受到的Response返回给spider处理
  7. Spider处理响应后,产生爬取项和新的请求给engine
  8. Engine将爬取项发送给ITEM PIPELINE(写出数据)
  9. Engine将会爬取请求再次发给Scheduler进行调度(下一个周期的爬取)


系统化入门?

Scrapy是一个很强大的爬虫框架,用起来很方便,但是要定制高级的功能就不是那么简单的了。我这里只是简单的介绍了一下框架的基本原理,但具体如何使用不是一时半会能够说完的,当然,我会在后面的例子中一一展现这个框架的高级功能。

如果你想要更加系统化的学习理解这个框架:

我推荐官方的文档:Scrapy 1.3 documentation

英文水平不好同学,我推荐下面两个文档:
1 文档中文翻译版:Introduction | scrapy 中文手册
2 scrapy 中文手册: Scrapy 0.24 文档 - Scrapy 0.24.6 文档


这篇文章写得很“干”,我尽量写得通俗易懂一点,这个系列专栏一直都是以面向初学者为标准,所以写得很白,也可能会有些地方出错,希望各位包涵一下。但是我觉得,一开始不要去接触那么多条条框框,大概心里有个方向就足够你展开下一步更深的学习了!


每天的学习记录都会 同步更新到:
微信公众号: findyourownway

知乎专栏:从零开始写Python爬虫 - 知乎专栏

blog : www.ehcoblog.ml

Github: Ehco1996/Python-crawler

编辑于 2017-05-10

文章被以下专栏收录