Web crawler with Python - 02.简单的尝试

Web crawler with Python - 02.简单的尝试

(P.S.你也可以在我的博客阅读这篇文章

(P.P.S.知乎会对URL转码,这里的URL全部故意用了全角)

那么,乘热打铁开始爬虫之旅吧!


当我们在上网的时候,我们在干什么

(很多读者有这方面的基础,这部分主要用于为纯小白恶补一下)你有没有想过,当你在Chrome输入"http://www.baidu.com"的时候,实际上发生了什么事情?

当你在浏览器输入"http://www.baidu.com"(事实上就算你没有输入http://,大多数浏览器也会为你拼装好)后,你得知道你实际上是输入了一个URL。URL全称是统一资源定位符(Uniform Resource Locator),它用来唯一标识网络上的一个资源,通俗的讲,它的常规表现是一个网址(抬头看一下你的浏览器地址栏的东西)。至于URL的详细组成这里不一一赘述,不过你可以在网上找到很多关于URL的严谨的教程。


然后你会按下回车,接着你看到了一个进度条迅速或者缓慢(看你的网速了)走过去了,然后浏览器上就出现了这个:



这个过程中,浏览器首先向DNS服务器请求了baidu.com对应的IP地址,这里又涉及到了两个概念:

  • IP地址: IP地址是你在网络上的地址,大部分情况下它的表示是一串类似于192.168.1.1的数字串。你访问一个网址的时候,事实上就是向这个IP地址请求了一堆数据。
  • DNS: 而DNS服务器则是记录IP到域名映射关系的服务器,爬虫在很大层次上不关系这一步的过程,所以这里不多赘述。不过上面访问百度的例子多说一句,浏览器并不会直接向DNS服务器查询baidu.com的IP,这个过程要复杂的多,包括向浏览器自己、hosts文件等很多地方先查找一次,上面的说法只是一个统称。

浏览器得到IP地址之后,浏览器就会向这个地址发送一个HTTP请求。然后从百度的服务器端请求到了首页的HTML源码,然后通过浏览器引擎解析源码,再次向服务器发请求得到里面引用过的Javascript、CSS、图片等资源,得到了上面的首页模样。

注意:这个过程有些细节部分事实上和我上面讲的有一些出入,这里为了纯小白读者尽量理解而精简过。

爬虫要干什么

大多数情况下,爬虫其实就是在模拟上面的过程。当然爬虫不会全部模拟一遍,而是会选择合适的步骤模拟。比如大多数情况下我们并不会去请求CSS和Javascript文件,而只是会请求HTML源码或者我们需要的数据。在得到源码后,就像浏览器会解析HTML源码一样,我们的爬虫也会解析HTML,筛选出我们想要的内容保存。

简单上手尝试

这里我们会简单尝试写一个小小的爬虫,小到你甚至不会以为这是一个爬虫的小爬虫——请求百度首页。
我们暂时不是用IDE来编写代码,而是直接使用一个Python的交互环境——ipython。后续我们会基于IDE编写很大的爬虫,不过目前还不需要。你可以直接通过pip install ipython来安装,并通过ipython命令进入这个交互环境。


In [1]: import urllib

In [2]: response = urllib.urlopen('http://www.baidu.com/')  # 向百度服务器发送请求

In [3]: response.code  # 2xx表示成功,3xx表示你应该去另一个地址,4xx表示你错了,5xx表示服务器错了
Out[3]: 200

In [4]: response.read()  # 读出得到的响应
Out[4]: '<!DOCTYPE html><!--STATUS OK--><html><head><me......'

这里我们使用了Python自带的urllib来发送请求,这将是我们唯一一次使用它,之后大多数情况下我们将会使用requests,这是一个更加人性化的库,你可以在这里简单了解一下它。
上面的例子虽然很小,不过已经完成了爬虫的一半工作——发送请求并得打响应,剩下的一半是——解析源码并处理需要的数据。

小结

这里我们简单了解了浏览器请求数据的过程,并使用Python模拟了这个过程。爬虫的第一步已经踏出,接下来我们会遇到很多问题,并会一一解决之。

文章被以下专栏收录
6 条评论