centos7中配置python爬虫selenium+chromium+chromedriver环境

centos7中配置python爬虫selenium+chromium+chromedriver环境

今天为了爬取某异步加载网站的数据,开始自学了selenium,不得不说selenium还是很方便的工具,适合无脑爬取异步加载的网站。首先我在自己的windows电脑下配置了selenium和chromedriver的chrome浏览器内核,正常调试好程序后准备部署到centos7服务器上,但是遇到了很多问题,不停报错,在踩了很多雷以后终于可以完美部署selenium+chromium+chromedriver环境顺利爬虫了!

接下来我就详细介绍下正确的配置方式

  1. 安装selenium:这一步比较简单,直接pip安装就行:
pip install selenium

2. 安装chromium:由于谷歌chrome并不支持linux,也就更不支持centos了,所以需要安装chromium,不过不用担心,chromium也是谷歌的开源项目,与chrome并没有太大的区别

yum install chromium

这一步也没什么问题,需要注意一下chromium安装的版本,因为要与下一步需要安装的chromedriver版本相适配,二者版本不同都会报错,这里我也是踩雷了,chromium默认安装的最新版为“79.0.3945.130-1.el7”,但是chromedriver已经更新到了81.0,第一次安装的时候我选择了最高版本的chromedriver,但是chromium还是79.0版本,执行python脚本的时候就报错版本不适配,所以我重新安装了对应版本的chromedriver。

如何查看安装的chromium版本?yum就可以看到

yum list installed

3. 安装chromedriver:这里我们从taobao镜像站点安装:

# 下载对应版本的chromedriver    
wget https://npm.taobao.org/mirrors/chromedriver/79.0.3945.16/chromedriver_linux64.zip    

# 解压    
unzip chromedriver_linux64.zip
    
# 把chromedriver移动到系统目录   
mv chromedriver /usr/bin

方法2:直接yum安装,这样其实更省事儿一点

yum chromedriver 

安装完成后确认一下版本与chromium保持一致:

到这一步已经配置好selenium+chromium+chromedriver的环境了,接下来我们写一个最简单的python脚本试一下!

from selenium import webdriver   
from selenium.webdriver.chrome.options import Options  # 导入浏览器内核设置,主要是为了设置无头(headless)模式
url = 'www.baidu.com' 
chrome_options = Options()    
chrome_options.add_argument('--headless')  # 设置Chrome为无头模式    
driver = webdriver.Chrome(options=chrome_options)    
driver.get(url)    
driver.close()    ```

诶,报错了:The process started from chrome location /usr/lib64/chromium-browser/chromium-browser is no longer running, so ChromeDriver is assuming that Chrome has crashed

按照网上的教程:cloud.tencent.com/devel

在脚本上加上两句话:

chrome_options.add_argument('no-sandbox')    
chrome_options.add_argument('disable-dev-shm-usage')

完美解决了!

编辑于 03-07

文章被以下专栏收录