手把手教你用python模拟登录豆瓣
最近想使用python在豆瓣电影上爬一下电影《教父》的影评，但非登录游客只能查看前10页的影评内容，如果想爬取更多影评，需要先模拟登录豆瓣。
我搜索了很多模拟登录的文章，但我由于欠缺网页方面的知识基础，并没有能够按照其步骤成功模拟登录，后来发现，是模拟登录需要提交的个人信息对应的关键字变了（后面会具体解释）。因此，我整理了一下自己模拟登录成功的详细步骤。
步骤一：安装爬虫所需的requests库
直接在命令行中输入 pip install requests，安装成功后import requests
步骤二：初始化变量
模拟登录时，我们需要先获得目标网站的网址；为了防止被识别出是爬虫，我们需要伪装自己的用户信息；我们还需要向目标网站提交个人信息（账号密码等）。
这三部分信息，我们可以用以下方式获取。
1.打开豆瓣网站，进入其登录界面，选择密码登录，输入账号和密码，注意：先不要点登录豆瓣！！！
2. 在豆瓣网登录界面，按F12打开Developer Tools，选择Network，选中Previous log，这样就可以查看我们的操作所对应的网页源代码，从而找到所需信息了。
2. 点击登录豆瓣，因为我的账号和密码是随便写的，所以登录不成功，但不影响我们查看信息。在Developer Tools界面，选择查看basic的Headers，在里面找到General下面的Request URL并复制，这才是我们模拟登录时的目标网址，而非我们平时认为的网页上的网址。
再找到Request Headers下面的User-Agent并复制，里面包含我们电脑的信息。
最后，在Form Data中找到我们的个人信息，并复制。
这样一来，需要向网站提交的信息，就搞定了。需要注意的是，豆瓣个人信息所对应的关键字不是一成不变的。在我查找资料的过程中，很多文章都说Form Data包含的信息是这样的：
这跟我们现在查看到的内容显然不同，如果使用旧的关键字提交信息肯定无法成功，因此，大家在模拟登录的过程中，最好先自己查看一下信息。
步骤三：提交登录请求
先将需要提交的请求写成代码：
url = 'https://accounts.douban.com/j/mobile/login/basic'
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
data = {
'ck': '',
"name":'123456789',#用户名123456789，我瞎写的，大家填真实的就好
"password":'123456',#密码123456，我瞎写的，大家填真实的就好
'remember': 'false',
'ticket': '',
}为了在之后爬取网页的过程中能一直保持登录状态，我们要用到requests库中的session来维持会话状态，对应的代码是：
s = requests.Session()
html = s.post(url,headers=headers,data=data)步骤四：在登录状态下，访问豆瓣其他页面。
大家可以通过访问豆瓣个人主页，来保证自己已经成功登录。代码如下：
url = 'https://www.douban.com/people/57443010/'#这个网址是我的个人主页，大家换成自己的即可
html = s.get(url).text
print(html)通过print(html)，可以查看网页源代码，其中“个人主页”“我的订单”等都是登录后个人主页会显示的信息。当我们在网页源代码中看到如下信息的时候，就说明我们登录成功了。
步骤五：全部代码
import requests
# 用于维持登录会话，requests高级用法
s = requests.Session()
# 登录
def login():
#url ='https://accounts.douban.com/passport/login'
url = 'https://accounts.douban.com/j/mobile/login/basic'
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}
data = {
'ck': '',
"name":'123456789',
"password":'123456',
'remember': 'false',
'ticket': '',
}
html = s.post(url,headers=headers,data=data)
return s,html
# 获取个人信息
def get_user_data(s):
url = 'https://www.douban.com/people/57443010/'
html = s.get(url).text
#print(html)
return html
if __name__ == '__main__':
s,html1 = login()
html2 = get_user_data(s)总结：用requests库模拟登录十分方便，主要需要注意两个问题，一是使用session来维持会话，二是自己通过Developer Tools找到网页待提交信息。
在模拟登录时还会遇到验证码等比较高级的反爬虫机制，但豆瓣暂时还不需要每次登录时提交验证码，只在登录太频繁时才需要用验证码验证，如果大家在保证代码无误的情况下登录失败，可以考虑等待一段时间再尝试。