听说你【胸大】,会搭配衣服?

听说你【胸大】,会搭配衣服?

知乎上有一个问题,叫做 胸大怎么搭配衣服? 。, 自从关注了这个问题后,就一直被骚扰,萌新一怒之下就撸了一个爬虫,把这些照片都撸下来了,各位老司机评价下,这些人真的会搭配衣服吗?


简单说下爬虫逻辑。爬虫有两部分,抓取用户回答数据和下载图片。


简单发现数据,构造请求



https://www.zhihu.com/api/v4/questions/22212644/answers?include=data%5B*%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cupvoted_followees%3Bdata%5B*%5D.mark_infos%5B*%5D.url%3Bdata%5B*%5D.author.follower_count%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics&offset=3&limit=20&sort_by=default


改变的就是 offset 的数值


认真观察知乎的 Requests Headers , 和我们常见的网页不一样,所以在Headers中就需要注意了



抓取了将近700多条回答,保存到数据库,下一步就是下载图片了。


使用正则提取图片网址

最后图片的总数达到了 4744 张


写这篇文章时,图片还没有下载完


好了,放图吧



话说这真的可以看出来吗?


更多图来这看——听说你【胸大】,会搭配衣服?

或许这才是高赞的原因吧


想想下一步,能否对这些图片进行处理,图像增强、像素操作等来对每张图“评分”呢?


各位老司机怎么看?有没有这方面的大佬


(需要图的公众号萌新的学习日记,回复“图片”)



如果想采集网上的数据,不想写爬虫的话,可以来看看我们的产品—— 造数 - 新一代智能云爬虫

编辑于 2017-10-27

文章被以下专栏收录