Python 爬虫-模拟登录知乎-爬取拉勾网职位信息

用Python写爬虫是很方便的,最近看了xlzd.me的文章,他的文章写的很到位,提供了很好的思路。因为他的文章部分代码省略了。下面是基于他的文章的三个代码片段:
基于Python3,Python2的话需要修改下input输入函数和print的用法。

  1. 爬取豆瓣电影top250
  2. 爬取拉勾网职位信息
  3. 模拟登陆知乎
  4. 为什么没人给我点赞。?!

有些代码做了更改。其中把获取的数据存储到excel中。关于存取数据到excel可以看我的另一篇文章:

用到的库

  • requests
  • Beautiful Soup
  • openpyxl

1. 爬取豆瓣电影top250,存到excel表格中

结果如下:

2. 爬取拉勾网Python职位信息

职位信息存储在json中,获取到json对象,再从中遍历出公司名、地址、待遇等信息。

运行结果:

3. 模拟登录知乎

通过开发者工具,获取post的数据。

运行后会在运行目录下得到验证码图片:

输入验证码后得到如下响应结果表明登录成功。

2 14 收藏 2 评论

相关文章

可能感兴趣的话题



直接登录
最新评论
跳到底部
返回顶部