爬虫中运用 cookie 来跳过登录问题

首先解析一下cookie的原理部分

指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)由网络服务器发送出来以存储在网络浏览器上,从而下次这位独一无二的访客又回到该网络服务器时,可从该浏览器读回此信息。这是很有用的,让浏览器记住这位访客的特定信息,如上次访问的位置、花费的时间或用户首选项(如样式表)。Cookie 是个存储在浏览器目录的文本文件,当浏览器运行时,存储在 RAM 中。一旦你从该网站或网络服务器退出,Cookie 也可存储在计算机的硬驱上。当访客结束其浏览器对话时,即终止的所有 Cookie。

Cookies最典型的应用是判定注册用户是否已经登录网站,用户可能会得到提示,是否在下一次进入此网站时保留用户信息以便简化登录手续,这些都是Cookies的功用。

因此:浏览时任何时候都有cookie(除非你自己关了),不过你在登录之后获取到的cookie则会是保留你登录状态的cookie。

###################各种爬虫代码的分界线###################

1:scrapy:在spider中把你新的请求加一个参数

你可以搜 scrapy set cookie 有详细的部分。(可能有版本更新问题)

2:phantomjs: 内部函数addCookie调用即可

查官网是最好的:addCookie | PhantomJS

3:使用urllib2

这个,不用说了吧。

4:如何用程序自动获取cookie呢?

python 有个叫Cookie的包。
Python Cookie HTTP获取cookie并处理

还有用requests自带监控cookie
python爬虫学习(六)requests 关于cookie的堪误

打赏支持我写出更多好文章,谢谢!

打赏作者

打赏支持我写出更多好文章,谢谢!

1 8 收藏 评论

关于作者:路易十四

少年程序猿,从事数据采集挖掘方面:个人博客,www.urlteam.org,邮箱:a83533774@gmail.com主要技能树:python,爬虫,linux,web前端,ACM,骑行。 个人主页 · 我的文章 · 9 ·   

相关文章

可能感兴趣的话题



直接登录
跳到底部
返回顶部