手把手教你写网络爬虫(5):PhantomJS实战

大家好!从今天开始,我要与大家一起打造一个属于我们自己的分布式爬虫平台,同时也会对涉及到的技术进行详细介绍。大家如果有什么好的想法请多留言,多提意见,一起来完善我们的爬虫平台。在正式介绍平台之前,先用一些篇幅对基础篇做一点补充。模拟滚动

这次的目标是爬一个众筹网站的所有项目,项目列表页如下:https://www.kaistart.com/project/more.html。打开后进行分析,页面显示出10个项目:

如果想看到更多项目,并不能像网易云音乐那样点“下一页”翻页,而是需要向下拉滚动条或者向下滚动鼠标滚轮来触发异步请求。爬虫该如何应对这种情况呢?我们可以使用selenium的api执行js代码将屏幕内容滚动到指定位置。

下面这段代码会一直向下滚动项目页,一直到滚不动为止:

scrollTo() 方法可把内容滚动到指定的坐标:

参数 描述
xpos 必需。要在窗口文档显示区左上角显示的文档的 x 坐标。
ypos 必需。要在窗口文档显示区左上角显示的文档的 y 坐标。

这里用到了scrollHeight,它和ClientHeight还有OffsetHeight有什么区别呢?

offsetHeight: 包括内容可见部分的高度,border,可见的padding,水平方向的scrollbar(如果存在);不包括margin。

clientHeight: 包括内容可见部分的高度,可见的padding;不包括border,水平方向的scrollbar,margin。

scrollHeight: 包括内容的高度(可见与不可见),padding(可见与不可见);不包括border,margin。

Chrome

代码写好了,接下来就用selenium+phantomJs大法实验一下!滚到底后把项目列表提取出来看一下:

程序运行结束后,显示proje_list里面只有25个元素,而我们自己手动滚的话却有100多个,明显有bug。想定位这个问题很简单,截图即可,看看为什么停在第25个项目。对,phantomJs虽然没有图形界面,但是可以截图。

这样就会把图片保存在项目目录,打开看看:

发现项目页只能显示一行,这说明网页不兼容phantomJs,这倒不是什么新鲜事,换一个浏览器试试呗。第一期介绍过,selenium是支持所有主流浏览器的。比如换成Chrome,只需改一行代码:

再次运行程序,不出所料,Chrome浏览器弹出来,不仅能够正确显示页面,还一直在滚动:

项目全都刷出来了,想爬什么就爬吧!什么?你问我在Linux服务器上怎么爬?纯命令行的那种吗?

虚拟X Server

PhantomJs是无界面浏览器,可以在Linux服务器上正常运行,但Chrome会在调用GUI接口时报错。既然Linux服务器没有图形接口服务,也就是X Server,我们就要虚拟出来一个,才能让Chrome正常运行。于是找到了Xvfb(X virtual frame buffer),它可以用来作为完整X服务程序的替代。Xvfb有一个Python的封装叫PyVirtualDisplay,我们就用它来解决这个问题。

安装:

pip install pyvirtualdisplay

用法: