python-selenium-phantomjs 参考

环境配置

selenium

pip install -U selenium

建议采用pycharm安装，别忘了我们这个强大的IDE
PhantomJS

这个不同的操作系统有各自对应的版本，这是官网的下载页面
http://phantomjs.org/download.html
，去下载你对应操作系统版本的phantomjs.下载完后，解压缩可以看到在文件夹的bin目录下有对应的phantomjs的可执行文件，拷贝一份放入一个环境变量可以搜索到的地方，或者直接把phantomjs的bin目录加入环境变量即可~

简单介绍一下PhantomJS，这是一个基于webkit的没有界面的浏览器，也就是它可以像浏览器解析网页，功能非常强大。但是据我测试。。解析的结果不一定和火狐或者chrome完全一样，但是完全够我们用。
简单介绍一下selenium，这是一个web的自动测试工具，可以模拟人的操作。支持市面上几乎所有的主流浏览器，同时也支持PhantomJS这种无界面浏览器。

因为selenium+Firefox或者Chrome太慢了，所以我们选用selenium+PhantomJS。
想试试selenium+Firefox的同学直接下载最新版的Firefox即可，不需要插件，但是chrome的话需要一个插件叫chromedriver，我会放到群里，闲话不多说，gogogo！

代码预览

#coding:utf-8
import
 unittest

from
 selenium 
import
 webdriver

from
 bs4 
import
 BeautifulSoup



class
seleniumTest
(unittest.TestCase)
:
def
setUp
(self)
:

        self.driver = webdriver.PhantomJS()


def
testEle
(self)
:

        driver = self.driver
        driver.get(
'http://www.douyu.com/directory/all'
)
        soup = BeautifulSoup(driver.page_source, 
'xml'
)

while
True
:
            titles = soup.find_all(
'h3'
, {
'class'
: 
'ellipsis'
})
            nums = soup.find_all(
'span'
, {
'class'
: 
'dy-num fr'
})

for
 title, num 
in
 zip(titles, nums):

print
 title.get_text(), num.get_text()

if
 driver.page_source.find(
'shark-pager-disable-next'
) != 
-1
:

break

            elem = driver.find_element_by_class_name(
'shark-pager-next'
)
            elem.click()
            soup = BeautifulSoup(driver.page_source, 
'xml'
)


def
tearDown
(self)
:
print
'down'
if
 __name__ == 
"__main__"
:
    unittest.main()

小伙伴们是不是惊奇的发现今天的代码怎么略不一样了~因为今天除了爬虫相关，顺道教大家一些python 的小知识~

代码剖析

import unittest
什么是unittest呢？看字面意思估计大部分人已经懂了，就是单元测试的意思，这个库是python自带的给我们提供测试用的库，很好用，今天我顺道介绍一下这个库的简单使用。
今天的这段代码是一个简单的测试用例
class seleniumTest(unittest.TestCase):
继承TestCase类，表明这是一个测试类。setup方法是初始化方法，在unittest的main方法调用之初执行，然后tearDown是在测试完成的时候执行，中间的每个方法必须以test开头。这是一些简单的规则，大概了解之后我们就可以开心的使用单元测试了~

def
setUp
(
self
)
:

self
.dirver = webdriver.PhantomJS()

首先在我们的setup方法中初始化我们的webdriver，如果你用的是pycharm就可以看到webdriver后面会有多种方法，可以创建火狐的，chrome等各种浏览器的webdriver。

初始化完成之后开始解析，今天我们抓取斗鱼tv的房间信息，用浏览器打开http://www.douyu.com/directory/all，然后选择查看网页源代码，发现竟然可以直接在源码中看到房间信息，心中一喜，难道不是异步的方式么？这太好抓了，直接requests请求然后分析就可以了啊。紧接着再点开第二页，查看网页源代码。发现竟然和第一页一模一样，顿时失望，依然是采用的js异步的方式来加载数据的，只不过这次返回的不是json格式而直接是html。难道我们需要像上一章那样么？nono，今天我们直接使用PhantomJS模拟浏览器的访问过程，然后通过dirver.get方法获取浏览器加载完成后的源码。这样子无论是否异步，我们取到的source都是和我们在浏览器中看到的完全一样。是不是感觉简便了很多呢？

dirver.get(
'http://www.douyu.com/directory/all'
)
soup = BeautifulSoup(dirver
.page_source
, 
'xml'
)

这两句想必大家也能理解了，其实就是换了一种方式去获取到网页源码而已。这次连带js渲染出来的网页也都获取到了。接下来

 titles = soup.find_all(
'h3'
, {
'class'
: 
'ellipsis'
})
 nums = soup.find_all(
'span'
, {
'class'
: 
'dy-num fr'
})

for
 title, 
num
in
 zip(titles, nums):

print
 title.get_text(), 
num
.get_text()

这段代码是在源码中取出我们想要的信息，可能同学们也发现了，这和我们第三节讲的不太一样，这是因为我们的解析方式换成了xml而不是原本的lxml了，lxml属于一种更加高效的解析模式，但是我为什么要更换呢。因为在我写这段代码的时候发生了一个小插曲，原本我也是用lxml的方式去解析的，但是发现每次只能解析出来32条信息，但是很明显斗鱼每个小分页里最少都有100多个房间，我查看了driver返回的page_source，发现没有问题，于是我想可能是beautifulsoup的解析出了问题，打印soup，发现只有源代码的一半，后面一半莫名奇妙丢失了。原本我以为是网页中有多个</html>标签导致解析出错，后来发现也不是这个问题，百度google很久也没有结果，所以只能换一种解析模式，当我换成xml的时候发现解析无误。暂时我也不知道原因，有兴趣的同学可以尝试解决一下这个问题。

那么上面这段代码取出了我们需要的信息，beautifulsoup的find方法要是不了解的话可以参看官方文档。接下来：

elem = driver.find
_
element
_
by
_
class
_n
ame(
'shark-pager-next'
) 
elem.click() 
soup = BeautifulSoup(driver.page
_
source, 
'xml'
)

第一行代码是webdriver里面带有的定位标签的方法，我们通过观察发现斗鱼页面中下一页这个标签只出现一次，并且是独立样式，所以我们直接通过class进行定位，取到这个控件，然后执行element的click()方法模拟鼠标点击，这样，页面就自动跳到了下一页，接着继续解析网页源码。

if
 driver
.page_source
.find
(
'shark-pager-disable-next'
) != -
1
: 
      break

这段代码是跳出循环用的，什么时候跳出循环呢？我们通过观察发现，当到最后一页时候斗鱼下一页的标签就会变灰，如图所示：

STU5R92IEHAZ{881KZ(72LD.png

于是，我们发现了有个唯一的shark-pager-disable-next样式，那么我们只需要在源码中找这个样式，如果有则说明已经解析到最后一页，直接跳出循环结束程序就好~

至此，今天的代码就讲解完毕了。有没有觉得比上次的观察法方便了很多呢？附带一提，有兴趣的通许可以吧今天代码中self.dirver = webdriver.PhantomJS()换成self.dirver = webdriver.Firefox()，看看会发生什么有趣的事情，我就不剧透了~

写在最后

惯例了，demo已经给你们了，也讲解完毕，现在需要你们自己实践了，去尝试抓取一下其他TV吧，推荐抓一下战旗，因为加载方式又和斗鱼完全不一样了，有挑战性点~下一节我们讲解如何在爬虫中使用多进程！

附加部分

一些seleium的小互动操作

填入表单数据

#coding:utf-8
from
 selenium 
import
 webdriver

from
 selenium.webdriver.common.keys 
import
 Keys

driver = webdriver.Firefox()
driver.get(
'https://www.baidu.com/'
)
elem = driver.find_element_by_id(
'kw'
)
elem.send_keys(
u'爬虫'
)
elem.send_keys(Keys.RETURN)
print(driver.page_source)

滚动致页面最下方

#coding
:utf-
8

from selenium import webdriver
import 
time


driver = webdriver.Firefox()
driver.get(
'http://www.jianshu.com/collections'
)

time
.sleep(
1
)

for
i
in
 range(
10
):
    dirver.execute_script(
'window.scrollTo(0,document.body.scrollHeight)'
)

time
.sleep(
1
)

使用selenium模拟人的操作行为，这次换成了火狐浏览器，可以看得更加清楚~

python-selenium-phantomjs 参考