首页 > Web开发 > 详细

HtmlUnitDriver 网页内容动态抓取

时间:2017-07-23 00:12:06      阅读:324      评论:0      收藏:0      [点我收藏+]
#抓取内容
WebDriver driver = new HtmlUnitDriver(false);
driver.get(url);
String html = driver.getPageSource();

#如何想等待一会元素渲染完毕
driver.manage().timeouts().implicitlyWait(2, TimeUnit.SECONDS);
#进行百度搜索
public static void doSearch(String keyword) {
  final String url = "http://www.baidu.com";
  WebDriver driver = new HtmlUnitDriver(false);
  driver.get(url);
  driver.findElement(By.id("kw")).sendKeys(keyword);
  Actions action = new Actions(driver);
  action.sendKeys(Keys.ENTER).perform();
  System.out.println(driver.getPageSource());
}

1 Selenium可支持的【真实】浏览器驱动:

  PC端驱动:firefox、safari、iechromeopera driver

  移动端驱动: Windows PhoneSelendroidios-driverAppium  支持iphone、ipad、android、FirefoxOS【第三方】

 

  safari、ff都是以插件形式驱动浏览器本身的;ie、chrome都是通过二进制文件来驱动浏览器本身的;

  这些driver都是直接启动并通过调用浏览器的底层接口来驱动浏览器的,因此具有最真实的用户场景模拟,主要用于进行web的兼容性测试使用。

 

2 selenium可支持的【伪浏览器】驱动:

  HtmlUnit 、PhantomJS 

  它们都不是真正的在浏览器、都没有GUI,而是具有支持html、js等解析能力的类浏览器程序;这些程序不会渲染出网页的显示内容,但是支持页面元素的查找、JS的执行等;由于不进行css及GUI渲染,所以运行效率上会比真实浏览器要快很多,主要用在功能性测试上面。htmlunit是Java实现的类浏览器程序,包含在selenium server中,无需驱动,直接实例化即可;其js的解析引擎是Rhino。

HtmlUnitDriver 网页内容动态抓取

原文:http://www.cnblogs.com/printN/p/7223267.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!