首页 > 编程语言 > 详细

python爬虫--三大库之lxml库

时间:2021-01-14 20:24:52      阅读:1      评论:0      收藏:0      [点我收藏+]

Lxml库

 Lxml库是基于libxml2的XML解析库的Python库,该模块使用C语言编写,解析速度比BeautifulSoup更快。

 Lxml库使用Xpath语法解析定位网页数据。

1 安装与使用

 windows系统下,在cmd命令提示框中,输入如下命令:

  pip install lxml

2 lxml库的使用

2.1 修正HTML代码

  lxml为xml解析库,但也很好的支持了HTML文档的解析功能;

  ```
  from lxml import etree

  text =‘‘‘<div><ul>
	<li class=‘red‘><h1>red flower</h1></li>
	<li class=‘yellow‘><h2>yellow flower</h2></li>
	<li class=‘white‘><h3>white flower</h3></li>
	<li class=‘black‘><h4>black flower</h4></li>
	<li class=‘blue‘><h5>blue flower</h5>
      </ul></div>‘‘‘
  
  # lxml库解析数据,为Element对象
  html = etree.HTML(text)
  print(html)
  # lxml库解析可自动修正HTML
  result = etree.tostring(html)
  print(result)
  ```

自动修正HTML是一个非常实用的功能,保证HTML的标准性;

2.2 读取HTML文件

 除了读取字符串,lxml库还支持从文件中提取内容;

  `from lxml import etree
  # 解析html文件
  html = etree.parse(‘flower.html‘)
  result = etree.tostring(html,pretty_print=True)
  print(result)`

  注意:HTML文件与代码文件在同一层是,用相对路径就可以进行读取;如果不在同一层,使用绝对路径即可。

2.3 解析HTML文件

  完成了前面步骤,可利用requests库获取HTML文件,再用LXML库来解析HTML文件;

  `from lxml import etree
  import requests

  res = requests.get(‘https://www.baidu.com‘)
  html = etree.HTML(res.text)
  result = etree.tostring(html,pretty_print=True)
  print(result)`

3 性能对比

  | 爬取方法        |    性能  | 使用难度 |安装难度
  | 正则表达式      |    快    | 困难     |简单(内置模块)
  | BeautifulSoup  |    慢    | 简单     |简单
  | Lxml           |    快    |   简单   |简单

python爬虫--三大库之lxml库

原文:https://www.cnblogs.com/diandian520/p/14278594.html

(0)
(0)
   
举报
评论 一句话评论(0
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号