python爬虫--三大库之lxml库

Lxml库

 Lxml库是基于libxml2的XML解析库的Python库，该模块使用C语言编写，解析速度比BeautifulSoup更快。

 Lxml库使用Xpath语法解析定位网页数据。

1 安装与使用

 windows系统下，在cmd命令提示框中，输入如下命令：

  pip install lxml

2 lxml库的使用

2.1 修正HTML代码

  lxml为xml解析库，但也很好的支持了HTML文档的解析功能；

  ```
  from lxml import etree

  text =‘‘‘<div><ul>
	<li class=‘red‘><h1>red flower</h1></li>
	<li class=‘yellow‘><h2>yellow flower</h2></li>
	<li class=‘white‘><h3>white flower</h3></li>
	<li class=‘black‘><h4>black flower</h4></li>
	<li class=‘blue‘><h5>blue flower</h5>
      </ul></div>‘‘‘
  
  # lxml库解析数据，为Element对象
  html = etree.HTML(text)
  print(html)
  # lxml库解析可自动修正HTML
  result = etree.tostring(html)
  print(result)
  ```

自动修正HTML是一个非常实用的功能，保证HTML的标准性；

2.2 读取HTML文件

 除了读取字符串，lxml库还支持从文件中提取内容；

  `from lxml import etree
  # 解析html文件
  html = etree.parse(‘flower.html‘)
  result = etree.tostring(html,pretty_print=True)
  print(result)`

  注意：HTML文件与代码文件在同一层是，用相对路径就可以进行读取；如果不在同一层，使用绝对路径即可。

2.3 解析HTML文件

  完成了前面步骤，可利用requests库获取HTML文件，再用LXML库来解析HTML文件；

  `from lxml import etree
  import requests

  res = requests.get(‘https://www.baidu.com‘)
  html = etree.HTML(res.text)
  result = etree.tostring(html,pretty_print=True)
  print(result)`

3 性能对比

  | 爬取方法        |    性能  | 使用难度 |安装难度
  | 正则表达式      |    快    | 困难     |简单（内置模块）
  | BeautifulSoup  |    慢    | 简单     |简单
  | Lxml           |    快    |   简单   |简单

python爬虫--三大库之lxml库

原文：https://www.cnblogs.com/diandian520/p/14278594.html