首页 > 其他 > 详细

爬虫神器xpath的用法(二)

时间:2016-03-06 11:12:49      阅读:146      评论:0      收藏:0      [点我收藏+]

爬取网页内容的时候,往往网页标签比较复杂,对于这种情况,需要用xpath的starts-with和string(.)功能属性来处理,具体看事例

#encoding=utf-8
from lxml import etree
html1 = ‘‘‘
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test-1">需要的内容1</div>
    <div id="test-2">需要的内容2</div>
    <div id="testfault">需要的内容3</div>
</body>
</html>
‘‘‘
#提取id属性为test开头的的内容,需要使用xpath的start-with属性
selector = etree.HTML(html1)
content = selector.xpath(//div[starts-with(@id,"test")]/text())
for each in content:
    print each

#提取多个标签层级的内容,需要使用xpath的string(.)将内容转为字符串再获取
html2 = ‘‘‘
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test3">
        我左青龙,
        <span id="tiger">
            右白虎,
            <ul>上朱雀,
                <li>下玄武。</li>
            </ul>
            老牛在当中,
        </span>
        龙头在胸口。
    </div>
</body>
</html>
‘‘‘
selector1 = etree.HTML(html2)
data = selector1.xpath(//div[@id="test3"])[0]
info = data.xpath(string(.))
content = info.replace(\n,‘‘).replace( ,‘‘)
print content

输出:

需要的内容1
需要的内容2
需要的内容3
我左青龙,右白虎,上朱雀,下玄武。老牛在当中,龙头在胸口。

爬虫神器xpath的用法(二)

原文:http://www.cnblogs.com/gide/p/5246727.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!