首页 > 编程语言 > 详细

杂记 使用Python采集网页内容

时间:2015-07-17 22:27:20      阅读:272      评论:0      收藏:0      [点我收藏+]

BeautifulSoup  一个分析、处理DOM树的类库。

 

采集所有img标签的title属性的内容

# -*- coding: utf-8 -*- 

from    urllib.request    import    urlopen
from    urllib.error    import    HTTPError
from    bs4    import    BeautifulSoup

url  = "http://qa.beloved999.com/category/view?id=2"
url  = "http://beloved.finley.com/category/view?id=24"
html = urlopen(url)
bs   = BeautifulSoup(html.read(),"html.parser")
res  = bs.findAll("img", "item-image")
print(len(res))
for a in res:
    print(a[title])
    

发送的HTTP_USER_AGENT是Python-urllib/3.4。包含HTTP的信息有

‘HTTP_ACCEPT_ENCODING‘ => ‘identity‘
‘HTTP_CONNECTION‘ => ‘close‘
‘HTTP_HOST‘ => ‘beloved.finley.com‘
‘HTTP_USER_AGENT‘ => ‘Python-urllib/3.4‘  。

杂记 使用Python采集网页内容

原文:http://www.cnblogs.com/mafeifan/p/4655782.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!