首页 > 其他 > 详细

网络爬虫基础练习

时间:2018-03-29 21:52:51      阅读:213      评论:0      收藏:0      [点我收藏+]
import requests
newsurl = http://localhost:56341/bd/123.html?_ijt=7pd1hi6n7j1ue90de4jivbr31k
res = requests.get(newsurl)  # 返回response对象
res.encoding = utf-8
print(res.text)

from bs4 import BeautifulSoup soup = BeautifulSoup(res.text, html.parser)

# 取出a标签的链接 print(soup.a.attrs[href]) # 取出h1标签的文本 print(soup.h1.text) # 取出所有li标签的所有内容 for i in soup.select(li): print(i.contents)
# 取出第4个li标签的a标签的第5个div标签的属性 print(soup.select(li)[3].a.select(div)[4].attrs)
# 取出一条新闻的标题、链接、发布时间、来源 print(标题:+soup.select(.news-list-title)[1].text) print(链接:+soup.select(li)[1].a.attrs[href]) print(发布时间:+soup.select(.news-list-info)[0].contents[0].text) print(来源:+soup.select(.news-list-info)[0].contents[1].text)

 

网络爬虫基础练习

原文:https://www.cnblogs.com/li123/p/8672520.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!