首页 > 其他 > 详细

网络爬虫基础练习

时间:2018-03-29 20:52:29      阅读:199      评论:0      收藏:0      [点我收藏+]
import requests
url=‘http://localhost:63342/zjc/news.html?_ijt=p2l5n0shp613m01ad0jlpobino‘
res=requests.get(url)
res.encoding=‘utf-8‘

from bs4 import BeautifulSoup
soup=BeautifulSoup(res.text,‘html.parser‘)

取出h1标签的文本

print(soup.h1.text)

  技术分享图片

取出a标签的链接

s=soup.a.attrs[‘href‘]
print(s)

  技术分享图片

取出所有li标签的所有内容

s=soup.select(‘li‘)
print(s)

  技术分享图片

取出一条新闻的标题、链接、发布时间、来源

s0=soup.select(‘.news-list-title‘)[0].text
s1=soup.body.li.a.attrs[‘href‘]
s2=soup.select(‘.news-list-info‘)[0].contents[0].text
s3=soup.select(‘.news-list-info‘)[0].contents[1].text
print(s0+"\n"+s1+"\n"+s2+"\n"+s3)

  技术分享图片

 

网络爬虫基础练习

原文:https://www.cnblogs.com/04JC/p/8672089.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!