首页 > 其他 > 详细

新浪新闻标题爬取

时间:2020-04-30 09:04:56      阅读:43      评论:0      收藏:0      [点我收藏+]

先说一下自己进行网络爬虫的经过吧,我首先是跟着嵩天教授的《Python网络爬虫与信息提取》课程先对爬虫的基本知识进行学习了解,在学习的过程中,我会跟着视频中讲解的实例自己手头也进行编码,虽然是跟着视频一起编写但是还是会总出现错误,技术分享图片

 

 就是会出现一直爬取失败的现象,但反复地看视频并进行修改,最终也能爬取成功。

在了解了基本知识后,我选择了使用requests库和beautifulsoup库对新浪新闻标题进行爬取,开始爬取的时候也遇到了很多问题,从网上搜索和看教学视频后终于能爬取下来:

import requests
from bs4 import BeautifulSoup
a=requests.get("https://news.sina.com.cn/")
a.encoding="utf-8"
b=BeautifulSoup(a.text,"html.parser")
for i in b.select("ul.list_14>li>a"):
print(i.text)

 得到的结果是

技术分享图片

 

 

这只是其中的一部分,我在看到很长的结果后原本是打算只输出前20个,但是因本人能力有限不能有效改写编码,所以输出的仍然是全部标题。

因个人水平实在有限,只能爬到这个程度,如有不当之处,还请多批评指正。

新浪新闻标题爬取

原文:https://www.cnblogs.com/123mi/p/12806293.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!