首页 > 其他 > 详细

爬虫初试

时间:2020-06-15 23:54:40      阅读:94      评论:0      收藏:0      [点我收藏+]

在猪师的手把手教导下体验了下爬虫,

首先是进入anaconda官网,选择一个版本下载

技术分享图片

 

 安装时候,记住要勾选带path的选项。

技术分享图片

 

 避免python版本混乱

 

然后初试request跟re模块的用法,直接import即可,

技术分享图片

 

 爬取百度,但是出现乱码

把.text改为.content.decode("utf-8")即可。

加入正则

技术分享图片

 

 然后读取一个特定的标签

首先引入lxml这个包, cmd中用conda install lxml安装

技术分享图片

 

 其中//代表不管前面的父元素,title是一个标签,/text()是获取标签里面的文本。

这里的网页也可以直接用api,若一些需要参数的api,写入请求即可。

 

爬虫初试

原文:https://www.cnblogs.com/ljg1998/p/13138496.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!