首页 > 编程语言 > 详细

Python获取动态网页内容的一种处理方法

时间:2015-03-23 13:12:01      阅读:631      评论:0      收藏:0      [点我收藏+]

在使用Python爬取网页数据时,常常会出现网页的源码与实际显示的内容有出入的情况,当网页为动态网页时就会出现这种情况,下面用QQ音乐的某个页面举例如何使用Python爬取改网页数据:

网址:http://y.qq.com/#type=singer&mid=000GDDuQ3sGQiT&tab=album

使用Chrome打开网页,对照网页源码,源码中并无专辑相关内容。

打开开发者工具:

技术分享

 

对照网页内容,在Sources下面的某个源码里面,发现类似专辑内容的文件,如下图。

技术分享

右键复制链接地址,使用Python爬取这个链接的内容就可以啦。

Python获取动态网页内容的一种处理方法

原文:http://www.cnblogs.com/007wangkai/p/4359450.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!