首页 > 编程语言 > 详细

python+requests爬取百度文库ppt

时间:2020-07-26 19:43:23      阅读:58      评论:0      收藏:0      [点我收藏+]

实验网站:https://wenku.baidu.com/view/c7752014f18583d04964594d.html

 

在下面这种类型文件中的请求头的url打开后会得到一个页面

技术分享图片

 

 你会得到如下图一样的页面

技术分享图片

 

 你将页面上zoom对应的值在一个新的网页打开之后会发现,这个就是ppt中的图片

 

你可以多打开几个“getrequest?doc_id”类型的请求头看一下它们的Request URL,你会发现我们只需要改变pn对应的数字就能得到文库中对应的PPT图片

技术分享图片

 

 

知道了这个我们就可以先把图片url弄出来,然后再依次访问这些url,并下载至本地

要注意的是,如下面的url地址

https:\/\/wkretype.bdimg.com\/retype\/zoom\/c7752014f18583d04964594d?pn=4&raww=1080&rawh=810&o=jpg_6&md5sum=046b21875cb4e60170f5521eea9253dc&sign=22044930c7&png=102985-135328&jpg=219095-369954

你如果复制之后粘贴在浏览器的地址框里面,浏览器会把这个地址转化成下面这个类型之后再去访问

https://wkretype.bdimg.com//retype//zoom//c7752014f18583d04964594d?pn=4&raww=1080&rawh=810&o=jpg_6&md5sum=046b21875cb4e60170f5521eea9253dc&sign=22044930c7&png=102985-135328&jpg=219095-369954

所以在我们得到地址之后用一些函数处理一下就可以了

 

 

因为代码不太复杂,所以就不再详细叙述了

import requests

class Spider:
    def __init__(self):
        #定义url前缀
        self.url_pre = "https://wenku.baidu.com/browse/getrequest?doc_id=c7752014f18583d04964594d&pn="
        #定义url后缀
        self.url_suf = "&rn=1&type=ppt&callback=bd__cbs__sv0n59"
        #请求头
        self.headers = {
            User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36
        }

    def Create_url(self):
        num = input(输入爬取ppt总页数:)
        for i in range(1,int(num)+1):
            #构建对应页数PPT的url地址
            self.url = self.url_pre+str(i)+self.url_suf
            #请求后得到页面源码
            response = requests.get(self.url,headers=self.headers)
            html = response.text
            #因为我们需要从页面源码中拿到PPT中图片对应地址,所以可以通过字符串匹配等方式得到,这里我就用数组查找就行
            #找出图片地址在源码中起始和终止位置
            start = html.find(:"http) + 2
            end = html.find(",")
            #切割字符串
            url_pic = html[start:end]
            #将图片url字符串,转化为可访问的url地址
            url_pic=url_pic.replace(\\,‘‘)
            #print(url_pic)
            self.request_pic(url_pic,i)

    def request_pic(self,url_pic,num):
        #print(url_pic)
        response = requests.get(url_pic, headers=self.headers)
        num = str(num)+.png
        with open(num,wb) as f:
            f.write(response.content)


if __name__ == __main__:
    spider = Spider()
    spider.Create_url()

 

python+requests爬取百度文库ppt

原文:https://www.cnblogs.com/kongbursi-2292702937/p/13380283.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!