python网络爬虫（三）requests库的13个控制访问参数及简单案例

kv = {"User-Agent":‘Mozilla/5.0‘}  #需要将用户改为:Mozilla/5.0,亚马逊拒绝python访问

‘‘‘1-京东爬取
import requests
url1 = "https://item.jd.com/35683512021.html#crumb-wrap"
try:
    r = requests.get(url1)
    r.raise_for_status()
    r.enconding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")
2-亚马逊爬取   
import requests
url1 = ‘https://www.amazon.cn/?_encoding=UTF8&ref_=nav_logo‘
try:
    kv = {"User-Agent":‘Mozilla/5.0‘}  #需要将用户改为:Mozilla/5.0,亚马逊拒绝python访问
    r = requests.get(url1,headers = kv)
    r.raise_for_status()
    r.encoding = https://util.cnblogs.com/InsertCode.aspxr.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")
3.1-百度搜索全代码
import requests
keyword = ‘Python‘#搜索python 百度的关键词接口是wd
try:
    kv = {‘wd‘:keyword}
    r = requests.get(‘http://baidu.com/s‘,params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")
3.2-360搜索全代码360搜索全代码
import requests
keyword = ‘Python‘#搜索python 360的关键词接口是q
try:
    kv = {‘q‘:keyword}
    r = requests.get(‘http://so.com/s‘,params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")
#4.1-网络图片的存取
#用到文件操作，将图片存为二进制(因为response属性中的content是响应HTTP内容的二进制文件)
#存储并不是想存到哪里就存到哪里，可以先用os库查看当前python的工作目录；代码如下:
import os
print(os.getcwd())
#我的是：D:\python\practice\爬虫学习（一般就在python环境中）
----------------
import  os
print(os.getcwd())
#所以如果想存到其他盘或者路径 一定先要更改当前工作路径
os.chdir("D:/python")
#进行验证
print(os.getcwd())
更改工作目录成功 创建存储路径，并以二进制形式爬取网上图片并保存到文件中
#先进行爬取，并验证是否爬取成功
url1 = "http://image.ngchina.com.cn/2020/0213/20200213044154389.jpg"
import  requests
r = requests.get(url = url1)
print(r.status_code)#状态码为200表示爬取成功
path = "D:\\python\\123.jpg" #一定要和网上的图片格式一样
with open(path,‘wb‘)as f:#存储文件
    f.write(r.content)

#4.2爬取视频 和爬取图片类似 也需要查看当前工作目录，根据是否要存储在当前工作目录来决定是否更改
#在存取视频得时候只需要将想存取的位置的后缀从.jpg到.mp4即可
#还是将内容二进制保存在文件中
import os
print(os.getcwd())
path = "D://python//practice//爬虫学习//123.mp4"
import requests
url = "http://www.ngchina.com.cn/statics/images/index_lunbo/ad_video_2.mp4"
r = requests.get(url)
print(r.status_code)
with open(path,‘wb‘)as f:
    f.write(r.content)
#ip地址归属的自动查询
#首先要知道想查询的网页、视频、图片的ip地址是什么
#先登录"https://site.ip138.com/www.dili360.com/"网站将想查询的url转换为ip地址
#可以通过这个网站 查询到ip地址的归属地，我们就是用计算机代替人来做，
#相当于我们是模拟后台，帮助顾客知道归属地
#通过爬取"http://m.ip138.com/ip.asp?ip="+"IP地址"
#并截取获取文本的后500字符就可以查询到ip归属地
import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
    r = requests.get(url+"123.57.174.224")
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print("爬取失败")‘‘‘