首页 > 编程语言 > 详细

Python爬取猪肉价格网并获取Json数据

时间:2019-11-14 01:02:34      阅读:183      评论:0      收藏:0      [点我收藏+]

场景

猪肉价格网站:

http://zhujia.zhuwang.cc/

技术分享图片

 

 

注:

博客:
https://blog.csdn.net/badao_liumang_qizhi
关注公众号
霸道的程序猿
获取编程相关电子书、教程推送与免费下载。

实现

使用谷歌浏览器打开F12,刷新下当前网页,找到Network下的XHR下的Headers,将此信息复制出来。

刷新后会在左边显示请求Json数据的接口

技术分享图片

 

 

点击左边的接口,右边查看RequestURL,并在新窗口中打开

 

 技术分享图片

 

 

就可以看到关于猪肉价格的Json数据了

技术分享图片

 

 

怎样在代码中获取这些Json数据以方便后续的数据分析等那?

新建pig.py

import requests
import json

headers = {User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36}


def get_json(url):
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            json_text=response.json()
            return json_text
    except Exception:
        print(获取json接口有问题!)
        return None


json_data = get_json(http://zhujia.zhuwang.cc/index/api/chartData?areaId=370000&aa=1573300145544)


# 将dict格式数据转换成json格式字符串
dump_data = json.dumps(json_data)

# 将json格式字符串转换成对应的python值
load_data = json.loads(dump_data)

 


# 打印转换结果
print(type(json_data))
print(type(dump_data))
print(type(load_data),load_data)

 

其中headers就是上面在浏览器中复制出来的headers。

运行结果

技术分享图片

 

技术分享图片

Python爬取猪肉价格网并获取Json数据

原文:https://www.cnblogs.com/badaoliumangqizhi/p/11854163.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!