首页 > 其他 > 详细

拉勾网

时间:2017-10-20 19:13:16      阅读:254      评论:0      收藏:0      [点我收藏+]
requests模块报错无属性get:文件名与某个Python库名相同
****************************************分割线****************************************
拉勾网深圳的Python工作:
 
import requests
from openpyxl import Workbook
 
info=[]
s=requests.session()
s.get(‘https://www.lagou.com/jobs/list_Python?fromSearch=true‘)
s.cookies[‘LGUID‘]=s.cookies[‘user_trace_token‘]    #反爬の行为分析:访问4页之后添加个LGUID
 
headers={‘User-Agent‘:‘Mozilla/5.0 Chrome/61.0.3163.100 Safari/537.36‘,
         ‘Referer‘:‘https://www.lagou.com/jobs/list_Python?fromSearch=true‘}
url=‘https://www.lagou.com/jobs/positionAjax.json‘
for page in range(1,10):
    print(‘begin to handle page of %s‘ %page)
    data=dict(city=‘深圳‘,kd=‘Python‘,pn=‘%s‘ %page)
    response=s.post(url,data=data,headers=headers).json()
    jobs=response[‘content‘][‘positionResult‘][‘result‘]
    for job in jobs:
        workplace=job[‘city‘]
        salary=job[‘salary‘]
        positionName=job[‘positionName‘]
        industryField=job[‘industryField‘]
        companySize = job[‘companySize‘]
        shortName=job[‘companyShortName‘]
        fullName=job[‘companyFullName‘]
        companyLabelList=‘,‘.join(job[‘companyLabelList‘])
        info.append([workplace,salary,positionName,industryField,\
                     companySize,shortName,fullName,companyLabelList])
 
wb = Workbook()
ws = wb.active
ws.append([‘城市‘,‘薪资‘,‘职位‘,‘领域‘,‘规模‘,‘简称‘,‘全称‘,‘福利‘])
for x in info:
    ws.append(x)
wb.save(‘E:\拉勾网.xlsx‘)
****************************************分割线****************************************
666

拉勾网

原文:http://www.cnblogs.com/scrooge/p/7701078.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!