首页 > 编程语言 > 详细

python爬取新浪财经

时间:2020-09-14 13:56:45      阅读:156      评论:0      收藏:0      [点我收藏+]

我们来获取这里的title和url然后再获取这里面url的编辑作者
技术分享图片

可以看到右边的几个就对应的左边不同的div
技术分享图片

.m-p1-mb2-list.m-list-container ul li a
import requests
from bs4 import BeautifulSoup

html = requests.get(‘https://finance.sina.com.cn/‘)
html.encoding=‘utf-8‘

soup = BeautifulSoup(html.text,‘lxml‘)
zq = soup.select(‘.m-p1-mb2-list.m-list-container ul li a‘)
for z in zq:
    print(‘title:‘,z.text)
    print(‘url:‘,z[‘href‘])
    Innerhtml = requests.get(z[‘href‘])
    Innerhtml.encoding=‘utf-8‘
    soup2 = BeautifulSoup(Innerhtml.text,‘lxml‘)
    writers = soup2.select(‘.article-editor‘)
    for w in writers:
        print(w.text)
        print(‘*‘*50)

结果

G:\python3.8\python.exe "F:/python post/code/实战/新浪财经.py"
title: 创业板现场督导来了:有投行已接通知 监管带着问题来 
url: https://finance.sina.com.cn/stock/zqgd/2020-09-14/doc-iivhuipp4150274.shtml
责任编辑:常福强 
**************************************************
title: 2020金牌董秘评选开启 寻上市公司资本品牌最佳代言人
url: http://finance.sina.com.cn/zt_d/2020jinpaidongmi/
title: 直播|
url: http://finance.sina.com.cn/zt_d/jjzbj/
title: 陈果、华夏嘉实长盛长安富国大通等直播解盘
url: https://finance.sina.com.cn/money/fund/original/2020-09-12/doc-iivhvpwy6361399.shtml?cref=cj
责任编辑:常福强 
**************************************************
title: 研报|
url: http://finance.sina.com.cn/stock/reportch/jinqilin.shtml
title: 内部经济复苏仍是主线 关注政府性投资需求带动
url: https://finance.sina.com.cn/stock/marketresearch/2020-09-13/doc-iivhvpwy6487946.shtml
责任编辑:陈志杰 
**************************************************
title: 
url: https://finance.sina.com.cn/stock/s/2019-07-09/doc-ihytcitm0843478.shtml
责任编辑:陈志杰 
**************************************************
title: 公司
url: http://finance.sina.com.cn/roll/index.d.html?cid=56592&page=1
title: 业绩亏损套现不断 朗姿股份实控人的资产腾挪术
url: https://finance.sina.com.cn/roll/2020-09-14/doc-iivhuipp4201666.shtml
责任编辑:张熠 
**************************************************
title: 老大哥燕京啤酒危险时刻:营收净利降 增长率十年新低
url: https://finance.sina.com.cn/stock/t/2020-09-14/doc-iivhuipp4175419.shtml
责任编辑:常福强 
**************************************************
title: 
url: https://finance.sina.com.cn/wm/2020-07-12/doc-iivhuipn2580833.shtml
责任编辑:逯文云 
**************************************************
title: 违规代客炒股 万和、新时代、民生等多券商密集受罚
url: https://finance.sina.com.cn/stock/zqgd/2020-09-14/doc-iivhvpwy6527324.shtml
责任编辑:常福强 
**************************************************
title: 超级打新周:19只新股 火箭、美妆、医美…全是热点
url: https://finance.sina.com.cn/stock/zqgd/2020-09-14/doc-iivhvpwy6557166.shtml

Process finished with exit code -1

python爬取新浪财经

原文:https://www.cnblogs.com/yicunyiye/p/13665959.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!