首页 > 其他 > 详细

携程爬虫——长三角铁路站点通达度分析之班次统计

时间:2020-07-05 20:52:51      阅读:57      评论:0      收藏:0      [点我收藏+]

----------------------------------------------------------------------------------------------------------------------------------------------------------

项目需求:统计给定的141个长三角铁路车站的互通班次数据,分G、D/C、KTZX三类,最终结果用EXCEL表格展示。

项目方法及流程:

(1)Python-Requests爬虫获取某一天的铁路车次数据;

(2)将总车次数据存储进MySQL数据库中,对可能产生的重复数据进行去重;

(3)通过SQL语句查询各站点两两之间的班次数量,以“站点-站点:数量”的键值对形式存进字典;

(4)最后用141行141列的高维数组存储数据,DataFrame转换数组进Excel。

项目主页及源码地址:https://github.com/Owen017/XieCheng-Trains-WebCrawler

----------------------------------------------------------------------------------------------------------------------------------------------------------

 

携程爬虫——长三角铁路站点通达度分析之班次统计

原文:https://www.cnblogs.com/hsh17/p/13250938.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!