首页 > 其他 > 详细

博客园随笔内容进行爬取至本地并转md格式

时间:2019-07-05 17:15:41      阅读:217      评论:0      收藏:0      [点我收藏+]

将博客园随笔保存至本地并转md格式

1.首先博客园的robots协议

User-Agent: *
Allow: /

2.项目目的

方便博主将以上传的md随笔重新根据输入url进行下载,方便博主修改随笔

3.项目介绍功能介绍

  • 功能一:批量爬取博客园首页的所有随笔字典并保存JSON文件,且随笔全部转成MD格式文件

  • 功能二:输入指定随笔网址把随笔内容转成MD并且保存

由于不同博客具有不同的见状性`要根据博客能让进行适当的修改就可以使用此程序

不要加多进程多线程进去增加博客园的负担

爬取内容请不要用做商业用途

4.项目链接

https://github.com/a568972484/html_to_md

博客园随笔内容进行爬取至本地并转md格式

原文:https://www.cnblogs.com/pythonywy/p/11139508.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!