首页 > Web开发 > 详细

新闻类网站的通用爬虫--GNE

时间:2020-01-03 17:53:56      阅读:93      评论:0      收藏:0      [点我收藏+]

 

GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块,输入一篇新闻网页的 HTML, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色,几乎能够达到100%的准确率。

使用方式非常简单:

from gne import GeneralNewsExtractor

extractor = GeneralNewsExtractor()
html = ‘网站源代码‘
result = extractor.extract(html)
print(result)

  扫描公众号查看原文

技术分享图片

新闻类网站的通用爬虫--GNE

原文:https://www.cnblogs.com/xiaozhangpython/p/12145437.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!