首页 > 其他 > 详细

如何提升scrapy框架的爬取效率?

时间:2021-09-02 00:45:51      阅读:20      评论:0      收藏:0      [点我收藏+]

可以采取以下措施:

  • 增大并发请求数

    • 默认scrapy开启的并发线程为16个,可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。
  • 提升日志等级

    • 在运行scrapy时,默认日志等级为DEBUG,会有大量日志信息的输出,为了减少CPU的使用率。可以设置log输出信息为INFO、WARNING或者ERROR即可。在配置文件中编写:LOG_LEVEL = ‘INFO‘
  • 禁用Cookies

    • 除非必须携带cookie,则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率,提升爬取效率。在配置文件中编写:COOKIES_ENABLED = False
  • 禁止重试

    • 对失败的request进行重新请求会降低爬取速度,因此可以禁止重试。在配置文件中编写:RETRY_ENABLED = False
  • 减少下载超时

    • 如果对一个非常慢的链接进行爬取,减少下载超时可以让卡住的链接快速被丢弃,从而提升效率。在配置文件中进行编写:DOWNLOAD_TIMEOUT = 10 超时时间为10s

如何提升scrapy框架的爬取效率?

原文:https://www.cnblogs.com/eliwang/p/15206585.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!