首页 > 其他 > 详细

【Visio流程图】借助redis来实现数据即时刷新

时间:2019-09-12 20:58:32      阅读:228      评论:0      收藏:0      [点我收藏+]

【需求:】数据从竞品网站爬过来,经过分析处理之后,把结果通过网页实时反馈给业务人员。

【应用:】2个应用:

  • 一个是爬取数据的应用:不断从竞品网站爬数据,每次爬到的数据为一批。然后,对每一批爬到的数据进行清洗和分析,生成唯一批次号(batch_no),将分析结果持久化入库。
  • 一个是展示页面:实时刷新持久化的分析结果。

【起初方案】见如下visio流程图。

缺点很明显:网页一直刷库。这样,数据表会存在频繁读写,db压力大。

技术分享图片

 

 【改造方案】借助redis。见如下visio流程图。 

技术分享图片

 

【Visio流程图】借助redis来实现数据即时刷新

原文:https://www.cnblogs.com/buguge/p/11514772.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!