首页 > 其他 > 详细

思考:ES如何做去重:一个记录来回修改,而且存在并发的情况,可能会插入同样的几条记录。

时间:2019-06-14 12:55:03      阅读:223      评论:0      收藏:0      [点我收藏+]

思考:ES如何做去重:一个记录来回修改,而且存在并发的情况,可能会插入同样的几条记录。
记录中要有一个业务主键,根据这个来进行增删改;
每次修改时要有一个修改时间(根据这个时间来删除最新的记录),而且增删改要是幂等操作(就是每次增删改都带上最新的文档的全部信息,结合ES新增或者修改前必须先删除,再重建的性质);
启动一个定时JOB来不断扫描一段时间(比如修改时间在最近30天内的)的记录并执行去重重复操作(去重逻辑就是保留update最新的一条,其他删除);
定时JOB的周期设置是一个细节,一般要小于es索引的刷新时间(index.refresh_interval)

思考:ES如何做去重:一个记录来回修改,而且存在并发的情况,可能会插入同样的几条记录。

原文:https://www.cnblogs.com/big1987/p/11022581.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!