首页 > 其他 > 详细

ES的使用折叠实现分组去重

时间:2021-03-16 14:55:30      阅读:356      评论:0      收藏:0      [点我收藏+]

  最近用到使用es按指定字段对数据去重,之前没怎么用过es,网上找es分组的资料。发现较多资料提到es的聚合查询,效果类似mysql的 select uid, count(uid) from table group by uid。

 

  但这不是我想要的效果,mysql的按组查询各组最新的一条数据。

 上谷歌找到博文:https://www.jianshu.com/p/ce47af084cf7

         https://blog.csdn.net/ctwy291314/article/details/82759215

  按着改了查询条件:

$params[‘collapse‘] = [
                    "field"=> "uid",              //要进行折叠的字段
                    // "inner_hits" => [             //折叠的参数集
                    //     "name"=> "hits",          //折叠的name,目前没有发现哪里有用到的地方,可能在多个折叠情况下有用
                        // "ignore_unmapped"=> true,  //默认为false,如果存在一些数据没有折叠字段的会报错,设置为true可以避免类似的报错

                        //from和size用来控制想要返回的折叠列表,这里我的需求是重复id相同仅返回头条,所以两个参数均设置为0
                        //如果有需求折叠列表的可以通过这里控制
                        // "from"=> 0,
                        // "size"=> 10,
                        // "version"=> false,
                        // "explain"=> false,
                        // "track_scores"=> true,
                        // "sort" => [],
                    // ]
            ];

打印查询结果可见数据已经按uid去重,如果要拿到折叠数据,将取消注释的代码再次提交即可,如果折叠内容需要增加排序,将排序规则加入collapse的sort即可。

     

ES的使用折叠实现分组去重

原文:https://www.cnblogs.com/wscsq789/p/14542724.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!