首页 > 其他 > 详细

Caffeine批量加载浅析

时间:2019-09-17 10:40:25      阅读:304      评论:0      收藏:0      [点我收藏+]

最近项目中的本地缓存,看是从Guava改成了Caffeine,据说是性能更好,既然性能更好的话,那么就用起来吧。不过在使用过程中,发现了单个load和批量loadall方面的一些小设置,记录一下。

一般说来,我们获取单条记录的时候,一般都是 cache.get(id),当数据过期,会从提前设定好的load方法中获取数据。

同样的,如果我们想批量获取记录的时候,一般都是用cache.getAll(ids),当数据过去,会从提前设定好的loadAll方法中获取数据。

实际在测试的时候,发现,利用如下的缓存初始化方式,无论怎么泡cache.getAll(ids)方法,发现总会从load方法中加载数据,硬生生的把批量获取变成了单个循环获取,这就导致几十个redis命令一起发到redis集群那边,造成了网络浪费和性能差异:

 batchNumCache = Caffeine.newBuilder()
                .initialCapacity(cacheSize)
                .maximumSize(cacheSize)
                .refreshAfterWrite(cacheTime, TimeUnit.SECONDS)
                .build(new CacheLoader<Long, Map<String, Integer>>() {

                    @Override
                    public Map<String, Integer> load(Long batchId) throws Exception {
                        return getBatchNumJimdb(batchId);
                    }

                    @Override
                    public Map<Long, Map<String, Integer>> loadAll(Iterable<? extends Long> batchIds) throws Exception {
                        if (Iterables.isEmpty(batchIds)) {
                            return null;
                        }
                        return getAllBatchNumJimdb(Lists.newArrayList(batchIds));
                    }
                });

如上代码可以看出,load方法会调用getBatchNumJimdb加载数据,而loadAll方法会调用getAllBatchNumJimdb加载数据,getAllBatchNumJimdb加载数据的方式就是利用redis的pipeline,一次性将请求发给redis,然后获取返回结果。

虽然如上代码不能按照我们既定的方式工作,那么肯定配置有些什么问题,后来经过诸多的ut测试,发现设置上expireAfterWrite属性,整体就完美了。最终代码如下:

 

batchNumCache = Caffeine.newBuilder()
                .initialCapacity(cacheSize)
                .maximumSize(cacheSize)
                .refreshAfterWrite(cacheTime, TimeUnit.SECONDS)
                .expireAfterWrite(cacheTime, TimeUnit.SECONDS)
                .build(new CacheLoader<Long, Map<String, Integer>>() {

                    @Override
                    public Map<String, Integer> load(Long batchId) throws Exception {
                        return getBatchNumJimdb(batchId);
                    }

                    @Override
                    public Map<Long, Map<String, Integer>> loadAll(Iterable<? extends Long> batchIds) throws Exception {
                        if (Iterables.isEmpty(batchIds)) {
                            return null;
                        }
                        return getAllBatchNumJimdb(Lists.newArrayList(batchIds));
                    }
                });

如上代码,整体就ok了。当使用cache.get的时候,会从load加载,当使用cache.getall的时候,会从loadall加载。

Caffeine批量加载浅析

原文:https://www.cnblogs.com/scy251147/p/11531651.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!