flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 戴嘉诚 <a773807...@gmail.com>
Subject Re: AsyncIO 用Redis做缓存
Date Tue, 06 Aug 2019 14:16:31 GMT
你好,
        可以用lettuce做异步客户端,排除lettuce的netty依赖,用flink的netty,就可以了集成lettuce了

王佩 <wangpei@cmcm.com>于2019年8月6日 周二22:11写道:

> 这种Join场景,用上缓存后,理论上应该更快,但为啥会变慢呢。
>
> 王佩 <wangpei@cmcm.com> 于2019年8月6日周二 下午10:09写道:
>
> > 需求: 事实表实时Join Kudu中的维度表,用来补全维度。
> >
> > 为加快查询速度,先从Kudu中查询数据,查询到数据后放入Redis缓存,下次查询先从Redis中取,取不到再从Kudu中查。
> >
> > 遇到的问题:
> > 1、不用Redis缓存,checkpoint很快,效率很高。
> > 2、用Redis缓存,用Jedis,但不用连接池,效率很低。
> > 3、用Redis缓存,用Redis连接池,效率更低。
> >
> > 请教下:
> > 1、从Kudu中取数据,不用缓存可以吗。
> > 2、在AsyncIO中,用lettuce异步客户端,和flink netty不兼容。
> > 3、在AsyncIO中,用Jedis连接池,flink checkpoint很慢的原因。
> > 3、像我这种场景: 流(实时表) Join Kudu中的维度表,怎么才能更好的提高性能。
> >
> > 烦请解答下,辛苦,感谢。
> >
> >
> >
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message