flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 王佩 <wang...@cmcm.com>
Subject Re: AsyncIO 用Redis做缓存
Date Tue, 06 Aug 2019 14:11:23 GMT
这种Join场景,用上缓存后,理论上应该更快,但为啥会变慢呢。

王佩 <wangpei@cmcm.com> 于2019年8月6日周二 下午10:09写道:

> 需求: 事实表实时Join Kudu中的维度表,用来补全维度。
>
> 为加快查询速度,先从Kudu中查询数据,查询到数据后放入Redis缓存,下次查询先从Redis中取,取不到再从Kudu中查。
>
> 遇到的问题:
> 1、不用Redis缓存,checkpoint很快,效率很高。
> 2、用Redis缓存,用Jedis,但不用连接池,效率很低。
> 3、用Redis缓存,用Redis连接池,效率更低。
>
> 请教下:
> 1、从Kudu中取数据,不用缓存可以吗。
> 2、在AsyncIO中,用lettuce异步客户端,和flink netty不兼容。
> 3、在AsyncIO中,用Jedis连接池,flink checkpoint很慢的原因。
> 3、像我这种场景: 流(实时表) Join Kudu中的维度表,怎么才能更好的提高性能。
>
> 烦请解答下,辛苦,感谢。
>
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message