flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 王佩 <wang...@cmcm.com>
Subject AsyncIO 用Redis做缓存
Date Tue, 06 Aug 2019 14:09:14 GMT
需求: 事实表实时Join Kudu中的维度表,用来补全维度。

为加快查询速度,先从Kudu中查询数据,查询到数据后放入Redis缓存,下次查询先从Redis中取,取不到再从Kudu中查。

遇到的问题:
1、不用Redis缓存,checkpoint很快,效率很高。
2、用Redis缓存,用Jedis,但不用连接池,效率很低。
3、用Redis缓存,用Redis连接池,效率更低。

请教下:
1、从Kudu中取数据,不用缓存可以吗。
2、在AsyncIO中,用lettuce异步客户端,和flink netty不兼容。
3、在AsyncIO中,用Jedis连接池,flink checkpoint很慢的原因。
3、像我这种场景: 流(实时表) Join Kudu中的维度表,怎么才能更好的提高性能。

烦请解答下,辛苦,感谢。
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message