flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 叶贤勋 <yxx_c...@163.com>
Subject 回复: flink 维表关联
Date Thu, 26 Dec 2019 01:47:50 GMT
可以使用guava实现维表数据缓存在jvm,可以设置缓存数据有效期


| |
叶贤勋
|
|
yxx_cmhd@163.com
|
签名由网易邮箱大师定制


在2019年12月26日 08:44,李现<stormallin2020@gmail.com> 写道:
流的大小应该不是无限制的,应该是有个窗口期?窗口期之外的数据离线处理?

xin Destiny <nj18652727118@gmail.com>于2019年12月25日 周三18:13写道:

Hi,lucas.wu:

我个人觉得可以把join的条件和流对应的数据存放在mapstate中,每次维表的缓存更新数据之后,去mapstate中查询,如果存在对应的KV,将新关联后的数据下发;
不过这样state会占用很大的内存,需要主意state的清理

lucas.wu <lucas.wu@xiaoying.com> 于2019年12月25日周三 下午5:13写道:

hi all:
flink的kafka流表与hbase维表关联,维表后面有变动的话,如何将之前关联过的数据进行更新?

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message