flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "lucas.wu"<lucas...@xiaoying.com>
Subject 使用flink 做维表关联
Date Fri, 20 Dec 2019 09:37:20 GMT
hi 大家好:
最近有在调研使用flink做实时数仓,但是有个问题没弄清楚,就是明细表和维度表做join的时候,该采取什么的方案?目前的想到的就是明细表通过流消费进来,维度表放缓存。但是这种方案有弊端,就是维度表更新后,历史join过的数据无法再更新。不知道大家还有什么其他的方案?ps:目前有看到flink有支持join,这种需要两个表都是流的方式进入flink,然后会将历史的数据保存在state里面,这种对于量大的表会不会有问题?
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message