flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From chai <chaiy...@didachuxing.com>
Subject Flink 消费数据延迟问题
Date Wed, 15 May 2019 03:48:55 GMT
场景:kafka 流表和cassandra维度表join,生成宽表

问题描述:
kafka 数据(流表A)和cassandra 数据(维度表B)都是通过mysql binglog生成的。
在mysql 中业务库中,表A和表B是同步生成的两条数据,可以根据id关联。
在flink sql是用过程中发现,一个case。表A中最近一条数据id为1,此时表B中id为1的数据还没到,导致join不上。

个人的疑问:
1.flink sql中有没有延迟读取kafka 流表A(短时间,例如2秒),这样表A和B就能join上了。
2.是否有其它更适合当前场景的方式?
Mime
View raw message