flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From deng <bnnbb...@139.com>
Subject 回复: flink
Date Mon, 13 May 2019 07:22:59 GMT
还要看你的delay 时间,如果delay 时间都已经到了,那就不会计算的,flink
会丢弃的。

目前我能想到的是可以利用旁路输出来计算,具体还得看需求,有其它方法
大佬 可以指定一下,谢谢。。。

 
发件人: Kobeli
发送时间: 2019-05-11 18:44
收件人: user-zh
主题: flink
hello flink watermark的问题
flink job使用event time聚合指标, source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica),
flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
其它分区正常,由其它分区计算watermark, 过了很久,有问题的partition恢复正常,滞留的消息比watermark晚,会不会造成不计算这些晚到的消息?
如果这样,怎么解决?
Mime
View raw message