flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Kobeli" <liyup...@qq.com>
Subject flink
Date Sat, 11 May 2019 10:44:29 GMT
hello flink watermark的问题
flink job使用event time聚合指标, source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica),
flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
其它分区正常,由其它分区计算watermark, 过了很久,有问题的partition恢复正常,滞留的消息比watermark晚,会不会造成不计算这些晚到的消息?

如果这样,怎么解决?
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message