flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Shi Quan <qua...@outlook.com>
Subject RE: 回复: flink
Date Mon, 13 May 2019 09:23:10 GMT
OutputTag可能能解决问题,看到过相关说明,但是没有实际应用过。有么用过的现身说法下。



BTW,你说的“旁路输出”和OutputTag是一个意思么?



Sent from Mail<https://go.microsoft.com/fwlink/?LinkId=550986> for Windows 10



________________________________
From: deng <bnnbb123@139.com>
Sent: Monday, May 13, 2019 3:22:59 PM
To: user-zh
Subject: 回复: flink

还要看你的delay 时间,如果delay 时间都已经到了,那就不会计算的,flink
会丢弃的。

目前我能想到的是可以利用旁路输出来计算,具体还得看需求,有其它方法
大佬 可以指定一下,谢谢。。。


发件人: Kobeli
发送时间: 2019-05-11 18:44
收件人: user-zh
主题: flink
hello flink watermark的问题
flink job使用event time聚合指标, source是多分区的kafka,如果一个分区的数据由于某个原因(比如under-replica),
flink job不能消费这个partition的实时消息(只能消费kafka这个分区低水位的消息)。
其它分区正常,由其它分区计算watermark, 过了很久,有问题的partition恢复正常,滞留的消息比watermark晚,会不会造成不计算这些晚到的消息?
如果这样,怎么解决?

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message