flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "taowang"<taow...@deepglint.com>
Subject 为消息分配时间戳但不想重新分配水印
Date Thu, 16 Apr 2020 09:12:59 GMT
Hello,大家好:
在flink stream中我这里遇到一个需求是,想到对上一个算子输出的消息重新分配时间戳,但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。
为了实现这个功能,我想有两种方法:
1. 在算子输出后面重新为消息分配水印:看到flink stream暂时只有`assignTimestampsAndWatermarks`方法,这里面要实现两个接口:`getCurrentWatermark`和`extractTimestamp`。我只想实现`extractTimestamp`而不想管水印相关的`getCurrentWatermark
`这个方法。因为在加水印前多并行度会造成乱序从而使水印增长过快。
2. 在上一个算子输出时指定这个消息的时间戳,但我只看到在`SourceFunction`里才有`collectWithTimestamp`之类的方法,在正常的比如`ProcessFunction`里是只有`collect`方法。


我现在只能使用`assignTimestampsAndWatermarks` 去重新分配水印,但这限制了我前面的算子并行度都必须设置为1,请问大家有什么好的办法吗?
感谢解答!
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message