flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From tingli ke <ketingl...@gmail.com>
Subject Re: keyby的乱序处理
Date Tue, 31 Mar 2020 01:53:57 GMT
您好,
针对您的回复,现在的场景是这样子的
1、kafka存在多个partition,针对多个Partiton,flink watermark assiger会对每个Partiton
发射 watermark;
2、在第一个前提下,水位已经设置好了,还可以在keyby之后在次设置watermark吗?
3、是否存在可以不用经过第一个前提的方案,直接在keyby之后设置watermark?

Jimmy Wong <wangzmking@163.com> 于2020年3月30日周一 下午9:13写道:

> Hi,
> watermark 可以在 keyBy 后分配,但是最好紧跟 SourceFunction。经过 KeyBy
> 或其他分配策略,可能导致数据更大的延迟(EventTime)。
>
>
> “想做key化的乱序处理” 这句没太理解,麻烦解释下。
>
>
> | |
> Jimmy Wong
> |
> |
> wangzmking@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年03月30日 20:58,tingli ke<ketingli92@gmail.com> 写道:
> 请教一个问题:kafka-per-partition 的watermark的分配,可以在keyby之后分配吗,想做key化的乱序处理能支持吗
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message