flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Jimmy Wong" <wangzmk...@163.com>
Subject Re:Re: Kafka 与 extractly-once
Date Mon, 09 Sep 2019 09:44:10 GMT
Hi,我的理解是这样的:这个问题是由于 source 的重放,导致 Flink 内部就重复计算,并且会传到下游,最终反映在结果上,或者说这种操作不能保证内部
Extractly-Once?比如在 [8:00,8:05) 这 5 分钟之内,在 8:03 某个 task 挂了,然后又重新拉起。这时候从
checkpoint 的恢复获得的是这 8:00 分钟之前的 Kafka offset,但是 [8:00,8:03)
之内的消息已经消费,流向下游。重新拉起之后,由于某种原因 source
重放,那么这时候 [8:00,8:03) 的数据会再次被消费,并且会发往下游。






在 2019-09-09 16:01:48,"820129254@qq.com" <820129254@qq.com> 写道:

sink 的精确一次需要外部系统的支持的, 比如 kafka 的事务性producer, 社区有一篇文章讲的很好,
可以看一下 https://ververica.cn/developers/exactly-once/
 
820129254@qq.com
 
发件人: Jimmy Wong
发送时间: 2019-09-09 11:50
收件人: user-zh@flink.apache.org
主题: Kafka 与 extractly-once
Hi,all:
请教一下,我设置 checkpoint 的时间是 5 分钟,如果在这 5 分钟之内,某个
task 挂了,然后又重新拉起。我是不是可以理解为这时候从 checkpoint 的数据获得的是这
5 分钟之前的 Kafka offset,但是这 5 分钟之内的消息已经消费,流向下游。重新拉起之后,source
重放,那么这时候这 5 分钟的数据会再次被消费麽?如果再次消费,那么怎么保证
Extractly-Once 呢?
| |
Jimmy
|
|
wangzmking@163.com
|
签名由网易邮箱大师定制

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message