flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From LakeShen <shenleifight...@gmail.com>
Subject Re: flink消费kafka问题
Date Wed, 12 Jun 2019 01:37:57 GMT
可以了解一下 barrier  在EXACTLY_ONCE 以及 AT_LEAST_ONCE checkpoint语义下 的对齐方式😁

王志明 <wangzmking@163.com> 于2019年6月11日周二 下午1:20写道:

> 你好,可以看下这篇文章:
> https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html
>
>
>
>
>
>
>
>
> 在 2019-05-20 18:02:07,"方伟" <fw0653@163.com> 写道:
> >Hi 你好~:
> >
> 请教个问题:我用flink消费kafka的数据,使用了checkpoint记录分区的偏移量,5s做一次checkpoint,并设置了EXACTLY_ONCE,让消费的数据落到mysql中,如何保证落库失败了(比如数据库中字段长度设置小了),当重新消费时还会消费到上次那条数据(我的理解是此时可能那条数据已经做了checkpoint了,下次消费就会跳过这条数据,是这样吗?该如何解决呢?),谢谢!
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message