flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Biao Liu <mmyy1...@gmail.com>
Subject Re: flink消费kafka问题
Date Tue, 21 May 2019 02:37:50 GMT
Hi, 你需要正确处理“落库失败”的数据,例如可以直接抛异常出来,这样
job 会不停 failover,直到不再落库失败


方伟 <fw0653@163.com> 于2019年5月20日周一 下午6:02写道:

> Hi 你好~:
>
> 请教个问题:我用flink消费kafka的数据,使用了checkpoint记录分区的偏移量,5s做一次checkpoint,并设置了EXACTLY_ONCE,让消费的数据落到mysql中,如何保证落库失败了(比如数据库中字段长度设置小了),当重新消费时还会消费到上次那条数据(我的理解是此时可能那条数据已经做了checkpoint了,下次消费就会跳过这条数据,是这样吗?该如何解决呢?),谢谢!
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message