flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Michael Ran" <greemqq...@163.com>
Subject Re:Re: flink消费kafka问题
Date Tue, 21 May 2019 11:41:53 GMT
保存成功了,才做check 不行吗?
在 2019-05-21 10:37:50,"Biao Liu" <mmyy1110@gmail.com> 写道:
>Hi, 你需要正确处理“落库失败”的数据,例如可以直接抛异常出来,这样
job 会不停 failover,直到不再落库失败
>
>
>方伟 <fw0653@163.com> 于2019年5月20日周一 下午6:02写道:
>
>> Hi 你好~:
>>
>> 请教个问题:我用flink消费kafka的数据,使用了checkpoint记录分区的偏移量,5s做一次checkpoint,并设置了EXACTLY_ONCE,让消费的数据落到mysql中,如何保证落库失败了(比如数据库中字段长度设置小了),当重新消费时还会消费到上次那条数据(我的理解是此时可能那条数据已经做了checkpoint了,下次消费就会跳过这条数据,是这样吗?该如何解决呢?),谢谢!
Mime
View raw message