flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 蒋涛涛 <jttsai1...@gmail.com>
Subject Re: flink不清理state,从checkpoint恢复任务能重置kafka的offset讨论
Date Thu, 29 Aug 2019 03:45:53 GMT
Hi  Yun Tang,
其实默认情况下,我其实是默认想从checkpoint恢复kafka当前消费的进度的,但是遇到特别情况下,从某个时间点开始消费数据,就像您说的想要主要恢复keyed
state相关数据,如果把setCommitOffsetsOnCheckpoints(false),kakfa properties里面设置
“auto.commit.enable” 为false,这个时候就不提交kafka
offset,如果正常暂停任务的时候,从checkpoint恢复的时候,我就不知道从哪个时间点进行消费了。


Yun Tang <myasuka@live.com> 于2019年8月29日周四 上午10:57写道:

> Hi 蒋涛涛
>
> Flink的kafka consumer一共有三种offset commit模式:
>
>   1.  OffsetCommitMode.DISABLED                   完全disable offset的commit
>   2.  OffsetCommitMode.ON_CHECKPOINTS   Flink的默认行为,只有当Flink
> checkpoint完成时,才会将offset commit到Kafka
>   3.  OffsetCommitMode.KAFKA_PERIODIC     使用Kafka的internal
> client的默认行为,周期性将offset commit到kafka
>
> 如果不想借助checkpoint来重置kafka的offset,可以利用FlinkKafkaConsumerBase
设置
> setCommitOffsetsOnCheckpoints(false),以及在kakfa properties里面设置
> “auto.commit.enable” 为false,这样就相当于没有commit offset,作业恢复的时候,如果你们设置是从kafka
> consume from latest,既可以恢复checkpoint中的state(你们应该是想要主要恢复keyed
> state相关吧),也可以从最新的offset消费。
>
> 祝好
> 唐云
> ________________________________
> From: wang jinhai <jinhai.me@gmail.com>
> Sent: Thursday, August 29, 2019 10:25
> To: user-zh@flink.apache.org <user-zh@flink.apache.org>
> Subject: Re: flink不清理state,从checkpoint恢复任务能重置kafka的offset讨论
>
> 可以选择从之前的某个checkpoint恢复吧
>
>
> 在 2019/8/29 上午10:01,“蒋涛涛”<jttsai1014@gmail.com> 写入:
>
>     Hi everyone:
>
>
> 如题,我遇到有些数据我不应该漏了想回溯部分数据,这个时候我就需要清理state,来重置kafka的offset重新跑,可不可以保留flink任务state,从checkpoint恢复任务的时候重置kafka的offset,并从kafka那个时间段开始消费,而不需要清掉state重新跑数据。
>
>     Regards,
>     JackJiang
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message