flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Px New <15701181132mr....@gmail.com>
Subject Re: Re: flink savepoint checkpoint
Date Sat, 11 Jan 2020 00:29:53 GMT
Hello ,针对于你的问题 我发现一件有趣的事情
在我以 Yarn per-Job 方式 启动Job程序后  在yarn 的资源管理界面 可以看到我启动的任务
->
它有属于自己的application-Id  然后当我 通过Yarn 的Tracking Ui 下的 Application
<http://node01:8088/proxy/application_1577499691717_0064/>Master
点击进入到Job的Web Ui 界面后(flink的web ui)通过在此界面点击canal 这个按钮
kill 掉程序后 在Yarn 的 管理界面
发现还是有个空壳子的。  当我通过在终端输入 yarn application -kill Id 
后 这个程序才会被杀死。 所以我初步认为
他是Stop 程序。
😀
祝好!
Px

amenhub@163.com <amenhub@163.com> 于2020年1月10日周五 下午5:59写道:

> hi,了解到使用stop进行任务停止并触发savepoint,会在停止之前生成max_watermark,并注册event-time计时器,我想请问使用yarn
> kill方式直接停止任务,会属于cancel还是stop亦或是其他?
>
>
>
> amenhub@163.com
>
> From: Congxian Qiu
> Date: 2020-01-10 17:16
> To: user-zh
> Subject: Re: flink savepoint checkpoint
> Hi
> 从 Flink 的角度看,Checkpoint 用户 Job 运行过程中发生 failover 进行恢复,savepoint
用于 Job
> 之间的状态复用。
> 另外,从 1.9 开始,可以尝试下 StopWithSavepoint[1],以及社区另外一个
issue 尝试做
> StopWithCheckpoint[2]
>
> [1] https://issues.apache.org/jira/browse/FLINK-11458
> [2] https://issues.apache.org/jira/browse/FLINK-12619
> Best,
> Congxian
>
>
> zhisheng <zhisheng2018@gmail.com> 于2020年1月10日周五 上午11:39写道:
>
> > hi,这个参数我理解的作用应该是:作业取消的时候是否清除之前的
checkpoint,但这个 checkpoint
> > 的并不一定是作业最新的状态。而如果你取消命令的时候触发一次
savepoint,那么这次的状态就是最新且最全的。
> >
> > 祝好!
> > zhisheng
> >
> > Px New <15701181132mr.liu@gmail.com> 于2020年1月10日周五 上午10:58写道:
> >
> > > Hello ,针对于你这个问题 在FLink 中 是有这个配置的. 当程序stop时,会额外保存检查点
> > > -->
> > >
> > >
> > >
> >
> env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
> > >
> > >
> > > lucas.wu <lucas.wu@xiaoying.com> 于2019年12月11日周三 上午11:56写道:
> > >
> > > > hi 各位:
> > > >
> > > >
> > >
> >
> 有个问题想和大家讨论一下,就是flink的savepoint为什么要设置成手动的?如果在stop程序的时候没有做savepoint的话,在我重启的时候就不能使用之前保存的一些状态信息。为什么不参考spark的方式,定时做checkpoint,然后启动的时候指定ck地址就可以从上次执行的地方继续执行。
> > >
> >
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message