flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From tao wang <wtrunw...@gmail.com>
Subject Re: 请问有没有什么方法可以把checkpoint打到集群外的hdfs?
Date Fri, 24 Apr 2020 10:10:22 GMT
多谢 zhisheng , 用你的方法解决了。
做完整的savepoint的时候, hdfs 地址 用hdfs://ip:port/ 的方式访问新集群的hdfs。不用nameservice
的方式

zhisheng <zhisheng2018@gmail.com> 于2020年4月16日周四 下午4:37写道:

> > 如果我把任务迁移到另外一个集群,如何让它从老的集群的checkpoint
恢复
>
> 这种是不是可以先在旧集群对作业取消的时候做一次完整的 savepoint(地址填新集群的
HDFS 地址),然后在新集群的时候从 savepoint
> 启动
>
> Yangze Guo <karmagyz@gmail.com> 于2020年4月15日周三 下午3:52写道:
>
> > 1. flink会去读YARN_CONF_DIR or HADOOP_CONF_DIR这两个环境变量
> > 2. 我理解这和你flink运行的集群是解耦的,只要你dir的路径不变,就会从那个dir找checkpoint恢复
> >
> > Best,
> > Yangze Guo
> >
> > On Wed, Apr 15, 2020 at 3:38 PM tao wang <wtrunwolf@gmail.com> wrote:
> > >
> > > 多谢回复, 还有几个问题请教:
> > > 1、外部集群的hdfs-site, core-site 这些怎么配置?
> > > 2、另外一个角度, 如果我把任务迁移到另外一个集群,如何让它从老的集群的checkpoint
恢复。
> > >
> > > Yangze Guo <karmagyz@gmail.com> 于2020年4月15日周三 下午2:44写道:
> > >>
> > >> checkpoint的目录设置key为state.checkpoints.dir
> > >>
> > >> 你可以这样设置
> > >> state.checkpoints.dir: hdfs://namenode:port/flink/checkpoints/
> > >>
> > >>
> > >> Best,
> > >> Yangze Guo
> > >>
> > >> On Wed, Apr 15, 2020 at 1:45 PM tao wang <wtrunwolf@gmail.com> wrote:
> > >> >
> > >> > 现在有个场景, 集群上上了一些比较重要的任务,为了提高这些任务的性能,为它提供了一个专有的hdfs
集群用来存储checkpoint 。
> > >> >
> > >> > 但是现在不知道怎么配置才能让支持任务打到外部的hdfs集群。
> > >> >
> > >> > 谢谢!!
> >
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message