flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Congxian Qiu <qcx978132...@gmail.com>
Subject Re: save point容灾方案咨询
Date Mon, 18 May 2020 02:36:11 GMT
你好

据我所知,这个在 Flink 不太好支持,你可以试试看存储层是否能够实现类似的需求,另外
FLINK-5763[1]
或许对你有用,FLINK-5763 能够更好地支持 savepoint 在集群间的迁移

[1] https://issues.apache.org/jira/browse/FLINK-5763
Best,
Congxian


1048262223 <1048262223@qq.com> 于2020年5月17日周日 下午9:17写道:

> +1,如果主备都在flink内的话,可能会加倍做checkpoint的负载,个人理解直接在状态后端内部做主备集群同步效率会更高
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: tison <wander4096@gmail.com&gt;
> 发送时间: 2020年5月17日 20:50
> 收件人: user-zh <user-zh@flink.apache.org&gt;
> 主题: 回复:save point容灾方案咨询
>
>
>
> 这个我理解不在 Flink 的范畴里啊。你 savepoint 存到一个位置,然后外部挂一个同步器在主集群和容灾集群里同步(savepoint
> 目录)就可以吧。
>
> Best,
> tison.
>
>
> zhisheng <zhisheng2018@gmail.com&gt; 于2020年5月17日周日 下午8:40写道:
>
> &gt; hi
> &gt;
> &gt; 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径(一个是你的主集群/另一个是容灾集群)
> &gt; 是不是就可以解决你现在的问题,达到你想要的需求?
> &gt;
> &gt; Best
> &gt;
> &gt; zhisheng
> &gt;
> &gt; 请叫我雷锋 <854194341@qq.com&gt; 于2020年5月17日周日 下午7:32写道:
> &gt;
> &gt; &gt; 谢谢关注:
> &gt; &gt;
> &gt; &gt;
> &gt; &gt; savepoint 容灾
> 是指的,每次执行savepoint生成的文件,能够在容灾集群上做备份。当主集群变得不可用时,可以将任务迁移到容灾
> &gt; &gt; 集群进行根据savepoint 进行任务恢复。
> &gt; &gt;
> &gt; &gt;
> &gt; &gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
> &gt; &gt; 发件人:&amp;nbsp;"Congxian Qiu"<qcx978132955@gmail.com&amp;gt;;
> &gt; &gt; 发送时间:&amp;nbsp;2020年5月17日(星期天) 晚上6:01
> &gt; &gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt; &gt;
> &gt; &gt; 主题:&amp;nbsp;Re: save point容灾方案咨询
> &gt; &gt;
> &gt; &gt;
> &gt; &gt;
> &gt; &gt; 你好
> &gt; &gt;
> &gt; &gt; 请问这里的 savepoint 容灾的 “容灾” 具体是指什么呢?希望解决什么问题呢?
> &gt; &gt;
> &gt; &gt; Best,
> &gt; &gt; Congxian
> &gt; &gt;
> &gt; &gt;
> &gt; &gt; LakeShen <shenleifighting@gmail.com&amp;gt; 于2020年5月15日周五
> 上午10:20写道:
> &gt; &gt;
> &gt; &gt; &amp;gt; Hi ,
> &gt; &gt; &amp;gt;
> &gt; &gt; &amp;gt; 你可以把你的场景在描述的详细一些。
> &gt; &gt; &amp;gt;
> &gt; &gt; &amp;gt; Best,
> &gt; &gt; &amp;gt; LakeShen
> &gt; &gt; &amp;gt;
> &gt; &gt; &amp;gt; 请叫我雷锋 <854194341@qq.com&amp;gt; 于2020年5月14日周四
下午9:42写道:
> &gt; &gt; &amp;gt;
> &gt; &gt; &amp;gt; &amp;gt; 各位大佬好,请问有啥好的save
point容灾方案嘛?
> &gt; &gt; &amp;gt; &amp;gt;
> &gt; &gt; &amp;gt; &amp;gt;
> &gt; &gt; &amp;gt; &amp;gt;
> &gt; &gt; &amp;gt; &amp;gt; 发自我的iPhone
> &gt; &gt; &amp;gt;
> &gt;
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message