flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From LakeShen <shenleifight...@gmail.com>
Subject Re: Flink 1.6 版本,RocksDBStateBackend ,增量 Checkpoint 目录问题
Date Thu, 16 Jan 2020 09:06:33 GMT
原来是这样,中间的确有很多 Checkpoint 超时失败,对于这种由于 Checkpoint
失败创建的目录,Flink 本身是不会删除的,对吗?
也就是这部分状态文件,会一直存储在HDFS 上面,这种情况是否会造成
Flink Checkpoint 目录下 shared目录无限增大呢,
非常感谢你,lucas,期待你的回复。

lucas.wu <lucas.wu@xiaoying.com> 于2020年1月16日周四 下午4:50写道:

> 可能是失败的checkpoint目录,可以看看程序中间是不是有失败的checkpoint
>
>
> 原始邮件
> 发件人:LakeShenshenleifighting@gmail.com
> 收件人:user-zhuser-zh@flink.apache.org
> 发送时间:2020年1月16日(周四) 16:47
> 主题:Flink 1.6 版本,RocksDBStateBackend ,增量 Checkpoint 目录问题
>
>
> 我使用 Flink 1.6 版本,使用的增量 Checkpoint,我看官网说,默认的
Checkpoint
> 保留目录是1,也就是会保留一个最新完成的 Checkpoint 目录,但是在我的任务
Checkpoint 路径下面,居然有很多个 chk-xxx
> 目录,比如说 chk-86515,chk-37878,而且在这些目录下面,还有数据,这是什么原因呢。
> 对这个地方有点困惑,既然默认保留的目录是1了,为什么还有这么多
chk 目录呢。 期待你的回答
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message