flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Yun Tang <myas...@live.com>
Subject Re: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?
Date Thu, 18 Jul 2019 07:24:57 GMT
Hi

A1: chk-x文件下面的文件个数是跟operator个数并行度是有关系的,主要是operator
state的文件。对于checkpoint场景,_metadata只是元数据,真实的operator数据都是在其他文件内。

A2: 不可以将这些文件合并在一起。因为_metadata内主要记录了文件路径,如果合并的话,找不到原始路径会有问题,无法从checkpoint进行restore

祝好
唐云
________________________________
From: 陈冬林 <874269816@qq.com>
Sent: Thursday, July 18, 2019 15:21
To: user-zh@flink.apache.org <user-zh@flink.apache.org>
Subject: checkpoint 文件夹Chk-no 下面文件个数是能计算出来的吗?

[cid:A90251C2-5DED-42D9-AA11-8D9314A2F1B9@360buyAD.local]

state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/1e95606a-8f70-4876-ad6f-95e5cc38af86
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/2a012214-734a-4c2b-804b-d96f4f3dddf8
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/31871f64-7034-4323-9a2e-5e387e61b7c4
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/54c12a36-c121-4fa0-be76-7996946b4beb
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/63a22932-4bce-4531-bc65-a74d403efb91
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/64b10d96-8333-4a7e-87d1-8afe24c7d2df
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/66290710-e619-4ccf-90b6-5f09f89354f8
state_checkpoints_dir/2d93ffacbddcf363b960317816566552/chk-2903/_metadata

QA1: chk文件下面的文件个数是跟operator个数并行度有关系吗?我只了解到_metadata文件是用来恢复状态的,那么其他文件代表的是什么意思呢?

QA2: 可以将这些文件合并在一起吗?
Mime
  • Unnamed multipart/related (inline, None, 0 bytes)
View raw message