kylin-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Chao Long" <wayn...@qq.com>
Subject 回复:[Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据
Date Wed, 13 Feb 2019 10:57:41 GMT
Hi Chen
   这个目录下的文件是以sequence格式保存的cube数据,在segment merge的时候会直接merge这个目录下的文件而不是merge
hfile,在merge结束后才会自动删除,所以是有意保持的,最好不要删除。
------------------
Best Regards,
Chao Long


------------------ 原始邮件 ------------------
发件人: "chen snowlake"<jeific@outlook.com>;
发送时间: 2019年2月13日(星期三) 晚上6:11
收件人: "dev@kylin.apache.org"<dev@kylin.apache.org>;

主题: [Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据



Dear All:
因为数据备份问题,关注kylin的后台存储,这里咨询一个问题
Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid这个目录的下我测试发现它的数据量大小和Kylin的Hbase中的segment一致,我将其删除后查询时不影响的
我的问题的是:这里的数据是否是有意保持的

Cube build过程的后几步:
   。。。
>> 写出 cuboid data
>> convert cuboid data To Hfile  将在Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/hfile下面输出hfile文件
>> Hfile load To Hbase 完成后上面的hile目录下数据会移走
我理解cuboid data  数据是中间数据,在build成功后,查询时不会使用的,那是否应该在完成hfile转换后删除呢

SnowLake
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message