kylin-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From chen snowlake <jei...@outlook.com>
Subject 答复:咨询kylin的历史统计备份恢复方案
Date Thu, 14 Feb 2019 02:43:03 GMT
Hi Chao Long

非常感谢你们的答疑,这对我太有帮助了,多谢多谢!

请问Kylin有历史数据备份及恢复方案不,就是将历史数据备份到集群外,必要的时候还可以恢复继续使用这样的场景;不胜感激!

   猪年大吉大利!!!



SnowLake

杭州初灵数据科技有限公司

地址:浙江省杭州市淳安县文昌镇高铁生态产业园文博路8号园区5号楼114室

Email:chenyj@outlook.com



________________________________
发件人: Chao Long <wayne.l@qq.com>
发送时间: Wednesday, February 13, 2019 6:57:41 PM
收件人: dev
主题: 回复:[Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据

Hi Chen
   这个目录下的文件是以sequence格式保存的cube数据,在segment merge的时候会直接merge这个目录下的文件而不是merge
hfile,在merge结束后才会自动删除,所以是有意保持的,最好不要删除。
------------------
Best Regards,
Chao Long


------------------ 原始邮件 ------------------
发件人: "chen snowlake"<jeific@outlook.com>;
发送时间: 2019年2月13日(星期三) 晚上6:11
收件人: "dev@kylin.apache.org"<dev@kylin.apache.org>;

主题: [Kylin] /kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid是否为中间数据



Dear All:
因为数据备份问题,关注kylin的后台存储,这里咨询一个问题
Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/cuboid这个目录的下我测试发现它的数据量大小和Kylin的Hbase中的segment一致,我将其删除后查询时不影响的
我的问题的是:这里的数据是否是有意保持的

Cube build过程的后几步:
   。。。
>> 写出 cuboid data
>> convert cuboid data To Hfile  将在Hdfs://${HAname}/kylin/kylin_metadata/kylin-${jobid}/${cubename}/hfile下面输出hfile文件
>> Hfile load To Hbase 完成后上面的hile目录下数据会移走
我理解cuboid data  数据是中间数据,在build成功后,查询时不会使用的,那是否应该在完成hfile转换后删除呢

SnowLake

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message