kylin-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Luke Han <luke...@gmail.com>
Subject Re: Cube 构建优化咨询
Date Fri, 11 Nov 2016 16:10:33 GMT
don't try to run such huge job one time, please run them one by one, for
example, run 1 month data and then next one...




Best Regards!
---------------------

Luke Han

2016-11-10 14:54 GMT+08:00 仇同心 <qiutongxin@jd.com>:

> 大家好:
>
>      目前在构建cube时遇到问题:cube维度的基数不是很高,但是度量里的字段基数很高,Build
Dimension Dictionary
> 就非常的占用本机内存,选取的度量的基数有千万、亿,甚至是十亿左右的,度量大多都是SUM,Count_distinct的精确计算。数据量是10个
> 月的数据,我们是打算一次跑完10个月历史数据,然后在按日增跑作业。
>
>     服务器的内存配置为125G,#4 Step Name: Build Dimension Dictionary
> 会一直在跑很长时间,最后到导致内存溢出。
>
>      对于这种度量基数高的问题,有什么好的优化方案吗?
>
>
>
>
>
>
>
> 谢谢~
>
>
>
>
>
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message