kylin-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From yu feng <olaptes...@gmail.com>
Subject Re: 答复: kylin.job.mr.lib.dir配置在hdfs下无效问题
Date Tue, 07 Jun 2016 08:45:30 GMT
I think KYLIN-1021 has done about setting a HDFS path that store all jars,
BTW, I think the directory is setting to
${kylin.hdfs.working.dir}/dependencies automatically is a better idea.

在 2016年6月7日 下午4:28,Li Yang <liyang.gmt8@gmail.com>写道:

> Agree allowing HDFS path as well is a good idea. Please open a JIRA.
>
> 2016-06-01 11:08 GMT+08:00 赵天烁 <zhaotianshuo@meizu.com>:
>
>> 而且 这些hive和common的依赖jar包好像必须放在/opt/hadoop/share/hadoop/common/
>> 目录下,如果我自己本地建了一个/opt/kylin/lib/目录,kylin.job.mr.lib.dir指定到这个目录,依赖jar也全部都
>> copy进去,而且分发到了hadoop的每个节点上,但是build cube的时候还是会报找不到这些jar
>>
>>
>>
>> -----------------------------------------------------
>>
>>
>>
>> 赵天烁
>>
>> Kevin Zhao
>>
>> *zhaotianshuo@meizu.com <zhaotianshuo@meizu.com>*
>>
>>
>>
>> 珠海市魅族科技有限公司
>>
>> MEIZU Technology Co., Ltd.
>>
>> 广东省珠海市科技创新海岸魅族科技楼
>>
>> MEIZU Tech Bldg., Technology & Innovation Coast
>>
>> Zhuhai, 519085, Guangdong, China
>>
>>
>>
>>
>>
>> meizu.com
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> *发件人:* young4chong@gmail.com [mailto:young4chong@gmail.com] *代表 *Li Yang
>> *发送时间:* 2016年6月1日 7:58
>> *收件人:* 赵天烁 <zhaotianshuo@meizu.com>; user@kylin.apache.org
>> *主题:* Re: kylin.job.mr.lib.dir配置在hdfs下无效问题
>>
>>
>>
>> 最后的实现和讨论有出入,我已经更新了JIRA。kylin.job.mr.lib.dir确实是指本地目录。
>>
>> 另外还请发到user@kylin.apache.org提问和讨论,这样才能帮助整个社区。
>>
>> Cheers
>>
>> Yang
>>
>>
>>
>> 2016-05-23 18:00 GMT+08:00 赵天烁 <zhaotianshuo@meizu.com>:
>>
>> Hi  https://issues.apache.org/jira/browse/KYLIN-1021,this
>> 这个问题似乎并没有解决,我尝试把mr lib的依赖上传到了一个hdfs路径下,然后把kylin.job.mr.lib.dir配置到这个hdfs
>> 路径,启动的时候依然会报The directory 'hdfs://root/share/kylin' for
>> 'kylin.job.mr.lib.dir' does not exist!!!,我看了下代码里只是用java 的File判断了下是否exist(
>> AbstractHadoopJob:231),有看到你已经提交了一个patch修复这个问题,是我的配置方法不对吗?
>>
>>
>>
>> -----------------------------------------------------
>>
>>
>>
>> 赵天烁
>>
>> Kevin Zhao
>>
>> Java工程师
>>
>> 研发中心-Flyme-大数据-平台研发
>>
>> + 86 18826908281 | *zhaotianshuo@meizu.com <zhaotianshuo@meizu.com>*
>>
>>
>>
>> 珠海市魅族科技有限公司
>>
>> MEIZU Technology Co., Ltd.
>>
>> 广东省珠海市科技创新海岸魅族科技楼
>>
>> MEIZU Tech Bldg., Technology & Innovation Coast
>>
>> Zhuhai, 519085, Guangdong, China
>>
>>
>>
>>
>>
>> meizu.com
>>
>>
>>
>>
>>
>>
>>
>>
>>
>
>
Mime
View raw message