kylin-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From yuyong.zhai <yuyong.z...@ele.me>
Subject 回复:关于kylin设置queuename遇到的问题
Date Mon, 16 Oct 2017 12:04:15 GMT
view yarn log


 原始邮件
发件人: wanglb<wanglb8822@qq.com>
收件人: user<user@kylin.apache.org>
发送时间: 2017年10月16日(周一) 18:49
主题: 回复:关于kylin设置queuename遇到的问题

如果我把配置里的kylin.source.kylin.client修改为cli,其他保持不变
执行,会报以下的错误,不知道什么情况:
Application application_1507516583223_4105 failed 2 times due to AM Container for appattempt_1507516583223_4105_000002
exited with exitCode: 1 due to: Exception from container-launch.
Container id: container_1507516583223_4105_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
at org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor.launchContainer(LinuxContainerExecutor.java:290)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)

Shell output: main : command provided 1
main : user is bdcbas1234
main : requested yarn user is bdcbas1234


Container exited with a non-zero exit code 1
.Failing this attempt.. Failing the application.




------------------ 原始邮件 ------------------
发件人: "wanglb"<wanglb8822@qq.com<mailto:wanglb8822@qq.com>>;
发送时间: 2017年10月16日(星期一) 晚上6:24
收件人: "user"<user@kylin.apache.org<mailto:user@kylin.apache.org>>; "user"<user@kylin.apache.org<mailto:user@kylin.apache.org>>;
主题: 回复:关于kylin设置queuename遇到的问题

修改这三个xml文件相应的参数后,启动执行,还是原来的错误


------------------ 原始邮件 ------------------
发件人: "op"<520075694@qq.com<mailto:520075694@qq.com>>;
发送时间: 2017年10月16日(星期一) 晚上6:06
收件人: "user"<user@kylin.apache.org<mailto:user@kylin.apache.org>>;
主题: 回复:关于kylin设置queuename遇到的问题


试试在 kylin_hive_conf.xml里面配mapred.job.queue.name

kylin_job_conf_inmem.xml
kylin_job_conf.xml
配 mapreduce.job.queuename
------------------ 原始邮件 ------------------
发件人: "wanglb";<wanglb8822@qq.com<mailto:wanglb8822@qq.com>>;
发送时间: 2017年10月16日(星期一) 晚上6:04
收件人: "user"<user@kylin.apache.org<mailto:user@kylin.apache.org>>;"user"<user@kylin.apache.org<mailto:user@kylin.apache.org>>;
主题: 回复:关于kylin设置queuename遇到的问题

将配置文件里的队列名去掉root.后,重新启动执行,问题还是跟之前的一样,在第二步的select
count(*)那里queue为default


------------------ 原始邮件 ------------------
发件人: "op"<520075694@qq.com<mailto:520075694@qq.com>>;
发送时间: 2017年10月16日(星期一) 下午5:52
收件人: "user"<user@kylin.apache.org<mailto:user@kylin.apache.org>>;
主题: 回复:关于kylin设置queuename遇到的问题

队列名 别加root.


------------------ 原始邮件 ------------------
发件人: "wanglb";<wanglb8822@qq.com<mailto:wanglb8822@qq.com>>;
发送时间: 2017年10月16日(星期一) 下午5:47
收件人:  “user”< user@kylin.a pache.org<mailto:user@kylin.apache.org> >;
主题: 关于kylin设置queuename遇到的问题

最近在cdh5.7搭建kylin2.1环境后,构建cube时遇到问题

需要修改队列名称
在kylin.properties文件配置队列参数如下:
kylin.source.kylin.client =直线
kylin.engine.mr.config-override.mapreduce.job.queuename = root.cbasQueue
kylin.source.hive.config-override.mapreduce.job.queuename = root.cbasQueue

修改完成,重启kylin,BUILD CUBE后
在执行1 step name create intermediate flat hive table步骤,提交的mr任务使用的queue正确为root.cbasQueue
在执行2 step name redistribute flat hive table报错,提交的mr任务使用的queue为default

另外在load hive table from tree那里添加hive表时,后台提交的mr任务也是使用的queue为default

请问这种情况是什么原因?
非常感谢!
Mime
View raw message