flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "被惊艳的时光" <2521929...@qq.com>
Subject 回复:(无主题)
Date Fri, 27 Mar 2020 02:29:45 GMT
并发是200和400两种,集群有270多个节点,不过可用的vcores是6600多,内存是17T左右,看了执行图q43这个存在数据倾斜的的问题,失败的节点存在数据量偏大的情况



---原始邮件---
发件人: "Jingsong Li"<jingsonglee0@gmail.com&gt;
发送时间: 2020年3月27日(周五) 上午10:20
收件人: "被惊艳的时光"<2521929058@qq.com&gt;;
抄送: "user-zh"<user-zh@flink.apache.org&gt;;"lirui"<lirui@apache.org&gt;;
主题: Re: (无主题)


Hi,

- 是否是计算规模的问题?
集群大小合适吗?并发合适吗?

- 是否是Plan不优的问题?
Hive的表有做Analysis吗?

CC: user

Best,
Jingsong Lee

On Thu, Mar 26, 2020 at 8:27 PM 被惊艳的时光 <2521929058@qq.com&gt; wrote:

&gt;
&gt; hello,你好,有个关于flink-sql-benchmark工具的问题需要请教下,在做tpc-ds测试时,当数据量达到4T时(flink版本1.10),q43,q67,q70这三条sql执行出错了,都是在hashjoin的时候失败啦,报错信息是hashjoin迭代的次数过多,不知道之前你们在测试时有没有出现这种情况
&gt;


-- 
Best, Jingsong Lee
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message