flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From LakeShen <shenleifight...@gmail.com>
Subject Re: Flink1.10执行sql超出内存限制被yarn杀掉
Date Mon, 23 Mar 2020 14:15:18 GMT
Hi farron ,

能否在详细描述一下你的 SQL 的逻辑



faaron zheng <faaronzheng@gmail.com> 于2020年3月23日周一 下午10:12写道:

>
> 大家好,我在用flink1.10执行sql时,当数据比较大的时候,3T左右,100多亿条数据,在执行hash和sort的时候经常超出内存限制,被yarn杀掉,我的tm给了40g内存,每个有10个slot,每个slot3g内存。我也试过给更大的内存,但是没什么效果。不知道这是什么原因?
>
>
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message