flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "DONG, Weike" <kyled...@connect.hku.hk>
Subject Re: Flink1.10执行sql超出内存限制被yarn杀掉
Date Mon, 23 Mar 2020 14:14:53 GMT
Hi,

建议使用 Profiling 工具查看下堆内内存的使用情况,或者使用 MAT
等内存泄漏分析工具,找出具体的瓶颈所在(有可能是用户自定义的数据结构导致的问题)。如果发现堆内占用不大,则可能是堆外内存(native
部分)导致的,那么也可以用 jemalloc 和 jeprof 等工具来辅助定位。

On Mon, Mar 23, 2020 at 10:12 PM faaron zheng <faaronzheng@gmail.com> wrote:

>
> 大家好,我在用flink1.10执行sql时,当数据比较大的时候,3T左右,100多亿条数据,在执行hash和sort的时候经常超出内存限制,被yarn杀掉,我的tm给了40g内存,每个有10个slot,每个slot3g内存。我也试过给更大的内存,但是没什么效果。不知道这是什么原因?
>
>
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message