flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Biao Liu <mmyy1...@gmail.com>
Subject Re: BucketingSink 内存使用分析
Date Fri, 02 Aug 2019 10:33:51 GMT
把 heap dump 出来分析一下?

Thanks,
Biao /'bɪ.aʊ/



On Thu, Aug 1, 2019 at 6:07 PM 九思 <1048095605@qq.com> wrote:

> 请教各位老师,flink on
> yarn,1个TaskManager,4个slot,TaskManager内存4G,JobManager内存1G。使用BucketingSink写入hdfs,3秒checkpoint一次。每秒大概数据100条,3秒也就是300左右。输入数据,大概427个字节,427字节*300=128100字节=125KB;输出数据,大概80字节,80字节*300=24000字节=23KB。但是Flink
> 的 TaskManager的 jvm 不知道为啥占用了这么多,高的时候有1G。
> JVM (Heap/Non-Heap)
> Type     Committed   Used     Maximum
> Heap     2.68 GB     863 MB   2.68 GB
> Non-Heap 84.3 MB     82.8 MB  -1 B
> Total    2.76 GB     946 MB   2.68 GB
>
>
>
> 按理说,3s chepoint 一次,会写入一次hdfs。也就是说,只有3s的数据才会缓存在内存。还有什么数据也在内存嘛?
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message