flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "九思" <1048095...@qq.com>
Subject BucketingSink 内存使用分析
Date Thu, 01 Aug 2019 10:06:59 GMT
请教各位老师,flink on yarn,1个TaskManager,4个slot,TaskManager内存4G,JobManager内存1G。使用BucketingSink写入hdfs,3秒checkpoint一次。每秒大概数据100条,3秒也就是300左右。输入数据,大概427个字节,427字节*300=128100字节=125KB;输出数据,大概80字节,80字节*300=24000字节=23KB。但是Flink
的 TaskManager的 jvm 不知道为啥占用了这么多,高的时候有1G。
JVM (Heap/Non-Heap) 
Type     Committed   Used     Maximum
Heap     2.68 GB     863 MB   2.68 GB 
Non-Heap 84.3 MB     82.8 MB  -1 B 
Total    2.76 GB     946 MB   2.68 GB



按理说,3s chepoint 一次,会写入一次hdfs。也就是说,只有3s的数据才会缓存在内存。还有什么数据也在内存嘛?
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message