flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Yifei Qi <qyf...@gmail.com>
Subject 如何优化flink内存?
Date Wed, 04 Sep 2019 12:07:32 GMT
大家好:



不知道大家在使用flink时遇到过内存消耗过大的问题么?



我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不知道有没有人知道如何优化?



具体情况是这样的:

准备的测试数据模拟一天时间内3万个用户的5万条数据. 原始数据一共是100M.

按照用户进行分组.

计算两个滑动窗口任务:一个是近1小时, 每5秒滑动一次的窗口. 一个是近24小时,
每1分钟滑动一次的窗口.





flink运行在3个节点后, 内存合计就用了5G.





flink如此消耗内存, 不知道是它本来就这么吃内存, 还是我使用的有问题.





顺祝商祺


-- 


Qi Yifei
[image: https://]about.me/qyf404
<https://about.me/qyf404?promo=email_sig&utm_source=product&utm_medium=email_sig&utm_campaign=gmail_api>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message