flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From CHENJIE <oracle...@126.com>
Subject Re:Re: checkpoint stage size的问题
Date Fri, 28 Jun 2019 06:56:40 GMT
你好,
        如果有需要session窗口可能保持很长时间,数据量也很大,这种窗口会导致checkpoint
stage size变的非常大
        有没有一种机制可能让超过一定时间的状态失效并且丢弃掉?








在 2019-06-26 16:23:13,"Yun Tang" <myasuka@live.com> 写道:
>你好
>
>这个问题问得有点稍微宽泛,因为并没有描述你所认为的checkpoint
state size越来越大的周期。checkpoint state size变大有几个原因:
>
>  1.  上游数据量增大。
>  2.  window设置时间较长,尚未触发,导致window内积攒的数据比较大。
>  3.  window的类型决定了所需要存储的state size较大。
>
>可以参考社区的文档[1] window state的存储空间问题。另外,在上游数据量没有显著变化的时候,若干窗口周期后的checkpoint
state size应该是比较稳定的,由于未明确你的观察周期,所以只能给出比较宽泛的建议。
>
>[1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#useful-state-size-considerations
>
>祝好
>唐云
>________________________________
>From: ReignsDYL <1945627528@qq.com>
>Sent: Wednesday, June 26, 2019 14:22
>To: user-zh@flink.apache.org
>Subject: checkpoint stage size的问题
>
>各位好,我的项目的流计算模型source(kafka)->filter->keyby->window->aggregate->sink(hbase),现在发现window的subtask的checkpoint的stage
>size越来越大,请问是什么原因啊?
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message