flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "xwbberry"<xwbbe...@126.com>
Subject Re: Flink 社区版 checkpoint 的频率问题
Date Tue, 24 Sep 2019 05:17:02 GMT
感谢分析。
1.大量日志是符合预期的。
2.RocksDBStateBackend 开启了增量incremental。


祝 身体健康!

 原始邮件 
发件人: Congxian Qiu<qcx978132955@gmail.com>
收件人: user-zh<user-zh@flink.apache.org>
发送时间: 2019年9月24日(周二) 12:06
主题: Re: Flink 社区版 checkpoint 的频率问题


Hi 1. Checkpoint interval 和 window size 没有必然关系 2. 大量日志的话,这些日志是符合预期的吗,是的话,可以考虑更改日志级别,或者调整
checkpoint interval checkpoint interval 越频繁,作业 failover 后需要追的数据越少,同时
checkpoint 的开销越大,具体的你需要根据你的情况来进行调整,另外对于
RocksDBStateBackend,你是否开启了 Incremental checkpoint 呢? Best, Congxian xwbberry
<xwbberry@126.com> 于2019年9月24日周二 上午11:24写道: > 各位大神好!
> 问题背景: > 1.flink版本是社区版1.6,checkpoint采用的是RocksDBStateBackend
> 2.flink作业是5分钟窗口的统计,在设置checkpoint时interval间隔 如何设置,是否需要考虑窗口的时间?
> 3.目前我有一个flink作业的checkpoint大概情况如下,如果频繁checkpoint
hdfs会产生大量操作日志,如果写入S3 > 也会有大量请求。我的解决办法是降低checkpoint频次(增大间隔时间)。
> > End to End DurationState SizeBuffered During Alignment > Minimum1s35.4 MB0 B
> Average4s647 MB4.51 MB > Maximum44s3.26 GB217 MB > 我想请教下如何合理的设置checkpoint
? > > > 谢谢!
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message