flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Congxian Qiu <qcx978132...@gmail.com>
Subject Re: Re: 关于flink rocksdb 增量checkpoint的问题
Date Mon, 08 Jul 2019 01:40:50 GMT
你好
从所给的信息暂时不确定是啥问题,你需要分析下是同步耗时比较多(对于
state size 差不多的情况下,同步阶段过长可以看看 barrier
对齐是否有问题),还是异步阶段耗时比较多(可以看看磁盘和网络相关的
metric 是否有抖动,或者瓶颈)

Best,
Congxian


tangjunliang@huitongjy.com <tangjunliang@huitongjy.com> 于2019年7月5日周五
下午2:39写道:

> 你好:
> 感谢回复。
> 情况是这样的:
> 1、yarn-cluster 模式下和 yarn-session
> 模式下的代码是一样的,配置是一样的,yarn-session分配的资源比yarn-cluster的少
> 2、都是使用的异步
> 3、两种方式下,state size都是越来越大(从我们测试的情况来看,从最初的任务启动state
> size在20M左右,然后随着运行会达到300M以上)
>
> ------------------------------
> tangjunliang@huitongjy.com
>
>
> *发件人:* Congxian Qiu <qcx978132955@gmail.com>
> *发送时间:* 2019-07-05 14:32
> *收件人:* user-zh <user-zh@flink.apache.org>; tangjunliang
> <tangjunliang@huitongjy.com>
> *主题:* Re: 关于flink rocksdb 增量checkpoint的问题
> 你好,
> 首先 rocksdb 增量 checkpoint 的耗时和具体怎么部署的是没有关系的。
>
> 关于你的这个问题,需要一些更详细的信息才能做判断
>
> - yarn-cluster 模式下和 yarn-session 模式下的代码,配置和环境是一样的吗?
> - yarn-cluster 模式下时间越来越长,是同步时间变长了,还是异步时间变长了呢?
> - 另外每次 checkpoint 的 state size 是什么趋势呢?
>
> Best,
> Congxian
>
>
> tangjunliang@huitongjy.com <tangjunliang@huitongjy.com> 于2019年7月5日周五
> 下午2:26写道:
>
>> 嗨 您好 我们现在在使用flink1.7.2 在使用过程当中遇到个疑惑 我们使用的rocksdb
增量做checkpoint
>> job在yarn上运行 如果使用yan-cluster这种方式运行 cp从触发到完成的时间会越来越长
如果使用yarn-session这种方式
>> 触发到完成时间都是均匀的 不能理解 这两种方式是有什么区别麽
望解答 谢谢
>>
>>
>>
>> tangjunliang@huitongjy.com
>>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message