flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Dreamer" <1762882...@qq.com>
Subject 回复: Blink对是否对迭代进行了优化?
Date Thu, 28 Feb 2019 03:08:26 GMT
好的,感谢,我试试。





------------------ 原始邮件 ------------------
发件人: "Becket Qin"<becket.qin@gmail.com>;
发送时间: 2019年2月28日(星期四) 中午11:07
收件人: "user-zh"<user-zh@flink.apache.org>;

主题: Re: Blink对是否对迭代进行了优化?



Blink 目前没有对迭代进行特别优化。不过Blink是基于社区1.5.1版本的,建议你用Flink
1.5.1版本测试一下看看是不是还是有区别。

On Thu, Feb 28, 2019 at 10:17 AM Dreamer <1762882324@qq.com> wrote:

> 各位,我想请教一下,Blink是否对Flink的迭代进行了优化?如果优化了的话是对批处理进行的优化还是流计算进行的优化?主要采用了哪些优化技术?
>
> 我前两天用flink1.4.2和Blink自带的example中streaming中的Iteation例子进行了实验对比,数据就是两个小于100的整数,看他们迭代几次相加能够超过100.我生成了1500条数据,两个集群时间差不多都是7-8s,但是我把相同的数据复制了4份,即6000条,用Blink处理依然是7-8s,但是flink1.4.2是36-40min。感觉很奇怪,我从100条依次往上翻倍赋值的时候两个引擎时间都差不多,但是超过一定数量后,flink1.4.2就突然变得特变慢。而Blink不变。我如果直接用6000条不重复的数据,两个引擎时间都要超过10多个小时(还没跑完)。是集群配置的原因还是其他的原因呢?
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message