flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From LakeShen <shenleifight...@gmail.com>
Subject Re: 关于Flink Chain的一些问题
Date Wed, 10 Jul 2019 06:37:58 GMT
Hi 我觉得这篇博客能够帮助到你:
https://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/
,
你可以参考一下

沈磊

runtime <wsxinchina@gmail.com> 于2019年7月10日周三 下午2:35写道:

> 感谢!
> 我去研究研究诸位指引的资料
>
> Biao Liu <mmyy1110@gmail.com> 于2019年7月10日周三 下午12:38写道:
>
> > 你好,
> >
> > > 1. 在文档中提到的 Chain 的概念我理解为 Source -> ,,,, ->
Sink 单管道输送数据?
> >
> > Chain 的 operator 合并到一个 task 中,可以避免潜在的网络传输,见
[1]
> >
> > > 2. 对于 Chain 的概念是否有更多的资料可以参考,以及什么时候会破坏这个
Chain
> >
> > 文档参考:[1], [2]
> > Chain 的条件有很多种,最常见就是上下游并发要一致,有兴趣可以读一下相关代码
[3] 关于 isChainable 的部分
> >
> > > 3. 调优中,如果 Sink 的 Parallel 小于前一个 Operatior 的 Parallel
对比 相同的 Parallel
> > > 会有什么区别,如何进行 Parallel 方面的调优,是否有资料可以供观摩参照的
> >
> > Parallel 不相同的情况一定不会 chain,这是一个可能的问题
> > Parallel 调优没有什么具体的模式,适合你的就好,可以参考 back
pressure 的情况,尽量在少占用资源和少 back
> pressure
> > 之间平衡
> >
> >
> > 1.
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-master/concepts/runtime.html#tasks-and-operator-chains
> > 2.
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/operators/#task-chaining-and-resource-groups
> > 3.
> >
> >
> https://github.com/apache/flink/blob/master/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/graph/StreamingJobGraphGenerator.java
> >
> > runtime <wsxinchina@gmail.com> 于2019年7月10日周三 上午11:35写道:
> >
> > > Hi all,
> > > 我在生产环境使用Flink一段时间后,随着集群不断变大,有些问题愈发明显
> > > 1. 在文档中提到的 Chain 的概念我理解为 Source -> ,,,, ->
Sink 单管道输送数据?
> > > 2. 对于 Chain 的概念是否有更多的资料可以参考,以及什么时候会破坏这个
Chain
> > > 3. 调优中,如果 Sink 的 Parallel 小于前一个 Operatior 的 Parallel
对比 相同的 Parallel
> > > 会有什么区别,如何进行 Parallel 方面的调优,是否有资料可以供观摩参照的
> > >
> >
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message