flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Congxian Qiu <qcx978132...@gmail.com>
Subject Re: Flink keyby数据倾斜问题
Date Sun, 05 Apr 2020 11:55:25 GMT
Hi
DataStream API 暂时没有 local aggregation 的功能,不过 FLIP-44[1] 曾经打算做这个事情.
在没有这个功能的时候,可以尝试给 key 拼前缀或者后缀(首先给 key
拼一些前缀/后缀,等计算之后再把前缀/后缀去掉进行聚合)来达到类似的效果

[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-44%3A+Support+Local+Aggregation+in+Flink
Best,
Congxian


chanamper <chanamper@163.com> 于2020年4月4日周六 下午6:15写道:

> Dear All,
>     大家好,请教一下。目前针对Java Api的方式,对于Flink
> keyby情况存在key数据倾斜有啥实现优化思路吗?看官方文档目前在table
api和sql层面,有Minibatch
> Aggregation和Local Global Aggregation方式的实现,针对Java Api的方式有啥办法可以达到local
global
> aggregation的效果吗?
>       多谢!
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message