flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Jun Zhang" <825875...@qq.com>
Subject 回复:关于flink sql 1.10 source并行度自动推断的疑问
Date Wed, 25 Mar 2020 01:04:52 GMT
hi,Chief:
&nbsp; &nbsp; 目前flink读取hive的时候,如果开启了自动推断,系统会根据所读取的文件数来推断并发,如果没有超过最大并发数(默认1000),source的并行度就等于你文件的个数,
你可以通过table.exec.hive.infer-source-parallelism.max来设置source的最大并发度。



Best&nbsp;&nbsp;Jun


------------------ 原始邮件 ------------------
发件人: Kurt Young <ykt836@gmail.com&gt;
发送时间: 2020年3月25日 08:53
收件人: user-zh <user-zh@flink.apache.org&gt;
主题: 回复:关于flink sql 1.10 source并行度自动推断的疑问



你的数据量有多大?有一个可能的原因是source的其他并发调度起来的时候,数据已经被先调度起来的并发读完了。

Best,
Kurt


On Tue, Mar 24, 2020 at 10:39 PM Chief <codeegg@foxmail.com&gt; wrote:

&gt; hi all:
&gt; 之前用flink sql查询hive的数据,hive的数据文件是150个,sql
&gt; client配置文件设置的并行度是10,source通过自动推断生成了150并发,但是通过看web
&gt; ui发现只有前十个子任务是读到数据了,其他的任务显示没有读到数据,请问是我设置有问题吗?
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message