flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "JingsongLee" <lzljs3620...@aliyun.com.INVALID>
Subject Re: 使用Flink1.10.0读取hive时source并行度问题
Date Mon, 02 Mar 2020 07:18:03 GMT
Hi, 

1.10中,Hive source是自动推断并发的,你可以使用以下参数配置到flink-conf.yaml里面来控制并发:
- table.exec.hive.infer-source-parallelism=true (默认使用自动推断)
- table.exec.hive.infer-source-parallelism.max=1000 (自动推断的最大并发)

Sink的并发默认和上游的并发相同,如果有Shuffle,使用配置的统一并发。

Best,
Jingsong Lee


------------------------------------------------------------------
From:like <likegeek@163.com>
Send Time:2020年3月2日(星期一) 14:58
To:user-zh@flink.apache.org <user-zh@flink.apache.org>
Subject:使用Flink1.10.0读取hive时source并行度问题

hi,大家好

      我使用flink1.10.0读取hive表,启动时设置了全局的并行度,但是在读取的时候,发现sink并行度是受约束的,
而source的并行度不受此约束,会根据source的大小改变,大的时候并行度大到1000,请问一下怎么处理这个并行度呢?
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message