flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Jun Zhang" <825875...@qq.com>
Subject 回复: 使用Flink1.10.0读取hive时source并行度问题
Date Wed, 04 Mar 2020 05:31:33 GMT
嗯嗯,其实我觉得我写的这个示例sql应该是一个使用很广泛的sql,我新建了hive表,并且导入了数据之后,一般都会使用类似的sql来验证一下表建的对不对,数据是否正确。
                           
              
                    
 
     
 
     在2020年03月4日 13:25,JingsongLee<lzljs3620320@aliyun.com&gt; 写道:

 
  Hi jun,


Jira: https://issues.apache.org/jira/browse/FLINK-16413
FYI


Best,
Jingsong Lee


------------------------------------------------------------------
From:JingsongLee <lzljs3620320@aliyun.com.INVALID&gt;
Send Time:2020年3月3日(星期二) 19:06
To:Jun Zhang <825875991@qq.com&gt;; user-zh@flink.apache.org <user-zh@flink.apache.org&gt;
Cc:user-zh@flink.apache.org <user-zh@flink.apache.org&gt;; like <likegeek@163.com&gt;
Subject:Re: 使用Flink1.10.0读取hive时source并行度问题


Hi jun,

很好的建议~ 这是一个优化点~ 可以建一个JIRA

Best,
Jingsong Lee


------------------------------------------------------------------
From:Jun Zhang <825875991@qq.com&gt;
Send Time:2020年3月3日(星期二) 18:45
To:user-zh@flink.apache.org <user-zh@flink.apache.org&gt;; JingsongLee <lzljs3620320@aliyun.com&gt;
Cc:user-zh@flink.apache.org <user-zh@flink.apache.org&gt;; like <likegeek@163.com&gt;
Subject:回复: 使用Flink1.10.0读取hive时source并行度问题


&nbsp;
hi,jinsong:
&nbsp;我想说一个问题, 我开始了自动推断,比如我设置推断的最大并行度是10,
我有一个类似的sql&nbsp;&nbsp; select * from&nbsp; mytable limit 1;
hive表mytable有超过10个文件,如果启动了10个并行度是不是有点浪费呢。
在2020年03月2日 16:38,JingsongLee<lzljs3620320@aliyun.com.INVALID&gt; 写道:&nbsp;&nbsp;&nbsp;
建议使用Batch模式来读取Hive table。

Best,
Jingsong Lee


------------------------------------------------------------------
From:like <likegeek@163.com&gt;
Send Time:2020年3月2日(星期一) 16:35
To:lzljs3620320@aliyun.com <lzljs3620320@aliyun.com&gt;
Subject:回复: 使用Flink1.10.0读取hive时source并行度问题


我使用的是 StreamTableEnvironment,确实有碰到这个问题呢。
在2020年3月2日 16:16,JingsongLee<lzljs3620320@aliyun.com&gt; 写道:&nbsp;&nbsp;

&nbsp;自动推断可能面临资源不足无法启动的问题

理论上不应该呀?Batch作业是可以部分运行的。

Best,
Jingsong Lee

------------------------------------------------------------------
From:like <likegeek@163.com&gt;
Send Time:2020年3月2日(星期一) 15:35
To:user-zh@flink.apache.org <user-zh@flink.apache.org&gt;; lzljs3620320@aliyun.com
<lzljs3620320@aliyun.com&gt;
Subject:回复: 使用Flink1.10.0读取hive时source并行度问题


非常感谢!我尝试关闭自动推断后,已经可以控制source并行度了,自动推断可能面临资源不足无法启动的问题。



在2020年3月2日 15:18,JingsongLee<lzljs3620320@aliyun.com.INVALID&gt; 写道:&nbsp;&nbsp;
Hi, 

1.10中,Hive source是自动推断并发的,你可以使用以下参数配置到flink-conf.yaml里面来控制并发:
- table.exec.hive.infer-source-parallelism=true (默认使用自动推断)
- table.exec.hive.infer-source-parallelism.max=1000 (自动推断的最大并发)

Sink的并发默认和上游的并发相同,如果有Shuffle,使用配置的统一并发。

Best,
Jingsong Lee


------------------------------------------------------------------
From:like <likegeek@163.com&gt;
Send Time:2020年3月2日(星期一) 14:58
To:user-zh@flink.apache.org <user-zh@flink.apache.org&gt;
Subject:使用Flink1.10.0读取hive时source并行度问题

hi,大家好

&nbsp;我使用flink1.10.0读取hive表,启动时设置了全局的并行度,但是在读取的时候,发现sink并行度是受约束的,
而source的并行度不受此约束,会根据source的大小改变,大的时候并行度大到1000,请问一下怎么处理这个并行度呢?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message