flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From godfrey he <godfre...@gmail.com>
Subject Re: SQL_CLI构建流式应用参数设置
Date Fri, 17 Apr 2020 09:23:06 GMT
第一个问题:set execution.parallelism=10;
这样命令设置的job的默认并发度。一些算子有自己并发度的设置逻辑,不受默认并发度的影响(例如
hive的source,是根据partition数来的)。你可以在提交作业之前调用set命令来修改每个job的默认并发度。
第二个问题:1.11在 FLINK-16822[1] 被fix后,你可以通过配置项方式设置checkpoint
[2]。例如:
set execution.checkpointing.mode=EXACTLY_ONCE。

[1] https://issues.apache.org/jira/browse/FLINK-16822
[2]
https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#checkpointing

Best,
Godfrey

Even <452232573@qq.com> 于2020年4月17日周五 下午3:44写道:

> Hi!Nabble似乎无法注册,所以在邮件列表中无法回复。
> 关于周三问题,还有一点疑惑:
> 1、在CLI通过 set 命令,如 set
> &nbsp;execution.parallelism=10&nbsp;动态设置并行度,是当前CLI创建的所有任务都是这个并行度吗?
> 2、&nbsp;SQL CLI 还不支持 checkpoint 的设置,这个以后会考虑支持吗?如果已考虑会在下个版本中发布吗?
> 非常感谢!
>
>
> ------------------------------------------------------------
> Hi Even,&nbsp;
>
> 1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism&nbsp;
> 和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令,如
set&nbsp;
> execution.parallelism=10;放方式动态设置。例外,对于如果使用 blink&nbsp;
> planner,可以用 table.exec.resource.default-parallelism 来配置默认并发。[1]&nbsp;
> 另外 SQL CLI 还不支持 checkpoint 的设置。&nbsp;
> 2. 目前 SQL CLI 默认是 in-memory catalog,在每个SQL CLI的独立进程中,不会共享。如果SQL&nbsp;
> CLI挂掉,in-memory catalog 也会消失。你可以配置你的catalog为 hive catalog
[1],
> 这样你创建的表会持久化到&nbsp;
> hive catalog 中,多个SQL CLI使用同一个hive catalog,可以达到你说期望的共享。&nbsp;
>
> [1]&nbsp;
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sqlClient.html#environment-files
>
> Best,&nbsp;
> Godfrey&nbsp;
>
> Even <[hidden email]&gt; 于2020年4月15日周三 下午3:35写道:&nbsp;
>
> &gt; Hi!&nbsp;
> &gt; 请教两个问题:&nbsp;
> &gt; 1、 Flink SQL CLI 纯文本方式构建一个流式应用,在DDL语句中如何设置checkpoint和并行度这些参数?&nbsp;
> &gt; 2、 Flink SQL CLI&nbsp;
> &gt;
> 纯文本方式构建的流式应用创建的那些表,我在另外一个CLI中是无法找到这些table的,这是为什么?如果任务挂掉了,应该怎么重启,还是必须重新再构建?&nbsp;
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message