flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From forideal <fszw...@163.com>
Subject Flink Weekly | 每周社区动态更新 - 2020/05/14
Date Thu, 14 May 2020 11:57:31 GMT
大家好,本文为 Flink Weekly 的第十五期,由张成整理、李本超 Review。主要内容包括:近期社区开发进展,邮件问题答疑以及
Flink
最新社区动态及技术文章推荐。


社区开发进展 


Release

[releases] Flink 1.10.1 正式发布。

http://apache-flink.147419.n8.nabble.com/ANNOUNCE-Apache-Flink-1-10-1-released-td3054.html



[releases] Tzu-Li 发起了 Flink Stateful Functions Release 2.0.0 RC #4 的投票,经过讨论后决定将会在新开一个
RC。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Apache-Flink-Stateful-Functions-Release-2-0-0-release-candidate-4-td39453.html=


DEV

阿里巴巴已经在 flink-packages.org 上发布了 SpillableHeapStateBackend 的预览版。
该状态后端在 FLINK-12692 中贡献给 Apache Flink。 SpillableHeapStateBackend 是一个基于
Java 堆的Statebackend(如 FilesystemStatebackend ),在堆耗尽之前将最冷的状态溢出到磁盘。

https://flink-packages.org/packages/spillable-state-backend-for-flink

https://issues.apache.org/jira/browse/FLINK-12692

Flip

[FLIP-108] Yangze Guo 发起了有关类加载器和依赖项问题的讨论。问题是 mainClassLoader
无法识别 ExternalResourceInfo 的子类。 ExternalResourceInfo 位于 ExternalResourceDriver
jar 中,并通过 PluginManager 与 mainClassLoader 隔离。因此,程序会抛出 ClassNotFoundExeption
异常。Yangze Guo 提出了如下 3 个备选方案,大家在讨论中认为第 3 个方案比较好。Yangze
Guo 发起了使用第 3 个方案修改 API 的投票,投票最终获得通过。

备选方案1:

不使用插件机制,只需将驱动程序加载到 mainClassLoader。缺点是用户需要处理依赖冲突。

备选方案2:

强制要求用户构建两个单独的 jar,分别用于 ExternalResourceDriver 和 ExternalResourceInfo。然后把包含
ExternalResourceInfo 类的 jar 添加到“ / lib”目录。这种方法可能有效,但可能会使用户厌烦。

备选方案3:

修改 RuntimeContext#getExternalResourceInfos 方法,让其返回 ExternalResourceInfo,同时在
ExternalResourceInfo 接口增加一个类似  “Properties getInfo()”  的方法。该方法的返回值可以由驱动程序提供者和用户指定。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-108-Problems-regarding-the-class-loader-and-dependency-td40893.html

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/quot-VOTE-FLIP-108-edit-the-Public-API-quot-td40995.html

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/RESULT-VOTE-FLIP-108-edit-the-Public-API-td41061.html

Discuss

[docker] Ismaël Mejía 发起的是否可以在 Flink 正式 release 之外发布 docker
镜像的讨论有了新的更新。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Intermediary-releases-of-the-flink-docker-images-td40602.html




[udf/udaf] Leerho 发起了关于 Flink 集成 DataSketches 的讨论。Arvid Heise 建议先放在
flink-package 中。

https://flink-packages.org/

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Integration-of-DataSketches-into-Flink-td40750.html




[connector] 李劲松发起了在 TableFactory 中引入 StatefulSequenceSource 的讨论。StatefulSequenceSource
能够方便用户更简单的进行 Flink SQL 测试。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Introduce-TableFactory-for-StatefulSequenceSource-td39116.html




[connector] Leonard Xu 发起了重构 Flink JDBC Connector 的讨论。Leonard Xu 介绍,在重构之后,我们可以很容易地为表和数据流引入统一的可插拔
JDBC 方言,并且我们可以有更好的模块组织和实现。目前大家已经达成一致,Leonard
Xu 已经创建了相关的 Jira。同时 Flink Hbase Connector 也有同样的问题,后续在做的时候会单独进行讨论。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Refactor-flink-jdbc-connector-structure-td40984.html

https://issues.apache.org/jira/browse/FLINK-17537

https://issues.apache.org/jira/browse/FLINK-17538




[configuration] Timo 发起了讨论如何在属性( Flink 配置以及 Connector 属性)中表示配置层次结构,以便生成的文件将是有效的
JSON / YAML。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Hierarchies-in-ConfigOption-tp40920.html




[hadoop] Robert Metzge 发起了讨论增加对 Hadoop 3 的支持,并讨论了是否将通过
flink-shaded-hadoop 的方式支持 Hadoop 3 的问题。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Adding-support-for-Hadoop-3-and-removing-flink-shaded-hadoop-td40570.html

用户问题

Kcz 在社区提问 Flink 内存设置问题(Metaspace OOM)。李劲松回答 Metaspace
OOM 通常是 JVM 加载的类过多导致的。比如增加 slot 数量也会导致加载的类变多。同时,社区已经有些用户反馈
Flink 1.10.0 的默认 metaspace 大小可能不太合理。1.10.1 中会调大这个默认值。用户可以先通过
taskmanager.memory.metaspace.size 调到 256m 试一试。

http://apache-flink.147419.n8.nabble.com/flink-metaspace-td2835.html




Lucas Wu 想单独设置某些 Flink SQL Job 的并行度,李本超回复目前无法做到这一点。目前
SQL 还不支持对单独的 operator 设置并行度,可以通过 table.exec.resource.default-parallelism
设置全局的并行度。http://apache-flink.147419.n8.nabble.com/flink-sql-job-td2847.html

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-SQL-How-can-i-set-parallelism-in-clause-of-group-by-td33736.html

http://apache-flink.147419.n8.nabble.com/MySQL-td3014.html




王磊在社区提问关于 Flink SQL Retraction 的问题。Michael Ran、李劲松进行了详细的回答。有兴趣的同学可以参考如下链接。

http://apache-flink.147419.n8.nabble.com/FlinkSQL-Retraction-td2893.html




Luan Cooper 在社区提问 Sink 表 Append Mode/Upsert Mode 的问题。比如使用 Upsert
Mode 写 ElasticSearch 会遇到无法指定 primary key 问题。这个问题社区同学进行了详细的解答。其中
Jark Wu 回复 FLIP-95 和 FLIP-105 后,问题中的 query 就可以原生支持了。FLIP-95
和 FLIP-105 的核心工作就是识别 binlog 中的 update/delete/insert 消息,而不是全当成
append 消息。预计 1.11 能见到这些功能。

http://apache-flink.147419.n8.nabble.com/Streaming-SQL-Source-Sink-Append-Mode-Upsert-Mode-td2956.html




Hb 遇到了时区相关的问题,李劲松和 Jark Wu 进行了回答。这是一个 bug。Blink
中默认使用了没有时区的 timestamp,生成时间的时候是直接取 “System.currentTimeMillis()”,Sink
的时候会按照 timestamp without time zone 来转成 String,结果就是差了8个小时。这个问题已经有对应的Jira。社区会以很高的优先级进行修复。

http://apache-flink.147419.n8.nabble.com/flink-sql-td2910.html




1193216154 对 Flink watermark 对齐逻辑有些疑问。李本超进行了解答。watermark
就是取各个 input channel 的最小值作为当前 subtask 的 watermark 的。同时唐云进行了补充。正是因为取各个
input channel 的最小值,所以如果某一个上游一直没有获取到真实数据,发送下来的watermark
一直都是 Long.MIN_VALUE,这样会导致无法触发 window,社区采用 idle source
的方式 walk around 该问题。同时 FLIP-27 也会涉及到 Source 端的 watermark 对齐的相关问题。

http://apache-flink.147419.n8.nabble.com/flink-watermark-td3018.html

https://ci.apache.org/projects/flink/flink-docs-stable/dev/event_time.html#idling-sources

https://cwiki.apache.org/confluence/display/FLINK/FLIP-27%3A+Refactor+Source+Interface




Lec Ssmi 在社区提问关于 async IO in UDFs 的问题,李本超进行了回复,目前暂不支持。

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/async-IO-in-UDFs-td34978.html

活动博客文章及其他




Fabian 在 Ververica 博客上发布了 Flink Foward Virtual 2020 的摘要。

https://www.ververica.com/blog/flink-forward-virtual-2020-recap




Flink Forward Virtual 2020 的所有记录已发布在 Youtube 上。

https://www.youtube.com/watch?v=NF0hXZfUyqE&list=PLDX4T_cnKjD0ngnBSU-bYGfgVv17MiwA7




Marta 在 Flink 博客上的社区更新博客中回顾了过去的几个月。

https://flink.apache.org/news/2020/05/07/community-update.html

https://flink.apache.org/news/2020/05/04/season-of-docs.html

https://www.meetup.com/Flink-China/events/270310980/

https://www.meetup.com/futureofdata-princeton/events/269933905/


Best wishes
forideal








 
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message