flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Bowen Li <bowenl...@gmail.com>
Subject Re: Flink 与 Hive 集成问题
Date Tue, 14 May 2019 23:35:05 GMT
Hi,

我们正在做 Flink-Hive 平台级的元数据和数据的集成,你可以关注下:
flink-connector-hive
<https://github.com/apache/flink/tree/master/flink-connectors/flink-connector-hive>
module,
Hive元数据 FLINK-11479 <https://issues.apache.org/jira/browse/FLINK-11479>
,Hive数据 FLINK-10729 <https://issues.apache.org/jira/browse/FLINK-10729> ,
计划1.9.0发布第一版

加下 Flink-Hive 钉钉官方群吧

[image: image.png]


On Mon, May 13, 2019 at 7:14 PM Yaoting Gong <fall.for.you.ffm@gmail.com>
wrote:

> 大家好,
>      我是一个大数据新人。之前熟悉了下Flink Stream API 相关,用 Stream
API 处理过kafka, es,hbase。
>      但目前调研 Flink
> SQL这块遇到问题,我们需要支持多个数据源之间的join,尤其是hive。希望能做成一个小平台,新任务通过添加配置即可完成。
> 我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive,性能肯定不够。如果我直接连
> 底层hdfs文件,那么好像需要用 batch环境,和我需要join的stream有冲突。
>
>    希望大家能给点建议和思路,如果有相关项目,可以告知。目前我发现的FlinkStreamSQL项目,支持多个Source,但是没有hive
>
> 再次感谢
>
Mime
  • Unnamed multipart/related (inline, None, 0 bytes)
View raw message