flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Yaoting Gong <fall.for.you....@gmail.com>
Subject Re: Flink 与 Hive 集成问题
Date Wed, 15 May 2019 01:44:58 GMT
@Bowen Li

多谢解答。 社区的代码我有留意,也注意到上面的新模块。 我们目前是1.7.1。想了解下目前是否可能做个简单版本,看是否有思路。

图片apache邮箱列表是不支持的,你提到的钉钉是 “Apache Flink China社区大群”
这个群吗,我加了。

thx.



On Wed, May 15, 2019 at 7:35 AM Bowen Li <bowenli86@gmail.com> wrote:

> Hi,
>
> 我们正在做 Flink-Hive 平台级的元数据和数据的集成,你可以关注下:
flink-connector-hive
> <https://github.com/apache/flink/tree/master/flink-connectors/flink-connector-hive>
module,
> Hive元数据 FLINK-11479 <https://issues.apache.org/jira/browse/FLINK-11479>
> ,Hive数据 FLINK-10729 <https://issues.apache.org/jira/browse/FLINK-10729> ,
> 计划1.9.0发布第一版
>
> 加下 Flink-Hive 钉钉官方群吧
>
> [image: image.png]
>
>
> On Mon, May 13, 2019 at 7:14 PM Yaoting Gong <fall.for.you.ffm@gmail.com>
> wrote:
>
>> 大家好,
>>      我是一个大数据新人。之前熟悉了下Flink Stream API 相关,用
Stream API 处理过kafka, es,hbase。
>>      但目前调研 Flink
>> SQL这块遇到问题,我们需要支持多个数据源之间的join,尤其是hive。希望能做成一个小平台,新任务通过添加配置即可完成。
>> 我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive,性能肯定不够。如果我直接连
>> 底层hdfs文件,那么好像需要用 batch环境,和我需要join的stream有冲突。
>>
>>    希望大家能给点建议和思路,如果有相关项目,可以告知。目前我发现的FlinkStreamSQL项目,支持多个Source,但是没有hive
>>
>> 再次感谢
>>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message