flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Yaoting Gong <fall.for.you....@gmail.com>
Subject Flink 与 Hive 集成问题
Date Tue, 14 May 2019 02:14:06 GMT
大家好,
     我是一个大数据新人。之前熟悉了下Flink Stream API 相关,用 Stream
API 处理过kafka, es,hbase。
     但目前调研 Flink
SQL这块遇到问题,我们需要支持多个数据源之间的join,尤其是hive。希望能做成一个小平台,新任务通过添加配置即可完成。
我们的Flink 是1.7.1。 在和hive交互时遇到问题。如果我用jdbc方式连hive,性能肯定不够。如果我直接连
底层hdfs文件,那么好像需要用 batch环境,和我需要join的stream有冲突。

   希望大家能给点建议和思路,如果有相关项目,可以告知。目前我发现的FlinkStreamSQL项目,支持多个Source,但是没有hive

再次感谢
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message