flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "去冒险吧" <12214...@qq.com>
Subject Flink 1.9 SQL/TableAPI 设置uid及State 更新问题
Date Wed, 16 Oct 2019 02:24:35 GMT
Hi ~,


在使用Flink 1.9 SQL时,需要结合外部大量数据与当前流进行Join、TopN和Distinct操作,考虑采用初始化相关Operator的State方法,遇到下面几个问题,麻烦解答下:
1. 是否SQL或Table API是禁止设置uid或者uidhash的?包括对Kafka DataStreamSource设置了uid或者uidhash也无效?
2. 在不改变Graph下,对一个SQL Job 下某个GroupAggregator Operator进行State更新,根据WebUI已经拿到uidhash,但SavePoint
API只允许传入uid,没有uidhash的方法,这个要怎么解决?
3. 最终是要解决以下问题:需要Union/Join大量外部Hive数据 =》 因为存在Finished
 Task 导致整个Job没法做checkpoint。解决这类问题有相关的实践方案吗?


非常感谢。
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message