flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 刘首维 <liushou...@autohome.com.cn>
Subject 答复: 人为生成retract记录
Date Sun, 26 Apr 2020 03:08:46 GMT

Hi,
    我们这边做了人为生成retract记录的尝试,也是用在了binlog上,结果上还是可以的但是改造成本还是比较高的,需要自己添加对应的关系算子和优化规则。此外,这样做(有可能)会干扰执行计划的优化,期待FLIP105和95的落地!


________________________________
发件人: lec ssmi <shicheng31604@gmail.com>
发送时间: 2020年4月26日 10:07:48
收件人: flink-user-cn
主题: 人为生成retract记录

Hi:
    假设我现在将上游retract后的结果写入到kafka,然后下游程序消费kafka去做聚合操作。
    因为需要利用聚合算子能够自动处理retract的特性,所以需要将kafka的结果封装成带有不同header的row,即组装为INSERT
DELETE UPDATE类型的数据。
    有什么办法可以解决吗?
    如果将上下游程序合在一起 ,是没问题的,现在的难点就是拆分。
   谢谢。
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message