flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "JingsongLee" <lzljs3620...@aliyun.com.INVALID>
Subject Re: Flink RetractStream如何转成AppendStream?
Date Mon, 09 Dec 2019 07:16:49 GMT
Hi 帅,

你可以先把RetractStream转成DataStream,这样就出现了Tuple<Boolean, Row>的stream,然后你再写个MapFunc过滤,最后通过DataStream写入Kafka中。

Best,
Jingsong Lee


------------------------------------------------------------------
From:Jark Wu <imjark@gmail.com>
Send Time:2019年12月8日(星期日) 11:54
To:user-zh <user-zh@flink.apache.org>
Subject:Re: Flink RetractStream如何转成AppendStream?

Hi,

目前 Kafka  只支持 append mode,所以无法消费 retract stream。在 Flink 1.11,社区将计划支持
RetractStream 转成 AppendStream 的操作,以 changelog 的方式输出。

Best,
Jark

On Sun, 8 Dec 2019 at 10:08, 陈帅 <casel.chen@gmail.com> wrote:

> 在用Flink做实时数仓时遇到group by统计后需要将结果发到kafka,但是现在的kafka
>
> sink是不支持RetractStream,因此会报错,有没有什么方法将RetractStream转成AppendStream(例如,忽略撤回的消息,只发送更新的消息),从而可以将结果发到kafka?
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message