flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Jun Zhang" <825875...@qq.com>
Subject 回复:如何让Flink trigger只输出有变化的数据?
Date Fri, 01 Nov 2019 12:41:20 GMT
你可以指定一个Evictor,删除窗口中处理过的数据。

Best&nbsp;&nbsp;Jun


------------------ 原始邮件 ------------------
发件人: Qi Kang <miraisenshi@126.com&gt;
发送时间: 2019年11月1日 16:37
收件人: user-zh <user-zh@flink.apache.org&gt;
主题: 回复:如何让Flink trigger只输出有变化的数据?



Hi,

我们有一个按自然天聚合统计各站点销量和GMV数据的Flink任务,代码框架如下:

```
sourceStream
&nbsp; .map(message -&gt; JSON.parseObject(message, OrderDetail.class))
&nbsp; .keyby("siteId")
&nbsp; .window(TumblingProcessingTimeWindows.of(Time.days(1), Time.hours(-8)))
&nbsp; .trigger(ContinuousProcessingTimeTrigger.of(Time.seconds(1)))
&nbsp; .aggregate(new VolumeGmvAggregateFunc());
```

为了能够让dashboard实时刷新数据,每秒会触发一次计算。但是站点有将近1000个,每秒都输出全量结果不太现实,请问有什么简便的方法能够仅输出一秒内发生过变化的站点数据呢?Thx.
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message