flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "1530130567" <1530130...@qq.com>
Subject 关于flink窗口是否正确关闭的问题
Date Tue, 24 Dec 2019 12:46:25 GMT
各位大佬好:
&nbsp; 最近在使用flink stream api处理数据,逻辑是非常简单的ETL操作
&nbsp; 我自己定义的一个1分钟的tumble窗口,watermark是10s,当处在流量高峰时段时,发现下游出现了数据丢失的问题。
&nbsp; 举个例子:我上游topic 5000/s,下游接受数据的topic只有4000/s
&nbsp; 在流量低谷时就没有这个问题,而且我把窗口去掉后也没有这个问题,是否是窗口被提前关闭了呢?导致我下游的processfunction还没处理完?
&nbsp; ps:我加大了并行度还是不行
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message