flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "守护" <346531...@qq.com>
Subject 回复: blinkSQL架构会自动清理过期的state吗
Date Thu, 12 Sep 2019 09:24:21 GMT
&nbsp;感谢你的回复
&nbsp; &nbsp; &nbsp;blinkSQL目前测试了很多次,watermark和窗口间隔都调整了,checkpoint的状态还是不会自动动清理,在flinkSQL中就不存在这种问题,所以问一下大家在使用blinkSQL中有没有发现这个问题呢






------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"LakeShen"<shenleifighting@gmail.com&gt;;
发送时间:&nbsp;2019年9月12日(星期四) 下午4:18
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: blinkSQL架构会自动清理过期的state吗



Hi 守护,
*&nbsp;&nbsp;&nbsp; 可*以先确保你的watermark是否一直在更新。
&nbsp;&nbsp;&nbsp; 然后可以把窗口时间间隔设置小一点,然后在运行程序,看看checkpoint
的状态文件是否会自动清理。



守护 <346531110@qq.com&gt; 于2019年9月12日周四 下午2:35写道:

&gt; 下面是我要执行的代码,麻烦帮看一下:
&gt;
&gt;
&gt; &amp;nbsp; &amp;nbsp; tableEnv.registerDataStream("testCountTable",
&gt; waterMarkStream, 'curuserid,'timelong,'rowtime.rowtime)
&gt; &amp;nbsp; &amp;nbsp;&amp;nbsp;
&gt; &amp;nbsp; &amp;nbsp; val result = tableEnv.sqlQuery(s"SELECT COUNT(0) as
&gt; pv,COUNT(distinct curuserid)" +
&gt; &amp;nbsp; &amp;nbsp; &amp;nbsp; s" as uv,TUMBLE_END(rowtime, INTERVAL
'10' MINUTE)
&gt; FROM testCountTable GROUP BY TUMBLE(rowtime, INTERVAL '10' MINUTE)")
&gt;
&gt;
&gt; &amp;nbsp; &amp;nbsp; val dsRow: DataStream[Row] =
&gt; tableEnv.toAppendStream[Row](result)
&gt;
&gt;
&gt; &amp;nbsp; &amp;nbsp; val data=dsRow.map(w =&amp;gt; {
&gt; &amp;nbsp; &amp;nbsp; &amp;nbsp; val StrArrary = w.toString.split(",")
&gt; &amp;nbsp; &amp;nbsp; &amp;nbsp; val
&gt; str="{\"pv\":"+"\""+StrArrary(0)+"\""+",\"uv\":"+"\""+StrArrary(1)+"\""+",\"rowtime\":"+"\""+StrArrary(2)+"\""+"}"
&gt; &amp;nbsp; &amp;nbsp; &amp;nbsp; str
&gt; &amp;nbsp; &amp;nbsp; })
&gt; &amp;nbsp; &amp;nbsp; data.print()
&gt;
&gt;
&gt;
&gt;
&gt;
&gt; ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------
&gt; 发件人:&amp;nbsp;"Jark Wu"<imjark@gmail.com&amp;gt;;
&gt; 发送时间:&amp;nbsp;2019年9月12日(星期四) 中午12:51
&gt; 收件人:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
&gt;
&gt; 主题:&amp;nbsp;Re: blinkSQL架构会自动清理过期的state吗
&gt;
&gt;
&gt;
&gt; Hi,
&gt; 能提供下 SQL 么?
&gt;
&gt; blink sql 的 window 理论上是会自动清理的。
&gt;
&gt; &amp;gt; 在 2019年9月11日,18:56,守护 <346531110@qq.com&amp;gt;
写道:
&gt; &amp;gt;
&gt; &amp;gt; 社区各位大佬:
&gt; &amp;gt; 请教一个问题,flink1.9中使用blink
&gt; SQL语句,设置时间窗口,state存储方式选择FSStateBackend,现在发现State一直在增大,过了窗口后也没有删除过期state,是blink架构就不支持窗口自动清理state吗,还是我哪使用的不对,我测试1.9的flinkSQL是不会有这个问题的。
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message