flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From qi luo <luoqi...@gmail.com>
Subject Re: 流表在与维表join时,维表没有动态查询
Date Thu, 04 Jul 2019 08:14:19 GMT
你好,我理解继承RichSourceFunction实现的mysql,只会读一次mysql(你应该是参考JDBCSinkFunction的实现?),并不能实现维表的功能。在1.9发布后你可以使用LookupableTableSource来实现维表,发布之前可以考虑自己用UDTF来实现。

Qi

> On Jul 4, 2019, at 3:30 PM, 雒正林 <luozhenglin1947@163.com> wrote:
> 
> 维表是继承 RichSourceFunction 类查的mysql
> 
>> 在 2019年7月4日,下午3:22,qi luo <luoqi.bd@gmail.com <mailto:luoqi.bd@gmail.com>>
写道:
>> 
>> 你好,目前你是如何实现维表的?
>> 
>>> On Jul 2, 2019, at 3:58 PM, 雒正林 <luozhenglin1947@163.com <mailto:luozhenglin1947@163.com>>
wrote:
>>> 
>>> 	您好,我在做流式数据处理时,需要用到外部数据(mysql)关联,进行处理,但是发现只是在第一个窗口数据处理时,才会去查mysql,第二个窗口查询时,没有再次查询mysql数据,而是用的第一次查询的mysql数据。
>>> PS:mysql数据是随时更新的,所以希望每个窗口的流式数据都去查一次最新的mysql数据,进行关联处理
>>> 下图是打印的log,在第二个窗口数据打印之前,我认为应该先会再去查一次mysql数据并打印,但是发现并没有
>>> <PastedGraphic-1.png>
>>> 
>>> 	
>>> 非常感谢查收和回复
>>> 谢谢
>> 
> 

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message