flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "wangweiguang@stevegame.cn" <wangweigu...@stevegame.cn>
Subject Re: Re: JDBCLookupFunction被缓存导致数据的不及时性
Date Wed, 15 Apr 2020 04:07:24 GMT

参考下这篇文章,里面有好多维度关联场景案例讲解!
https://ververica.cn/developers/flink-datastream-associated-dimension-table-practice/ 




 
发件人: tingli ke
发送时间: 2020-04-15 11:22
收件人: user-zh
主题: Re: JDBCLookupFunction被缓存导致数据的不及时性
是否有其他的方式来对mysql维表数据进行实时join
 
 
13122260573@163.com <13122260573@163.com> 于2020年4月15日周三 上午11:08写道:
 
> 有个setCacheMaxSize(1000),可以改成 -1 表示不使用cache
> org.apache.flink.api.java.io.jdbc.JDBCLookupFunction 这个方法有解释
> The cacheMaxSize is -1 means not use cache
>
>
>
> 13122260573@163.com
>
> 发件人: tingli ke
> 发送时间: 2020-04-15 10:55
> 收件人: user-zh
> 主题: JDBCLookupFunction被缓存导致数据的不及时性
> Hi,
>
> 流表通过JDBCLookupFunction来对mysql的维表数据进行实时join,但是JDBCLookupFunction会对数据进行缓存,导致mysql的维表数据被更新,但是flink还是老的数据,(考虑性能需要被缓存)
> 是否有其他的方式来对mysql维表数据进行实时join
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message