flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From tingli ke <ketingl...@gmail.com>
Subject Re: JDBCLookupFunction被缓存导致数据的不及时性
Date Wed, 15 Apr 2020 03:21:46 GMT
您好,不使用cache会导致每个记录都要查一次mysql,效率很低效

13122260573@163.com <13122260573@163.com> 于2020年4月15日周三 上午11:08写道:

> 有个setCacheMaxSize(1000),可以改成 -1 表示不使用cache
> org.apache.flink.api.java.io.jdbc.JDBCLookupFunction 这个方法有解释
> The cacheMaxSize is -1 means not use cache
>
>
>
> 13122260573@163.com
>
> 发件人: tingli ke
> 发送时间: 2020-04-15 10:55
> 收件人: user-zh
> 主题: JDBCLookupFunction被缓存导致数据的不及时性
> Hi,
>
> 流表通过JDBCLookupFunction来对mysql的维表数据进行实时join,但是JDBCLookupFunction会对数据进行缓存,导致mysql的维表数据被更新,但是flink还是老的数据,(考虑性能需要被缓存)
> 是否有其他的方式来对mysql维表数据进行实时join
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message