flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 王佩 <wang...@cmcm.com>
Subject env.readFile只读取新文件
Date Wed, 31 Jul 2019 08:48:57 GMT
如下代码:

DataStreamSource<String> source = env.readFile(
                textInputFormat,
                "/data/appData/streamingWatchFile/source",
                FileProcessingMode.PROCESS_CONTINUOUSLY,
                10 * 1000
 );

当被监控目录下的某个文件被修改,如touch了一下,整个文件会重复处理一遍。

有没有什么方法,可以做到只读取新文件。想实现只读取新的Parquet文件的效果。
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message