flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "zhangjunjie1130@163.com" <zhangjunjie1...@163.com>
Subject Re: Re: Flink中readFile中如何只读取增量文件
Date Tue, 16 Jul 2019 09:03:01 GMT
您好:
      谢谢您的回答,是否有个demo可以参考呢? 如果没有,就像咨询一下这个工程量需要多长时间。因为刚入门,烦请给些建议。

谢谢!


zhangjunjie1130@163.com
 
发件人: Caizhi Weng
发送时间: 2019-07-16 11:34
收件人: user-zh
抄送: zhangjunjie1130
主题: Re: Flink中readFile中如何只读取增量文件
Hi,

因为文件的修改不仅仅是 append,也有可能是 update 或者删除,所以 `ContinuousFileMonitoringFunction`
对有修改的文件是重新读取的。Flink 现在暂时还没有实现只处理文件新增内容的
source function,你可以参照 `ContinuousFileMonitoringFunction` 自行实现一个 source
function。

zhangjunjie1130@163.com <zhangjunjie1130@163.com> 于2019年7月15日周一 下午10:02写道:
您好:
        现在Flink使用env.readFile的参数中,watchType只有两种参数:
            FileProcessingMode.PROCESS_CONTINUOUSLY - 当输入路径下有文件被修改,整个路径下内容将会被重新处理
            FileProcessingMode.PROCESS_ONCE - 只扫描一次,便退出。因此这种模式下输入数据只读取一次
         想问一下一种方法,只加载文件中的增量内容?



zhangjunjie1130@163.com
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message