flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "王智" <ben.wa...@foxmail.com>
Subject 回复: Re: flink 1.8 内的StreamExecutionEnvironment 对于 FileInputFormat 多file path 不兼容问题咨询
Date Wed, 04 Mar 2020 10:34:03 GMT
我的需求是2,现在我使用的是execEnv.createInput(inputFormat()),

我先去试试 env.addSource(new InputFormatSourceFunction(..)...)。

多谢~








原始邮件


发件人:"JingsongLee"< lzljs3620320@aliyun.com.INVALID &gt;;

发件时间:2020/3/4 17:40

收件人:"user-zh"< user-zh@flink.apache.org &gt;;

主题: Re: flink 1.8 内的StreamExecutionEnvironment 对于 FileInputFormat 多file path
不兼容问题咨询



Hi, 你的需求是什么?下列哪种? - 1.想用unbounded source,continuous的file
source,监控文件夹,发送新文件,且需要支持多文件夹 - 2.只是想用bounded的input
format,需要支持多文件 如果是1,现在仍然不支持。 如果是2,那你可以用env.addSource(new
InputFormatSourceFunction(..)...)来支持多文件。 Best, Jingsong Lee ------------------------------------------------------------------
From:王智Send Time:2020年3月4日(星期三) 17:34 To:user-zhSubject:flink 1.8 内的StreamExecutionEnvironment
对于 FileInputFormat 多file path 不兼容问题咨询 我在使用flink 1.8 自定义
FileInputFormat 的时候遇到了不兼容问题,初步看了源代码,不知道自己得出的结论是否正确,并想了解一下后续趋势和进展,麻烦各位大佬抽空指点一下,先行感谢~~
问题1: StreamExecutionEnvironment 为什么要做这样的限制?ContinuousFileMonitoringFunction
的作用是什么?  相关的代码描述如下 StreamExecutionEnvironment 对 FileInputFormat
对象有特殊的处理逻辑 if (inputFormat instanceof FileInputFormat) {  &nbsp; @SuppressWarnings("unchecked")
 &nbsp; FileInputFormat
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message