flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Jingsong Li <jingsongl...@gmail.com>
Subject Re: flink正则读取hdfs目录下的文件
Date Fri, 22 May 2020 14:12:09 GMT
Hi,

我们在1.11已经支持了较完整的filesystem支持,并且支持分区。(csv,json,avro,parquet,orc)

对于灵活的read,争取在1.12完成。已经有issue了:
https://issues.apache.org/jira/browse/FLINK-17398

Best,
Jingsong Lee

On Fri, May 22, 2020 at 10:47 AM 阿华田 <a15733178518@163.com> wrote:

> input_data = "hdfs://localhost:9002/tmp/match_bak/%s*[0-9]" %
> ('2018-07-16’)
> result = sc.textFile(input_data)
> flink可以像spark一样正则读取hdfs目录下的文件吗?目前测试好像不行,如果不支持,最早什么版本会支持呢?
>
>
> | |
> 王志华
> |
> |
> a15733178518@163.com
> |
> 签名由网易邮箱大师定制
>
>

-- 
Best, Jingsong Lee
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message