flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From USERNAME <oracle...@126.com>
Subject Re:Re: FLINK 1.9.1 StreamingFileSink 压缩问题
Date Thu, 02 Jan 2020 09:04:44 GMT
非常感谢帮助!
祝腊八快乐,祝大家腊八愉快!!

在 2020-01-02 15:00:25,"JingsongLee" <lzljs3620320@aliyun.com.INVALID> 写道:
>Hi,
>
>看起来你只能改下connector代码才能支持压缩了:
>ParquetAvroWriters.createAvroParquetWriter里:设置AvroParquetWriter.Builder的压缩格式。
>
>Best,
>Jingsong Lee
>
>
>------------------------------------------------------------------
>From:USERNAME <oracle_cj@126.com>
>Send Time:2020年1月2日(星期四) 13:36
>To:user-zh <user-zh@flink.apache.org>
>Subject:FLINK 1.9.1 StreamingFileSink 压缩问题
>
>各位好,FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS,能启用压缩吗?
>
>--代码
>StreamingFileSink<HDFSBean> sink = StreamingFileSink
>        .forBulkFormat(new Path(FILE_HDFS_PATH), ParquetAvroWriters.forReflectRecord(HDFSBean.class))
>        .withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT))
>
>        .build();
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message