flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From wang jinhai <jinhai...@gmail.com>
Subject Re: Streaming File Sink疑问
Date Wed, 04 Sep 2019 07:44:16 GMT
这个问题我们刚好解决了。在flink任务的resources里加上hdfs-site.xml文件,把集群B的HA相关的配置复制进来,同时把dfs.nameservices的value设定为A,B,关键是加上<final>true</final>。不然被集群的HADOOP_CONF_DIR配置覆盖(代码逻辑在HadoopUtils类)


在 2019/9/4 上午11:47,“周美娜”<15957136209@163.com> 写入:

    我的做法是 重新配置 HADOOP_CONF_DIR 环境变量:在flink集群里面配置
core-site.xml 和 hdfs-site.xml,同时将  HADOOP_CONF_DIR 环境变量 指向这个文件目录
    > 在 2019年9月4日,上午11:16,戴嘉诚 <a773807943@gmail.com> 写道:
    > 
    > 大家好:
    > 	我在看到streamingFileSink 中看到可以把数据转成文件写入到Flink的fileSystem中,但是这里有个问题就是,我写入的hdfs不是在flink的集群(集群A)上,是在另一个hdfs集群(集群B)上,然后那个集群(集群B)上面配置了namenode的HA,如果只是直接指定namenode感觉不怎么可靠,但是flink默认的flinkSystem中,是指定了flink默认的hdfs集群(集群A),请问这个连接器中,能单独指定fs的配置吗?因为flink开启了checkpoint,而checkpoint的默认路径是在fink自身的集群上(集群A),所以不能粗暴的直接把默认的fileSystem直接指向集群B。谢谢
    > 
    
    
Mime
View raw message