flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "天之痕" <575209...@qq.com>
Subject 回复: flink on yarn ha 高可用问题
Date Tue, 02 Apr 2019 03:20:54 GMT
请问该怎么处理,我目前在hadoop中配置了

<property>
 
        <name>fs.defaultFS</name>
 
        <value>hdfs://hacluster/</value>
     </property>



<property>
 
        <name>dfs.client.failover.proxy.provider.hacluster</name>
 
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>


hadoop中是能模拟namenode切换的


1.请问现在flink中怎么配置?目前flink的环境都安装了hadoop,导出了hadoop环境变量
2.如果要求客户端也要包含hdfs ha的配置,那是不是flink扩展的同时也到在对应的服务器上配置hadoop,同时进行hadoop扩展?








------------------ 原始邮件 ------------------
发件人: "Lin Li"<lincoln.86xy@gmail.com>;
发送时间: 2019年4月2日(星期二) 上午9:47
收件人: "user-zh"<user-zh@flink.apache.org>;

主题: Re: flink on yarn ha 高可用问题



hdfs ha mode 下配置 logical name (
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html
)
flink 中访问配置的 hdfs logical name (同时需要确保 flink task 运行环境 hdfs-client
中也包含了
hdfs ha 配置的 hdfs logical name 和实际指向的 namedone 映射关系)


天之痕 <575209351@qq.com> 于2019年4月2日周二 上午9:07写道:

> flink on yarn ha模式下
> state.checkpoints.dir:
> hdfs://namenode-host:port/flink-checkpoints这个配置怎么配置能进行namenode能自动切换
>
> 现在只能指定namenode的hostname,假设这个namenode节点挂了,或者standby状态,flink任务checkpoint就报错,只能把节点起来,而且要将其切换为active节点
> 目前hadoop namenode已经进行ha部署了,手动kill 一个namenode进程能自动切换;暂时理解flink中这个配置貌似只能配死一个
>
>
> 请问如何解决这个问题,保证flink的高可用
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message