flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 孙森 <senny...@163.com>
Subject Re: jobmanager重启之后,job没有重启
Date Tue, 05 Mar 2019 06:46:38 GMT
Hi 韩非:
        我这边使用flink run -m的方式提交的job,如果配置为zookeeper就会提交失败,所以才改为这种方式。我的jobmanager也可以成功切换,但是之前的运行的job并没有成功重启。你那边有观察Job的重启情况吗?

Best
Sen

> 在 2019年3月4日,下午10:01,Fei Han <hanfeizi0409@aliyun.com.INVALID> 写道:
> 
> 杨森:
>    你好!对于Flink on yarn 模式 flink-conf.yaml中的配置如下:    
> high-availability: zookeeper
> 
> high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181
> 
> high-availability.storageDir: hdfs://cdh1:9000/flink/recovery
> 
> high-availability.zookeeper.path.root: /flink
> 
> state.backend: filesystem
> 
> state.backend.fs.checkpointdir: hdfs://cdh1:9000/flink/checkpoints
> 
> fs.hdfs.hadoopconf: /usr/local/hadoop-2.7.4/etc/hadoop
> 
> yarn-site.xml中的配置如下:
> 
> 
> <property>
> 
> <name>yarn.resourcemanager.am.max-attempts</name>
> 
> <value>4</value>
> 
> </property>
> 
> 以上的默认配置,你也可以在程序中配置,默认配置和程序都配置试试。
> 
> 
> 
>             如图看到Attempt ID由000001变为000002,进程也有所变化,,说明HA切换成功了。
> 
>      希望这些内容帮助到你。
> 
>       Best,
> 
>       韩非
> 
> 
> 
> ------------------------------------------------------------------
> 发件人:孙森 <sennybob@163.com>
> 发送时间:2019年3月4日(星期一) 18:41
> 收件人:user-zh <user-zh@flink.apache.org>
> 主 题:jobmanager重启之后,job没有重启
> 
> 大家好:
>           有配置过flink ha吗?我配置了yarn高可用之后,kill掉job manager
之后,jobmanager可以成功重启,但是yarn session上正在运行的job并没有重启。我程序是开启了checkpoint的。有谁遇到过吗?是我配置的问题还是什么原因?
> 
> 附上高可用配置:
> 
> high-availability.storageDir: hdfs:///flink/ha/
> high-availability.zookeeper.quorum: h1:2181,h2:2181,h3:2181
> high-availability.zookeeper.path.root: /flink
> yarn.application-attempts: 2
> 
> 
> Thanks!
> 
> 


Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message