flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "九思" <1048095...@qq.com>
Subject 回复: 回复: flink savepoints 和 checkpoints的区别
Date Wed, 27 Mar 2019 03:52:36 GMT
谢谢老师,大概知道checkpoint和savepoint的区别了。总体上没什么区别。就是保存的时间点不一样,根据情况,选择从哪个时间点恢复。
老师,还有二个问题。
1、flink 消费 kafka,kafka的offset,是flink自己管理和保存嘛?是否有同步一份到zookeeper上。
PS:我在zookeeper上没有找到offset信息,可能我没找到,也可能没有。
2、之前用过消费者组,好像不起作用。从这里是不是就说明flink是自己管理保存offset,没有同步到zookeeper?




------------------ 原始邮件 ------------------
发件人: "baiyg25281@hundsun.com"<baiyg25281@hundsun.com>;
发送时间: 2019年3月27日(星期三) 中午11:38
收件人: "user-zh"<user-zh@flink.apache.org>;

主题: 回复: 回复: flink savepoints 和 checkpoints的区别



 
 

提交任务界面会有这个 savepoint 路径配置,如果程序运行发生重大故障中断了,不会自动savepoints,那么在这个地方路径配置就感觉有点多余了,另外引擎容错也不友好。我没有测试过,你可以测试下。





 baiyg25281@hundsun.com


  
发件人: 九思
发送时间: 2019-03-27 11:03
收件人: user-zh
主题: 回复: flink savepoints 和 checkpoints的区别


老师,savepoint不是要手动触发的嘛?如果程序运行发生重大故障中断了,不会自动savepoints吧?
  
  
  
  
 ------------------ 原始邮件 ------------------
 发件人: "baiyg25281@hundsun.com"<baiyg25281@hundsun.com>;
 发送时间: 2019年3月27日(星期三) 中午11:01
 收件人: "user-zh"<user-zh@flink.apache.org>;
  
 主题: 回复: flink savepoints 和 checkpoints的区别
  
  
  
 checkpoints:
     是程序运行中发生可恢复异常了,会从最新上一个checkpoint重新运行,一般代码中设置,就像你说的间隔几秒保存一次,只要设置了程序自动管理。
  
 savepoints:
     是程序运行中断时使用,比如你要人为关闭任务进行维护,手动执行savepoints保存到指定路径。一般提交任务时会配置一个savepoints保存路径,这样程序运行发生重大故障中断了,会自动进行savepoints保存到你配置的路径。再次启动需要根据savepoints恢复中断前数据。
  
  
  
  
  
 baiyg25281@hundsun.com
  
 发件人: 九思
 发送时间: 2019-03-27 10:48
 收件人: user-zh
 主题: flink savepoints 和 checkpoints的区别
 请教老师,flink savepoints 和 checkpoints的区别,网络上是说,checkpoints主要用于异常恢复,savepoints主要用于程序恢复。。但是还是没搞懂,程序什么时候使用savepoints,什么时候使用savepoints。
 PS:代码里有开启checkpoints, 3s一次。程序cancel的时候,会使用参数-s,强制savepoints。但是程序启动时,不知道该用savepoints来恢复,还是checkpoints来恢复?有什么区别嘛,谢谢。
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message