flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 戴鑫铉 <daixinx...@gmail.com>
Subject Flink Kafka Connector相关问题
Date Thu, 22 Aug 2019 11:21:23 GMT
您好,这次发邮件主要想请教一下关于Flink Kafka Connector的一些问题:

1、在官方文档中有提到关闭checkpoint,flink仍会定时提交offset。但经过测试和观察源码,发现只有FlinkKafkaConsumer08会在createFetcher时就创建一个定期提交offset的committer,而FlinkKafkaConsumer09和FlinkKafkaConsumer010似乎只能依赖commitInternalOffsetsToKafka()方法提交Offset,该方法只有在checkpoint打开的情况才会被调用。这是否意味着使用FlinkKafkaConsumer09必须开启checkpoint机制,不然不会定期提交offset至kafka呢?

2、还想问下flink kafka
connector中的currentoffset和commitoffset,currentoffset-commitoffset就算lag值嘛,官方文档有提到监控lag值,但是我个人感觉currentoffset和kafka内的Log
End Offset不是一回事啊?能请详细解释一下吗?
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message