flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Benchao Li <libenc...@gmail.com>
Subject Re: flink消费kafka数据,如何从kafka端获取消费偏移信息
Date Sun, 12 Jan 2020 13:17:40 GMT
setStartFromGroupOffsets
说的是从kafka里面保存的offset开始消费,flink并没有保证kafka一定会有这个consumer的offset,如果没有的话,会按照kafka
consumer的配置'auto.offset.reset'来设置这些partition的offset。

具体情况可以参考文档[1].

[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/connectors/kafka.html#kafka-consumers-start-position-configuration

wqpapa <wqpapa@126.com> 于2020年1月12日周日 下午9:09写道:

> flink通过FlinkKafkaConsumer消费kafka主题,设置group.id
> 按setStartFromGroupOffsets取偏移,如何在kafka端获取对应group.id的偏移信息?
> kafka为0.9版本,在zk那边找不到对应的group.id;通过kafka-consumer-groups.sh
--describe
> --group ,也取不到。请问下要怎么获取啊?



-- 

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: libenchao@gmail.com; libenchao@pku.edu.cn
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message