flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From LakeShen <shenleifight...@gmail.com>
Subject Re: Flink 读取 Kafka 多个 Partition 问题,
Date Fri, 03 Apr 2020 02:27:52 GMT
Hi Qijun,

看下 kafka 是不是所有分区都有数据呢,或者在这个时间截后:1585670400000L,后面是不是只有分区3写入数据,个人的想法。

Best,
LakeShen

Qijun Feng <jun1st.feng@gmail.com> 于2020年4月2日周四 下午5:44写道:

> Dear All,
>
> 我的 Kafka cluster 有三个机器,topic 也分了三个 partition, 我用 Flink
读取 Kafka
> 消息的时候,感觉只从一个 partition 读取了东西, 一开始我的 bootstrap.servers
只写了一个地址,
>  现在改成了所有地址,也换了 group.id
>
>
> Properties properties = new Properties();
> properties.setProperty("bootstrap.servers", "10.216.85.201:9092,
> 10.216.77.170:9092,10.216.77.188:9092");
> properties.setProperty("group.id", "behavior-logs-aggregator");
>
> FlinkKafkaConsumer010<BehaviorLog> kafkaConsumer010 =
>        new FlinkKafkaConsumer010<BehaviorLog>("behavior-logs_dev", new
> BehaviorLogDeserializationSchema(), properties);
> kafkaConsumer010.setStartFromTimestamp(1585670400000L); //2020/04/01
>
> 处理完的数据,写到数据库里,看下了感觉少数据, 从 Log 里看到,也是。。,只有
partition=3, 没有 partiton=1,或者 2
> 的,
>
> 2020-04-02 14:54:58,532 INFO
> org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase  -
> Consumer subtask 0 creating fetcher with offsets
> {KafkaTopicPartition{topic='behavior-logs_dev', partition=3}=38}.
>
>
> 是哪里有问题吗?
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message