flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 阿华田 <a15733178...@163.com>
Subject 回复: flink背压问题
Date Wed, 29 Apr 2020 02:30:59 GMT
好的 感谢


| |
王志华
|
|
a15733178518@163.com
|
签名由网易邮箱大师定制


在2020年04月29日 10:29,Junzhong Qin<qinjunzhong@gmail.com> 写道:
可以试一下Jsoniter, https://jsoniter.com/index.cn.html

阿华田 <a15733178518@163.com> 于2020年4月29日周三 上午10:07写道:


这个确实排查到了,主要是json解析那块耗时,老版本用的gson,现在改成fastjson了,解析速度提升了不少。看来大数据量的json解析还得是fastjson


| |
王志华
|
|
a15733178518@163.com
|
签名由网易邮箱大师定制


在2020年04月29日 10:02,LakeShen<shenleifighting@gmail.com> 写道:
Hi 阿华,

数据延迟有可能是逻辑中某个环节比较耗时,比如查询 mysql,或者某处逻辑较复杂等等。

可以看看自己代码中,有么有比较耗时的逻辑。同时可以将自己认为比较耗时的地方,加上日志,看下处理时间。

Best,
LakeShen


阿华田 <a15733178518@163.com> 于2020年4月29日周三 上午9:21写道:

好的 感谢大佬



| |
王志华
|
|
a15733178518@163.com
|
签名由网易邮箱大师定制


在2020年04月29日 09:08,zhisheng<zhisheng2018@gmail.com> 写道:
hi,

数据延迟不一定会产生背压,举个例子,Flink 写 HBase 的作业,Source 并行度为
5,Sink 并行度
10,这种情况下游写入速度很快的,可能写入速度超过 Flink 消费 Kafka
的速度,这种情况就不会出现背压的问题。

1、建议排查一下作业的并行度(可以设置和 Kafka 分区数一样);

2、背压监控是通过 Flink Web UI 监控查看的,还是通过指标来判断的?

3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控,加上
Lag 告警,这样可以及时知道数据延迟情况

Best !

zhisheng

阿华田 <a15733178518@163.com> 于2020年4月28日周二 上午9:37写道:

线上任务对背压进行了监控,背压一直正常,任务却出现了大量的数据延迟,数据延迟不会产生背压吗?


| |
王志华
|
|
a15733178518@163.com
|
签名由网易邮箱大师定制




Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message