flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Zhefu PENG <pengzf0...@gmail.com>
Subject flink读取kafka数据进程卡死
Date Thu, 09 Apr 2020 09:49:55 GMT
Hi all,

最近在使用flink读取kafka读取数据的时候,遇到这么个情况:

flink任务会突然在某一个时间点卡死,进程不报错,也不会fail然后退出,只会一直卡在那里也不会kafka数据,查看jobmanager和taskmanager的日志都没有报错信息,只有启动任务时候的信息或者要我设置要print的一些信息。

我的代码逻辑大概是这样:从kafka读取数据,会经过cep进行匹配,然后选取匹配命中的数据,进行聚合操作,以及窗口函数的自定义操作。

配置大概为: 2G的JobManager,2*8G的TaskManager,并行度总共为4
Kafka的数据量大概:每秒5000左右。

主要是查了很多日志没有报错信息,本身job也不会fail,这个情况让我比较挠头。请问有朋友遇到过这种情况吗?或者希望能给到更多的建议。非常谢谢

Best,
Zhefu
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message