flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "罗学焕/予之" <xuehuan....@dtwave-inc.com>
Subject Flink程序长期运行后报错退出 PartitionRequestQueue - Encountered error while consuming partitions
Date Tue, 18 Jun 2019 09:07:52 GMT
大家好:
Flink应用,如以100笔/s的交易量向kafka写入数据(数据量不大),Flink程序接受并处理数据,涉及到
20个左右的 流表 Join 。和大量的异步操作读取hbase 维表。
运行1-2小时后,Flink应用停止运行并报错,(报错关键堆栈如下,省略部分为flink.shaded.netty部分的堆栈)
观察过内存未溢出,网络负载也不高。
不知道是啥原因,大家能帮忙看下吗?

主要报错:
ERROR org.apache.flink.runtime.io.network.netty.PartitionRequestQueue - Encountered error
while consuming partitions
java.io.IOException: Connection reset by peer
...
...
org.apache.flink.runtime.io.network.netty.PartitionRequestQueue.writeAndFlushNextMessageIfPossible(PartitionRequestQueue.java:264)
org.apache.flink.runtime.io.network.netty.PartitionRequestQueue.enqueueAvailableReader(PartitionRequestQueue.java:116)
org.apache.flink.runtime.io.network.netty.PartitionRequestQueue.userEnentTriggered(PartitionRequestQueue.java:176)
...
...
...
...

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message