flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "柯桂强" <guiqiang...@perfma.com>
Subject 没有业务,但是window算子的buffer每秒收到接近一百条数据
Date Sat, 30 Nov 2019 04:15:35 GMT
背景:起了4个taskmanager,每个配置6个slot,taskmanager.heap.size为6g,job的并行度设置为24,因为大量repartition和broadcast的原因,我修改taskmanager.network.memory.fraction为0.2,让这个任务顺利跑起来。
但是开始跑业务的时候发现10分钟后source的反压为high,并且不再消费任何数据。
接着我重启任务,并且不跑任务,发现所有window task的input pool usage都是满的,然后看到这些task每个subtask的numBuffersInRemotePerSecond+numBuffersInLocalPerSecond有80~100之高(其他非window的算子都正常),每个15字节左右,很明显它们不是业务数据,但是把in
pool占满了,所以我怀疑是这里导致了反压,但是不清楚这些数据是什么数据,还希望各位大神解答。
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message