flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Congxian Qiu <qcx978132...@gmail.com>
Subject Re: flink使用异常超时
Date Thu, 14 Feb 2019 06:38:26 GMT
Hi

可以考虑是否 taskmanager 的 GC 比较严重

Best,
Congxian


cousin-gmail <a773807943@gmail.com> 于2019年2月14日周四 下午2:34写道:

> 嘿,我这里使用flink on yarn中,经常报出异常,然后flink就自己关闭了。
>
> 里面具体的逻辑是从kafka中接收数据,然后按照enentTime中的window滑动窗口滑动,
> 窗口大小为1小时,滑动间隔是5秒。聚集数据后,就写到redis中。
>
> 一般运行了2个小时候,就报异常,然后就结束了任务。其中,jobmanager的日志中显
> 示为:
> java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id
> container_e23_1545597259276_0273_01_001220 timed out.
> at
>
> org.apache.flink.runtime.jobmaster.JobMaster$TaskManagerHeartbeatListener.no
> tifyHeartbeatTimeout(JobMaster.java:1624)
> at
> org.apache.flink.runtime.heartbeat.HeartbeatManagerImpl$HeartbeatMonitor.
> run(HeartbeatManagerImpl.java:339)
> at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
> at java.util.concurrent.FutureTask.run(FutureTask.java:266)
> at
>
> org.apache.flink.runtime.concurrent.akka.ActorSystemScheduledExecutorAdapter
> $ScheduledFutureTask.run(ActorSystemScheduledExecutorAdapter.java:154)
> at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:39)
> at
>
> akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDis
> patcher.scala:415)
> at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
> at
>
> scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1
> 339)
> at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
> at
>
> scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java
> :107)
>
>
>
> 这里面显示taskmanager超时了,但是在taskmanager对应的日志中,是没有具体的异常
> 的。请问这个是什么原因导致的呢?
>
>
>
>
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message