flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Yun Tang <myas...@live.com>
Subject Re: flink启动等待10分钟问题
Date Thu, 22 Aug 2019 03:08:50 GMT
Hi

Flink on YARN作业启动时间长,有很多原因,例如资源不够在等待,container申请的时候又退出了。默认的slot
request的timeout时间是5min,感觉你的作业应该是可能遇到了一个slot request
timeout,然后又重新申请。最好能提供一下jobmanager的日志才好进一步分析。

祝好
唐云
________________________________
From: 々守护々 <346531110@qq.com>
Sent: Thursday, August 22, 2019 11:04
To: user-zh <user-zh@flink.apache.org>
Subject: flink启动等待10分钟问题

各位Flink社区大佬,您好!
      我使用Flink SQL (Flink 1.8.1),在hadoop 集群中调整了一下yarn-site.xml文件的内存参数:
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>16384</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>1024</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>8192</value>
        </property>



然后我去启动flink on yarn任务,启动参数:./flink-1.8.1/bin/flink run -m yarn-cluster
-p 4 -d -c streaming.StreamKafkaMain -yn 4 -ys 2 -yjm 2048 -ytm 8192  -ynm bigdata6 ./flink_bigdata6.jar
最终能能启动成功,就是启动要等待10分钟,这个等待时间太长了,请问各位大佬有什么解决的方法吗?
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message