flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Xintong Song <tonysong...@gmail.com>
Subject Re: 如何提升任务cpu使用率
Date Wed, 25 Mar 2020 02:03:40 GMT
你的 Flink 版本是什么?运行环境是 Yarn?

降低 slot 数并不能提高 cpu 的使用率。默认情况下 yarn container 申请 vcore
数等于 slot 数,降低 slot
数相当于等比例地降低了每个 container 的 cpu 资源和计算需求。如果想提高
cpu 的使用率,可以考虑让 container 的
vcore 数少于 slot 数。通过 ‘yarn.containers.vcores’ 可以设置 container 的
vcore 数不用默认的
slot 数。

Thank you~

Xintong Song



On Tue, Mar 24, 2020 at 8:09 PM yanggang_it_job <yanggang_it_job@163.com>
wrote:

> hi:
>    背景介绍,现在集群的剩余核数不多,就去梳理了一些大任务。
>
>  通过PromSQL:max(flink_taskmanager_Status_JVM_CPU_Load{job_name={job_name}})获取指定任务的cpu使用率,
>    发现任务的cpu使用率普遍较低,一个slot为10的container,使用率大多小于6%。
>
>    然后我测试中我降低container里面的slot数,发现cpu使用率并没有线性增加,同理我增大slot数也没有线性减少。
>
>    我是不是测试的有问题呢?或者有什么相关思路吗?
>
>
>
>
>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message