flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 111 <xingh...@163.com>
Subject 关于FlinkSQL slot数量过多的问题
Date Wed, 20 May 2020 06:13:24 GMT
Hi,


各位好,最近在使用Flink SQL实现离线处理时,遇到资源占用过多的问题:
1 由于之前一个taskmanager配置了多个slot,导致slot之间内存抢占溢出的问题,后来每个taskmanager就配置了一个slot
2 有的sql非常复杂,需要读取多个hive source,我们配置了开启hive推断并配置最大的并行度为10;
3 当多个操作节点并行时,一个普通的任务可能需要申请上百个slot
直接导致yarn集群资源被耗光。


想了解下,针对slot是否有相关配置,限制最大slot的申请数量,使得不同任务可以共享slot执行。


另外,关于slotsharingGroup有点疑问,slotsharinggroup是不是仅针对单个source与下游的function。比如:
Source[4] —> map[4] —> reduce[3],这三个任务可以进行slotsharing,此时需要的最大slot是4。
但是如果source包含2个,此时两个source是无法进行slotsharing的,此时需要的最大slot是8。


Best,
xinghalo
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message