flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From aihua li <liaihua1...@gmail.com>
Subject Re: 通过 yarn-cluster 提交多个任务,Flink 页面只显示最后一个提交的任务
Date Mon, 18 Nov 2019 08:09:32 GMT
这个跟每个job申请的资源有关,如果三个job申请的总资源数小于yarn总的资源,那么三个job是可以同时running,否则会有job因为资源申请不到而处于accepted状态
资源足够的话两个job是可以调度到一台机器上的,只是端口号不同而已,可以从yarn页面上通过链接进入不同的页面查看

> 在 2019年11月18日,下午3:54,Henry <henrybao91@163.com> 写道:
> 
> 
> 
> 
> 哦哦,太感谢了,我刚注意到链接是 http://slave1:41921/#/overview 。 但是有俩小疑问哈,第一个是,这个“41921”端口号是在哪里看到的呢?
第二个是,假如我只有slave1、slave2两台机器,但是我现在写好了三个Flink程序,然后
> 要提交到 yarn 上运行,那么我是不是最多也就可以看到两个 running
job ? 还是虽然其中两个程序虽然在同一个节点上,但是他们的端口号是不同的,可能是
slave1:1000 对应一个程序,slave2:2000对应一个程序,通过链接进入不同
> 的页面查看?
> 
> 
> 
> 
> 
> 
> 在 2019-11-18 13:44:09,"aihua li" <liaihua1007@gmail.com> 写道:
>> 看了你的截图,链接中是id为0018的application,里面确实只有一个job,另一个job是在id为0019的application里,你变更下链接中的applicationId,应该就能看到另一个作业了
>> 
>>> 在 2019年11月17日,下午4:14,Henry <henrybao91@163.com> 写道:
>>> 
>>> 
>>> 
>>> 是的,两个程序确实也都在运行,俩程序往数据库里写的数据是不同的,都在更新,所以运行木有问题。但是在
Flink Web 页面里的 Running Job 中只有最后提交的那个
>>> 程序,没有先提交的那个程序,确实有问题。您看下那个链接,是我截的图,谢谢。
>>> 
>>> 
>>> 
>>> 
>>> 
>>> 在 2019-11-17 16:05:29,18612537914@163.com 写道:
>>>> 提交两个是两个进程,所以是两个job。我觉得没有任何问题,你点进去flink的页面肯定各是各的。
>>>> 
>>>> 发自我的iPhone
>>>> 
>>>>> 在 2019年11月17日,下午2:51,Henry <henrybao91@163.com>
写道:
>>>>> 
>>>>> 
>>>>> 大家好,我想请教一个问题哈。 就是我通过 ./flink run
-m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 xxx.jar 的方式提交了两个不同的任务程序,在yarn界面里也能看到两个正在运行的
app ,但是点击 对应的 ApplicationMater 跳转到 Flink-Dashboard 页面之后,在
Running job 页面只看到一个运行的最后提交的程序呢? Task Slot 也只用了
1 个,这是啥情况呢? 也木有报错。yarn 页面显示两个任务都是 Running
状态,而且先提交的哪个程序任务确实是在运行中的,因为数据库中的数据也是在增加呢。
 谢谢大家。
>>>>> 详情图片如下:
>>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>>> 
>>>>> 
>>>>> 
>>>>> 
>>>>> 
>>>>> 
>>>>> 
>>>>> 
>>>>> 
>> 

Mime
View raw message