flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Yuhuan Li <bdos.eur...@gmail.com>
Subject Re: flink-1.8.1 yarn per job模式使用
Date Wed, 07 Aug 2019 11:56:53 GMT
非常感谢tison,完美的解决了我的问题,以后会多留意社区问题。

具体到自己的hadoop版本,就是在flink工程编译
flink-1.8.1/flink-shaded-hadoop/flink-shaded-hadoop2-uber/target
的jar放在lib下即可

Zili Chen <wander4096@gmail.com> 于2019年8月7日周三 下午7:33写道:

> 这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。
>
> 你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber-<hadoop-version>-7.0.jar
这样一个文件。
>
> 1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了,你要指定自己的
HADOOP_CLASSPATH
> 或者下载 FLINK 官网 pre-bundle 的 hadoop。
>
> 具体可以看这个页面(https://flink.apache.org/downloads.html)第一段的内容。
>
> Best,
> tison.
>
>
> 李玉环 <bdos.europa@gmail.com> 于2019年8月7日周三 下午7:15写道:
>
> > Hi 大家好:
> >
> > 在使用flink过程中,运行官网给的命令
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
> > 报错如下:
> >
> > ➜  flink-1.8.1 ./bin/flink run -m yarn-cluster
> > ./examples/batch/WordCount.jar
> > ------------------------------------------------------------
> >  The program finished with the following exception:
> >
> > java.lang.RuntimeException: Could not identify hostname and port in
> > 'yarn-cluster'.
> > at
> >
> >
> org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47)
> > at
> >
> >
> org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83)
> > at
> >
> >
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60)
> > at
> >
> >
> org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35)
> > at
> org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224)
> > at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
> > at
> >
> >
> org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
> > at
> >
> >
> org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
> > at
> >
> >
> org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
> > at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
> >
> >
> > 疑问:
> > 1.为什么会将 yarn-clustet解析为host?
> > 2.要运行single flink job on yarn的正确姿势是啥?
> >
> > Best,
> > Yuhuan
> >
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message