flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "wangweiguang@stevegame.cn" <wangweigu...@stevegame.cn>
Subject Re: Re: Flink 1.10读取kafka数据,打包jar,提交任务到集群运行测试,遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题,求救大神帮忙解答,谢谢!
Date Tue, 14 Apr 2020 07:58:26 GMT

 昨天测试了下,除了需要添加 flink-connector-kafka_2.11-1.10.0.jar 这个外,还需要flink-connector-kafka-base_2.11-1.10.0.jar,感觉Flink在添加依赖jar做的不是很好,添加也不够灵活!

发件人: zhisheng
发送时间: 2020-04-14 15:24
收件人: user-zh
主题: Re: Re: Flink 1.10读取kafka数据,打包jar,提交任务到集群运行测试,遇到java.lang.NoClassDefFoundError:
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题,求救大神帮忙解答,谢谢!
应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行
 
wangweiguang@stevegame.cn <wangweiguang@stevegame.cn> 于2020年4月13日周一
下午3:09写道:
 
>
> 感谢flink道友解答,谢谢!
>
>
> 目前是通过maven来开发flink程序,只是编译打包到集群运行的时候缺少kafka依赖包,flink-connector-kafka_2.11-1.10.0.jar,flink-connector-kafka-base_2.11-1.10.0.jar,kafka-clients-1.0.1-kafka-3.1.1.jar
> 这些添加到lib后,程序运行成功!
>
> 发件人: 刘宇宝
> 发送时间: 2020-04-13 14:59
> 收件人: user-zh@flink.apache.org
> 主题: Re: Flink
> 1.10读取kafka数据,打包jar,提交任务到集群运行测试,遇到java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题,求救大神帮忙解答,谢谢!
> 用官方项目模板起步,
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html
>
> 不要往 flink 里头加 jar 包,在你项目的 pom.xml 里加:
>
>       <dependency>
>             <groupId>org.apache.flink</groupId>
>
> <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
>             <version>${flink.version}</version>
>         </dependency>
>
> From: "wangweiguang@stevegame.cn" <wangweiguang@stevegame.cn>
> Reply-To: "user-zh@flink.apache.org" <user-zh@flink.apache.org>
> Date: Monday, April 13, 2020 at 2:32 PM
> To: user-zh <user-zh@flink.apache.org>
> Subject: Flink
> 1.10读取kafka数据,打包jar,提交任务到集群运行测试,遇到java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题,求救大神帮忙解答,谢谢!
>
>
> 你好:
>
>     我在用Flink 1.10读取kafka数据,本地IDEA环境执行没有问题,将代码编译打包(不是fat
> jar)到集群上运行测试,执行提示:java.lang.NoClassDefFoundError:
> org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
>     我在Flink 1.10集群的每个节点下的
> /lib下都添加了kafka依赖包:flink-connector-kafka_2.11-1.10.0.jar
>     我启动的命令:
>     我先启动了一个Yarn session:
>     yarn-session.sh -yd -jm 2048m -tm 2048m -s 10
>     然后在session提交任务测试
>     flink run -d -p 2 -m yarn-cluster -c
> com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid
> application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar
>     启动就报如下错误:
>    [cid:_Foxmail.1@bf61ef0c-2f52-034d-bba5-a41cbf6b4faf]
>
> /lib下的依赖包:
> [cid:_Foxmail.1@0be9c7f1-1b24-8e3e-ea4f-d47b95d9ffaf]
>
> 代码片段:
> [cid:_Foxmail.1@76174c8c-512d-b948-71c9-359c474bf11e]
>
> 就是简单的读取数据,输出测试!
>
> ________________________________
> [
> https://exmail.qq.com/cgi-bin/viewfile?type=signature&picid=ZX1328-4PdHqpEhbWjLSGE47md0b7k&uin=688208663
> ]
>
>
>
>
>
>
> 史蒂夫软件(深圳)有限公司
> 技术部   王卫光
> wangweiguang@stevegame.cn<mailto:wangweiguang@stevegame.cn>
> 地址/Add:深圳南山科区科技园高新南十二道康佳研发大厦A座
> 手机/Mob:13128970998
> http://www.stevengame.com/<http://www.vcanbio.com/>
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message