flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "zjfplayer@hotmail.com" <zjfpla...@hotmail.com>
Subject flink on yarn消费开启kerberos的kafka
Date Sat, 09 May 2020 08:00:04 GMT
大家好,
        请问各位flink on yarn如何消费开启kerberos的kafka,以及如何sink到开启kerberos的hbase
        
        现在尝试过在flink-conf.yaml中添加了如下配置:
security.kerberos.login.use-ticket-cache: false
security.kerberos.login.keytab: /home/zjf/zjf.keytab
security.kerberos.login.principal: zjf@TDH
security.kerberos.login.contexts: Client,KafkaClient
zookeeper.sasl.service-name: zookeeper
zookeeper.sasl.login-context-name: Client
        其中的keytab已经尝试过能正常运行kafka自带的发送消费shell脚本了,但是实际运行flink任务的时候,发现有org.apache.kafka.common.errors.TimeoutException:
Timeout expired while fetching topic metadata的报错,无法消费。

        并且已经尝试过在yaml中再加入如下配置:
env.java.opts.jobmanager: -Djava.security.auth.login.config=/home/zjf/jaas.conf -Djava.security.krb5.conf=/home/zjf/krb5.conf
-Dsun.security.krb5.debug=true
env.java.opts.taskmanager: -Djava.security.auth.login.config=/home/zjf/jaas.conf -Djava.security.krb5.conf=/home/zjf/krb5.conf
 -Dsun.security.krb5.debug=true
        直接就报了cannot locate default realm的错误

        flink版本为1.8.1



zjfplayer@hotmail.com
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message