0

我想更改一些属性,例如security.protocolfrom SASL_PLAINTEXTto SASL_SSL。但是 Datastage 中的 Kafka 连接器的属性数量非常有限(主机、使用 kerberos、主体名称、keytab、主题名称、消费者组、最大轮询记录、最大消息、重置策略超时和类路径)

在阅读本文档时,首先要做的是传递 JAAS 配置文件。但我的问题是:

  1. 我应该把这个文件放在哪里?在 Datastage 或 Kafka 方面?

  2. 我怎样才能指向这个文件?

这是我尝试过的:

  1. 在 Datastage 中添加了一个before-job subroutine并使用以下命令:

    export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf"
    
  2. 在Datastage-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.confKafka Client ClasspathKafka 连接器属性中添加了

但无论我做什么,每次我运行作业时,参数security.protocol都保持不变:

Kafka_Connector_2,1: security.protocol = SASL_PLAINTEXT

这意味着它没有读取属性文件。

你有没有遇到过类似的问题?

4

1 回答 1

1

Kafka 连接器确实支持 SASL SSL Kafka 连接器属性 这是在JR61201中为 11.5 添加的,在 11.7.1.1 中可用

如果要插入 JVM 选项,例如

-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf

您应该能够利用CC_JVM_OPTIONS环境变量。

于 2020-07-21T20:37:13.983 回答