0

我正在尝试将一些记录从在另一个 Kerberized 集群(不同域)中运行的 Spark 进程中放入 Kerberized 的 Kafka 集群中。我认为问题在于尝试逐条读取 spark 记录中的数据集并将它们放入 kafka(因此需要与两个集群保持活动连接)。请帮忙。

我尝试使用 System.setProperty() 在运行时使用 jaas 文件设置 VM 属性 -Djava.security.auth.login.config,其中主体和 keytab 对应于 kafka 集群,但没有运气。

在使用 spark2-submit 提交 spark 进程之前,我需要使用与 Hadoop Cluster 对应的 keytab 进行 kinit 以使 spark 进程运行。

4

0 回答 0