hadoop - 启用 Kerberos 的 Hadoop 集群中的 Spring Cloud 数据流

Question

spring-cloud-data-flow-yarn 和 hdfs sink 能否在启用 kerberos 的 Hadoop 集群中工作？

Answer 1

纱线上的 SCDF：

请查看参考指南，了解如何配置以在 SCDF 的 YARN 实现上启用 Kerberos。

hdfs 接收器：

如果您使用上述配置在 SCDF 的 YARN 实现中运行此应用程序，则会自动应用 Kerberos 设置。

但是，如果您想hdfs-sink在非 YARN 环境中使用（例如：cf、k8s、..），您可以应用类似的配置- 它们可以作为 SCDF 的流定义 DSL 中的内联属性传递。