hdfs - 如何在 HDP 2.4 中设置和使用 Kafka-Connect-HDFS

Question

我想在 hortonworks 2.4 上使用 kafka-connect-hdfs。您能否帮我完成在 HDP 环境中设置所需的步骤。

Answer 1

除了从源代码构建 Kafka Connect HDFS 之外，您还可以在 Hadoop 节点上下载并提取 Confluent Platform 的 TAR.GZ 文件。这并不意味着您正在“安装 Confluent”

那么你也能cd /path/to/confluent-x.y.z/

并从那里运行 Kafka Connect。

./bin/connect-standalone ./etc/kafka/connect-standalone.properties ./etc/kafka-connect-hdfs/quickstart-hdfs.properties

如果这对您有用，那么为了运行connect-distributed（运行 Kafka Connect 的推荐方式），您需要在要运行 Kafka Connect 的其他机器上下载相同的内容。