试图将数据从 kafka 写入 hdfs。任何地方都没有记录如何使用 Confluent 的 kafka-connect-hdfs Java API。
2 回答
您不需要使用 Java API。KafkaConnect 可以在命令行或 REST API 中使用……即使您从 Java 触发连接器,REST API仍然可以工作。
一些帮助您入门的文档:
首先,KafkaConnect 快速入门,只是为了在尝试执行高级操作之前确保您的系统处于良好状态:http: //docs.confluent.io/3.0.0/connect/intro.html#quickstart
如果您是 Kafka 新手,甚至可以从 Kafka 快速入门开始: https ://kafka.apache.org/quickstart
一旦独立更多工作,尝试切换到分布式模式并检查REST API
然后尝试 HDFS 连接器。从快速入门开始: http ://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart
或者博客教程: http: //www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect
希望这对您有所帮助。
您可以使用 Kafka 的 Producer Java API 写入 Kafka 主题。
kafka-connect-hdfs 将从主题中获取消息并将它们放入 HDFS。这不需要 Java 代码。
您运行它已在 kafka-connect-hdfs 快速入门中显示:
$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \
etc/kafka-connect-hdfs/quickstart-hdfs.properties
目前,kafka-connect-hdfs 仅支持在 Kafka Schema Registry 中注册的具有 Avro 数据格式的主题。