您能否帮助我设置 camus 或 gobblin 以将来自 Kafka 的消息存储在 HDFS 中。一个工作示例可能很棒。
Gobblin 仍处于孵化阶段,camus 已被淘汰。那么最好使用哪一个。
我下载了 gobblin 并运行 gobblin-standalone.sh start 但出现错误
未设置环境变量 GOBBLIN_JOB_CONFIG_DIR!.
您能否帮助我设置 camus 或 gobblin 以将来自 Kafka 的消息存储在 HDFS 中。一个工作示例可能很棒。
Gobblin 仍处于孵化阶段,camus 已被淘汰。那么最好使用哪一个。
我下载了 gobblin 并运行 gobblin-standalone.sh start 但出现错误
未设置环境变量 GOBBLIN_JOB_CONFIG_DIR!.
用于 HDFS 的 Confluent Kafka Sink 连接器是首选,因为它取代了 Camus,支持最新版本的 Apache Kafka,得到积极维护,并且是开源的。
http://docs.confluent.io/current/connect/connect-hdfs/docs/index.html