我正在做一个关于使用 Kafka 将数据从 Oracle db 移动到 Hadoop 文件系统的 POC（这是新的）。我已经在 oracle db 上配置了我的提取，它将在我的源表中完成的更改发布到我的 kafka 处理程序使用者，我可以看到关于我的主题的数据。现在我想在 kafka 连接处理程序上做同样的事情，我想要我 hdfs 中文件的架构和数据。我知道我可以配置 kafka 处理程序来读取我的提取跟踪文件。但是我应该把我的目标 hdfs 的细节放在哪里，以便 kafka 可以将数据转储到 hdfs 中？
问问题
522 次
1 回答
0
- 使用 OGG Kafka Connect 处理程序从 Oracle 流式传输到 Kafka。这里和这里的例子。如果你愿意，还有一个 Kafka 处理程序。更多细节在这里。
- 使用kafka-connect-hdfs从 Kafka 流式传输到 HDFS
于 2019-05-13T09:08:53.457 回答