2

问题

我们希望使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题中消费。

问题

是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHubs 消费?(见这篇文章

将 EventHub 数据导入 Pub/Sub 的替代方法也值得赞赏(例如,从 Azure Streaming Analytics 发布到 Pub/Sub)

谢谢!

4

2 回答 2

3

Azure 事件中心支持Apache Kafka 协议 1.0 和更高版本,因此你应该能够使用KafkaIO(支持 Kafka 版本 0.10.1 和更高版本)使用来自事件中心的事件。Google Cloud 在此处提供了在 Dataflow 中处理来自 Kafka 的消息的指南。

于 2020-01-10T22:03:47.117 回答
1

Azure 事件中心与 Kafka 协议二进制兼容,因此任何 Kafka 客户端或管道都应该能够使用来自事件中心主题的事件。

于 2020-01-09T16:46:45.947 回答