问题
我们希望使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题中消费。
问题
是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHubs 消费?(见这篇文章)
将 EventHub 数据导入 Pub/Sub 的替代方法也值得赞赏(例如,从 Azure Streaming Analytics 发布到 Pub/Sub)
谢谢!
问题
我们希望使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题中消费。
问题
是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHubs 消费?(见这篇文章)
将 EventHub 数据导入 Pub/Sub 的替代方法也值得赞赏(例如,从 Azure Streaming Analytics 发布到 Pub/Sub)
谢谢!
Azure 事件中心支持Apache Kafka 协议 1.0 和更高版本,因此你应该能够使用KafkaIO(支持 Kafka 版本 0.10.1 和更高版本)使用来自事件中心的事件。Google Cloud 在此处提供了在 Dataflow 中处理来自 Kafka 的消息的指南。
Azure 事件中心与 Kafka 协议二进制兼容,因此任何 Kafka 客户端或管道都应该能够使用来自事件中心主题的事件。