0

我有两个问题

1) 我想将 Kafka 与 Google Cloud Dataflow Pipeline 程序一起使用。在我的管道程序中，我想从 kafka 读取数据有可能吗？

2) 我创建了启用 BigQuery 的实例，现在我想启用 Pubsub 我该怎么办？

4

3 回答 3

3

(1) Raghu 提到的广告，2016 年年中，Apache Beam 随KafkaIO包添加了对 Kafka 写入/读取的支持。您可以查看包的文档[1] 以了解如何使用它。

(2) 我不太清楚你的意思。你能提供更多细节吗？

[1] https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/kafka/KafkaIO.html

于 2015-04-27T16:09:36.623 回答
2

Kafka 支持于 2016 年中期添加到 Dataflow（和 Apache Beam）中。您可以读取和写入 Kafka 流式管道。请参阅KafkaIOApache Beam 中的 JavaDoc。

于 2017-08-30T20:22:42.720 回答
1

(2) 自 2015 年 4 月 27 日起，您可以启用 Cloud Pub/Sub API，如下所示：

  1. 转到开发者控制台上的项目页面
  2. 点击APIs & auth->APIs
  3. 点击More内Google Cloud APIs
  4. 点击Cloud Pub/Sub API
  5. 点击Enable API
于 2015-04-27T18:16:08.770 回答