我们在将数据从 Google Cloud Datastore 传输到 Bigquery 时遇到问题。我们需要为这项工作在 python 中创建数据流脚本。此作业应使用 python 中的管道将数据从数据存储传输到 bigquery。对于 python 中的这项工作，它需要“Apache Beam”库。但是 Apache Beam 库不起作用。任何人都可以帮助我们吗？
问问题
560 次
1 回答
1
适用于 Python 的 Google Cloud Dataflow SDK 可供使用，目前在 Google Cloud Platform 中提供 Beta 级支持。它基于 Apache Beam 代码库。请按照快速入门开始使用此 SDK。如果您看到特定错误，请提出单独的问题并引用特定问题。
也就是说，Python 的 SDK 尚未提供直接访问 Google Cloud Datastore 的 API。您可以使用泛型Source和SinkAPI 编写一个。这并不难，但也不是微不足道的。这是我们正在积极开展的工作，Python SDK 将在不久的将来包含此 API。
同时，我建议也许尝试使用 SDK for Java 来完成这项任务，其中包括DatastoreIOAPI BigqueryIO。
于 2016-10-07T22:35:49.990 回答