我们目前正在使用 Google 的 Cloud Dataflow SDK (1.6.0) 在 GCP 中运行数据流作业，但是，我们正在考虑迁移到 Apache Beam SDK (0.1.0)。我们仍将使用数据流服务在 GCP 中运行我们的作业。有没有人经历过这种转变并提出建议？这里是否存在任何兼容性问题，GCP 是否鼓励这一举措？
问问题
562 次
2 回答
2
Dataflow 尚不支持正式的 Beam（尽管这肯定是我们正在努力的方向）。我们建议您继续使用 Dataflow SDK，尤其是在 SLA 或支持对您很重要的情况下。也就是说，我们的测试表明 Beam 在 Dataflow 上运行，尽管这可能随时中断，但当然欢迎您自担风险尝试。
更新：自 Dataflow SDK 2.0 ( https://cloud.google.com/dataflow/release-notes/release-notes-java-2 ) 发布以来，Dataflow SDK 现在基于 Beam 。Cloud Dataflow 目前支持 Beam 和 Dataflow SDK。
于 2016-07-26T02:01:06.320 回答
0
您现在可以在 Dataflow 上运行 Beam SDK 管道。看：
https://beam.apache.org/documentation/runners/dataflow/
您需要将依赖项添加到 pom.xml，并且可能需要添加一些命令行选项，如该页面所述。
于 2019-07-25T02:04:47.393 回答