scala - 如何在 GCP 中配置 Scio Scala API 的第三方库

Question

有一个第三方 Scio 客户端库，它为 Cloud Dataflow 提供了一个 Scala API，以便访问 Cloud Bigtable。所以，在这个过程中，我无法在 GCP 中配置 Scala API。请帮忙。

链接：https ://cloud.google.com/bigtable/docs/third-party-clients

Answer 1

Scio 只是一个包装了 Apache Beam Java SDK 的 Scala SDK。GCP 中没有 Scio 的“配置”。您只需使用 Scio (Scala) 或 Scio 和 Apache Beam（Scala 和 Java）的某种组合来编写数据流作业。

Giter8我通常使用Spotify 提供的模板通过Scio 创建一个 Dataflow 作业。这需要sbt工具。参考：https ://github.com/spotify/scio-template.g8

>> sbt new spotify/scio-template.g8

系统将提示您输入项目名称和包命名空间。这会自动创建一个sbtScala 项目。设置项目后，您可以像通常执行已编译的 Scala 二进制文件一样将管道部署到 Dataflow。该Giter8模板包含一个WordCount使用 Scio 编写的示例 Dataflow 作业。

Scio 参考：https
://github.com/spotify/scio sbt 参考：http ://www.scala-sbt.org/0.13/docs/index.html