google-cloud-dataflow - 在 Scio Spotify 中使用 ContextAndArgs 创建 scioContext 时作为参数传递的内容

Question

我是 Scio 的新手，并试图了解更多有关它的信息。我在 Scio 源代码中看到了一些示例，并想运行它。但它要求一些我不知道且在文档中未指定的论点。

 val (sc, args) = ContextAndArgs(cmdlineArgs)

对于这部分代码，我需要传递一些参数，但我不知道它到底需要什么以及采用什么格式。另外，如果我没有在系统中安装 gsutil，如何将 Google Cloud Credential 直接传递给代码？

Answer 1

GCP 凭证是GcpOptionsBeamPipelineOptions处理命令行选项的一部分。--gcpCredentail所以在这种情况下 你会通过。https://beam.apache.org/releases/javadoc/2.7.0/org/apache/beam/sdk/extensions/gcp/options/GcpOptions.html

还有其他方法，例如将gcloudSDK 配置为使用用户的默认凭据，或通过环境变量配置 JSON 机密文件。 https://github.com/spotify/scio/wiki/FAQ#how-do-i-fix-invalid-default-bigquery-credentials