14

我使用 Google API 控制台创建了一个服务帐户，并希望将此服务帐户与Google BigQuery CLI (bq) 工具一起使用。

我一直在使用命令行工具使用 ~/.bigquery.v2.token 中的有效 OAuth2 凭据成功访问 BigQuery 服务，但是我似乎找不到任何有关如何修改此文件（或以其他方式配置该工具）改为使用服务帐户。

这是我当前的 .bigquery.v2.token 文件

{
    "_module": "oauth2client.client",
    "_class": "OAuth2Credentials",
    "access_token": "--my-access-token--",
    "token_uri": "https://accounts.google.com/o/oauth2/token",
    "invalid": false,
    "client_id": "--my-client-id--.apps.googleusercontent.com",
    "id_token": null,
    "client_secret": "--my-client-secret--",
    "token_expiry": "2012-11-06T15:57:12Z",
    "refresh_token": "--my-refresh-token--",
    "user_agent": "bq/2.0"
}

我的另一个文件：~/.bigqueryrc 通常如下所示：

project_id = --my-project-id--
credential_file = ~/.bigquery.v2.token

我尝试将 credential_file 参数设置为我的服务帐户的 .p12 私钥文件，但没有运气，它给了我以下错误

******************************************************************
** No OAuth2 credentials found, beginning authorization process **
******************************************************************

并要求我转到浏览器中的链接以再次设置我的 OAuth2 凭据。

命令行工具的初始配置选项“init”：

bq help init

没有显示有关如何设置此工具以使用服务帐户的有用信息。

4

5 回答 5

9

我最终找到了一些关于如何设置的文档

$ bq --help

....

--service_account: Use this service account email address for authorization. For example, 1234567890@developer.gserviceaccount.com.
(default: '')

--service_account_credential_file: File to be used as a credential store for service accounts. Must be set if using a service account.

--service_account_private_key_file: Filename that contains the service account private key. Required if --service_account is specified.
(default: '')

--service_account_private_key_password: Password for private key. This password must match the password you set on the key when you created it in the Google APIs Console. Defaults to the default Google APIs Console private key password.
(default: 'notasecret')

....

您可以在每个 bq（bigquery 命令行客户端）请求上专门设置这些，即：

$ bq --service_account --my-client-id--.apps.googleusercontent.com -- service_account_private_key_file ~/.bigquery.v2.p12 ... [command]

或者您可以像这样在 ~/.bigqueryrc 文件中设置默认值

project_id = --my-project-id--
service_account = --my-client-id--@developer.gserviceaccount.com
service_account_credential_file = /home/james/.bigquery.v2.cred
service_account_private_key_file = /home/james/.bigquery.v2.p12

服务帐户可以在 Google API 控制台中找到，并且您在创建服务帐户时设置了 service_account_private_key_password（默认为“notasecret”）。

注意： .bigqueryrc 中的文件路径必须是完整路径，我无法使用 ~/.bigquery...

需要一些额外的依赖项，您需要通过 yum/apt-get 安装 openssl

--yum--
$ yum install openssl-devel libssl-devel

--or apt-get--
$ apt-get install libssl-dev

和 pyopenssl 通过简单的安装/pip

--easy install--
$ easy_install pyopenssl

--or pip--
$ pip install pyopenssl
于 2012-11-06T16:30:35.537 回答
4

现在不推荐使用 bq 授权标志

bq 文档

于 2019-07-11T21:01:03.347 回答
2

1.) 告诉 gcloud 以您的服务帐户身份进行身份验证

gcloud auth activate-service-account \
test-service-account@google.com \
--key-file=/path/key.json \
--project=testproject

2.) 像使用用户帐户一样运行 bq 命令

# ex: bq query
bq query --use_legacy_sql=false 'SELECT CURRENT_DATE()'

3. 可选）将 gcloud 身份验证恢复为您的用户帐户

gcloud config set account you@google.com

3a。可选）查看 gcloud 使用谁进行身份验证

gcloud auth list
于 2021-09-28T19:19:30.567 回答
1

bq 工具需要两个配置文件，由 --bigqueryrc 和 --credential_file 标志控制。如果两者都没有找到，bq 将在启动期间尝试自动初始化。

为避免 --bigqueryrc 文件出现这种情况，您可以将“.bigqueryrc”文件放置在默认位置，或使用 --bigqueryrc 将其覆盖到某个可写文件路径。

于 2013-11-23T01:51:40.493 回答
0

对于其他任何努力使用 bq 和服务帐户的人......我很难使用gitlab-ci 上的Google Cloud SDK docker 图像在 CI/CD 管道内工作。原来对我来说缺少的一点是确保设置默认项目。在我的笔记本电脑上，gcloud 很高兴从服务帐户推断出默认项目，但由于某种原因，docker 映像中的版本默认为公共免费项目。

- gcloud auth activate-service-account --key-file=${PATH_TO_SVC_ACCT_JSON};
- gcloud config set project ${GOOGLE_BIGQUERY_PROJECT}

在此之后，我能够将该bq实用程序用作服务帐户。我想在 .bigqueryrc 文件中设置默认项目也可以解决问题，这就是 OP 没有遇到这个问题的原因。

于 2022-02-10T06:42:02.997 回答