3

是否可以使用客户端 API（python）从共享数据集（我只有查看权限）中提取数据（到谷歌云存储）？

我可以使用 Web 浏览器手动执行此操作，但无法使用 API 使其工作。

我已经为 MyProject 创建了一个项目 (MyProject) 和一个服务帐户，以在使用 API 创建服务时用作凭据。此帐户对共享数据集 (MySharedDataset) 具有查看权限，并对我的谷歌云存储桶具有写入权限。如果我尝试在自己的项目中运行作业以从共享项目中提取数据：

job_data = {
        'jobReference': {
            'projectId': myProjectId,
            'jobId': str(uuid.uuid4())
        },
        'configuration': {
            'extract': {
                'sourceTable': {
                    'projectId': sharedProjectId,
                    'datasetId': sharedDatasetId,
                    'tableId': sharedTableId,
                },
                'destinationUris': [cloud_storage_path],
                'destinationFormat': 'AVRO'
            }
        }
    }

我得到错误：

googleapiclient.errors.HttpError: https://www.googleapis.com/bigquery/v2/projects/sharedProjectId/jobs?alt=json 返回“内容中的值'myProjectId'与值sharedProjectId'不一致。当一个通过参数设置的值与请求中设置的值不一致。">

在 jobReference 和 sourceTable 中使用 sharedProjectId 我得到：

googleapiclient.errors.HttpError：https://www.googleapis.com/bigquery/v2/projects/sharedProjectId/jobs?alt=json 返回“拒绝访问：作业 myJobId：用户 myServiceAccountEmail 无权在项目中运行作业sharedProjectId">

对这两项工作使用 myProjectId 会立即返回“完成”状态且没有错误，但没有导出任何内容。我的 GCS 存储桶是空的。

如果使用 API 确实无法做到这一点，是否有另一种方法/工具可用于自动从共享数据集中提取数据？

* 更新 *

使用在我的 GA 登录下运行的 API 资源管理器可以正常工作。在我的代码中，我使用以下方法：

service.jobs().insert(projectId=myProjectId, body=job_data).execute()

并删除了包含 projectId 的 jobReference 对象

job_data = {
        'configuration': {
            'extract': {
                'sourceTable': {
                    'projectId': sharedProjectId,
                    'datasetId': sharedDatasetId,
                    'tableId': sharedTableId,
                },
                'destinationUris': [cloud_storage_path],
                'destinationFormat': 'AVRO'
            }
        }
    }

但这会返回错误

拒绝访问：表 sharedProjectId:sharedDatasetId.sharedTableId：用户“serviceAccountEmail”无权导出数据集中的表 sharedProjectId:sharedDatasetId

我的服务帐户现在是共享数据集的所有者，并且对 MyProject 具有编辑权限，还需要在哪里设置权限，或者是否可以使用我的 GA 登录凭据而不是服务帐户来使用 python API？

* 更新 *

终于让它工作了。如何？确保服务帐户有权查看数据集（如果您自己无权检查，而有人告诉您可以，请让他们仔细检查/向您发送屏幕截图！）

4

2 回答 2

2

在尝试重现该问题后，我遇到了解析错误。我曾经在开发者控制台 [2] 上使用过 API，并且效果很好。 作业.插入 API 我注意到的是，下面的请求代码与网站上的文档格式不同，因为它使用单引号而不是双引号。

这是我运行以使其工作的代码。

{
'configuration': {
    'extract': {
        'sourceTable': {
            'projectId': "sharedProjectID",
            'datasetId': "sharedDataSetID",
            'tableId': "sharedTableID"
        },
        'destinationUri': "gs://myBucket/myFile.csv"
    }
}
}

HTTP 请求

发布https://www.googleapis.com/bigquery/v2/projects/myProjectId/jobs

如果您仍然遇到问题，您可以尝试使用网站 [2] 上的 jobs.insert API 或尝试 bq 命令工具 [3]。

下面的命令可以做同样的事情：

bq 提取 sharedProjectId:sharedDataSetId.sharedTableId gs://myBucket/myFile.csv

希望这可以帮助。

[2] https://cloud.google.com/bigquery/docs/reference/v2/jobs/insert

[3] https://cloud.google.com/bigquery/bq-command-line-tool

于 2015-04-14T22:09:00.263 回答
0

确保服务帐户有权查看数据集（如果您自己无权检查，而有人告诉您确实如此，请让他们仔细检查/向您发送屏幕截图！）

于 2016-04-18T14:59:54.660 回答