2

我正在尝试使用 Google Data Fusion Free 版本将一个简单的 CSV 文件从 GCS 加载到 BQ。管道因错误而失败。它读到

com.google.api.gax.rpc.InvalidArgumentException: io.grpc.StatusRuntimeException: INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0.
    at com.google.api.gax.rpc.ApiExceptionFactory.createException(ApiExceptionFactory.java:49) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:72) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:60) ~[na:na]
    at com.google.api.gax.grpc.GrpcExceptionCallable$ExceptionTransformingFuture.onFailure(GrpcExceptionCallable.java:97) ~[na:na]
    at com.google.api.core.ApiFutures$1.onFailure(ApiFutures.java:68) ~[na:na]

Mapreduce 和 Spark 执行管道重复相同的错误。感谢解决此问题的任何帮助。谢谢

问候 KA

4

2 回答 2

4

这意味着请求的总计算磁盘将使项目超过项目的 GCE 配额。既有项目范围的配额，也有区域配额。您可以在此处查看该文档：https ://cloud.google.com/compute/quotas

要解决此问题，您应该增加 GCP 项目中的配额。

于 2019-11-25T19:18:17.147 回答
4

@Ksign 为类似问题提供了以下答案，可以在此处看到。

相关的特定配额DISKS_TOTAL_GB是Persistent disk standard (GB)您可以在磁盘配额文档中看到的。

您可以通过转到IAM & admin page => Quotas并仅选择指标Persistent Disk Standard (GB)在项目的 Cloud Console 中按区域编辑此配额。

于 2020-01-15T16:29:04.213 回答