“google-cloud-data-fusion”的相关标签问题

0 投票

1 回答

432 浏览

rest - 有没有办法通过管道调用 Bing-ads api 并通过 Google Data Fusion 将数据加载到 Bigquery 中？

我正在 Google Data Fusion 中创建一个管道，允许我使用我的 bing-ads 开发人员令牌将我的 bing-ads 数据导出到 Bigquery。我在数据融合中找不到任何应该添加到我的管道中的数据源。Google Data Fusion 是否支持从 API 调用中获取数据，如果支持，如何实现？

0 投票

1 回答

1164 浏览

google-cloud-platform - PROVISION 任务在 REQUESTING_CREATE 状态下失败

我是 GCP 平台的新手，正在尝试创建一个简单的数据融合工作流，以从 GCS 存储桶中的文本文件加载 BigQuery 表。

工作流已成功部署。但是，在运行工作流时，它在步骤 2 中失败并出现错误语句

PROVISION 任务在程序运行 program_run:default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b 的 REQUESTING_CREATE 状态下失败。

在下面的详细日志中，我们对“projects/mylab-gcp”语句具有“必需的 'compute.firewalls.list' 权限”

以下是执行的完整错误日志。

2019-05-09 10:01:13,945 - 调试 [provisioning-service-7:icciptProvisioningTask@121] - 为程序运行执行 PROVISION 子任务 REQUESTING_CREATE program_run:default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9- af46-56bbe5c7844b。2019-05-09 10:01:16,839 - 信息 [provisioning-service-7:iccrspdDataprocProvisioner@171] - 使用系统标签创建 Dataproc 集群 cdap-testingdf-5ff986e9-7241-11e9-af46-56bbe5c7844b {goog-datafusion-version= 6_0，cdap-version=6_0_0-1555624816640，goog-datafusion-edition=basic} 2019-05-09 10:01:17,162 - 错误 [provisioning-service-7:icciptProvisioningTask@151] - PROVISION 任务在程序的 REQUESTING_CREATE 状态下失败运行 program_run:default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b。com.google.api。

我可以在 IAM 控制台中看到我的根 GCP 控制台用户以及服务帐户“mylab-bigquery@mylab-gcp.iam.gserviceaccount.com”。我已将 root 帐户和服务帐户分配为所有者，以及两个帐户中的以下附加角色。

BigQuery Admin Compute Instance Admin (v1) Compute Network Admin Compute OS Admin Login Compute Security Admin Cloud Data Fusion Admin Cloud Data Fusion API Service Agent Owner

但是，在完成所有这些操作之后，我仍然收到相同的错误消息“‘projects/mylab-gcp’需要‘compute.firewalls.list’权限”

google-cloud-platform google-cloud-data-fusion

0 投票

1 回答

121 浏览

google-cloud-data-fusion - 带有嵌套表的自动模式

我尝试使用 Data Fusion 从嵌套表中获取自动模式，但出现此错误：

1) 使用数据融合处理嵌套表的最佳方法是什么

2) 从 BigQuery 表中导出架构并在数据融合中使用它的方法是什么？

google-cloud-data-fusion

0 投票

1 回答

1115 浏览

google-cloud-data-fusion - BigQuery - 无法在不同位置读写：来源：欧盟，目的地：美国

我在 europe-west1-b 中创建了一个基本实例。我尝试加入来自 2 个 BigQuery 表的数据并将结果写回 BigQuery。我收到此错误：java.io.IOException：无法在不同位置读写：来源：欧盟，目的地：美国

自动创建的临时存储桶位于美国，而 Cloud Data Fusion 实例和 BigQuery 表位于欧盟。

我通过在正确的区域中手动创建一个存储桶并在接收器/源中指定它们来解决此问题。

可以通过自动选择正确的区域来避免这个手动步骤吗？

google-cloud-data-fusion

0 投票

1 回答

855 浏览

google-cloud-data-fusion - java.lang.NoSuchMethodError：net.jpountz.lz4.LZ4BlockInputStream。(Ljava/io/InputStream;Z)V 预览

我正在尝试使用 Google Cloud Data Fusion。我正在使用连接器加入 2 个 BigQuery 表 + 写回 BigQuery。在预览中我收到此错误： java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.(Ljava/io/InputStream;Z)V

我已将作业设置为 Spark 而不是 Map/Reduce，因为 Map/reduce 在预览中会产生内存不足问题。当我部署和运行作业时，它会由于“容器因超出内存限制而被 YARN 杀死”而崩溃。

最大的表大约有 600 万条记录，没有任何嵌套字段。较小的表是 66 条记录。
我没有指定任何分区。

调试/解决此问题的推荐方法是什么？增加工人数/内存？

google-cloud-data-fusion

0 投票

1 回答

102 浏览