问题标签 [google-cloud-data-fusion]

我第一次使用Google Data Fusion（它在大约 4 小时前发布到测试版），我想做的第一件事是相当愚蠢的 - 读取驻留在一个 JSON 文件的内容GCS 存储桶。GCS 源代码似乎是一件显而易见的事情。我已经这样配置它：

如果我点击预览选项卡，我会看到一条消息

“Google Cloud Storage”阶段的预览数据不可用。

这是因为我做错了什么还是因为 GCS 源不支持预览数据？如果是后者，我会有点失望，预览数据在这样的工具中非常有用。

我刚刚安装了 Cloud Data Fusion，当我尝试探索“Cloud Storage Default”存储桶时收到此错误。我该如何解决？

cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list access to project xxxxxxxxxxxxx

trying to play with Data Fusion but the Wrangler is stuck on enabling:

Looking at the Dashboard, the Dataprep Service status is red:

Log:

Thanks,

我部署了一个简单的数据融合管道，它从 GCS 读取并写入 BigQuery 表。

我正在寻找安排管道的方法，但找不到相关文件。

任何人都可以指向我介绍有关调度数据融合管道的文档/页面吗？

我正在使用 CDF 的企业实例。我不知道如何调用 CDF API 来从 Airflow 运行管道。

我有由针对 BigQuery 表运行的多个 SQL 查询组成的数据管道，我想在 Google Cloud Fusion 中构建这些，但我没有看到使用自定义 SQL 进行转换/选择的选项。

这是可用的，还是我误解了这个工具的用例？

在过去的几个小时里，我不再能够执行已部署的数据融合管道作业——它们几乎立即以错误状态结束。

我可以在预览模式下运行作业，但是在尝试运行已部署的作业时，日志中会出现此错误：

我已尝试使用现有实例和新实例，包括示例作业在内的所有已部署作业都会出现此错误。

有任何想法吗？我找不到用于执行的图像的任何配置选项

我是 CDAP / 数据融合的新手。我创建了一个准备/牧马人，其中包括一组指令。我发现我现在希望编辑这些以前输入的指令，但似乎不知道如何执行此任务。

例如，在以下屏幕截图中，如何使用 UI 将quantity列的数据类型更改为浮点数？我目前的技术是删除指令 4、5 和 6 并重新输入，但我必须相信有比这更好的编辑技术。

我是云数据融合的新手。我想合并两个 CSV 文件。这两个文件具有相同的列。在 Cloud Data Fusion 中，我可以找到“joiner”，但找不到 union 功能。有人可以告诉我如何合并具有相同结构的多个 CSV 文件吗？

我想安排一个将 MySql 数据传输到 Google Bigquery 的管道，但是完整的数据会附加到 BQ 中的旧表中，我只想附加增量数据......