问题标签 [google-cloud-data-fusion]

我想创建一个 Data Fusion 实例并授予服务帐户读取和写入 BigQuery 的权限。我正在使用 Data Fusion 的 Beta 版，我的项目位于一个组织下。

当我尝试授予权限时，出现以下错误：

任何提示表示赞赏。

我正在尝试将 PubSub 消息中的数据加载到 GCS 文件中。简单管道：PubSub 源 -> JSON 解析器 -> GCS 接收器。

由于 PubSub 只接受作为 utf-8 的 data 参数，我如何在 CDAP 中对其进行解码？我应该构建一个实现解码功能的自定义插件，还是使用 PuSub 消息中的属性而不是“数据”将我的数据作为字符串传递更好？

我正在开发 Cloud Data Fusion POC，并且正在尝试创建 MSSQL 到 BigQuery 管道。由于我能够从查询中导入我的模式，因此连接有效，但是，我得到了MapReduce Program "phase-1" failed一个java.lang.NullPointerException: null exception

我已经尝试使用通用数据库源和接收器，正如这个问题Getting Null Pointer Exception when mapping SQL Server Database to MySQL Database with MapReduce中所述，导入查询也已经指定。

这是完整的堆栈跟踪

目标是使用 Cloud Data Fusion 连接 Cloud SQL mysql 或 postgreSQL 实例。

• 使用 MySQL 和 postgreSQL 创建 Cloud SQL 实例
• 创建了 Cloud Data Fusion 实例
• 从牧马人 > 添加连接 > Cloud SQL MySQL
• 将 Data Fusion 实例添加为 IAM 中的成员，并添加了对以下 Cloud SQL 客户端 Cloud Data Fusion API 服务代理的权限
• 在添加连接中使用 jdbc url 作为 jdbc:mysql://google/mysql?cloudSqlInstance=&socketFactory=com.google.cloud.sql.mysql.SocketFactory&useSSL=false
• 为 mySQL 添加了驱动程序：mysql-connector-java-5.1.39-bin.jar
• 添加了 MySQL 套接字工厂 jar 作为库。

在测试连接时，它失败并出现错误：com.mysql.jdbc.Driver

期望与 Cloud SQL MySQL 的连接测试成功，以便可以构建数据融合管道。

我正在尝试使用 Data Fusion 实现 SCD2 表加载，但似乎找不到必要的构建块来执行此操作。（这里介绍的东西）。

我可以将新记录（暂存表）与目标表连接，过滤未更改的记录，但我无法对 SCD2 类型表进行合并/更新，因为没有选项可以这样做。

是否有任何选项可以使用 Data Fusion 对 BigQuery 表进行合并/更新？

需要使用 Google Cloud DataFusion 创建管道以将数据从本地 PostgreSQL DB 导出到 Google Cloud SQL。使用 wrangler 首先测试与本地 DB 和 CloudSQL 的连接。

1. 尝试与本地数据库建立连接时，出现连接失败异常。主机名、端口、用户名和密码正确。
2. 为了与 Google Cloud SQL (PostgreSQL) 建立连接，我使用此参考来构建 JAR，但遇到了 SocketFactory 实例化错误。

两者都遵循了以下步骤：

1. 在 Wrangler UI 中，单击添加连接
2. 点击数据库
3. 然后添加相应的jar（JDBC驱动）
4. 添加连接详细信息

请帮助解决这些问题。

.我正在尝试创建一个数据融合管道，该管道从 pub sub 和使用的投影中获取数据以将消息转换为字符串（如您所说），然后将其保存到 GCS。

但是，它给了我错误：参数订阅必须符合模式 ^projects/[^/]+subscriptions/[^/]+$

我正在使用正确的主题和订阅名称 projects/test/subscriptions/dataFusionSubscribe projects/test/topics/DataFusionTopic

我在数据融合中开发了一个实时管道，以从 pubsub 获取数据，然后馈入 GCS，然后馈入 BQ。但是，在 GCS（可用作接收器）之后，我无法将数据输入 BQ，因为 GCS 仅可用作接收器，因此它不提供任何输出模式。有什么办法可以让我创建一个管道将数据从 GCS 传输到 BQ

我在 Google Cloud Data Fusion 中部署了一个数据管道，但它没有按预期工作。有没有办法在 Cloud Data Fusion 中编辑已部署的数据管道，还是必须将其删除并从头开始重建并再次部署？

是否可以将从 dataprep 导出的配方导入 Data Fusion 中的管道？