问题标签 [google-cloud-data-fusion]

Cloud Data Fusion 会为每次流水线运行创建一个新的 Dataproc 集群。我已经有一个 24x7 运行的 Dataproc 集群设置，我想使用该集群来运行管道

部署数据融合管道时，它不断失败并抛出以下错误，

com.google.api.gax.rpc.FailedPreconditionException：io.grpc.StatusRuntimeException：FAILED_PRECONDITION：无法删除集群“cdap-fusionpip-462363d2-a154-11e9-869a-16df235ccdf8”，而它还有其他待处理的删除操作。在 com.google.api.gax.rpc.ApiExceptionFactory.createException(ApiExceptionFactory.java:59) ~[na:na] 在 com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:72) ~[ na:na] 在 com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:60) ~[na:na] 在 com.google.api.gax.grpc.GrpcExceptionCallable$ExceptionTransformingFuture.onFailure(GrpcExceptionCallable. java:95) ~[na:na] at com.google.api.core.ApiFutures$1.onFailure(ApiFutures.java:61) ~[na:na] at com.google.common.util.concurrent.Futures$4。运行（Futures.java:1123）~[com.google. 748）~[na:1.8.0_212] 引起：io.grpc.StatusRuntimeException：FAILED_PRECONDITION：无法删除集群“cdap-fusionpip-462363d2-a154-11e9-869a-16df235ccdf8”，而它还有其他待处理的删除操作。在 io.grpc.Status.asRuntimeException(Status.java:526) ~[na:na] ...省略了 19 个常见帧

我是 Cloud Data Fusion 的新手，正在尝试将 SQL Server 数据库中的表映射到 MySQL 数据库。我已经面临许多我设法解决的问题，即：

• 固定服务帐户的权限，使其可以访问所需的所有资源；
• 将 IP 添加到我的 SQL Server 中允许的连接；
• 我正在使用 system.profile.properties.dataproc:dataproc.conscrypt.provider.enable = false 来防止另一个问题中报告的 SSL 错误问题。

在最后一次修复之后，我现在尝试在 io.cdap.cdap.internal.app.runtime.ProgramControllerServiceAdapter#97-MapReduceRunner-phase-1 处理 MapReduce 作业的 NULL 指针异常。

Data Fusion提供的stacktrace如下：

任何帮助将不胜感激。

谢谢。

PS：解决了这个问题后，我现在遇到了这个问题：

PS 2：解决上述问题后，我现在可以迁移表了。但是，我有时会收到以下堆栈跟踪作为警告，然后强制作业结束。在实际失败之前，工作会重复自己（不知道这是否是默认行为）。此外，它似乎要么无法将这么多行写入目标数据库，要么连接丢失。这使我无法迁移特定的表。知道为什么吗？

谢谢！

我正在使用连接器 5.1.39-bin，已尝试使用 5.0.8-bin 并得到相同的错误。我还为我的所有服务帐户赋予了 Cloud SQL 客户端角色。这是错误的图像：

也尝试使用连接字符串，但仍然出现相同的错误。我倾向于认为该错误与对数据库的访问权限有关，但我不知道在这种情况下在授权网络中插入哪个 IP 地址。

任何帮助表示赞赏。

谢谢！

尝试将 salesforce 连接器配置为使用 Google Data Fusion 从 salesforce 读取数据，但无法连接到 Salesforce。

点击连接器上的“获取架构”按钮时，我不断收到“使用插件配置连接到 salesforce 失败”错误消息。我的猜测是这与我的 salesforce 连接的应用程序有关，但不能说清楚。是否与已连接应用程序中的回调 URL 设置有关？是否有人成功使用数据融合连接到 Salesforce？

正如 Oracle 文档中提到的：https ://docs.oracle.com/cd/B28359_01/license.111/b28287/editions.htm#DBLIC116 ，

Oracle 标准版中不提供异步变更数据捕获。

所以问题是：“实时管道”（与批处理管道）模式是否适用于 Google Cloud Data Fusion 中的 Oracle 标准版？

有什么方法可以从 Cloud Function（最好是基于 python）运行 Google Data Fusion 管道？

核心要求是，每当有新文件到达 GCS 存储桶时，就会执行基于事件的云函数。Cloud Function 又需要调用数据融合管道，将 GCS 存储桶文件加载到 BigQuery 中。

要执行 Cloud Function，我们可以使用以下命令：

gcloud 函数部署 hello_gcs_generic --runtime python37 --trigger-resource YOUR_TRIGGER_BUCKET_NAME --trigger-event google.storage.object.finalize

我创建了一个 Google Cloud Data Fusion 实例，并根据文档搜索列出的服务帐户以添加其他角色。但是，在项目的 IAM 中找不到此服务帐户。我是否应该创建服务帐户或者这应该作为创建实例的一部分来完成？

我有一个包含 4 个 VPC 网络的项目。我创建了一个 GCDF 实例，我原以为会选择“默认”网络，但我看到选择了另一个（按字母顺序排列的第一个）。这是算法，名字的字母顺序吗？

有没有办法指定要使用的网络，这将非常有用，因为我想隔离这些虚拟机运行的网络。

我正在测试来自 Google Cloud Data Fusion 的 salesforce 连接。我收到这个错误

“错误：未发现请求 POST /v3/namespaces/system/apps/pipeline/services/studio/methods/v1/contexts/default/validations/stage HTTP/1.1”

单击连接器中的获取架构按钮时。身份验证详细信息都是正确的，我在外面使用 Postman 进行了测试。