问题标签 [google-cloud-data-fusion]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

344 问题

0 投票

1 回答

1373 浏览

google-cloud-data-fusion - 连接到 Cloud SQL MySQL

我们想测试使用 Cloud Data Fusion 将 Cloud SQL (mySQL) 连接到 BigQuery。连接到 CloudSQL 的正确方法是什么，因为此时这似乎不是“内置”的。推荐什么驱动程序，是否有任何可用说明？

google-cloud-data-fusion

0 投票

1 回答

930 浏览

google-cloud-data-fusion - 运行简单数据融合管道以从 Bigquery 导出数据并写入 GCS 时出现连接超时错误

我正在尝试使用谷歌数据融合服务，我创建了一个简单的管道，它将从 BigQuery 中提取数据并将该数据以 json 格式加载回 GCS，但是当我运行管道时，我收到以下错误。

java.io.IOException: com.jcraft.jsch.JSchException: java.net.ConnectException: io.cdap.cdap.common.ssh.DefaultSSHSession.(DefaultSSHSession.java:82) 处的连接超时（连接超时）~[ na:na] 在 io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillPreparer.lambda$start$0(RemoteExecutionTwillPreparer.java:429) ~[na:na]

我提供了对数据融合实例服务帐户的所有必要访问权限。以下是我提供的访问权限。

google-cloud-data-fusion

0 投票

2 回答

1721 浏览

cdap - 如何在 Wrangler 中使用自定义转换？

我正在尝试使用 Wrangler Plugin 上的列使用自定义转换。

是否有任何文档可以找到应用自定义转换的函数列表？同样对于特定情况，我想根据 IF-ELSE 条件（或多个情况）替换列的值。有什么办法吗？

cdap google-cloud-data-fusion

0 投票

1 回答

512 浏览

mysql - 未能部署 Cloud Data Fusion“将数据从 MySQL 传输到 Google BigQuery”模板管道

我刚刚尝试过 Cloud Data Fusion，Transfer Data From MySQL to Google BigQuery模板管道。配置设置后，在部署管道时出现以下错误。有什么建议吗？

如何重现问题？

从 Cloud Data Fusion Hub 中选择Transfer Data From MySQL to Google BigQuery管道，将创建一个新管道。
在 MySQL 节点中配置一些设置（注意：BigQuery 节点不能修改）。
单击[部署]按钮。
将显示以下错误：

mysql google-cloud-platform google-bigquery google-cloud-data-fusion

0 投票

3 回答

3060 浏览

google-cloud-data-fusion - 无法将 Cloud Data Fusion 与 Google Cloud SQL for PostgreSQL 连接

我的目标是通过 Cloud Data Fusion 管道从 Cloud SQL Postgres 读取数据到 BigQuery。

为此，我设置了一个 Cloud Data Fusion 实例并为服务帐户分配了以下两个权限：（请参阅https://cloud.google.com/data-fusion/docs/how-to/create-instance#setting_up_permissions）

云 SQL 客户端
云数据融合 API 服务代理

作为下一步，我将自己连接到 Cloud Data Fusion Instance，并导航到Wrangler -> Add Connection -> Database -> Google Cloud SQL for PostgreSQL.

作为驱动程序，我上传了postgres-socket-factory-1.0.13-jar-with-dependencies.jar我在这里下载的：https ://github.com/GoogleCloudPlatform/cloud-sql-jdbc-socket-factory

对于驱动程序配置，我设置：

名称：cloudsql-postgresql
类名：org.postgresql.Driver

对于数据库连接，我设置：

连接名称：<PROJECT_NAME>:<REGION>:<INSTANCE_CONNECTION_NAME>
连接字符串：jdbc:postgresql://google/<DATABASE_NAME>?cloudSqlInstance=<INSTANCE_CONNECTION_NAME>&socketFactory=com.google.cloud.sql.postgres.SocketFactory
用户名：数据库用户名
密码：数据库密码

单击测试连接后，我收到org.postgresql.Driver错误消息。