问题标签 [google-cloud-data-fusion]

错误来源：

错误信息：

java.io.IOException: com.jcraft.jsch.JSchException: java.net.ConnectException: io.cdap.cdap.common.ssh.DefaultSSHSession.(DefaultSSHSession.java:82) 处的连接超时（连接超时）~[ na:na] at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillPreparer.lambda$start$0(RemoteExecutionTwillPreparer.java:429) ~[na:na] at io.cdap.cdap.internal.app .runtime.distributed.remote.RemoteExecutionTwillRunnerService$ControllerFactory.lambda$create$0(RemoteExecutionTwillRunnerService.java:519) ~[na:na] at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[na :1.8.0_212] 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[na:1.8.0_212] 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[na :1.8.0_212] 在 java.util。concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[na:1.8.0_212] at java.lang.Thread.run(Thread.java:748) ~[na:1.8.0_212] 由：com。 jcraft.jsch.JSchException：java.net.ConnectException：com.jcraft.jsch.Util.createSocket(Util.java:349) 处的连接超时（连接超时）~[com.jcraft.jsch-0.1.54.jar :na] 在 com.jcraft.jsch.Session.connect(Session.java:215) ~[com.jcraft.jsch-0.1.54.jar:na] 在 com.jcraft.jsch.Session.connect(Session.java :183) ~[com.jcraft.jsch-0.1.54.jar:na] at io.cdap.cdap.common.ssh.DefaultSSHSession.(DefaultSSHSession.java:79) ~[na:na] ... 7 常见帧省略原因：java.net.ConnectException：在 java.net.PlainSocketImpl.socketConnect(Native Method) ~[na:1.8.0_212] 在 java.net.AbstractPlainSocketImpl 的连接超时（连接超时）。doConnect(AbstractPlainSocketImpl.java:350) ~[na:1.8.0_212] at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) ~[na:1.8.0_212] at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl. java:188) ~[na:1.8.0_212] at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) ~[na:1.8.0_212] at java.net.Socket.connect(Socket.java:589) ~[na:1.8.0_212] 在 java.net.Socket.connect(Socket.java:538) ~[na:1.8.0_212] 在 java.net.Socket.(Socket.java:434) ~[na:1.8 .0_212] 在 java.net.Socket.(Socket.java:211) ~[na:1.8.0_212] 在 com.jcraft.jsch.Util.createSocket(Util.java:343) ~[com.jcraft.jsch- 0.1.54.jar:na] ...省略了10个常用框架206) ~[na:1.8.0_212] 在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) ~[na:1.8.0_212] 在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) ~[ na:1.8.0_212] 在 java.net.Socket.connect(Socket.java:589) ~[na:1.8.0_212] 在 java.net.Socket.connect(Socket.java:538) ~[na:1.8. 0_212] 在 java.net.Socket.(Socket.java:434) ~[na:1.8.0_212] 在 java.net.Socket.(Socket.java:211) ~[na:1.8.0_212] 在 com.jcraft .jsch.Util.createSocket(Util.java:343) ~[com.jcraft.jsch-0.1.54.jar:na] ...省略了10个常用框架206) ~[na:1.8.0_212] 在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) ~[na:1.8.0_212] 在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) ~[ na:1.8.0_212] 在 java.net.Socket.connect(Socket.java:589) ~[na:1.8.0_212] 在 java.net.Socket.connect(Socket.java:538) ~[na:1.8. 0_212] 在 java.net.Socket.(Socket.java:434) ~[na:1.8.0_212] 在 java.net.Socket.(Socket.java:211) ~[na:1.8.0_212] 在 com.jcraft .jsch.Util.createSocket(Util.java:343) ~[com.jcraft.jsch-0.1.54.jar:na] ...省略了10个常用框架连接（Socket.java:538）~[na:1.8.0_212] at java.net.Socket.（Socket.java:434）~[na:1.8.0_212] at java.net.Socket.（Socket.java: 211) ~[na:1.8.0_212] at com.jcraft.jsch.Util.createSocket(Util.java:343) ~[com.jcraft.jsch-0.1.54.jar:na] ...省略了 10 个常见框架连接（Socket.java:538）~[na:1.8.0_212] at java.net.Socket.（Socket.java:434）~[na:1.8.0_212] at java.net.Socket.（Socket.java: 211) ~[na:1.8.0_212] at com.jcraft.jsch.Util.createSocket(Util.java:343) ~[com.jcraft.jsch-0.1.54.jar:na] ...省略了 10 个常见框架

我正在使用 Cloud Data Fusion 设置管道，并且我想导入自己的自定义插件。有没有简单的导入方法？

我已经尝试使用ImportStudio 部分中的按钮，但它给我的工件带来了一些问题。我还尝试使用按钮添加新实体+并上传 .jar 和 .json 文件，但它不返回任何消息。

但是，在App Fabric日志中实际上遇到了这些错误：

我是 Cloud Data Fusion 的新手，以前从未使用过 CDAP。这些错误有解释吗？

我正在尝试从限制外部 IP 访问的客户端中提取数据。我已经使用允许的 IP 配置并测试了 Cloud NAT。但是当我部署我的 Pipeline 时，Data Fusion 会创建 Dataproc 集群，并为节点分配其他临时外部 IP。我不想分配这些 IP，以便节点可以使用 Cloud NAt 上定义的 IP。

我尝试通过 Data Fusion 运行时参数将 --no-address 传递给 Dataproc，但这不是正确的方法。我还查找了一些在我的 Data Fusion 实例上配置计算配置文件的方法，这在基本版或企业版中都找不到。

我想获得一个 Cloud Data Fusion 管道，使用我的 Cloud NAT 外部 IP 连接到我的客户端服务器，而不是为集群分配临时 IP，这在我的客户端防火墙上根本不允许。

我创建了一个简单的管道，它从 SQL Server 表中读取数据并写入 BigQuery 表。然后我将其配置为使用 Spark 并部署和运行。它从配置 dataproc 集群开始，我可以看到它相对较快地创建了 3 个 VM，一个 master 和两个 worker。但是，在 dataproc UI 和 Data Fusion UI 中，主集群创建作业仍保持“配置”状态。大约 17 分钟后，它失败了。

我在企业实例和基本实例中都进行了尝试。我已确保实例服务帐户具有“云数据融合 API 服务代理”角色。我已经运行了预览，它在大约 20 秒内运行并成功。

这是日志：

我在 Data Fusion 中创建了一个简单的管道，它从单个 MS SQL Server 表中读取数据并写入 BigQuery。当连接到 SQL Server 并出现套接字握手错误时，它会失败。

我在创建自己的 dataproc 集群时看到了这个问题，我知道这与使用 conscrypt 作为 ssl 时默认使用的 dataproc 有关。我还找到了一种解决方法，即在创建集群时设置一个属性：dataproc:dataproc.conscrypt.provider.enable=false

在运行 Data Fusion 时这是不可能的，因为我无法控制集群的创建方式。我已尝试将该属性添加到引擎配置部分，但它不起作用，并且该属性未显示在 dataproc 集群配置页面中。

这是数据融合中的堆栈跟踪：

我只想在 Data Fusion 中从 SQL Server 读取数据。

我正在发现该工具，但我有一些问题：

- （Source，Sink）中的文件类型到底是什么意思， - 是否也可以将管道的结果直接发送到FTP服务器

我检查了文档，但没有找到此信息

谢谢你

我有一个包含大约 1000 个表的 MS SQL Server 数据源，我需要将它们放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的暂存表中，然后对它们执行转换。但是，一旦我创建了一个带有两个“岛”的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何东西。我的管道如下所示：

我尝试部署时遇到的错误是：“无效的 DAG。有一个由 BigTest、BigQuery BigTest 阶段组成的岛（没有其他阶段连接到它们）。”

我正在按照Cloud Data Fusion 示例教程中的说明进行操作，一切似乎都运行良好，直到我尝试在最后运行管道。根据说明为 Google 托管服务帐户设置 Cloud Data Fusion Service API 权限。管道预览功能没有任何问题。

但是，当我部署并运行管道时，它会在几分钟后失败。在状态从配置更改为运行后不久，管道停止并出现以下权限错误：

xxxxxxxxxxx-compute@developer.gserviceaccount.com 是我项目的默认 Compute Engine 服务帐号。

“Project X”不是我的，但我不知道为什么管道启动代码试图在那里创建一个存储桶，它确实成功地在我的项目失败前。

我已经用两个单独的帐户尝试过这个，并且在两个地方都得到了相同的错误。我曾尝试将存储/管理员角色添加到各种服务帐户但无济于事，但那是在我意识到它试图完全访问不同的项目之前。

我正在评估 Google Cloud Data Fusion 以用于内部项目，并且我希望能够设置 Data Fusion 实例、定义和部署计划的管道，然后关闭 Data Fusion 实例。但是，当实例关闭时，我仍然希望计划的管道继续按计划运行。这可能吗？

我已通读 Google Data Fusion 文档并了解如何设置计划的管道，但我不清楚该管道在创建后如何与实例相关联。一些文档听起来像是“操作”和“实例”是独立的实体，这让我觉得我想做的事情可能是可能的，但我仍然不清楚如何做到这一点。

我无法从谷歌数据融合连接到 MySQL

步骤：

1. 首先，我添加连接器 https://dev.mysql.com/downloads/file/?id=462850

2. 二、我尝试添加连接（失败）

MySQL的屏幕截图：

通信链路故障 最后一个成功发送到服务器的数据包是 0 毫秒前。驱动程序没有收到来自服务器的任何数据包。

**** 编辑 **** 我认为这与允许数据融合访问我们的生产数据有关我的第二个问题是：我如何知道 Google 数据融合 IP 地址是什么？

如果有人可以帮助我，那就太好了

谢谢你