1

我正在尝试从限制外部 IP 访问的客户端中提取数据。我已经使用允许的 IP 配置并测试了 Cloud NAT。但是当我部署我的 Pipeline 时,Data Fusion 会创建 Dataproc 集群,并为节点分配其他临时外部 IP。我不想分配这些 IP,以便节点可以使用 Cloud NAt 上定义的 IP。

我尝试通过 Data Fusion 运行时参数将 --no-address 传递给 Dataproc,但这不是正确的方法。我还查找了一些在我的 Data Fusion 实例上配置计算配置文件的方法,这在基本版或企业版中都找不到。

我想获得一个 Cloud Data Fusion 管道,使用我的 Cloud NAT 外部 IP 连接到我的客户端服务器,而不是为集群分配临时 IP,这在我的客户端防火墙上根本不允许。

4

2 回答 2

3

Cloud Data Fusion 不支持私有访问,这限制了它创建仅限内部 IP 的 Dataproc 集群。

正在开发对私人访问的支持,并将很快推出。

谢谢。

于 2019-06-18T16:55:53.523 回答
0

客户能够将 Cloud NAT 与 Cloud Data Fusion 结合使用,同时能够访问公共 IP

这里令人困惑的是,在构建管道期间,在 Studio 视图和验证阶段,连接是在租户项目上运行的,而 Cloud NAT 没有被应用。由于无法通过租户项目进行连接,因此在这些阶段会引发错误。

但是,当部署管道并且您可以正式运行管道时,这通常发生在您自己的项目中的 Dataproc 集群上,其中应用了 Cloud NAT。

要绕过 Studio 和 Validation 阶段的错误并使您的管道进入运行状态,通过部署它,您应该将公共 IP 插件中的连接凭据替换为宏。在验证阶段将忽略宏,以便您在 Cloud NAT 生效的项目中成功部署和运行管道。

以下是有关如何设置宏的一些链接:
https ://cdap.atlassian.net/wiki/spaces/DOCS/pages/382043060/Using+macros+to+create+a+dynamic+data+pipeline
https://cloud .google.com/data-fusion/docs/tutorials/reusable-pipeline

这是跟踪验证步骤失败的 CDAP 错误的链接:
https ://cdap.atlassian.net/browse/PLUGIN-381

于 2020-12-16T21:29:06.353 回答