5

我的目标是通过 Cloud Data Fusion 管道从 Cloud SQL Postgres 读取数据到 BigQuery。

为此，我设置了一个 Cloud Data Fusion 实例并为服务帐户分配了以下两个权限：（请参阅https://cloud.google.com/data-fusion/docs/how-to/create-instance#setting_up_permissions）

  • 云 SQL 客户端
  • 云数据融合 API 服务代理

作为下一步，我将自己连接到 Cloud Data Fusion Instance，并导航到Wrangler -> Add Connection -> Database -> Google Cloud SQL for PostgreSQL.

作为驱动程序，我上传了postgres-socket-factory-1.0.13-jar-with-dependencies.jar我在这里下载的：https ://github.com/GoogleCloudPlatform/cloud-sql-jdbc-socket-factory

对于驱动程序配置，我设置：

  • 名称：cloudsql-postgresql
  • 类名：org.postgresql.Driver

对于数据库连接，我设置：

  • 连接名称：<PROJECT_NAME>:<REGION>:<INSTANCE_CONNECTION_NAME>
  • 连接字符串：jdbc:postgresql://google/<DATABASE_NAME>?cloudSqlInstance=<INSTANCE_CONNECTION_NAME>&socketFactory=com.google.cloud.sql.postgres.SocketFactory
  • 用户名：数据库用户名
  • 密码：数据库密码

单击测试连接后，我收到org.postgresql.Driver错误消息。

在此处输入图像描述

4

3 回答 3

3

您很可能需要驱动程序和 JDBC 套接字工厂才能使其正常工作。您应该将 postgres 连接器与套接字工厂捆绑到一个 uber-jar 中，看看是否能解决问题。

这是一个快速（未经测试）的 pom，应该可以做到这一点：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.example</groupId>
   <artifactId>postgres-with-cloud-sql-socket-factory</artifactId>
   <packaging>pom</packaging>
   <version>0.0.1</version>

   <dependencies>
      <dependency>
         <groupId>org.postgresql</groupId>
         <artifactId>postgresql</artifactId>
         <version>42.2.5</version>
      </dependency>
      <dependency>
         <groupId>com.google.cloud.sql</groupId>
         <artifactId>postgres-socket-factory</artifactId>
         <version>1.0.13</version>
      </dependency>
   </dependencies>

   <build>
      <plugins>
         <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.4.1</version>
            <configuration>
               <!-- get all project dependencies -->
               <descriptorRefs>
                  <descriptorRef>jar-with-dependencies</descriptorRef>
               </descriptorRefs>
            </configuration>
            <executions>
               <execution>
                  <id>make-assembly</id>
                  <!-- bind to the packaging phase -->
                  <phase>package</phase>
                  <goals>
                     <goal>single</goal>
                  </goals>
               </execution>
            </executions>
         </plugin>
      </plugins>
   </build>
</project>
于 2019-04-28T21:18:28.233 回答
1

@塞巴斯蒂安·奥伯格，

我们遇到了同样的问题，基本上 Data Fusion 创建了一个服务帐户，它试图创建一个到 Cloud SQL 实例的 IAP 隧道。我们可以通过赋予角色“Cloud SQL Client”来解决这个问题。

试一试，让我们知道！

于 2019-07-30T18:12:28.277 回答
0

在相关说明中，如果 Data Fusion 是私有的，那么要通过私有接口（无公共 IP 流量）访问 Cloud SQL 实例，您需要一个“代理 VM”，类似于本文档中描述的内容，但使用一个不同的启动脚本，这篇博客文章很好地概述了如何实现这一点。

于 2022-03-02T23:40:34.243 回答