2

我有一个 spark (1.2.1 v) 作业，它使用postgresql.Driver for scala将 rdd 的内容插入到 postgres 中。在 postgres 中，我有一些函数，例如“ CDB_LatLng ”，需要由插入触发（该特定函数计算 CartoDB 表的“the_geom”列）。

我想使用 COPY 将数据插入到 postgres：

def copyIn(url: String, username: String, password: String, tableName: String, reader: java.io.Reader, columnStmt: String = "") = {
        //connect to postgres database on the localhost
        val driver = "org.postgresql.Driver"
        var connection:Connection = null
        Class.forName(driver)
        connection = DriverManager.getConnection(url, username, password)

        try {
            connection.unwrap(classOf[PGConnection]).getCopyAPI.copyIn(s"COPY $tableName ($columnStmt) FROM STDIN (FORMAT CSV, DELIMITER ';'))", reader)
        } catch {
            case se: SQLException => println(se.getMessage)
            case t: Throwable => println(t.getMessage)
        } finally {
            connection.close()
        }
}

squares_rdd.foreachPartition(iter => {
        val sb = new StringBuilder()
        var keys : String = ""

        iter.foreach(row => {
            val mapRequest = Utils.getSquaresInsertMap(geoSelectMap, row)
            val mapValues = mapRequest.values.mkString("; ")
            sb.append(mapValues).append("\n")

            if(keys == ""){
                keys = mapRequest.keySet.mkString(", ")
            }

        })

        copyIn(url, username, password, squares_table,  new StringReader(sb.toString), keys)
        sb.clear
  })

当我尝试使用它时，我收到一个错误，即列“the_geom”无法接收字符串数据“CDB_LatLng(x,y)”... COPY 命令应该触发触发器，如文档中所述的 INSERT 命令，所以有可能在 COPY 内的列上使用函数以及如何使用？

4

0 回答 0