0

我正在使用 Spring Cloud Data Flow 创建自定义流以将数据加载到雪花中。我编写了一个自定义接收器，以使用 Snowflake 的 JDBC 驱动程序将数据加载到 Snowflake 中。我使用的方法类似于使用以下步骤的任何数据库更新：

  1. 创建连接池（使用 HikariCP）获取 Snowflake 数据库连接。
  2. 使用准备好的语句，创建了一批行以一次全部提交。
  3. 使用预定的计时器将批次提交给雪花。
    这是当我注意到批次在 Snowflake 中的更新非常缓慢 - 即一次一个或两个记录，并且一批 8K 行在 Snowflake 表中花费了超过 45 分钟的时间来更新（使用 XS 仓库）。

我的问题：是否有更好/另一种/推荐的方法将数据流式传输到雪花中？我知道 Kafka 连接到 Snowflake 和 Snowpipes（它们使用内部/外部阶段），但这些不是我们想要追求的选项。

PreparedStatement preparedStatement = null;
Connection conn = null;
String compiledQuery = "INSERT INTO " + env.getProperty("snowtable") + " SELECT parse_json (column1) FROM VALUES (?)";
conn = DataSource.getConnection();
preparedStatement = conn.prepareStatement(compiledQuery);
for(int i = 0; i<messageslocal.size(); i++) {
    preparedStatement.setString(1, messageslocal.get(i));
    preparedStatement.addBatch();
}
preparedStatement.executeBatch();

谢谢！

4

1 回答 1

0

一般来说，Snowflake - 像许多列存储或混合存储数据库一样 - 对于单行或少量行插入表现不佳。所以你所经历的糟糕表现对我来说并不奇怪，尤其是在 XS WH 上。

在不知道您的任务上下文的情况下，我建议写入 JSON、PARQUET 或 CSV 文件（如果您在 AWS 中，则存储在 S3 上），而不是通过 JDBC 直接写入 Snowflake。您可以通过 Snowflake 中的 Stage 使该 JSON/PARQUET/CSV 文件可用。

然后，您可以编写一个将 Stage 数据复制到表中的过程，或者在 Stage 顶部放置一个物化视图。物化视图或多或少相当于触发将 JSON/PARQUET/CSV 数据提取到雪花表中，但这将异步操作而不会影响您的应用程序性能。

于 2021-04-20T15:14:35.230 回答