snowflake-cloud-data-platform - 如何从 Mysql 数据库中获取数据到 Snowflake

Question

有什么聪明的方法可以将我的数据从 mysql 数据库中获取到雪花中吗？到目前为止，我发现了两种可能的方法：

选项 1：将 Snowpipe 放在 mysql 数据库之上，管道会自动转换数据。选项 2：我手动将表转换为 csv 并将它们存储在本地，然后通过 staging 将它们加载到雪花中。

对我来说，首先将每个表转换为 csv 似乎很奇怪。我可以不只是将 sql 转储文件推送到雪花吗？我还可以在雪花中安排一些重新加载任务，所以选项 1 或 2 会自动触发吗？

最好的 NicBeC24

Answer 1

我在这里找到了一些关于 MySQL-Snowflake-migrations 的非常好的信息：https ://hevodata.com/blog/mysql-to-snowflake-data-migration-steps/

上面网页的主要步骤是：

1. 从 MySQL 导出数据
2. 注意数据类型
3. 将您的文件暂存到雪花中（内部/外部阶段）
4. 将暂存文件复制到表中

如果 SQL 转储只是 ANSI 中的“.sql 文件”，是的，当然，您可以将其复制并粘贴到 Snowflake 工作表并在那里执行。

关于调度：是的，在 Snowflake 中有一个称为任务的功能：https ://docs.snowflake.com/en/user-guide/tasks-intro.html您可以使用它们来安排您的 COPY INTO 命令。