python - 使用 Python 将本地文件加载到 Snowflake 中的 AWS 阶段

Question

我计划使用 Amazon s3 内部阶段将数据从本地系统摄取到雪花表。如何使用 python 将数据加载到 s3 阶段？以前为了将数据加载到雪花中，我使用雪花的内部暂存并使用以下命令执行操作。

put file://<local_file_location> @<creating_stage_snowflake> auto_compress=true
copy into <table_name> from @<creating_stage_snowflake>/<file_name>.gz file_format = (TYPE=CSV FIELD_DELIMITER='~' error_on_column_count_mismatch=false, ENCODING = 'UTF-8') 

将数据从本地系统加载到亚马逊 s3，然后使用 python 将这些文件从暂存表复制到雪花表的方法应该是什么。

请分享您的意见。

Answer 1

我使用带有命令行的 Snowsql 工具，它指的是我在代码中创建的一个小 sql 脚本。它不是很优雅，但它可以完成工作。您可以在 .snowsql\config 文件中隐藏 snowsql 的连接信息。这适用于单个程序，但可能不是多进程 Web 服务的最佳解决方案。