雪花代码

在 UI 中工作

从（选择 METADATA$FILENAME 作为 FILE_NM，METADATA$FILE_ROW_NUMBER 作为 ROW_NM，$1 作为 CSV_CONTENT，'P' 作为 LOAD_STATUS FROM @DWR_NA.GTR_STG.INT_REF_CSV_UNIX_STG）复制到 DWR_NA.GTR_STG.BASE_REF_CSV_STG (FILE_NM,ROW_NM,CSV_CONTENT,LOAD_STATUS)

相同的命令在 Unix snowsql 中不起作用

snowsql -c SF_DWR_connection -d $SFDB -q "复制到 DWR_NA.GTR_STG.BASE_REF_CSV_STG (FILE_NM,ROW_NM,CSV_CONTENT,LOAD_STATUS) from (select METADATA$FILENAME as FILE_NM,METADATA$FILE_ROW_NUMBER as ROW_NM,$1 as CSV_CONTENT, 'P' as加载状态来自@DWR_NA.GTR_STG.INT_REF_CSV_UNIX_STG);"

错误消息 000904 (42000)：SQL 编译错误：位置 104 处的错误行 1 无效标识符 'METADATA'

我用内部和外部阶段尝试了上面的 sql，但没有工作。

请建议。

我正在使用元组数组形式的源字段

[(a,145), (b,12), (c,63), (d,1), (e,54), (f,99), ...]

我无法将此字段加载到雪花的变体类型中。当我尝试加载此字段时，我收到以下错误 - 异常：net.snowflake.client.jdbc.SnowflakeSQLException：解析 JSON 时出错。

作为一种解决方法，我将此字段作为 VARCHAR 加载到 Snowflake 中，但我现在无法尝试将其解析为数组并使用横向展平函数展平它。

我的目标是展平这个数组并将每个元组分解成自己的行。然后我想将元组拆分为单独的列。有没有人建议如何让它在雪花中工作？

我正在尝试通过以下方式使用 snowsql 执行 sql 脚本：

option1: !source C:\Users\"Local PC"\Documents\snowsql\test.sql; 或 !source C:\Users\Local%20PC\Documents\snowsql\test.sql; 我收到以下错误。文件在指定位置可用。我在这里错过了什么吗？[Errno 22] 无效参数：C:\Users\Local%20PC\Documents\snowsql\test.sql。

如果我在任何地方错了，请告诉我

我们正在尝试使用 AWS QuickSight 在属于 ACCOUNTADMIN 角色的数据库中显示数据。问题是当我们尝试将 QuickSight 连接到 Snowflake 时，QuickSight 会自动使用具有 SYSADMIN 角色的数据库，我无法选择在 QuickSight 中显示具有 ACCOUNTADMIN 角色的数据库。因此，是否存在将 DSA 数据库所有者 ACCOUNTADMIN 更改为 SYSADMIN 的 SQL 语法，包括其中的表、视图和架构，如下所示

我目前正在为我工​​作的企业在雪花中建立一个数据仓库，我遇到了一些问题。我曾经在 TSQL 中应用函数 Json_value 来从原始 MSSQL DB 中的 json 格式字段中提取某些键/值对。

所有其他字段均采用常规 SQL 格式，但我真正需要的字段是 JSON 格式，我似乎无法准确确定我需要的键/值对。

我是 SnowSQL 的新手，我似乎找不到在常规查询中提取它的方法。有谁知道解决我的问题的方法？

* ID /// TYPE /// 名称 (JSON_FORMAT)/// 金额 *

我想提取这一行（例如），并且只能从我的 JSON 格式字段中检索 EN: "lunch" 部分。

谢谢 ！

我有一个包含两列的 csv 文件。第一列是 id，第二列是压缩的 GZIP 二进制数据。我想将此记录加载到雪花表中，其中两列 id 作为数字数据类型，bin_text 作为二进制数据类型。

尝试使用“COPY into”命令加载 csv 文件（选项卡作为分隔符），但 GZIP 压缩的二进制数据有多个新行，雪花将其视为单独的记录。

我需要将具有多个新行的整个 GZIP 压缩二进制数据加载到单个记录中。

请帮忙。

表结构 - id 为数字，compress_data 为二进制

例如，第一条记录 - 1，gzip of ("hello world。这是雪花示例。我有一些疑问，所以用 stackoverflow 来解决疑问。问题是将二进制数据加载到雪花表中。我有一个 csv有两列的文件。第一列是 id，第二列是压缩的 GZIP 二进制数据。我想将此记录加载到 Snowflake 表中，其中两列 id 作为数字数据类型，bin_text 作为二进制数据类型。尝试加载带有“COPY into”命令的 csv 文件（选项卡作为分隔符），但 GZIP 压缩的二进制数据有多个新行，雪花认为是单独的记录。我需要将具有多个新行的整个 GZIP 压缩二进制数据加载到单个记录中。”）。

要生成文本的压缩格式，我使用以下命令：

此命令生成 4 行作为压缩输出。我想将这 4 行存储为一条记录。

输出文件是存储在 Snowflake 内部阶段的 CSV（制表符分隔）。

使用的复制命令选项：

当我使用 !spool 命令时，目标文件会附加结果。例子：

[编辑希望能澄清问题]

如果每次执行都应该创建一个每小时文件，那么每次执行都会将数据添加到每小时文件中......对于每小时数据集来说就是如此。

我知道很多解决方法，但这是关于假脱机的具体问题。我更喜欢改变 spool 命令行为的选项。在其他系统中，我习惯了文件被覆盖，这一直在咬我！

通过我公司的 VPN 连接时，我无法通过 Windows 命令提示符登录到 snowsql 以获取文件。我相信这是一个白名单问题。我已经运行了Select SYSTEM$WHITELIST(); SnowCD，我的结果列在下面。

Snowflake 的 IP 范围是多少？

谢谢！

I am trying to find a solution to move files from an S3 bucket to Snowflake internal stage (not table directly) with Airflow but it seems that the PUT command is not supported with current Snowflake operator.

I know there are other options like Snowpipe but I want to showcase Airflow's capabilities. COPY INTO is also an alternative solution but I want to load DDL statements from files, not run them manually in Snowflake.

This is the closest I could find but it uses COPY INTO table:

https://artemiorimando.com/2019/05/01/data-engineering-using-python-airflow/

Also : How to call snowsql client from python

Is there any way to move files from S3 bucket to Snowflake internal stage through Airflow+Python+Snowsql?

Thanks!

我刚刚开始探索 Snowflake 并试图创建我的第一个视图。

我在分组时收到以下语法错误。谁能在这里指导我我错过了什么？

错误： SQL 编译错误：位置 0 处的语法错误第 6 行意外“来自”。位置 0 的第 7 行语法错误意外的“组”。位置 0 的第 8 行语法错误意外的“订单”。

谢谢你，阿克沙特