问题标签 [snowflake-task]

我使用下面的雪花复制命令返回一个内容为 json 的文件

复制到@elasticsearch/product/sf_index from (select object_construct( 'id',id, alpha,'alpha' )from table limit 1) file_format = (type = json, COMPRESSION=NONE), overwrite=TRUE, single = TRUE,最大文件大小=5368709120；

json文件中的输出是

我希望在这里保留订单，而不是按字母顺序？像这样

有什么解决办法？？提前致谢

这是我的查询

从表名限制 1 中选择 object_construct('id', id, alpha, PARSE_JSON(null))

输出是 { "id" :1, "alpha":null }

但是当我将parse_json与ifnull结合使用时，它返回空对象{}无法按预期工作

从表名限制 1 中选择 object_construct('id',IFNULL(id, (PARSE_JSON(null))), alpha, IFNULL(alpha, (PARSE_JSON(null)))

以上返回 {}

但我需要有空值 { "id" : 1, "alpha" : null }

结合没有任何解决方案？

[问题更新]

谢谢费利佩霍法。

在您的回答中，最后一部分按预期工作。

但是当我尝试以下方法时，它不起作用

它在使用 FROM 查询时有效：FROM (SELECT 1 id, null alpha)

使用我的 FROM 查询时不起作用：FROM (SELECT id, alpha from tableName)

希望破灭。

提前致谢

我想在我的 Snowflake 任务中包含一个条件，仅当指定的表中有数据时才运行。这将类似于任务条件：

除了我不想使用流。在某些情况下使用流的问题是流可能会过时。我的 ELT 流程中的表格可能数周或数月都不会收到更新。甚至可能几年。

我的一个想法是在任务条件下使用 UDF：

如果我可以SELECT CAST(COUNT(1) AS BOOLEAN) FROM "my_schema"."my_table"在那里扔一个，那就太好了。但是 SQL UDF 将无法对作为参数传递的表名执行任何操作。在查询表时，Javascript UDF 似乎过于局限。

诚然，我不是 Javascript 程序员。我也不太熟悉 Snowflake 的 Javascript UDF 功能。我可以很好地在 Javascript 存储过程中执行所需的查询。但这些似乎并没有转化为 UDF。

我有4个流。A_STREAM、B_STREAM、C_STREAM、D_STREAM

我有一个任务链，其中 A_TASK 是父任务，它有 3 个子任务（B_TASK、C_TASK、D_TASK）。

假设 A_TASK 被触发并完成，但是当它执行 C_TASK 流时，C_STREAM 没有数据，所以任务没有被触发。5 分钟后，C_STREAM 得到数据。

这里的问题是数据永远不会从 C_STREAM 加载到目标表，因为下次 A_TASK 不会被触发。我们如何应对这种情况？

我无法分离这些任务，因为它们在同一个目标表上运行。

在雪花任务中，我们是否有类似子任务会等到满足依赖关系的东西？

我正在尝试将monitor雪花数据库中所有当前和未来任务的特权授予特定角色。

该文档没有提供示例。

我试过了GRANT MONITOR ON ALL TASKS ON DATABASE MY_DB TO ROLE ROLE_OVER

这样的事情可能吗？你必须按模式去模式吗？逐个任务？

我写了一个查询，它将过滤掉所有不属于模式(nnn)-nnn-nnnnn的 phone_no 。

当我直接在Snowflake Console中查询时，它给出了预期的结果。但是，当我使用它snowflake-connector-python来运行相同的查询时，python它并没有按预期工作。

CS 是我制作的光标的名称。

这里有什么问题。

我正在使用 SNOW_FLAKE 并尝试查询以列名 nested_colmn 下的元素数组形式存储的数据，例如：

如果我这样做，上面的数组将作为一个完整的行返回

现在我想仅从 Attributes 列中查询/获取firstkey (nested_colmn.firstkey) 的结果。如何构建查询以从数组中检索单个自定义元素，而不是全部获取。如果对此有任何想法，请帮助我

如何安排雪花数据库中的 sql 脚本每天运行，并将输出文件名设置为包含当前日期。例如，如果代码今天运行，那么文件名应该是20200906*****.csv.gz，明天类似20200907******.csv.gz。

我有一个关于在 Snowflake 中并行执行多个 SQL 语句时它是如何工作的问题。

例如，如果我在具有相同基表的 10 个不同表上执行 10 个插入语句 - 这些表会并行加载吗？

我正在测试SnowFlake。为此，我在GCP上创建了一个 SnowFlake 实例。

其中一项测试是尝试每天从存储集成中加载数据。

为此，我生成了STORAGE INTEGRATION和stage。

我测试了副本

一切顺利。

现在是时候使用任务语句测试每日调度了。我创建了这个任务：

我启用了它：

我没有错误，但任务不加载数据。为了解决这个问题，我必须将副本放在存储过程中并插入存储过程的调用而不是副本：

问题是：这是期望的行为还是问题（如我所料）？

有人可以给我一些这方面的信息吗？