问题标签 [snowflake-task]

我在下面创建了任务，但无法让它执行所有行。看起来它只是从 productweekly_upload 第一次删除然后完成。有人有想法么？这是我第一次使用任务

我想要雪花中特定表的最后访问时间。

背景

我在我们的生产雪花数据库中实现了雪花数据管道（s3 日志文件 > SNS > 管道 > 阶段表 > 流 > 任务 > 存储 proc/UDF > 最终表）。

虽然我们的开发数据库中的工作规模较小，但考虑到试图流向它的数据量（6416006096 条记录和不断增长），生产管道似乎已经停止工作。

问题

经过到目前为止的一些调查，看起来 s3 log > SNS > pipe > stage table 没问题，但是我的事情被卡在了任务从流中检索记录的地方......流不是陈旧的。我花了很多时间阅读有关流的文档，但没有为我当前的问题找到任何帮助。

看起来流有太多数据要返回——当我尝试从流中获取限制为 10 的 count(*) 或 * 时，它在 8 分钟后没有返回（并且还在计数）......

即使我可以限制返回的数据，我也尝试过，一旦您从事务中的流中选择，即使您不想要所有更改（即使用 where 子句进行过滤），您也可能丢失所有更改...

问题

有没有办法让任何东西从流中返回而不重置它？

无论如何，是否可以在不丢失事务中所有更改的情况下对流中的结果进行分块？

流是否存在一些未记录的限制——我达到了吗？

忧虑

我不想关闭数据管道，这意味着我可能不得不从头开始，但我想如果我没有得到答案，我将不得不这样做（我也联系了支持，但还没有收到回复）。鉴于流和任务仍然只是预览版，我想这应该不足为奇，但有人告诉我，他们现在将是 Snowflake 的 GA。

从任务运行过程时会记录以下错误消息，但当我手动运行它时工作正常：

存储过程 STAGE_SERVICEBUS_ORDER 中的执行错误：JSON 响应中缺少“查询代码”在 Statement.execute 第 4 行位置 60。

该过程如下所示：

我通过存储过程将数据插入到雪花表中。我在表中有一个列，我想在插入语句运行时捕获查询 ID。有什么建议可以实现吗？

干杯，

我正在寻找在雪花上加载序列数据和 VCF 输出数据的可能性。Snowflake 网站确实表明可以在加载 VCF 格式之前将其转换为 JSON 或 CSV 等半结构化格式，但没有提供太多关于其处理来自序列读取的信息和索引它们以进行查询的能力的信息。任何有关这方面的信息都会有所帮助。

我正在使用copy into命令将雪花中的查询结果存储到 s3 存储桶中的文件中。它按预期工作，但是当查询没有返回数据时，我仍然想将列名保存在同一个文件中，以便我可以在 UI 中显示带有列名的空行。我header=true在命令中指定了，但是当查询没有返回结果时它不起作用。

谢谢

我必须将动态值作为我的列名从循环和常量值传递给我的表。我的代码片段如下所示： While(res.next()){ var columnname= res.getColumnValue(1); var stmt= insert into table1(column1,column2,column3) select column1,'Too Long',+列名+ from table2; \var 结果= \snowflake.createStatement(stmt); \执行语句

如果我传递常量值，则会将错误作为无效标识符。我们怎样才能做到这一点？

I am creating some new ETL tasks for our data pipeline. We have currently have several hundred loading data from various S3 buckets.

So it would go like this:

However, whenever I use this my file format is not only not not escaping the enclosed double quotes it is not even skipping the header so I get this:

Pretty perplexed by this as I am 99% certain the formatting options are correct here.

我们有一个产生这个时间戳的数据库：

为了用这个时间戳加载 csvs，有没有办法可靠地做到这一点？我尝试了许多格式化选项，希望它只是添加 .00.00 并符合标准，但没有运气。我错过了什么吗？

我期待这样的事情可能吗？作为报表或文件格式的一部分复制？

有问题的表：

在有问题的表格中是这样的：

目标列已经是时间戳。我改变了它以满足不同的需求仍然得到

这是现在的会话参数