问题标签 [snowflake-task]

如何在编写查询时在雪花中的 where 子句中传递日期范围并避免下一次运行重复。我有以下查询，我必须每天获取 15 天的数据，直到前一天。数据将从下面给出的查询传递到我的最终表。对于给定的所有列，我的最终数据不应该有重复的行。

数据如下所示：

{“位置”：“xyz”，“指标”：[{“名称”：“traffic_in”，“数据”：[{“组”：{“开始”：“2020-07-05”，“类型”： “日期”}，“索引”：0，“下一个级别”：[ {“索引”：0，“有效性”：“完成”，“值”：1，“组”：{“完成”：“00:15 ", "开始": "00:00", "类型": "时间" } } ] } ], } ], }

以下是需要根据要求修改的查询：

我正在尝试从 spark-shell 读取雪花表。为此，我做了以下事情。

运行 load 语句后，我将面临以下 classnotfound 异常：

在上述操作中，除了读取雪花表之外什么都没有，根据文档，我传递了启动 spark-shell 所需的 jar 文件。

当我启动 pyspark 时加载的 spark 版本是version 2.3.2.3.1.5.37-1 我尝试使用多个版本的雪花连接器，2.3/2.4/2.8/3.0我也通过了 jar 文件jackson-dataformat-xml-2.10.3.jar，但我仍然看到相同的异常。

谁能让我知道我在这里犯了什么错误，我该如何纠正？

TLDR：当我或我直接创建的任务在其上发出 DML 时，我的流会被消耗。但是当它是由存储过程创建的任务时，流不会被消耗。

我有一个行为符合预期的流，当我选择它时我可以看到它有数据： SELECT SYSTEM$STREAM_HAS_DATA('ANALYTICS_DB.schema.stream_name');

使用创建它的相同角色，我使用流：

我再次选择 SYSTEM$STREAM_HAS_DATA，一切都很好。

现在，我将其捆绑到一个任务中：

大约一分钟后，我再次检查了我的流，一切都很好，它在按计划运行时会消耗流。

创建任务的存储过程。

我的 SQL 部分：

和 javascript 部分（为了读者，修剪到重要的部分）。它运行良好，创建任务，任务按计划运行，发出查询但不消耗流。因此我的 max() 计算是在一个不断增长的表上完成的。

请参阅下面我通过存储过程创建的任务是如何每次运行的，因为它永远不会清空流。一旦我手动创建相同的任务，它就可以清空流，最后在没有新数据时跳过运行（这是想要的行为）。

在雪花中将仓库从 x-small 调整为 medium 的目的是什么。请澄清。容纳更多查询或容纳更多用户或优化工作负载或优化复杂工作负载。

我正在尝试使用带有 SSO 身份验证机制的 DBT 连接雪花。为此，应打开一个外部浏览器窗口以传递凭据。为了与雪花连接，我构建了 profile.yml 文件，如下所示

但是当我尝试连接时，会出现以下错误

Flatten 可用于跟随半结构和结构数据，或仅用于半结构。

我有一个要求，将 3 个不同的文件加载到具有 3 个不同 PIPE 的单个表中。我希望仅在将所有 3 个文件加载到我的阶段后才触发目标进程。

我不想多次运行我的目标进程。

那么有什么方法可以让我们在 PIPE 成功上获得任务的开始条件。

我去了文档，但没有找到任何这样的信息，或者有没有办法实现它，我可能会错过。

我正在尝试连接到雪花数据库并激活特定的仓库。我在两个 JDBC 连接中都使用了仓库

jdbc:snowflake://xy12345.eu-central-1.snowflakecomputing.com/?warehouse=mywh

以及在属性中

options.put("仓库", "mywh")

还有什么需要补充的吗。

即使我给了一个不正确的仓库，连接也是不正确的。我是否遗漏了任何东西，或者无论如何通过 spark 执行“使用仓库 mywh”。

谢谢

在warehouse_load_history表列AVG_RUNNING中。它是否同时计算元数据查询和普通查询？我想知道此列是否正在计算CREDITS_USED_CLOUD_SERVICESorCREDITS_USED_COMPUTE或 Both 的运行平均查询？

我创建了一个像下面这样的雪花任务，

但我看不到任务历史记录计划或执行的任务

我通常使用基于分钟的计划运行任务，这是第一次使用 cron 计划，我可能会在这里遗漏什么？