问题标签 [snowflake-cloud-data-platform]

我正在尝试使用我编写的函数将 pyspark df 写入 Snowflake：

除了我在数据湖中的一个表之外，此功能适用于所有表。这是我要编写的表的架构。

我得到的错误看起来像 Snowflake 与该 DoubleType 列有关。在使用 Avro/ORC 文件类型时，我在使用 Hive 之前遇到过这个问题。通常是将一种数据类型转换为另一种数据类型的问题。

我尝试过的事情：

• 铸造（双浮点数，双精度字符串，双精度数字——根据雪花文档的最后一个）
• 重新运行传入表的 DDL，尝试 Float、String 和 Numeric 类型

另一件需要注意的事情：我已成功传输的一些表具有 DoubleType 列。不确定这张表的问题是什么。

我试图让这个用户定义的表函数工作，但我被卡住了。

我只是尝试制作简单的 UDTF，以测试我在 UDTF 中注意到的一些奇怪行为，我认为 row_number() 将是一个不错的选择。但它不起作用，我被卡住了。

这是UDTF：

问题是它永远不会增加！输出始终为 1。

这是您可以测试的查询：

列rn和rn_correct应该具有相同的值。

相反，这就是我得到的：

我有带有位置列数据的表作为纬度长信息，如何获取多边形内位置的记录

多边形点

我实现了与下面相同的映射。有人可以建议这是不是好方法。

从生产中复制的旧记录，因此他们没有为这些记录提供标志。只有新记录我们才会得到标志。

源数据：

映射：

第一次加载我必须加载所有记录，即完全加载（旧记录（DML_flag 为空）和新记录

从第 2 次运行开始，我必须仅从源捕获更改的记录。为此，我使用映射变量

在这里我有一个问题，我们已经在源代码中再次提供了 I 和 U 标志我正在使用 LKP，无需查找，我可以在 RTR 中将 DML_FLAG 与两组 I 和 U 一起使用。

但是我需要每 30 分钟刷新一次数据，在 30 分钟内插入一条记录（I）并更新同一记录，然后源中的标志更改为“U”，同一记录在目标中不可用，在这种情况下如何我可以在没有 lkp 的情况下捕获带有标志“U”的新记录吗？

有人可以建议我如何在不查找的情况下做到这一点？

我有时间戳数据，并希望从一列创建一个列表，将相邻的重复项（但不是所有重复项）折叠成一个。

例如，给定以下数据：

— 我希望结果是'a','b','a','c','a'。

我正在使用 Snowflake，它有listagg(distinct foo)andlistagg(distinct foo) within group(order by bar)甚至listagg(distinct foo) within group(order by bar) over(partition by baz)，但我看不到做我需要的方法（谷歌也没有帮助）。我真的，真的很想避免join.

如果您知道另一种方言中具有listagg或的解决方案group_concat，请将其发布，我将尝试将其翻译成 Snowflake 以供我使用。非常感谢。

不起作用的事情：

• 我试过了trim(regexp_replace('~' || listagg(foo, '~') || '~', '~([^~]+~)\\1', '~\\1'), '~')，但是 Snowflake 不允许\1在匹配模式中：我得到了错误Invalid regular expression: '~([^~]+~)\1', invalid escape sequence: \1。
• 我试过listagg(iff(lag(foo) ignore nulls over(partition by baz order by bar)=foo, null, foo), ',') within group(order by bar) over(partition by baz)但得到了错误Window function [LAG(...)] may not be nested inside another window function.

当从 snowsql shell 运行查询时，我会在 UI 上看到生成的查询 ID。稍后，如果我必须在历史记录中搜索相同的内容，我想搜索我可以定义的查询 id 或以某种方式标记查询。

运行查询时是否可以创建自己的查询 ID 或标签？

我在画布中有近 10 个视觉对象，并且报表在 DirectQuery 模式下的雪花数据仓库下运行。很少有视觉对象将日期参数作为其坐标或在过滤器中，一切都按 PowerBI Desktop 版本中的预期工作，但在将相同内容发布到 PowerBI 服务后，事情就被破坏了，所有具有日期列（在过滤器或坐标中）的视觉对象都不会呈现标题错误。

无法连接到混搭数据源。有关信息，请参阅错误详细信息。

单击错误详细信息显示以下错误

我之前阅读并了解 DirectQuery 模式不会考虑或将日期和时间智能应用于日期字段，这没关系，但没有提到带有日期字段的视觉效果将不起作用。

现在如何取回报告？

我很想知道 Snowflake 数据库支持的 IDE 是什么。我尝试使用 SQL Developer 和 Aginity，但似乎不起作用。我不是要排名前 10 位的 IDE，而是常用的工具。

谢谢

假设我有 2 个表 TABLE_A 和 TABLE_B。当 TABLE_B 中没有行时，我想在 TABLE_A 中插入一个虚拟行，如果 TABLE_B 中有任何行，我想将存在的任何行插入 TABLE_A。我们应该怎么做 ？

当 TABLE_B 中的 COUNT(*) = 0 时，将 'dummy_id','dummy_uid', current_date(), current_timestamp(), TO_OBJECT(PARSE_JSON('{}')), TO_ARRAY('DUMMY_ROWS') 插入 TABLE_A。

是否可以将镶木地板文件直接加载到雪花中？如果是 - 如何？

谢谢。