问题标签 [snowflake-task]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
snowflake-task - dbt 到雪花连接通过profiles.yml 失败
我正在尝试通过 dbt 连接到雪花,但连接失败并出现以下错误:
请有任何建议。
注意:我正在学习设置查看 udemy 视频的 dbt 连接。
下面是我的profiles.yml
文件:
sql - SQL 选择截至过去日期的记录
我想比较目前可用的酒店客房总数(对于所有未来日期)与历史日期可用的酒店客房总数。下面的查询将检索到今天可用的房间数量
我正在寻找的输出看起来像:
日期,可用房间总数
05/07, 100
06/07, 110
今天,90
提前致谢
amazon-s3 - 如何使用 COPY 将外部阶段 Amazon s3 中的文件批量加载到雪花表中,以使用 Column 来处理无序列?
我在尝试使用此复制到命令从 S3 阶段(具有列标题但与目标雪花表的顺序不同的顺序)复制到雪花数据库时遇到问题
有什么方法可以按照与雪花中的目标表类似的顺序推送文件?
我也尝试在 COPY 命令中使用 SELECT,但没有运气,因为我们必须对订单进行硬编码。这很乏味,而且不是我想要的,因为我需要为许多表编写。
我看到有
MATCH_BY_COLUMN_NAME = CASE_SENSITIVE | CASE_INSENSITIVE | NONE
复制选项,但它不支持 CSV 文件或结构化数据
database - 如何从雪花中的数组列中获取最大值?
我在雪花表中有一个 varchar 类型的列,其中包含逗号(,)分隔值。我曾经split(mycolumn,',')
将所有逗号(,)分隔的值更改为一个数组。现在,使用split
函数后,我有一个值数组。
我怎样才能从这个数组中获得最大值?
我尝试了两个功能max()
,greatest()
但没有用。
提前致谢。
sql - 如何在具有所有者权限的过程中运行像 SYSTEM$GENERATE_SCIM_ACCESS_TOKEN 这样的雪花副作用函数?
基本上我想在雪花中进行 SCIM 集成。为此,我必须使用此命令获取将传递给 Azure AD 的令牌:
此命令只能使用 AccountAdmin 运行。并使用 AccountAdmin 运行它,我可以获得令牌,但将来我将不再拥有 AccountAdmin 的权限,因此为此,我使用 AccountAdmin 创建了一个程序并以所有者身份执行它。因此,当任何其他拥有此过程使用权限的角色调用此过程时,它将以 AccountAdmin 权限执行(因为它是使用 AccountAdmin 创建的),因此在该过程中我可以运行 system$generate_scim_access_token('') ; 并返回结果:
但是,当我调用它时,它给了我这个错误:
Execution error in store procedure GENERATESCIMACCESSTOKEN: SQL compilation error: Query called from a stored procedure contains a function with side effects [SYSTEM$GENERATE_SCIM_ACCESS_TOKEN]. At Statement.execute, line 3 position 24
基本上它说该程序具有副作用功能(SCIM 是一种副作用功能)并且以所有者权限运行它会给出异常(雪花必须限制在具有所有者权限的过程中运行副作用功能)。如果我们用调用者运行它,它运行良好,但我们想用所有者运行它。
snowflake-task - 允许的管理帐户数量超出限制。请联系雪花支持
我用我的 ID 创建了一个读者帐户作为管理员然后删除了读者帐户,然后在创建一个新的读者帐户时它给了我超出了限制,尽管我删除了它不允许我创建一个新的。
sql - 如何从 Snowflake .net 客户端返回的 IDataReader 获取 IDataRecord 列表?
如果我们使用 Microsoft SQL 数据库,那么我们会在执行 ExecuteReader() 函数时获得 SQLDataReader 对象。所以我们有一个将 SQLDataReader 对象转换为 IDataRecord 列表的函数,该函数可以在连接关闭时使用:
但我必须使用雪花客户端从雪花仓库获取行。并且 ExecuteReader() 函数返回给 IDataReader 对象。但是我无法在以后可以使用的任何数据集中获得整个数据的列表。谁能指导我如何将雪花仓库中所有返回的行放入列表中?
snowflake-cloud-data-platform - 如果无法触发多个 SQL 语句,如何使用 Snowflake 作为 ETL / ELT 选项?
我们目前正在 Snowflake 上运行我们的第一个分析原型。目标是创建一个综合分析结果表,可用于基于约 60 个结构化原始数据表的报告。我们使用内置的工作表功能创建了所有必要的 SQL 脚本。我们总共写了大约 80 个工作表,每个工作表有 5-10 条 sql 语句。作为下一步,我们希望以简单的顺序自动执行这些工作表。但是,我们研究过的内置解决方案任务和存储过程都无法在一次调用中执行多个 SQL 语句。
Multiple SQL statements in a single API call are not supported; use one API call per statement instead.
你们是怎么处理这件事的?我们真的必须为每条 sql 语句编写单独的任务/存储过程吗?在我们的例子中,这很容易积累到 500 多个。
对您的意见非常感兴趣,谢谢!
mysql - 如何构建雪花查询以获得这些结果
查询中的下表(TMP_RN_TC)是一个临时表,用于将数据加载到最终表中。该表必须从阶段表中获取数据,并且临时表数据的输出需要存储在最终表中。阶段表将在每次运行中获取 15 天的数据。
但是事实/最终表应该存储第一次运行的所有数据,然后仅在一天的数据发生变化之后(其余 14 天的数据将保持不变)。由于 stage-table 甚至会保存重复的数据,因此 temp-table 应该能够删除这些重复数据并仅加载第二次运行当天的数据。区别没有帮助。以下是数据和查询:
例如,在第一次运行 15 天时,我们得到 30 条记录,但在第二次运行中,stage 得到了 30 多条记录,即在第二次运行之后现在在 stage 中有 60 条记录,但是临时表应该只选择 2 条记录因为这只会在第二次运行中发生变化,其余 14 天(28 行)的数据将是相同的。
这是我要构建的查询:
1 行数据如下所示:
下面是雪花查询:
注意:从第二次运行开始,我希望只有一天的数据进入 tmp-table,最终将加载到最终表中。