问题标签 [snowflake-task]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
488 浏览

python-3.x - 将 S3 中多个文件夹中的相同文件合并/加载到雪花中

需要有关如何将多个文件夹中可用的相同文件加载到雪花表中的帮助。是否有可能实现使用Snowflake Copy Command

说在一个桶中我有.. a.csv 的所有文件仅在当前日期示例下 2020/06/09 将进入a_table

2020 -- 是年份,然后是月份 06,然后是日期,即 09

0 投票
2 回答
1194 浏览

snowflake-cloud-data-platform - 雪花中的克隆模式

是否可以在 Snowflake 中选择性地克隆模式?

例如

原来的:

DB_OG
--schema1
--schema2
--schema3

克隆:DB_Clone
--schema1
--schema3

0 投票
1 回答
2050 浏览

snowflake-cloud-data-platform - 雪花 - 使用舞台区域失败。原因:[您提供的 AWS 访问密钥 ID 无效。]

我正在尝试使用 Snowflake 连接到我的个人 S3 存储桶。首先,我使用 url、aws 密钥 ID 和密钥来创建阶段(成功)。但是当我尝试列出 s3 存储桶时,出现以下错误 -

使用舞台区域失败。原因:[您提供的 AWS 访问密钥 ID 无效。]

我确定我输入了正确的凭据,知道为什么会出现此错误吗?

太感谢了!

0 投票
1 回答
787 浏览

python-3.x - Python中的Snowflake PUT命令状态

我正在使用 Python 中的雪花 PUT 命令将文件从本地系统移动到雪花暂存。

我有 400 个(每个 40 MB)文件,所以我使用的命令是 -> put file:///Path/file_name*

它正在工作并加载所有文件,但大约需要 30 分钟。

我想知道进度,以便我可以确定它的进度,是否有办法在每个文件加载后打印日志(文件 1 移至暂存,文件 2 移至暂存等)

0 投票
0 回答
50 浏览

python-3.x - 通过 PUT 命令获取加载到 Snowflake Internal Staging 的文件列表

我正在使用 Python
put file:///Path/file_name *中的 PUT 命令将文件从本地移动到 Snowflake Internal Staging

我想获取此命令移动的所有文件的列表。我尝试使用查询 ID,但是当我转到雪花历史并单击查询 ID 时,我在查询结果中看到如下:“此查询的结果已过期”

我希望找到在查询结果中移动的文件列表。我看到了 Copy 和其他 insert 命令的相关信息,但没有看到 put。

我怎样才能找到这份清单?

0 投票
1 回答
62 浏览

snowflake-cloud-data-platform - 如何在 Snowflake 中检查当前帐户的信用和存储的定价层?

我想编写一个 SQL 查询,为我提供与当前信用额度和当前帐户存储相关的任何类型的信息。任何替代解决方案也是可以接受的。

0 投票
1 回答
289 浏览

etl - Stream/Task 是否可以用作仓库解决方案中的 ETL

我想复制 ETL 解决方案是雪花。我已经使用流和任务实现了这一点。我在流表上使用存储过程,其中存在复制任何其他 ETL 工具(如 Informatica)中的逻辑的合并查询和任务以自动化流程。这种方法对于增量更改是否可行?

0 投票
1 回答
481 浏览

user-defined-functions - Snowflake Java Script 用户定义表函数

如何从 Snowflake Javascript UDF / UDTF 返回包含多列的表?

0 投票
1 回答
345 浏览

snowflake-cloud-data-platform - 在雪花中成功创建了一个任务,但是运行“显示任务”时它没有显示出来

我是 Snowflake 的新手,正在尝试创建我的第一个任务。

我收到一条消息,任务已成功创建

“任务task_update_table成功创建”

然后我尝试在模式中运行显示任务SHOW TASKS IN "TEST"."WEB"并得到 0 行结果。我究竟做错了什么?为什么任务没有显示?

我在系统管理员下完成了所有这些工作,并且使用了相同的仓库、数据库和模式。

0 投票
2 回答
658 浏览

snowflake-cloud-data-platform - 雪花任务每分钟运行一次

我目前正在做一个雪花“任务”,每天凌晨更新一张桌子。

我当前的任务是使用以下语法创建的 -

我在 CST 工作,由于 UTC 为 -7 小时,我的任务预计将在早上 5 点运行,它确实做到了。我确认在 INFORMATION_SCHEMA 中使用“TASK_HISTORY”-

但它还在剩余一小时的每一分钟内额外运行了 59 次,直到 6 点。

  • 初始 QueryID 时间戳 - 2020-07-02 05:00:00.000 -0700
  • 最终 QueryID 时间戳 - 2020-07-02 05:59:00.000 -0700

我在这里错过了什么吗?

感谢您通读,非常感谢任何帮助。

-斯里兰卡