问题标签 [snowflake-task]

似乎“ON OVERFLOW TRUNCATE”功能在 Oracle 中与 LISTAGG 一起使用的雪花中不可用。是否有替代功能或解决方法？

我有一个包含两列的 csv 文件。第一列是 id，第二列是压缩的 GZIP 二进制数据。我想将此记录加载到雪花表中，其中两列 id 作为数字数据类型，bin_text 作为二进制数据类型。

尝试使用“COPY into”命令加载 csv 文件（选项卡作为分隔符），但 GZIP 压缩的二进制数据有多个新行，雪花将其视为单独的记录。

我需要将具有多个新行的整个 GZIP 压缩二进制数据加载到单个记录中。

请帮忙。

表结构 - id 为数字，compress_data 为二进制

例如，第一条记录 - 1，gzip of ("hello world。这是雪花示例。我有一些疑问，所以用 stackoverflow 来解决疑问。问题是将二进制数据加载到雪花表中。我有一个 csv有两列的文件。第一列是 id，第二列是压缩的 GZIP 二进制数据。我想将此记录加载到 Snowflake 表中，其中两列 id 作为数字数据类型，bin_text 作为二进制数据类型。尝试加载带有“COPY into”命令的 csv 文件（选项卡作为分隔符），但 GZIP 压缩的二进制数据有多个新行，雪花认为是单独的记录。我需要将具有多个新行的整个 GZIP 压缩二进制数据加载到单个记录中。”）。

要生成文本的压缩格式，我使用以下命令：

此命令生成 4 行作为压缩输出。我想将这 4 行存储为一条记录。

输出文件是存储在 Snowflake 内部阶段的 CSV（制表符分隔）。

使用的复制命令选项：

我需要基于雪花事件的任务调度而不是基于时间的任务调度的示例。我在雪花文档中找不到这些示例。

提前致谢

有谁知道将数据从 Snowflake 导出到带有标题的 S3 文件的方法？

例如，我有这张表：

我想将此数据导出到如下所示的文件中：

...但我在 Snowflake 文档中没有看到这样做的选项。

我尝试了一个简单的 UNION ALL，其中列的名称与数据联合，但这会将我的标题记录随机放置在文件中。

任何和所有的帮助将不胜感激！

我正在尝试计算 Snowflake 数据库中过去 7 天的 AVG 时间戳。数据类型是 VARCHAR，下面是示例数据。

LOAD_TIME VARCHAR(10) -

样本数据：

加载时间 (HHMM) 1017 0927 0713 0645 1753 2104 1253

我尝试在雪花任务中使用变量，但收到错误消息。我读到该任务只能包含一个语句，我认为这可能是失败的原因 - 在变量设置之后必须是';' - wchich 表示至少有两条语句：变量声明和主sql脚本。或者也许我在文档中遗漏了一些重要的东西？

有没有办法在雪花任务中放置变量？如果不是，那么最好的解决方法是什么？

我希望能够为我正在写入 s3 的文件名添加时间戳。到目前为止，我已经能够使用下面的示例将文件写入 AWS S3。有人可以指导我如何将日期时间戳放在文件名中吗？

提前致谢。

我正在调查从 Kafka -> SnowFlake/Kafka 连接器 -> SnowFlake 获取数据。不幸的是，连接器似乎只使用了两列（并将整个 JSON 有效负载放在一列中）。所以我创建了一个流/任务来定期将数据从登陆表复制到目标表（使用插入）。一切都运行良好，除了一旦登陆目标表就删除登陆表中的数据。使用流，我知道什么已经登陆。如何删除其余数据？截断似乎要快得多。我是否只是定期运行删除这些条目的删除任务？我还担心执行这些删除的仓库时间。谢谢

对于本地 -> S3 -> Snowflake ETL 解决方案

目前我使用工具：

• 雪SQL
• 雪花界面

目前我遵循这个加载过程

1. 创建仓库
2. 创建索引 (DDL)
3. 创建表 (DDL)
4. 将文件复制到用户 S3 阶段。
5. 将 S3 阶段文件复制到表中

问题： 是否有我应该遵循的标准摄取过程？我正在寻找可用于开发数据负载（摄取）的经过验证的生产级流程

标准：我愿意使用雪花提供的实用程序，但不愿意使用 ETL 工具（Informatica 或 TalenD 或任何其他工具）

我过去曾与其他数据库供应商合作提出过这样的流程。我知道它确实存在。

我有一个名为 Close_Date 的日期列。

我如何让 Close_date 只给我当周结束的日期？

谢谢