问题标签 [matillion]

我有一个 Joblast_updated类型的变量DateTime。我试图从一个Python Script组件中使用它，我认为它会在 python 中显示为datetime.datetime对象，但它不是：

从我所看到的看来，它似乎是通向某些 Java 类型对象的 python 桥MatillionDate。

如何将其转换为常规datetime.datetime对象？

我正在尝试将 DateTime 值从 Python (jython) 组件传递给 Python (python 3) 组件，但它似乎不起作用

有一个myvar具有类型DateTime和默认值的 Matillion 作业变量2028-01-28 12:00:00

Jython 代码如下：

我已经可以看到Jython 执行结束时的myvar类型 () 错误str

我假设我无法更新传递datetime实例的变量。我想我必须将日期时间转换回 a com.matillion.bi.emerald.server.scripting.MatillionDate，因为这似乎是myvarJython 内部的类型。

问题是如何将我的日期时间转换为MatillionDate？

我们正在着手一个同时使用 Matillion 和 Snowflake 的项目，并希望进行一些单元/集成/回归测试。

自动化会很棒，但手动也会很好。

我们可以自己发明一些东西（简单）……但最好从其他人的经验中受益。

我是 Mutilion 的新手（甚至 Matillion 也是一个新工具）。我能够使用 REST API 将现有环境导出到 JSON 文件中。

但我观察到没有用于导入环境的 REST API 端点。相反，有一个用于更新现有环境的选项。

任何帮助/指针将不胜感激。

Matillion REST API 参考链接：https ://redshift-support.matillion.com/s/article/2920263

问候， 尼拉吉

对于那些不知道的人，Matillion 是一个 ETL/ELT 工具，可用于处理雪花数据流（以及其他）。一个有趣的特性是我们可以用 bash 或 python 编写脚本任务。

过去我在使用 SQL Server Integration Services 时也有过类似的经历，也可以在任务中编写 C#。

恕我直言，这提出了两个大缺陷

1. 存储为“blob”的 SSIS 包使它们非常不适合版本控制。任何微小的变化（比如只是调整管道上的任务）通常会使两个版本之间的比较几乎不可能
2. 在任务之间共享代码非常困难（有可能吗？？？）

Matillion“作业”存储为 json，并且与 SSIS 一样，无法比较同一作业的两个版本，无论变化有多大。此外，在简单的文本窗口中用 python 编写大代码也是不可想象的

所以，我想在 Matillion 之外编写我的 Python 代码，并使用 Matillion 任务作为我在外面编写的不同函数/包之间的“粘合剂”。

有人有这样做的经验吗？

如何使我的 Python 文件/包可用于 Matillion Python 脚本？如何在我的工作的不同 Matillion“版本”中处理不同版本的 Python 包？

谢谢

我有一个使用 matillion 在红移中创建光谱表的场景。我的 CSV 文件数据是这样的：-

但在频谱表中，我将数据视为

Matillion 没有将报价值作为一个值。您能否建议如何使用 matillion 的 EXTERNAL TABLE 组件来实现这一点。

数据集：

在此处输入图像描述

根据上述数据，我需要为每个电子邮件和品牌编写一个逻辑，以过滤掉从之前选择的响应开始日期起 6 个月内的响应号。例如。对于电子邮件 abc 和品牌 wi，我在 2019 年 4 月 1 日收到第 1 次回复（第 1 次回复），第 2 次回复是在 2019 年 9 月 24 日，（从 1 日起 5 个月），所以我需要过滤掉它，下一个 3 日回复是 11/22/2019 ，（距离第一次回复超过 6 个月）所以不要过滤掉。如果第二个响应比第一个晚了 6 个月，我需要避免过滤它，然后第三个响应必须与第二个而不是第一个进行比较基本上，过滤的检查条件应该在当前响应日期和之前的响应日期之间未过滤掉每个品牌的每封电子邮件

我在 Azure 上使用 Matillion 将数据加载到 Snowflake 中。当我创建表时，我为列指定默认值，我不喜欢在仓库中有 NULL。

根据我的阅读，Matillion for Snowflake 中的数据库查询编排组件会将检索到的数据集放入 Azure blob，并使用 Snowflake COPY 命令将数据从 blob 移动到目标表。

结果是 NULL 值仍然存在于目标表中。

有人可以确认 COPY 命令会进行某种批量数据复制，并且默认值仅对 INSERT 语句有效吗？

如果是这样，我将在源头使用陷阱 NULL 值。

谢谢。

JFS。

我正在尝试在 Matillion 的 SQL 组件中创建一个 UPDATE 语句，但是在 SET 处出现语法错误。

Matillion sql 组件是否有能力使用 sql UPDATE 语法？

问候康泰

我在 EC2 上托管的 matillion 实例中安装了 google-cloud-sdk。我可以在 ssh 实例中访问 gcloud 命令，也可以在我的 matillion 中使用 bash 组件。但是，我无法运行 bq 命令。我看到它已作为云 sdk 的一部分安装。我能够配置我的帐户和一切。但它不起作用。

有人可以帮我弄这个吗？