问题标签 [matillion]

我正在为 Redshift 开发 Amazon Matillion，我们每天都有多个由 SQS 消息触发的作业。现在我正在检查为利益相关者创建 UI 仪表板的可能性，该仪表板将监控工作的实时进度并显示以前工作的报告，如工作名称、受影响的表、工作状态/失败原因等。Matillion 是否维护此类信息隐含的？否则我将不得不为每项工作维护这些信息。

我有一个包含所有正确信息的简单 S3 负载。没有验证错误，但是包执行没有问题。只是表中没有数据。了解 Matillion 的人有什么建议吗？

我在 Matillion ETL 中为 Redshift 运行 Python 脚本组件。该组件使用 Jython，代码如下。由于对象转换错误，我在 context.updateGridVariable 行上收到错误。

我想知道如何实例化一个 org.python.core.PyList 对象，以便我可以填充它，而不是我得到的 java.lang.String。

输出

[u's3://bucket-landingzone/inbox/dt_employees_20180614.csv'] java.lang.ClassCastException: java.lang.ClassCastException: java.lang.String 无法在行号处转换为 org.python.core.PyList 26

代码

我使用 Matillion 作为我的 etl 工具，我试图公开包/作业的日志文件并将它们转储到 BigQuery 表中。我希望使用 Bash 脚本组件来帮助我完成这项工作。

因此，使用以下内容实现我自己的登录作业

我想把它插入我的表 ${tablename}

谢谢

我正在尝试读取存储在 Google Cloud Storage 存储桶 python 中的文件：

该文件存在于该位置，但我收到以下错误：

我想使用 curl 命令将文件从 FTPS 下载到 s3。我尝试使用 bash 脚本来解决。

Salesforce 增量加载组件要求具有前缀的目标表。但是，如果我想将此组件用于现有表怎么办。

它为我们提供了添加表前缀的支持，但我需要添加一个现有的表。

期望是，我不想将所有数据重新加载到新表中，因为我有很多基于现有表的查询，因此我正在寻找一种增量方式来从现有表中的 salesforce 加载数据使用Matillion。

我在 AWS s3 中有 2.2 亿个原始文件，我正在考虑将它们合并到一个估计大约 10 TB 的文件中。合并文件将用作事实表，但文件格式用于审计报告。

原始文件是来自应用程序的源数据。如果应用程序有任何新的数据更改，文件的包含将被更改。

我想问一下是否有人遇到过这个用户案例的端到端流程？

s3--> ETL（文件合并）--> s3 --> 报告（tableau）

我正在尝试使用Matillion 的 SQL 组件中SUBSTRING()的filename环境变量。是否有不同的语法，还是在 Matillion 中不允许？

我需要更新year可以SUBSTRING()在文件名变量上使用的列中的值。

这就是我在 SQL 组件中包含的内容： ${$year}作为文件名变量

我错过了什么吗？或者，如果有人可以提出更好的方法！谢谢！

我想使用 ETL 服务，但我被困在 Apache Airflow 和 Matillion 之间。

• 他们是一样的吗？
• 主要区别是什么？