问题标签 [matillion]

是否可以使用 Matillion ETL 工具将数据从 S3 加载到 SQL Server？

我想从 Azure Blob 存储中获取文件并使用 Matillion ETL 工具将它们写入雪花表。在 Matillion 中，默认设置为 AWS。适用于 Azure 的文档很少。我的 Matillion 帐户是通过 Snowflake 连接的合作伙伴帐户。

我尝试创建新项目并在其中选择了 Azure。然后在 Azure 中，我创建了新的应用注册，并从那里获取了客户端 ID 和密钥。但是，当我在 Matillion 中输入所有这些信息时，它会显示 - Blob Storage: Check Credentials。

我附上快照以供参考。

请告诉我如何将 Azure 连接到 Matillion。

我想使用 Matillion ETL 执行从 Azure Blob 存储到 Snowflake 表的增量加载。有一个 JDBC 增量加载组件，但它适用于少数几个数据库，而 Snowflake 不是其中之一。我尝试搜索文档，但找不到任何东西。有什么建议么 ？

编辑：在我的表更新组件的属性下

新的 Matillion 用户，我的第一个项目是使用授权访问多个客户的 GA 数据的谷歌帐户读取谷歌分析数据。

我按照此 Matillion 文档中的步骤操作：Google Query Authentication Guide

我已设置所需的客户端 ID 和客户端密码，并将重定向 URL 粘贴到 Google 控制台的凭据页面中。

在 Matillion 中，我在 OAuth 配置对话框中输入客户端 ID 和密码，并在 Matillion 文档中指定的“高级连接选项”下配置代理服务器和代理端口。

当我单击 OAuth 中的授权链接时，它会打开一个新选项卡，指向我登录并允许访问的 Google 页面。一旦我这样做了，重定向似乎（？）就会启动，并且我会显示一个浏览器页面，其中包含“授权完成请关闭此选项卡”消息。我没有返回到 Matillion OAuth 配置仍在等待某种类型的响应的选项卡。

有什么想法吗？附加信息：我通过 Snowflake Partner Connect 控制台设置了 Matillion，并且仍然处于 Matillion 的 14 天免费试用期。

我基于 Matillion 的最新 AMI (Matillion v1.56.9) 启动了一个新的 AWS EC2 实例 (m5.large)。实例运行良好，我可以在 https://[internal IP] 访问 Matillion 的登录页面，但我无法使用默认凭据登录，默认凭据应该是“ec2-user”和实例 ID（“i-xxxxxx ”）。错误消息是“无效的用户名或密码”。

EC2 实例没有公共 IP，这就是我使用私有 IP 的原因。

我也可以通过 ssh 进入实例。

谁能帮我找出为什么使用默认用户登录不起作用？

我正在尝试使用 okta 为 matillion 添加 sso。我正在关注以下博客。但我被这个错误困住了。有什么办法可以解决这个问题。这是我的错误。您的请求导致错误。“redirect_uri”参数必须是客户端应用设置中的登录重定向 URI。谢谢。 Intergrationlink 我也检查了其他博客以进行故障排除，但对我没有帮助。okta社区

我们在基于 Tomcat 8.5 的 AWS EC2 实例 (CentOS) 上运行 Matillion (v1.54)。到目前为止，我们已经开发了一些 ETL 作业，它们的执行需要相当长的时间（即长达数小时）。我们想加快我们工作的执行速度，我想知道如何识别瓶颈。

让我感到困惑的是，m5.2xlargeEC2 实例（8 个 vCPU，32G RAM）和数据库（Snowflake）都不是很忙，而且大部分时间似乎都处于空闲状态（关于 CPU 和 RAM 的使用情况，如图所示top）。

我们的环境配置为使用多达 16 个并行连接。我们还添加了 JVM 选项-Xms20g -Xmx30g以/etc/sysconfig/tomcat8确保 JVM 获得足够的 RAM 分配。

我们的 Matillion 作业进行转换并加载到许多表中，其中大部分可以（并且应该）并行完成。我们仍然看到，大多数任务都是按顺序处理的。

我们如何加强这一点？

我们正在使用 Matillion ETL API 将查询参数传递给底层的 Redshift 查询。使用下拉列表中的连接创建查询参数变量，States并在 API 中传递，如下所示：

这个变量应该像and state in ('AL','CA')在查询中一样被传递，但由于它的存在，,使用保留字符会引发错误。我试过逃避这个角色，但它仍然不起作用。

因此，,我没有|在变量中使用v_state=" & #encodeForURL("''AL''|''CA''")# 它，它确实运行 API，但底层查询不返回任何数据。

and state in ('AL','CA') （返回数据）

and state in (replace('''AL''|''CA''','|',','))（不返回数据）

问题是：

1. 在 Matillion API 中，有没有办法在字符串中转义逗号？
2. 在 Redshift 中为 IN 子句使用管道分隔字符串的正确方法是什么？

编辑 1：找到一种将状态字符串转换为行的方法。

所以有很多类似的问题，虽然我没有设法在任何一个中找到答案，所以我们来了。我正在尝试使用 Python 从 Facebook API 中提取一些数据，这是我得到的错误：

我直接进入我的 Facebook 个人资料中的应用程序设置，看起来像（图片相关）

请注意，在错误消息v10.0中有路径，并且在应用程序配置文件中的任何更改 API 版本之前是v7.0，这很奇怪，是否还有其他一些 API 需要切换其版本？将那个切换到 v12.0（或 v11.0）并没有帮助，所以我真的不知道该怎么办了。

另一个重要注意事项是，此代码是 Matillion 中计划作业的一部分，并且在版本切换后，如果在本地运行，代码确实会返回数据，所以我的另一个预感是 Matillion 环境也需要进行一些更改.

代码如下所示：

如果我忘记提及一些细节，请随时提出任何问题，谢谢！

我有一个用例，我将 XML 文件从 Windows 文件共享传输到 Azure Blob 存储，然后将数据加载到雪花表。我正在使用 Matillion 来实现这一点。

Windows 文件共享获取包含 .xml 和 .xml.chk 文件的压缩 XML 文件。我正在使用 Matillion 的 Azure Blob 存储组件将 .xml 文件复制到雪花表并设置 Purge = True 以在之后删除它们。

我需要帮助从 Blob 存储容器中删除剩余的 .xml.chk 文件。此外，一旦数据加载完成，我想从 Windows Fileshare 中删除压缩文件。

谢谢， Shivroopa