ftp - 用于文件传输的 IBM MQ

Question

我们面临着使用 IBM MQ over SFTP 进行文件传输的选择。我听说过这种方法的优点，但我从未见过有人真正将它用于大文件。

所以主要问题：IMB MQ 处理大文件（最大 100 MB）传输的能力如何？稳定吗？它是从大型机到 UNIX 服务器，如果它确实重要的话。

非常感谢。

score 8 · Accepted Answer

我使用 MQ 的文件大小最大为 8GB，没有发生任何意外。您必须为 MQ 分配足够的空间来管理它们，但它确实有效。

score 6 · Accepted Answer

MQ 本身提供程序之间基于消息的通信。您不能直接使用它来传输文件。人们谈论“通过MQ发送文件”通常意味着他们将自己编写程序以从文件中读取，通过MQ发送，从MQ接收并写入另一个文件。起初这听起来微不足道，但如果你想让它变得健壮，很快就会变得非常复杂。不建议。

如果您想让 MQ 参与文件传输，您应该做的是使用 MQ 上的文件传输产品之一。有许多成熟的产品，我对此几乎一无所知，包括 IBM 本身的新产品（“Websphere MQ 文件传输版”），该产品正在积极开发中，最近宣布了更新版本 (7.0.1)。

为了回答你的具体问题，我个人使用 WMQFTE 将 1000GB 的文件从 AIX 机器传输到 Windows 机器，所以我认为你的“大”100MB 文件不会有问题:-)。我没有过多地参与大型机，但它在很大程度上是 FTE 的核心平台。

score 5 · Accepted Answer

供应商通过消息传递系统（如 WebSphere MQ）进行文件传输已超过 12 年。我没有使用过 IBM 产品。然而，我直到最近才知道 IBM 转售了 Metastorm 的产品（以PM4Data品牌），并且直到最近才以第一代产品进入市场。

我已经看到Metastorm Integration Manager一直在处理 TB 大小的文件。跨 WebSphere MQ 分解消息并执行缓冲区确认，以免消息队列溢出或不必执行大量 MQ 管理。

与 SFTP 相比，使用消息传递系统进行文件传输的其他值得考虑的因素包括：

数据移动前后处理- 作为一种网络传输，SFTP 移动数据（就像通过 WebSphere MQ 传输文件的产品一样）。要进行移动前或移动后处理，您必须编写自己的监控、触发、错误处理等。在消息空间上进行文件传输的成熟供应商为您提供开箱即用的基础设施。根据您的应用，他们还可以提供帮助
Audit Trail - SFTP 提供通常提供的系统级日志记录。通常，通过 MQ 提供文件集成的供应商具有更强大的审计能力，包括数据移动前和数据移动后处理。一些供应商还提供基于 Web 的安全系统，以向授权用户公开某些集成。
异常处理– SFTP 将提供同步错误消息，然后您可以从中编写错误逻辑。通过 MQ 提供文件集成的供应商通常提供异常功能，从“这里有一条消息在队列中表示发生了问题......祝你好运”到基于 Web 的控制台甚至 BPM 系统的内置集成。
将文件传输视为服务– 通常，文件传输是更大业务流程的一部分。一些供应商利用它来链接文件传输，甚至让他们与以人为中心的流程协作，以提供围绕点对点文件传输上下文的端到端可见性。此外，使用消息系统进行文件传输有助于将组织转移到更实时、消息驱动的方法。

我希望额外的细节能在你的评估中提供一些细节。祝你好运！

score 0 · Accepted Answer

在先前的答案之一中，有以下声明：

人们谈论“通过MQ发送文件”通常意味着他们将自己编写程序以从文件中读取，通过MQ发送，从MQ接收并写入另一个文件。起初这听起来微不足道，但如果你想让它变得健壮，很快就会变得非常复杂。不建议。

从理论上讲，“通过 MQ 发送文件”会很好，因为当收件人从队列中获取（读取）文件时，您会收到一条发送确认 (CoD) 消息。另一个好处是，当收件人从队列中获取（读取）文件时，该文件将自动从队列中删除。

您是否知道 MQFTE 是否提供上述（或类似的）？

score 0 · Accepted Answer

Capitalwares Universal File Mover是这里的一个选项。

5 回答 5