问题标签 [datastage]

有一个由一个数据集、一个顺序文件和一个连接它们的查找阶段组成的并行作业。

顺序文件包含 15,811 行。它导入得很好（我可以在日志中看到）。

问题出在查找阶段 - 它引发以下错误：

正如我在 IBM 网站和其他论坛上所读到的，一个可能的解决方案可能是增加节点的数量。所以我将我的 APT 文件从 1 个节点更改为 6 个节点：

尽管如此，我还是遇到了同样的错误，我注意到该作业仅写入第一个 DataSet 文件夹（有一个名为 /var/opt/ascential/adm/DataSet1/lookuptable.20140330.spzjazc 的文件，它的大小会不断增长，直到达到〜 4GB 然后作业失败并删除文件）。

1. 我假设该作业实际上并未在多个节点上运行，因为只有 1 个文件。这个对吗？如何强制它在所有 6 个节点上运行，以便克服 4 GB 的限制？

2. 还有其他解决方法吗？

我正在尝试使用 java 为字符串“TREFFLAGDATAC000000EN”生成 MD5 校验和值，但对于相同的字符串，IBM InfoSphere DataStage 正在生成不同的 MD5 校验和值。

谁能指导我如何生成数据阶段给出的相同 MD5 校验和值？

java生成的md5代码：4659dff22b357cd9cc9fe0979603d1ab 数据阶段生成的md5：fd607ac2a5d19980795c584dff24b899

下面是我的java代码

public static void main(String[] args) throws UnsupportedEncodingException{ String value = "TREFFLAGDATAC000000EN"; String hashCode = DigestUtils.md5Hex(value.getBytes("UTF-8")); System.out.println(hashCode); }

我有一个名为 Name 的列，其中包含以下字符串：

我不想使用“，”分割字符串，然后使用“-”将其分成三列，分别称为产品、品牌和描述。我找不到任何可用于此的字符串拆分函数。如何拆分字符串并将它们添加到列中？

每次我们尝试运行它时都需要编译它吗？我在工作中没有修改任何东西，但每次我尝试运行它时仍然要求编译。为什么有必要？编译时发生了什么？

我有一个包含 1 列和 5 行的顺序文件，我需要将其传输到不同的列。下面更详细的解释：

我需要这样的样本输出

我正在使用 Infosphere Datastage & Quality Stage 8.5。我需要知道如何备份整个数据阶段环境，包括 DB2 文件、配置等，以防止服务器发生崩溃事件。请同时提供文件。

我想为数据记录制作一个标签，列出年份和季度，例如 2014-Q2。

在 SQL 中，我可以通过以下方式完成此任务：

我试图在 DataStage (v 8.5) 的变压器阶段收集相同的结果，我认为以下粗略推导会起作用：

也许变压器级不是最好的选择，欢迎所有建议，因为现在推导会出错。

我收到以下错误：Service Invocation Exeption 我正在使用版本 8.7 IBM InfoSphere DataStage 和 QualityStage Designer 并使用服务器作业，我有 1 个顺序文件、Web 服务、顺序文件。

知道这个错误的原因是什么吗？

我有一项工作成功地生成了一个包含数亿行的顺序文件 (CSV) 输出，有人可以提供一个示例，将输出写入一百个单独的顺序文件，每个文件都有一百万行吗？

顺序文件阶段是什么样的，它是如何配置的？

这是为了最终允许 QA 审查任何一个单独的输出，而无需使用可以查看大文本文件的特殊文本编辑器。

目前，我有以下 SQL 来标识地理区域中发生冲突（重叠）的记录。我在下面提供了一个 CTE 来说明表格内容。

在输入顺序文件 (CSV) 文件中提供地理区域时，我会得到一个如下所示的文件：

当存在重叠并且不确定如何在 DataStage 中模拟交叉连接时，我想拒绝或失败该工作。