pentaho - pentaho 列级验证

Question

我是 Pentaho 项目的新手。需要了解一些验证规则是否可以由 PDI 处理。我的输入数据是 CSV 格式，目标是 ORACLE 表。假设总列数为 50。

验证规则：

• 如果来自输入文件的列数减少（如 48），我们应该通过电子邮件通知
• 如果来自输入文件的列数更多（例如 54），我们应该通过电子邮件通知
• 如果输入文件中有任何重复的列，我们应该通过电子邮件通知
• 如果输入文件中缺少与目标表布局相关的顺序，我们应该通过电子邮件通知
• 如果有任何以数字开头的列，我们应该通过电子邮件通知
• 如果有任何超过 30 个字符的列，我们应该通过电子邮件通知

任何帮助表示赞赏。

如果有什么需要我请回复。

Answer 1

经过大量研发后，可以通过在转换中的实用程序下添加“元数据结构”并将所有列列表加载到文本文件中来完成。

然后创建一个作业，并通过文件管理下的“文件比较”将此文本文件与查找文本文件（包含所有目标列列表）进行比较。如果为真，则进行检查选项，然后调用最终转换，或者如果为假，则发送电子邮件通知。

Answer 2

是的。有一些步骤可以让你识别所有这些东西。

更一般地说，如果您想在 Kettle 中执行某项操作，但没有看到可以轻松执行的步骤，您始终可以编写自定义步骤或使用自定义 Java 或 JavaScript 代码的步骤来执行此操作。