问题标签 [kettle]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
126 浏览

datetime - 如何将日期时间字段从 OLTP 非规范化到 OLAP 数据库?

是否有任何插件可以通知 OLTP 数据库中的日期时间列,以便我可以将日期时间分解为年、月、日、小时、分钟和秒?或者在我找不到的网络上是否有关于该教程的教程?提前致谢,

0 投票
2 回答
13314 浏览

ftp - 如何使用通配符在水壶勺上获取 ftp 文件

我有一份使用获取 ftp 文件的工作,我正在使用此通配符来获取所有 xml.zip 文件 .*.zip

工作正常,但下载所有文件。我尝试了一个通配符来只下载具有这种模式的文件:.outsideXXXXXX.xml.zip(没有成功)。

我做错了什么?

0 投票
2 回答
2416 浏览

pentaho - 你可以在 Pentaho 勺子工具中运行 jar 文件吗?

我想在 Pentaho 勺子工具中运行一个包含 java 代码的 jar 文件。此运行是通过接受输入、在此数据之上运行 java 类然后在某处提供输出的单个步骤。Pentaho Spoon 可以做到这一点吗?

0 投票
1 回答
2595 浏览

repository - 将 Kettle 文件迁移到存储库

目前,我们将本地文件系统中的 Kettle 转换 (ktr) 和作业 (kjb) 文件作为 XML 文件进行管理。我们想开始使用 Kettle 存储库。我熟悉从头开始使用存储库,但我从未将数百个 ktr/kjb 文件从本地文件系统迁移到存储库。是否有实用程序或工具(甚至第三方)可以促进从文件批量导入到 Kettle 中的存储库(PDI,Pentaho 数据集成)?

我们正在使用版本 4.2.1

0 投票
2 回答
11104 浏览

pentaho - 如何等待前面的步骤完成

我正在用 Pentaho 的勺子设计一个 ETL。

ETL 流程

我的目的是在“加载到数据库”和“更新数据库”之后执行“计算值”。

应该用什么步骤来代替'??? 等一下' ?

0 投票
1 回答
138 浏览

pentaho - Pentaho 数据集成 (Kettle) 中的备用编辑器 (emacs/vim)

我是水壶(Pentaho 数据集成)的新手,正在尝试开发一些自定义 Java/JavaScript 代码。

是否可以编辑 emacs/aquamacs/vim/anything-else 中的文本块和/或将脚本保存在可以直接在其他文件中编辑的单独文件中?

0 投票
2 回答
1443 浏览

xml - 在 XML 文件中搜索文本

我有许多 Kettle Transformation 保存的文件(保存在桌面中)。我需要做的是创建一个搜索页面,用户可以在其中输入任何文本。显示的结果是出现该特定类型字符串的所有可能的转换保存文件。

请注意,转换文件为 XML 格式。搜索字符串可以是 XML 文件可以包含的任何内容。我不知道如何开发此搜索?请帮帮我。

[我尝试使用 XPATH 读取 xml 文件(使用 Pentaho 数据集成工具),但缺少搜索连接。]

0 投票
1 回答
4417 浏览

etl - 使用 StAX / Kettle (Pentaho) 读取 XML 文件

我正在使用 Pentaho (Spoon / Kettle) 进行 ETL 过程,我想在其中读取 XML 文件并将元素值存储到 db。

这适用于“从 XML 获取数据”-组件...但是 XML 文件很大,有几个千兆字节,因此读取文件需要很长时间。

Pentaho 维基 说:

现有的从 XML 获取数据步骤更易于使用,但使用需要在内存处理中的 DOM 解析器,当这些部分非常大时,甚至清除文件的某些部分是不够的。

XML 输入流 (StAX) 步骤使用完全不同的方法来解决具有非常大和复杂的数据结构以及需要非常快速的数据加载的用例......

因此,我现在正尝试对 StAX 做同样的事情,但它似乎并没有按计划进行。我正在使用只有一个元素组的 XML 文件对此进行测试。读取该文件,然后将其映射/插入到表中......但现在我得到多行到表中,其中所有值都是“未定义”的,有些行我有正确的值。表中总共有 92 行,即使它应该只有一行。

流程如下:

1) 用 StAX 读取

2) 修改后的 Java Script 值

3) 输出到数据库

在第 2 步)我正在执行以下操作:

变量编号;

if ( xml_data_type_description.equals("CHARACTERS") && xml_path.equals("/labels/label/id") ) { id = xml_data_value; } ...

我以http://forums.pentaho.com/showthread.php?83480-XPath-in-Get-data-from-XML-tool&p=261230#post261230中的 positional-staz.zip 为例。

如何使用 StAX 读取 XML 文件并将元素值存储到 DB?

我一直在尝试寻找示例,但没有找到太多。上面的示例在插入行之前使用了“Filter Rows”组件。我不太明白为什么要使用它,我不能只映射我需要的值吗?可能是因为我不使用或不知道如何使用 Filter Rows 组件而出现此问题。

干杯!

0 投票
2 回答
1084 浏览

pentaho - 需要 Pentaho Kettle 数据集成父子解决方案

我有一个源表(来自 MS DB),其中包含一个字段“ParentID”,它引用了“ID”的 PK

目标 Postgres 表已填充(从序列中插入新的“ID”PK)并且“ParentID”设置为空。流中插入了一个新的 PK。

所以现在在这个阶段我有一个有效的流

如何进行“流查找”(或其他)并查找值以创建新的流字段,从而为我提供“NewParentID”的新字段

谢谢

大卫

0 投票
2 回答
13973 浏览

business-intelligence - 如何在 Pentaho 勺子中连接字符串?

我是 Pentaho 的新手(今天安装)。我能够在 Spoon 中进行基本的转换。现在我需要做一些事情,我不知道该怎么做。

我的输入看起来像

第三个字段是一个 ID,我需要从 REST API 获取一些信息

我需要在 Spoon 中做什么才能完成这项工作?

此外,数据返回将采用 json 格式。我该如何解析?