问题标签 [kettle]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
505 浏览

mongodb - 如何从 Kettle 的输入源中自动获取所有字段?

我将使用 Pentaho Kettle ETL 工具将 MongoDB 集合中的数据导出为另一种输出格式以进行统计分析。我试图弄清楚是否可以让 Kettle 自动导出特定集合文档中存在的所有字段?

我必须为非平凡的文档手动创建一个转换过程,但有些字段非常简单,可以自动获取。我想知道在水壶中是否有可能,以及如何做到这一点。

0 投票
1 回答
426 浏览

etl - 改造配置

配置我的转换的最合适和最佳实践驱动的方式是什么?

换句话说,假设我有一个基于kettle 的大型ETL 解决方案,它通过连接到不同的数据源来完成工作,我想将这些数据源存储在一个集中的位置,并让每个转换在每次需要连接到某个地方时都查找它。

在 SSIS 中有包配置,我使用 pentaho 的替代方案是什么?

Ps:我不想安装任何 3rd 方框架。

谢谢

0 投票
3 回答
1260 浏览

sql-server - I/O 错误:SSO 失败:SSPI 未初始化

我正在使用 pentaho 数据集成 4.1 (Kettle) 来构建 ETL 系统。我的客户需要使用窗口身份验证连接到数据库(MS SQL Server),我知道 Kettle 支持它。但是,当我运行我的 Kettle 工作时,它会引发异常

"I/O Error: SSO Failed: SSPI Not Initialized".

从论坛上的一篇文章中,我将库复制sqljdbc_auth.dlljre/bin文件夹中。结果还不错,可以使用window认证连接SQL server。但是这个功能并不稳定,我的意思是有时它运行良好,有时它会抛出异常

"I/O Error: SSO Failed: SSPI Not Initialized".

请告诉我如何解决此错误。

谢谢你。

0 投票
1 回答
570 浏览

pentaho - Pentaho Data Integration (Kettle) 支持的 I/O 格式列表

我想知道在哪里可以找到 Pentaho 的数据集成产品支持的 I/O 格式的官方列表。

0 投票
3 回答
3998 浏览

java - 从 cmd 运行 pentaho 水壶。如何将源文件作为参数发送?

我正在使用 Pentaho Kettle 4.0.1。现在,我通过提供转换文件(XML 类型不是 KTR)从 Java 运行转换,并提供一些其他 XML 文件(在 src 文件夹中),这些文件旨在插入或更新到 DB 中。

我想要的是从 bat 或 shell 文件而不是 Java 中做这些事情。我对水壶并不完全熟悉......我已经看到了一些关于从 .bat 文件运行水壶转换的示例,但只有一个文件参数接收转换文件(ktr)。如何将我的 xml 数据文件所在的 src 目录(即将插入 DB 的数据)作为参数传递给 pan.bat/pan.sh?

0 投票
1 回答
1911 浏览

java - 在 js 或 java 中为 twitter 的 pentaho 客户端生成 oauth 签名

我希望能够使用 Pentaho 的 REST 客户端请求向 Twitter 发出请求,但是该软件没有任何 oauth 概念。我发现这个(在 Java 中实现 OAuth)整洁的 java 类,我想用 Pentaho 的 java 类转换来实现,但是我对 Pentaho 很陌生,这项任务将非常困难。我希望有人可以帮助我解决这个问题......

0 投票
3 回答
3018 浏览

api - 在进行 REST API 调用时,是否可以在 url 中包含授权密钥,就像在 GET 请求中一样?

更具体地说,我正在查看 Commission Junction 的 Web 服务(http://help.cj.com/en/web_services/web_services.htm#Commission_Detail_Service.htm)并且授权密钥应该是“标题”的一部分为请求。

我可以仅使用 url 发送请求吗?例如(使用他们网站上的 URI):https://publisher-lookup.api.cj.com/v2/joined-publisher-lookup? 授权=[开发者密钥] &url=http%3A%2F%2Fwww.cj.com

此外,如果有人熟悉 Pentaho Data Integration v4.3(PDI 或 Kettle),将非常感谢使用 PDI 进行此 API 调用的帮助(这最终是我想要实现的)。

谢谢!

0 投票
2 回答
2265 浏览

open-source - 在 pentaho 水壶勺中等待

我是 Pentaho Kettle 的新手,我想在一次转换中进行多项操作。首先我是

  1. 将文本文件中的数据插入主表。
  2. 根据某些条件将一些列从主表加载到第二个表。

但问题是只有在完成第一步后我才必须做第二步。因为对于第二步,我需要完成第一步。

我可以说我的第一步需要将近 20 分钟..

同样在同一个转换中,我也必须从不同的表中加载其他数据..

我不知道水壶提供了一个专门的选项来执行任何开关或类似的东西。我在网上搜索了很多,但我没有任何...

所以任何人都可以帮助我解决这个问题。

0 投票
1 回答
3106 浏览

pentaho - 如何将常量指定为 KTR 中列的目标值

我正在尝试设置一个简单的 KTR 将数据从一个表复制到另一个表。在目标表中,我有一个名为 JobId 的列,它没有映射到源表中的任何内容(想法是在此列中捕获 KTR 作业 ID)。我注意到,如果我不在映射中包含该列,则生成的 SQL 会从表中完全删除该列(无论我将更新标志设置为 Y 还是 N,都会发生这种情况),这不是我想要的。我想知道如何将目标列设置为常量或完全不改变它。

谢谢

0 投票
1 回答
399 浏览

kettle - 每种类型的水壶样品行

我有一组行,比如说“rowId”、“type”、“value”。我需要每个“类型”的 10 个样本行的输出集。我该怎么做?“类型”大约有。100 种不同且不断变化的值,因此切换不是一个好的选择。