问题标签 [pentaho-data-integration]

我将 Postgresql 用于我的数据库，并且在 Carte 服务器（Pentaho BI 工具）的帮助下定期运行作业。最近，我意识到 postgresql 有很多空闲连接，阻止了我正在创建的新作业连接到数据库。我想了解以下内容：

1) Pentaho 上安排的每个单独的作业是否都将自己建立为与 Postgres DB 的连接，或者整个 carte 服务器作为一个整体是否算作一个连接？

2) 闲置工作是如何堆积起来的（一般情况下或特定于我提到的情况）？

我正在尝试使用 HTTP Post 通过传递以下 Header 和 Body 部分来发布数据，

身体：

1. 一个具有文件路径的图像 URL。键入“文件”
2. JSON 格式的元数据。键入“文本”

标题：

内容类型 = 多部分/表单数据

授权=承载5412

这是完整请求的屏幕截图，

这就是我在 Pentaho 中设置 HTTP Post 任务的方式，

我在这里使用 REST Client 找到了相关的帖子，但这也没有帮助：Pentaho HTTP Post using JSON

非常感谢您的帮助。

我一直在阅读文档以在 pentaho DI 上配置 spark-submit 条目，示例主要用于 CDH y HDP，但它如何用于 EMR？我的具体问题与 EMR 集群的“临时”性质有关。根据我的红色，您需要将 *-site.xml 文件从集群复制到 PDI 服务器，但是随着每个新集群的主机名发生变化，并且可能 *-site.xml 文件也会发生变化，所以每个自动运行或您的工作，您需要找出您的集群主机名，然后将 *-site.xml 文件 scp 到 PDI，对吗？有人用 EMR 在 PDI 中配置了 spark-submit 条目吗？

我是pentaho的新手。我有 3 个转换的工作，所有 3 个转换都是相似的。在每个转换中都有 Sql 查询类似
select * from table1 where tabl1.col1='XXX' and tab2.col2='YYYY'

col1 的值保持不变。我想在工作中将它作为变量传递，而不是在每个转换中替换它。这样做的步骤是什么。

我有一个步骤，我需要将 x 行连接成由逗号或类似分隔的行。我在最后一步有这些数据：

对于相同的“REFERENCIA”，我需要将“tarifas”行与 5 个不同的“tarifas”放在同一列中：例如：

收费标准：

T00:6.9000,T01:7.9000,T02:8.9000,T03:9.9000,T04:10.9000,T05:11.9000

我看到了非规范化步骤，但没有得到好的结果。

I am trying to form a transformation where I need to concatenate each 10 row value.

1st step: Table input (query from Postgres DB: select id from tablename)

sample result from the above query:

here I have to concat each 10 rows ids into a single row. Eg. 1-10 row ids in a single row, 11-20 rows ids in another row and so on.

Expected Output:

I know Group By or Memory Group by will concat rows but in this scenario can I use it if so, how can I use it.

Please help me with this. Thanks in advance!

I have to concatenate strings from different fields. The output should be all strings in on field seperated by semi-colons.

The "Group by" Transformation step does everything i need to do, but I can only separate them with " " or with tabs or with ",". The strings i need to concat contain "," themselves so i cant use "," to separate them?

在添加数据源时，我们可以在 Pentaho 中启用连接池。我们甚至可以提供连接池属性，我只想知道 Pentaho 5 使用什么库（BoneCP、Apache DBCP、CP30、Hikari 或其他）进行连接池？

我在 pentaho 数据集成中遇到了“从 XBase 文件中提取”的问题，我无法提取文件内容，并且出现以下错误：

2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 错误（版本 7.0.0.0-25，buildguy 从 2016-11-05 15.35.36 构建 1）：无法读取行：com.linuxense .javadbf.DBFException：无法解析数字：空字符串 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 错误（版本 7.0.0.0-25，从 2016-11-05 15.35.36 构建 1由 buildguy）：Erreur inattendue 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 错误（版本 7.0.0.0-25，buildguy 从 2016-11-05 15.35.36 构建 1）：org。 pentaho.di.core.exception.KettleException: 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 无法从 XBase 文件中读取行 2017/03/10 10:01:14 - 提取 depuis Fichier XBase .0 - 无法解析数字：空字符串 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 2017/03/10 10:01：14 - 提取 depuis Fichier XBase.0 - 在 org.pentaho.di.trans.steps.xbaseinput.XBase.getRow(XBase.java:231) 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 -在 org.pentaho.di.trans.steps.xbaseinput.XBaseInput.processRow(XBaseInput.java:121) 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 在 org.pentaho.di.trans。 step.RunThread.run(RunThread.java:62) 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 在 java.lang.Thread.run(Thread.java:745) 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 原因：com.linuxense.javadbf.DBFException：无法解析数字：空字符串 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 在com.linuxense.javadbf.DBFReader.nextRecord(DBFReader.java:329) 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - 在 org.pentaho.di.trans.steps。xbaseinput.XBase.getRow(XBase.java:163) 2017/03/10 10:01:14 - 提取 depuis Fichier XBase.0 - ... 3 更多 2017/03/10 10:01:14 - 提取 depuis Fichier XBase .0 - Fin Lecture enregistrements, fermeture fichier(s)... 2017/03/10 10:01:14 - Extraction depuis Fichier XBase.0 - Fin 执行 étape (Entrées=0, Sorties=0, Lues=0, Ecrites =0, Maj=0, Erreurs=1) 2017/03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr :articles_transformation - 转换检测 2017/03/10 10: 01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr :articles_transformation - La transformation est en train d'arrêter l'execution des autres étapes！14 - Extraction depuis Fichier XBase.0 - Fin Lecture enregistrements, fermeture fichier(s)... 2017/03/10 10:01:14 - Extraction depuis Fichier XBase.0 - Fin execution étape (Entrées=0, Sorties=0 , Lues=0, Ecrites=0, Maj=0, Erreurs=1) 2017/03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr：articles_transformation - Transformation détectée 2017 /03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr ：articles_transformation - La transformation est en train d'arrêter l'exécution des autres étapes！14 - Extraction depuis Fichier XBase.0 - Fin Lecture enregistrements, fermeture fichier(s)... 2017/03/10 10:01:14 - Extraction depuis Fichier XBase.0 - Fin execution étape (Entrées=0, Sorties=0 , Lues=0, Ecrites=0, Maj=0, Erreurs=1) 2017/03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr：articles_transformation - Transformation détectée 2017 /03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr ：articles_transformation - La transformation est en train d'arrêter l'exécution des autres étapes！ktr :articles_transformation - 转换检测 2017/03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr :articles_transformation - La transformation est en train d'arrêter l'execution des autres étapes ！ktr :articles_transformation - 转换检测 2017/03/10 10:01:14 - C:\Users\NSE1\Desktop\EPP2017\Tables\articles_transformation.ktr :articles_transformation - La transformation est en train d'arrêter l'execution des autres étapes ！

有人能帮助我吗？

我正在 Kettle 中进行一个相当长的转换，我在 Flow 的中间放置了一些步骤。所以现在我的步数指标都被打乱了，很难阅读。有什么办法可以让我再次按顺序（按流向）排序吗？