问题标签 [data-integration]

我有一个元数据文件，其中包含列名、起始位置和长度。我想读取这些值并在 FIXED FILE INPUT 步骤中定义我的列。

有没有办法在 PDI 中做到这一点？我的文件包含 200 多个固定宽度的列，手动输入信息将非常耗时，尤其是如果此定义随时间而变化。

我是 SAS 4GL 的新手……

是否可以从表中提取哪些列是主键或复合主键的一部分？我需要将它们的值合并到输出数据集的一列中。

问题是，作为输入，我可以获得不同的表格，但我不知道他们的定义。

我正在使用 Pentaho Data Integration (Kettle)，我有一个问题。

我有两个输入文件file1.txt并file2.txt具有相同的标题：

• file1.txt

  /li>

• file2.txt

  /li>

我想将两个文件合并为一个，files_together.txt

我已经尝试了所有（我认为），但我不知道该怎么做。我一直在谷歌、Youtube 上搜索......没有正面匹配。

非常感谢。

I have a file names.txt with this data:

and I want to add a new column N with the line number of the row:

I've been looking and what I found was something related with Add sequence. I tried but I don't know how.

Thank you very much.

我有一个具有 ID 和 Source(varchar) 的源表

我有具有 Source(varchar) 和 Views(Int) 的传入数据

我希望水壶工作做到这一点：

1. 检查源表中是否存在源，如果存在，请将名为 sourceID 的 INT 类型字段替换为源中的相应 ID
2. 如果它不存在，请将其添加到源表中。

例如从上面的数据结果应该是这样的

我无法找到实现这一目标的正确步骤

我正在尝试将 Pentaho Data Integration (Kettle) 设置到客户端服务器中，并且我一直按照此处的步骤进行操作

http://wiki.pentaho.com/display/EAI/A+guide+to+setting+up+PDI+in+a+Microsoft+client-server+style+environment

服务器端设置说我必须在 carte.bat 文件中进行更改，并且我已经按照步骤进行了操作。（至少我这么认为！！）。然后我必须运行 Carte.bat 文件并检查我的网页上的服务器状态。但是服务器，即 carte.bat 文件首先没有启动，因此状态网页没有加载。

我正在使用以下 URL：localhost:8086/kettle/status

我在 carte.bat 文件最后一行所做的更改如下。请告诉我哪里出错以及要做什么。

REM *********** REM ** 运行... ** REM ***********

cd /D %CWD% "%_PENTAHO_JAVA%" %OPT% -jar "%KETTLE_DIR%\launcher\pentaho-application-launcher-5.0.1-stable.jar" -main start /belownormal javaw %OPT% org.pentaho。 di.www.Carte.localhost:8086%*

我想根据旧表更新新数据库的表

这是旧表中的数据：

id,类型 1,bla 2,bla bla

新表是空的。目前，我将两个input table步骤连接到一个merge rows diff步骤，然后将其汇集到一个sync after merge步骤中。

问题是我将 flagfield 设置为，deleted因为它在比较流中找不到任何值（duh 它是一个空表！）。我的逻辑是错误的还是不应该这样工作：

在比较流中找不到 --> 将标志设置为needs insert--> 在比较表中插入？

我该怎么做呢？

我是 pentaho 水壶（数据集成）的新手。我们这里使用的版本是社区版 5.0 版。情况是我想设计一个需要位于远程服务器内的文件（大文件）的工作和转换。该服务器可以通过 ftps 访问。由于我们的工作站资源限制，最好在服务器上运行作业/转换。

谁能告诉我如何设计要在服务器上运行的作业/转换？但是，如果无法按照我上面查询的方式完成该过程，是否有任何可用的方法可以使用其他 ETL 工具来完成？任何建议都会对我有好处:) 谢谢你的帮助！

我需要进行从 11g 到 12c 的 Oracle 数据迁移，其中架构更改很丰富。我有一个描述所有架构更改的 Excel 表。Excel 工作表具有“old_table_name”、“old_column_name”、“old_value”列，对于新表也是如此。有些值可以直接复制到新表中，有些则不能这样做。

例如，当旧列值移动到新表时，我必须对其进行转换。有些转换很复杂，不能简单地映射。它们应该通过与旧数据库中的其他表连接来进行转换。我为此尝试了 Talend Open Studio Data Integration 工具，发现在我的情况下继续使用该工具有点复杂。有没有人知道使用 Talend 或任何其他工具来完成这项工作？进行这样的迁移时，理想的方法是什么？我在下面包含了一个只有简单转换的 excel 表示例。

假设我有这种情况：

一个传统的Visual Basic 6应用程序，它通常无法连接到 Web 服务（XML soap 或 restful API），它作为客户端应用程序工作，需要以某种方式集成实际上来自表单输入的数据，其他系统大多是开发的在.net

到目前为止，我的想法是：

• 套接字连接
• 通过 FTP 传输文件（实现一个适配器来读取和解析信息到其他系统）
• 电子邮件发送（客户端）/解析（服务器） - 这不可靠

这种情况下还有其他选择吗？