问题标签 [data-integration]

我正在研究 ETL 工具以将平面文件导入数据库并随后导出 xml 文件。

许多工具支持生成代码以在您的应用程序中使用；但是，我还没有发现任何支持在您的应用程序中使用代码。我们的模型很复杂（关系、验证、多态关联、回调等）。

有哪些工具可以重用现有代码？还是我被困在 ETL 工具中重新创建（和维护）我的模型？

注意：我对 ETL（相对于批量插入或 activerecord-import）的要求是转换。我们从 200 多个不同来源以各种格式、完整性和清洁度接收数据。此外，对于将定义转换的技术含量较低的用户来说，最包含的“设计师”更为现实。

我是语义网的新手。我正在尝试做一个示例应用程序，我可以在一个查询中查询来自不同数据源的数据。我创建了一个小的 rdf 文件，其中包含对 dbpedia 资源的引用，用于定义位置。我的问题是：如何获取文件中包含的数据和远程资源描述中的其他信息（例如：本地文件中的人名，以及城市 dbpedia-owl 中的总人口:populationTotal 来自遥远的 rdf 文件）。我不太了解 sparql 查询语言，我尝试将 JENA ARQ API 与 SERVICE 关键字一起使用，但这并不能解决问题。请问有什么帮助吗？

我正在考虑将 Talend 的 Open Studio 用于数据集成/ETL 项目，但我似乎找不到它可以输入或输出到out of the box的格式列表。例如，我将它与 Pentaho 的 Kettle 进行比较，我发现它支持文件系统 I/O、MS Excel、Access、XML、JSON、SAP、各种 SQL 数据库等，开箱即用。在哪里可以找到有关 Talend 的类似信息？

“开箱即用”是指无需编写一些 Java 插件来手动进行转换。

我有一个要转换的 CSV。将数据转换为我的模式有点问题。我在我的结束表中有一个 locationID，在 CSV 中，大约 10 列中有 1 或 NULL（每一列都是不同的位置）。

我的逻辑是：如果 column("locationThree") == 1，则将 locationID 设置为 5（例如）

我不知道如何在 SQL 中执行此操作，Pentaho 中是否有此工具，或者我如何在 SQL 中执行此操作？

例如

这样的事情可能吗？

快速提问：

是否可以对编写在 JSP 文件中的 Javascript 代码进行单元测试，尤其是使用 JStestDriver？

还是我必须将其提取到外部 js 文件中？

我是 Pentaho 数据集成工具的新手。我正在尝试将数据从源表移动到目标表......两者都是 SQL Server。这些表是相同的并且有一个标识列。

尝试了很多选项，但是......每次说“Indentity insert is set to OFF”时都会出错

尝试在中间引入一个跃点以执行 SQL 语句到“SET identity_insert tblname ON”.. 仍然有效。

任何建议将不胜感激。

谢谢。

配置我的转换的最合适和最佳实践驱动的方式是什么？

换句话说，假设我有一个基于kettle 的大型ETL 解决方案，它通过连接到不同的数据源来完成工作，我想将这些数据源存储在一个集中的位置，并让每个转换在每次需要连接到某个地方时都查找它。

在 SSIS 中有包配置，我使用 pentaho 的替代方案是什么？

Ps：我不想安装任何 3rd 方框架。

谢谢

给定一个输入数据表，我希望有一组描述同一记录的兄弟列的“标志列”。

• 我正在使用 Microsoft SQL Server 2005。
• 首先，我需要在目标表中加载数据，然后我需要执行检查以将值放入这些标志列中。

例如，我有一张玩具桌，如下所示：

然后我有以下玩具数据（由于“旧”2005 SQL 版本，我需要为每条记录重复 INSERT/VALUES 语句）：

现在我想有一种快速的方法将值放入内部value_x_FLAG并value_y_FLAG评估兄弟列是否value_x为.value_yNULL

我知道有类似ISNULL(), 或的函数COALESCE()，但我不认为是这种情况，因为我正在尝试根据另一列的值更新一列。

我知道我可以使用IF / ELSE语句，但是将许多布尔标志 (2^n) 的所有情况设置为在标志变量的同一个“更新”语句中一起工作是非常复杂的。

如何处理？

设置完所有标志后，我想以某种方式总结我的表格。例如，我想COUNT在所有标志变量上都有一个，然后我想有一个COUNT给定的“颜色类别”。

可能我不需要一组支持标志变量，但我想让它们使表格更具可读性，并使 SQL 代码更具可读性。谢谢！

我想知道在哪里可以找到 Pentaho 的数据集成产品支持的 I/O 格式的官方列表。

我正在使用 PDI 4.1。我已经创建了转换和作业，并且我有一个包含数据库数据的 excel 文件。我的 excel 文件中的列是name,date和hour, 我需要带上上个月的数据。我可以做这样的事情吗？

提前致谢。