问题标签 [etl]

我最近接触了一些 ETL 工具，例如 Talend 和 Apatar，我想知道这些工具的目的/主要目标到底是什么。谁主要使用它们，如果你使用它们，它们（根据我的理解）如何比仅仅编写某种类型的脚本更好。

我正在使用以下（长）SQL 语句修改类型 2 维度：

我将它作为加载我的数据仓库的 ETL 的一部分运行。我想要构建的是一个详细的日志系统，可以跟踪日志表/文件等中的所有更改。

在 MERGE 和 INSERT 中使用的 OUTPUT 期间实际完成的所有工作都在幕后进行。我想跟踪参与此查询的所有列和值。

我有什么方法可以捕获这些数据吗？

我公司的大多数人都使用 powercenter informatica 在数据库之间进行 Extract-Transform-Load 类型的数据移动作业。

然而，我参与的项目有一个大型的自定义 Perl 工作，其中包含一些 Java，以便很好地移动数据并触发其他一些更新。

有人说要改写东西来改用powercenter，人们在这样一个项目上的经验是什么，这有意义吗？似乎您在使用这种“现成的”解决方案时牺牲了很多灵活性，但是 ETL 工具在生产力方面给您带来了很多好处吗？

对于正在进行的仓库工作，我们有一个包含多个项目的单一解决方案

1. OLTP 数据库项目
2. 仓库数据库项目
3. SSIS ETL项目

构建 SSIS 项目后，我想将二进制文件（实际上是 XML）从 Bin 文件夹移动到“C:\AutomatedTasks\ETL.Warehouse\”和“C:\AutomatedTasks\ETL”

我找不到为 SSIS 项目执行此操作的 Post-Build 事件。他们在哪里？如果它们不可用，我该如何实现？

对于我迄今为止编写的所有 ETL，我从未对它们进行过事务处理——即，如果表 4 失败，则将所有内容回滚。

这方面的最佳做法是什么？

“BeginTran + Commit”或不“BeginTran + Commit”

编辑：我有一个主包调用 4 个其他包 - 是否可以将它们全部汇总到一个事务中？

我试图搜索帖子，但我只找到了 SQL Server/Access 的解决方案。我需要 MySQL (5.X) 中的解决方案。

我有一个包含 3 列的表（称为历史记录）：hostid、itemname、itemvalue。
如果我做一个选择（select * from history），它将返回

如何查询数据库以返回类似

重复：https ://stackoverflow.com/questions/1259545/let-me-know-alternate-command-in-dos-for-following-sed-and-perl-commands-closed

以下命令在 unix box 中具有独特的实现。

需要在 informatica（etl 工具）中实现。如果没有相同的Windows解决方案

我们已经使用 Talend 3.1 几个月了。但是，我们正在考虑是否可能切换到最新的 MapForce。仅仅是因为它编译为 .Net 解决方案，否则我们就是 .Net 公司。话虽如此，Talend 非常易于使用和扩展。Talend 工作使新开发人员能够非常轻松地了解工作并修改现有问题。Talend 似乎确实有一种普遍的错误感觉（例如，UI 响应缓慢和一些奇怪的行为）。

如果您与其中一个或两个都合作过，我可以就他们如何匹配获得您的意见吗？

谢谢

我正在编写一个 ETL（在带有 mongodb 后端的 python 中）并且想知道：应该将 ETL 什么样的标准函数和工具称为 ETL？

此 ETL 将尽可能通用，采用可编写脚本和模块化的方法。大多数情况下，它将用于使不同的数据库保持同步，并以不同的格式（xml 和 csv）导入/导出数据集。我不需要任何多维工具，但以后可能会需要它。

我有几个文件，每个 CSV 数据大约 5k，我需要导入 SQL Server 2005。

这对于 DTS 来说过去很简单。我之前尝试过使用 SSIS，它的工作量似乎是原来的 10 倍，但我最终放弃了。

将csv数据导入sql server的最简单方法是什么？理想情况下，工具或方法也会创建表，因为其中大约有 150 个字段，这将简化事情。

有时使用此数据，可能需要手动修改 1 或 2 行，因为它们没有正确导入。