问题标签 [rhino-etl]

我是第一次在项目中使用 rhino ETL，它的功能给我留下了深刻的印象。我使用连接操作来匹配两个数据源。

有时可能会丢失数据，因此我覆盖 LeftOrphanRow 以“记录”错误。所以我虽然我会抛出一个异常，然后在进程结束时使用 GetAllErrors() 收集所有发生的异常。

但似乎该过程正在中止，第一个例外。这是故意的吗？处理 OrphanRows 的最佳方法是什么（特别是当我想在流程结束时汇总所有操作的所有孤立行时）？

首先是一些背景；我们正在开发一个数据仓库，并对用于 ETL 流程的工具进行一些研究。该团队非常以开发人员为中心，每个人都精通 C#。到目前为止，我已经看过 RhinoETL、Pentaho (Kettle)、Astrix Centerprise。SSIS 退出的原因有很多，这些原因超出了这个问题的范围。

目前，我倾向于像 RhinoETL 这样更面向开发人员的东西，因为它似乎是一组开发人员阻力最小的路径。其他更多面向视觉设计师的产品是否带来了 RhinoETL 没有的东西？在评估这些 ETL 工具时，我应该注意哪些具体事项？还有其他我们应该研究的工具吗？

我正在寻找一个 C# 中简单数据流的示例，而不依赖于 SSIS 或外部库，例如 Rhino-ETL（这是一个非常好的库，顺便说一句）。

要求：

• 一个任意 ADO .Net 数据源
• 一个任意 ADO .Net 数据目标
• 不需要一次将整个数据集加载到内存中，因此它可以处理任意大的数据集。它需要依赖某种缓冲区，或者像 Rhino ETL 那样利用的“收益回报”。
• 使用批量插入（即 SqlBulkCopy）
• 最小的转变。没有查找，没有合并连接。
• 如果单线程可以完成这项工作，则不需要多线程。

说明问题的另一种方式...... Rhino ETL 如何做到这一点，但没有所有的抽象和继承的类，也没有 quacking 字典？我想在一个简单的非抽象类中看到它。

对问题的另一种表述：我正在寻找一个基本示例，即获取“选择”查询的数据流输出，并一次将 10,000 或 50,000 条记录批量插入到目的地，而不将整个结果加载到内存，这可能会超过可用 RAM。

我有以下 Rhino ETL 进程，它默默地失败。该过程执行得很好，但是没有对数据库进行往返，没有抛出异常，也没有插入任何数据。

我敢肯定，我在这里遗漏了一些明显的东西。我正在尝试让我的基于 RhinoETL 的示例应用程序与 sql 服务器通信。它只是不会那样做。我正在关注 Paul Barriere 的视频教程。

}

我能够合并来自 2 个文件的数据并将它们写入第三个文本文件。但是，我不能让合并的记录进入一个 sql 表。请问我错过了什么？我的 App.Config 具有正确的连接字符串设置。

谢谢

我想检查行字段值的值，并根据值运行特定操作。这可以做到吗。部分代码如下

是否可以使用 MDX 查询 SSAS 数据库并将其用作 Rhino ETL 的数据源？我在这里谈论的是与 SSAS 实例建立 OLE DB 连接。

谢谢！

我们必须加载大型管道分隔文件。使用 Rhino ETL（依赖 FileHelpers）将这些加载到 SQL Server DB 时，是否必须提供记录类？我们必须将文件加载到具有数十列的不同表中——生成它们可能需要一整天的时间。我想我们可以编写一个小工具来从 SQL Server 表中生成记录类。

另一种方法是为 FileStream 编写 IDataReader 包装器并将其传递给 SqlBulkCopy。

SqlBulkCopy 也确实需要列映射，但它确实允许列序号——这很容易。

有什么想法/建议吗？

谢谢。

我被选择在我的应用程序中集成 Rhino ETL 工具。

在我的应用程序中，我使用各种数据库，如 sql server、oracle、mysql、sybase、Informix、db2、ingress。

Rhino 会支持这些数据库吗？

我还可以将 ienumerable< 行 > 迁移到数据表吗？

如果可能，怎么做？我正在寻找通用方法。

感谢您对集成 Rhino ETL 工具的指导。

我有一个 excel 工作簿，其中包含多个具有相同数据模式的工作表。我有工作实现从单张加载数据。

有没有办法使用 JoinOperation 或任何此类操作将相似的记录（模式）合并到一个集合（行）中？

我的理解是 JoinOperation 可用于左、右、外和内连接，但不能用于联合，因为 MergeRows 的返回类型是 Row。

提前致谢。