1

我们必须加载大型管道分隔文件。使用 Rhino ETL（依赖 FileHelpers）将这些加载到 SQL Server DB 时，是否必须提供记录类？我们必须将文件加载到具有数十列的不同表中——生成它们可能需要一整天的时间。我想我们可以编写一个小工具来从 SQL Server 表中生成记录类。

另一种方法是为 FileStream 编写 IDataReader 包装器并将其传递给 SqlBulkCopy。

SqlBulkCopy 也确实需要列映射，但它确实允许列序号——这很容易。

有什么想法/建议吗？

谢谢。

4

1 回答 1

1

我对 Rhino ETL 了解不多，但 FileHelpers 有一个ClassBuilder允许您在运行时生成记录类。有关一些示例，请参阅文档。

所以很容易生成一个类似下面的类：

SqlCommand command = new SqlCommand("SELECT TOP 1 * FROM Customers;", connection);
connection.Open();

// get the schema for the customers table
SqlDataReader reader = command.ExecuteReader();
DataTable schemaTable = reader.GetSchemaTable();

// create the FileHelpers record class
// alternatively there is a 'FixedClassBuilder'
DelimitedClassBuilder cb = new DelimitedClassBuilder("Customers", ","); 
cb.IgnoreFirstLines = 1; 
cb.IgnoreEmptyLines = true; 

// populate the fields based on the columns
foreach (DataRow row in schemaTable.Rows)
{
     cb.AddField(row.Field<string>("ColumnName"), row.Field<Type>("DataType")); 
     cb.LastField.TrimMode = TrimMode.Both;
}

// load the dynamically created class into a FileHelpers engine
FileHelperEngine engine = new FileHelperEngine(cb.CreateRecordClass());

// import your records
DataTable dt = engine.ReadFileAsDT("testCustomers.txt");
于 2012-07-26T08:51:44.133 回答