0

我想创建一个功能类似于SqlDataReader.Read()

我正在从 .txt/.csv 读取一个平面文件，并将其作为数据表返回给我的类处理业务逻辑。这会遍历数据表的行，并转换数据，写入结构化数据库。我将此结构用于多个导入源。

不过，大文件的工作非常非常缓慢。浏览 30 MB 数据需要 2 小时，我希望将其缩短到 30 分钟。朝着这个方向迈出的一步是不要将整个文件读入 DataTable，而是逐行处理它，并防止内存被占用。

像这样的东西是理想的：PSEUDOCODE。

FlatFileReader ffr = new FlatFileReader(); //Set FlatFileParameters
while(ffr.ReadRow(out DataTable parsedFlatFileRow))
{
     //...Business Logic for handling the parsedFlatFileRow
}

我怎样才能实现一个像这样工作的方法.ReadRow(out DataTable parsedFlatFileRow)？

这是正确的方向吗？

foreach(obj in ff.lazyreading()){
    //Business Logic
} 

...

class FlatFileWrapper{

    public IEnumerable<obj> lazyreading(){
        while(FileReader.ReadLine()){ 
            yield return parsedFileLine; 
        }
    } 
}
4

2 回答 2

1

正如蒂姆已经提到的，File.ReadLines是您所需要的：

“当您使用 ReadLines 时，您可以在返回整个集合之前开始枚举字符串集合”

您可以创建一个使用该方法的解析器，如下所示：

// object you want to create from the file lines.
public class Foo
{
    // add properties here....
}

// Parser only responsibility is create the objects.
public class FooParser
{
    public IEnumerable<Foo> ParseFile(string filename)
    {
        if(!File.Exists(filename))
            throw new FileNotFoundException("Could not find file to parse", filename);

        foreach(string line in File.ReadLines(filename))
        {
            Foo foo = CreateFoo(line);

            yield return foo;
        }
    }

    private Foo CreateFoo(string line)
    {
        // parse line/create instance of Foo here

        return new Foo {
            // ......
        };
    }
}

使用代码：

var parser = new FooParser();

foreach (Foo foo in parser.ParseFile(filename))
{
     //...Business Logic for handling the parsedFlatFileRow
}
于 2013-10-30T10:37:36.893 回答
0

您可以使用File.ReadLines类似于 a 的工作方式StreamReader：

foreach(string line in File.ReadLines(path))
{
     //...Business Logic for handling the parsedFlatFileRow
}
于 2013-10-30T09:43:45.240 回答