5

我有一个巨大的表格，我需要按特定顺序阅读并计算一些汇总统计信息。该表已经有一个正确顺序的聚集索引，因此获取记录本身非常快。我正在尝试使用 LINQ to SQL 来简化我需要编写的代码。问题是我不想将所有对象加载到内存中，因为 DataContext 似乎将它们保留在周围——但尝试对它们进行分页会导致可怕的性能问题。

这是故障。最初的尝试是这样的：

var logs = 
    (from record in dataContext.someTable 
     where [index is appropriate]
     select record);

foreach( linqEntity l in logs )
{
    // Do stuff with data from l
}

这是相当快的，并且以良好的速率流式传输，但问题是应用程序的内存使用量不断增加，从未停止过。我的猜测是 LINQ to SQL 实体被保存在内存中并且没有被正确处理。因此，在创建大量对象 C# 时读取内存不足后，我尝试了以下方法。这似乎是许多人使用的常见Skip/Take范例，具有节省内存的附加功能。

请注意，这_conn是预先创建的，并且会为每个查询创建一个临时数据上下文，从而导致相关实体被垃圾收集。

int skipAmount = 0;
bool finished = false;

while (!finished)
{
    // Trick to allow for automatic garbage collection while iterating through the DB
    using (var tempDataContext = new MyDataContext(_conn) {CommandTimeout = 600})
    {               
        var query =
            (from record in tempDataContext.someTable
             where [index is appropriate]
             select record);

        List<workerLog> logs = query.Skip(skipAmount).Take(BatchSize).ToList();
        if (logs.Count == 0)
        {
            finished = true;
            continue;
        }

        foreach( linqEntity l in logs )
        {
            // Do stuff with data from l
        }

        skipAmount += logs.Count;
    }
}

现在，当我通过数据流式传输时，我有一个理想的行为，即内存使用量根本不会增加。然而，我有一个更糟糕的问题：每个Skip都导致数据加载越来越慢，因为底层查询似乎实际上导致服务器遍历所有先前页面的所有数据。在运行查询时，每个页面的加载时间越来越长，我可以看出这正在变成二次运算。此问题已出现在以下帖子中：

我似乎找不到使用 LINQ 执行此操作的方法，该方法允许我通过分页数据来限制内存使用，但仍然可以在恒定时间内加载每个页面。有没有办法正确地做到这一点？我的直觉是，可能有某种方法可以告诉 DataContext 明确忘记上面第一种方法中的对象，但我不知道该怎么做。

4

1 回答 1

16

疯狂地抓了几根吸管后，我发现这DataContext可能ObjectTrackingEnabled = false正是医生所要求的。毫不奇怪，它是专门为这样的只读案例设计的。

using (var readOnlyDataContext = 
    new MyDataContext(_conn) {CommandTimeout = really_long, ObjectTrackingEnabled = false})
{                                                 
    var logs =
        (from record in readOnlyDataContext.someTable
         where [index is appropriate]
         select record);

    foreach( linqEntity l in logs )
    {
        // Do stuff with data from l   
    }                
}

上述方法在通过对象流式传输时不使用任何内存。写入数据时，我可以使用DataContext启用了对象跟踪的其他设备，这似乎可以正常工作。但是，这种方法确实存在 SQL 查询可能需要一个小时或更长时间才能流式传输和完成的问题，因此如果有一种方法可以在不影响性能的情况下进行上述分页，我愿意接受其他选择。

关于关闭对象跟踪的警告：我发现当您尝试使用相同的多个并发读取时DataContext，您不会收到错误There is already an open DataReader associated with this Command which must be closed first.应用程序只是进入一个无限循环，CPU 使用率为 100%。我不确定这是 C# 错误还是功能。

于 2012-09-17T23:20:30.983 回答