c# - 将数据加载到数据表 c# 时出现内存不足错误

Question

我有库存 ohlc 数据，总记录数为 400 万条记录，但是当我从数据适配器将数据加载到数据表中时，它给了我一个内存不足的错误。

询问

SELECT company_id,trading_Date,trading_open,trading_high, trading_low,trading_close,trading_vol 
FROM company_trading1sIntl 
WHERE company_id = 'YM' 
ORDER BY trading_Date 

功能

public DataTable FillDT(string query, SqlConnection conn)
{
    SqlCommand sqlcmd = new SqlCommand(query,conn);
    SqlDataAdapter sqlda = new SqlDataAdapter(sqlcmd);
    DataTable dt = new DataTable();

    try
    {
        sqlda.Fill(dt);
        if (dt.Rows.Count > 0)
        {
            return dt;
        }
        else
        {                   
            return null;
        }
    }
    catch(Exception ex)
    {
        return null;
    }        
} 

Answer 1

您需要问自己的第一个答案是，为什么要将所有记录加载到数据表中？做一个SqlDataReader来读取数据，编辑它，并且每个（例如）100.000 行做一个SqlBulkCopy来将它们重新插入到你的表中，比 adapter.Fill() 更快，也许你可以避免存储所有 4.000.000内存里面的记录。

如果您需要在一个“选择”中处理所有数据，您就没有机会编辑您的 web.Config，如下所示：

<runtime>
    <gcAllowVeryLargeObjects enabled="true" />    
</runtime>

并编译一个 x64 二进制文件。