我正在使用 Pandas to_sql 加载仅包含大约 6k 行数据的 CSV。我有一个非常大的 Azure Synapse DW，容量绰绰有余，但我遇到了一个问题，它会加载大约 1.5k 行，然后因内存不足错误而失败：
sqlalchemy.exc.ProgrammingError: (pyodbc.ProgrammingError) ('42000', '[42000] [Microsoft][ODBC Driver 13 for SQL Server][SQL Server]112007;Exceeded the memory limit of 20 MB per session for prepared statements. Reduce the number or sizeof the prepared statements. (112007) (SQLExecDirectW)')
我的代码如下所示：
df_table.to_sql('Test_Name', engine, if_exists='replace',dtype={col_name: VARCHAR(length=100) for col_name in df_table},index=False, chunksize=1000)
我试图设置一个块大小，但似乎没有影响。为什么它在这么小的数据集上苦苦挣扎，我该如何加载完整的 csv 文件？