python - “python”中的错误：free（）：无效指针：0x00007fc3c90dc98e

Question

在 anacondas py3.6 安装中的 ubuntu 服务器（100GB RAM）上以这种方式在 for 循环中打开多个文件（7 个文件 * 4GB）后出现此错误：

temp_df = pd.read_csv(datafolder + str(file), encoding="ISO-8859-1", delimiter=';',low_memory=False)

这是错误，它是在我设置后出现的

低内存=假

当 low_memory = True 时不会发生

* `python' 中的错误：free()：无效指针：0x00007fc3c90dc98e *

任何人的想法？谢谢

Answer 1

这个问题是由于打开文件时多个线程并行执行引起的，这有时也会导致分段错误。正如您所说，您的文件每个包含 4 GB，因此并行执行以读取您的文件的多个线程导致了问题。