我想构建一个 LP,其参数由 5 到 10 个 25,000,000 到 50,000,000 行 .csv 文件(每个大约 500mb 到 1Gb)给出。
我的模型目前使用 AMPL 编码,并直接从 .csv 文件中读取参数值。我正在使用的具有 1 Gb RAM 的 Windows XP 内存不足,试图基于仅来自一个 500mb .csv 的数据构建模型
我的问题:有没有办法管理我的数据,以便我可以使用更少的内存构建 LP?
我感谢任何有建立大规模 LP 经验的人的所有反馈。
我想构建一个 LP,其参数由 5 到 10 个 25,000,000 到 50,000,000 行 .csv 文件(每个大约 500mb 到 1Gb)给出。
我的模型目前使用 AMPL 编码,并直接从 .csv 文件中读取参数值。我正在使用的具有 1 Gb RAM 的 Windows XP 内存不足,试图基于仅来自一个 500mb .csv 的数据构建模型
我的问题:有没有办法管理我的数据,以便我可以使用更少的内存构建 LP?
我感谢任何有建立大规模 LP 经验的人的所有反馈。
如果您的计算机上只有 1 GB 的 RAM,那么很难看到您能够加载和解决仅.csv文件就有 500 MB 或更多的大问题。
如果不能选择增加更多的 RAM 内存,则需要分析 LP 问题以查看是否可以将其分成更小的独立部分。例如,如果您有 10,000 个变量和 10,000,000 行的问题,也许可以将主要问题分解为 100 个独立的子问题,每个子问题有 100 个变量和 100,000 行?
这是一个链接到一个尽管过时的书籍章节,该章节讨论了将大型 LP 问题分离为可管理的子问题。