我有一个csv
包含大约 200 万行和大约 150 列数据的文件。总文件大小约为 1.3 GB。那是大约 3 亿个数组成员。
我从一个 350 万行的文件开始,通过反复试验了解到,FORTRAN
除非数组定义为 390 万或更少,否则它甚至无法编译。400万,没办法。总线错误/核心转储。
所以无论如何,我认为我的 200 万行文件会起作用。我读了几篇关于 2 GB 限制的帖子。但是,当我在读取数据时打印出行号时,在它结束之前我只能达到 250,000 左右。奇怪的是,我有一个几乎相同的文件(使用了 split 命令),并且在退出之前它只达到了 85,000。不知道为什么如此不同,每行字符数相同。
我能做些什么来读取这些数据吗?将所有数据编译数百次将是一个巨大的痛苦。