wolfram-mathematica - 在 Wolfram Mathematica 中处理大数据文件的方法

Question

我想知道在 Mathematica 中是否存在处理大文件的方法？目前我有一个大约 500Mb 的文件，其中包含表数据。

Import["data.txt","Table"];

什么是替代方式？

Answer 1

Use OpenRead["file"]which 给你一个InputStream你可以使用的对象Read[stream]。根据数据文件的格式，您可能需要在Read[]for中设置自定义选项值RecordSeparators。

例子：

In[1]:= str = OpenRead["ExampleData/USConstitution.txt"]    
Out[1]= InputStream["ExampleData/USConstitution.txt", 24]   

In[2]:= Read[str, Word]    
Out[2]= "We"    
In[3]:= Read[str, Word]
Out[3]= "the"    
In[4]:= Read[str, Record]
Out[4]= "People of the United States, in Order to form a more perfect Union,"

Answer 2

您还可以将数据加载到数据库（例如 MySQL）并使用DatabaseLink从 Mathematica 访问它

Answer 3

该功能DumpSave还有助于保存大型数据集。它以 Mathematica 的内部格式保存数据，因此在时间和文件大小方面都更加高效。