2

我正在使用以下代码尝试在 Python 中加载 MAT 文件。我可以在 MATLAB 中毫无问题地加载它。

from scipy.io import loadmat
test_filename = 'test_data.mat' #This is a struct
data =loadmat(test_filename, struct_as_record=True)

运行该代码会产生此错误：

Traceback (most recent call last):
  File "C:\Users\mac389\workspace\nexUtils\src\qA.py", line 16, in <module>
data =loadmat(test_filename, struct_as_record=True)
  File "C:\Python27\lib\site-packages\scipy\io\matlab\mio.py", line 175, in loadmat
matfile_dict = MR.get_variables(variable_names)
  File "C:\Python27\lib\site-packages\scipy\io\matlab\mio5.py", line 272, in get_variables
hdr, next_position = self.read_var_header()
  File "C:\Python27\lib\site-packages\scipy\io\matlab\mio5.py", line 224, in read_var_header
stream = BytesIO(dcor.decompress(data))
MemoryError

作为参考，test_data.mat 是具有以下字段的结构体（来自 MATLAB 控制台）：

 version: 101
 comment: 'molecular layer 4/17'
    freq: 40000
    tbeg: 0
    tend: 1.3950e+003
  events: {3x1 cell}
 neurons: {50x1 cell}
   waves: {102x1 cell}
contvars: {64x1 cell}

Test_data.mat 为 217 MB。我有 4 GB 的 RAM。我正在使用 SciPy 0.10.0 和 NumPy 1.6.1。更改 'struct_as_record' 字段没有任何作用。

如何加载字段为元胞数组的结构？

4

2 回答 2

3

我找到了答案。

Loadmat 无法处理重度嵌套的结构。在给定的数据集中，三个结构字段“waves、neurer、contvars”是元胞数组。该单元数组的每个成员都是一个结构。这些结构的一些字段本身就是元胞数组。这些元胞数组有一个包含数据的字段。这种组织数据的非标准方式加上缺乏文档造成了问题。

我想这是一个警示故事，尽可能接近文本文件格式，如果您正在创建数据存储格式，如果您选择一种非常非标准的格式，请对您的继任者留心并记录这一事实......

于 2012-06-16T22:26:41.567 回答
1

我认为由于解压的实现方式，它在 Python 中需要更多的内存。尝试在不压缩的情况下保存在 Matlab 中（使用-v6，版本 6 格式没有压缩功能）。

于 2012-06-16T11:30:06.177 回答