我在 Python 3.7 中使用 Pandas 来从 HDF5 文件中读取数据。HDF5 文件包含来自 MSC Nastran 的结果表。
HDF5 文件名为“ave_01.h5”
HDF5 位移表如下所示：
使用以下工作就好了：
import numpy as np
import pandas as pd
pd.read_hdf('./ave_01.h5', 'NASTRAN/RESULT/NODAL/DISPLACEMENT')
但是，我有另一个压力结果表，如下所示：
所以我希望下面的代码可以工作，但它不会：
pd.read_hdf('./ave_01.h5', '/NASTRAN/RESULT/ELEMENTAL/STRESS/QUAD_CN')
我收到以下错误：
ValueError：错误的项目数通过 5，位置暗示 1
我注意到第二个表在某些列中包含列表，而第一个表没有。这些列表还包含 5 个元素。也许这是导致错误的原因，但我不知道这是否属实，也不知道如何纠正。
我哪里错了？
谢谢。
作为参考，这些结果是一个简单的测试模型，如下所示：
快速澄清一下由 MSC Nastran 创建的 HDF5 文件中的数据格式。这些值不是 Python 列表，而是 NumPy 数组。我知道，这具有欺骗性，因为两种数据类型都使用 [val1, val2, val3]，并且都使用索引来访问单个元素。但是，它们并不相同。 您可以通过使用属性检查每个字段的数据类型来确认这一点，.dtype如下所示。
每个数组在多个元素位置都有值。当您的 Nastran 压力请求具有 (BOTH) 时，就会发生这种情况；您会在质心和角/网格处获得输出。这些位置与 GRID 字段中的 Grid ID 匹配。
这是一个使用 Quad4 元素数据的简单示例。其他元素类型的过程类似：
In [1]: import h5py
In [2]: h5f = h5py.File('tube_a_mesh.h5', 'r')
In [3]: str_ds = h5f['/NASTRAN/RESULT/ELEMENTAL/STRESS/QUAD_CN']
In [4]: print (str_ds.dtype)
{'names' ['EID','TERM','GRID','FD1','X1','Y1','TXY1','FD2','X2','Y2','TXY2','DOMAIN_ID'],
'formats':['<i8','S4',('<i8', (5,)),('<f8', (5,)),('<f8', (5,)),('<f8', (5,)),('<f8', (5,)),('<f8', (5,)),('<f8', (5,)),('<f8', (5,)),('<f8', (5,)),'<i8'], 'offsets':[0,8,16,56,96,136,176,216,256,296,336,376],
'itemsize':384}
dytpe显示的GRID是('<i8', (5,))和X1是('<f8', (5,))（以及其他应力值的相同 dtype：Y1、TXY1等）。
继续，这是如何将 Z1 位置的 Sx 应力提取为 HDF5 数据集对象。
In [5]: quad_sx_arr= str_ds['X1']
In [6]: print (quad_sx_arr.dtype, quad_sx_arr.dtype)
float64 (4428, 5)
或者，这是如何将 Z1 处的所有 Sx 应力提取为 NumPy 数组。
In [7]: quad_sx_arr= str_ds['X1'][:]
In [8]: print (quad_sx_arr.dtype, quad_sx_arr.dtype)
float64 (4428, 5)
最后，如果您只想要质心值（每个 X1 数组的第一个元素），这就是如何将它们提取为 NumPy 数组。
In [9]: quad_csx_arr = quad_sx_arr[:,0]
In [10]: print (quad_csx_arr.dtype, quad_csx_arr.shape)
float64 (4428,)
你是对的，这个问题与 5 个元素的列表有关。
我能够复制这个问题。在我的例子中，列表有 9 个元素，但 read_hdf 函数要求每个表格单元格只有一个值。
下面是我使用 Pandas 编写的 Python 代码。不幸的是，我无法解决这个问题。
通过使用 h5py 库，我能够成功地前进。再往下是我的带有 h5py 库的 Python 代码。
熊猫
工作示例
import pandas as pd
test_output = pd.read_hdf('./nug_46.h5', '/NASTRAN/RESULT/NODAL/DISPLACEMENT')
print(test_output)
# returns
# ID X Y Z RX RY RZ DOMAIN_ID
# 0 3 -0.000561 -0.001269 0.001303 0.0 0.0 0.0 2
# 1 5 -0.001269 -0.000561 0.001303 0.0 0.0 0.0 2
# 2 6 -0.001342 -0.000668 0.001181 0.0 0.0 0.0 2
# 3 7 -0.001342 -0.000794 0.001162 0.0 0.0 0.0 2
# 4 8 -0.001335 -0.000893 0.001120 0.0 0.0 0.0 2
# ... ... ... ... ... ... ... ... ...
# 4878 20475 0.000000 0.000000 0.000000 0.0 0.0 0.0 2
# 4879 20478 0.000000 0.000000 0.000000 0.0 0.0 0.0 2
# 4880 100001 0.000000 0.000000 0.000000 0.0 0.0 0.0 2
# 4881 100002 0.000000 0.000000 0.000000 0.0 0.0 0.0 2
# 4882 100003 0.000000 0.000000 0.000000 0.0 0.0 0.0 2
非工作示例
test_output = pd.read_hdf('./nug_46.h5', 'NASTRAN/RESULT/ELEMENTAL/STRESS/HEXA')
print(test_output)
# returns an error
# Traceback (most recent call last):
# File "/home/apricot/PycharmProjects/python_hdf5_reader/venv/lib/python3.6/site-packages/pandas/core/internals/managers.py", line 1654, in create_block_manager_from_blocks
# make_block(values=blocks[0], placement=slice(0, len(axes[0])))
# File "/home/apricot/PycharmProjects/python_hdf5_reader/venv/lib/python3.6/site-packages/pandas/core/internals/blocks.py", line 3041, in make_block
# return klass(values, ndim=ndim, placement=placement)
# File "/home/apricot/PycharmProjects/python_hdf5_reader/venv/lib/python3.6/site-packages/pandas/core/internals/blocks.py", line 125, in __init__
# f"Wrong number of items passed {len(self.values)}, "
# ValueError: Wrong number of items passed 9, placement implies 1
H5PY
工作示例
import h5py
file = h5py.File('./nug_46.h5', 'r')
# Open the dataset of compound type
dataset = file['/NASTRAN/RESULT/ELEMENTAL/STRESS/HEXA']
# Print the column names
column_names = dataset.dtype.names
print(column_names)
# returns
# ('EID', 'CID', 'CTYPE', 'NODEF', 'GRID', 'X', 'Y', 'Z', 'TXY', 'TYZ', 'TZX', 'DOMAIN_ID')
# Print the first ten rows of the dataset
# If you want to print the whole dataset, leave out the brackets and
# colon, e.g. enumerate(dataset)
for i, line in enumerate(dataset[0:10]):
print(line)
# returns
# (447, 0, b'GRID', 8, [ 0, 5, 6, 12, 11, 1716, 1340, 1346, 1345], ..., 2)
# (448, 0, b'GRID', 8, [ 0, 6, 7, 13, 12, 1340, 1341, 1347, 1346], ..., 2)
# (449, 0, b'GRID', 8, [ 0, 7, 8, 14, 13, 1341, 1342, 1348, 1347], ..., 2)
# (450, 0, b'GRID', 8, [ 0, 8, 9, 15, 14, 1342, 1343, 1349, 1348], ..., 2)
# (451, 0, b'GRID', 8, [ 0, 9, 10, 16, 15, 1343, 1344, 1350, 1349], ..., 2)
# (452, 0, b'GRID', 8, [ 0, 11, 12, 18, 17, 1345, 1346, 1352, 1714], ..., 2)
# (453, 0, b'GRID', 8, [ 0, 12, 13, 19, 18, 1346, 1347, 1353, 1352], ..., 2)
# (454, 0, b'GRID', 8, [ 0, 13, 14, 20, 19, 1347, 1348, 1354, 1353], ..., 2)
# (455, 0, b'GRID', 8, [ 0, 14, 15, 21, 20, 1348, 1349, 1355, 1354], ..., 2)
# (456, 0, b'GRID', 8, [ 0, 15, 16, 22, 21, 1349, 1350, 1356, 1355], ..., 2)
# Print the 2nd row, 1st column in the dataset
print(dataset[1][column_names[0]])
# returns
# 448
# Print the 2nd row, 5th column, 3rd element of the list in the dataset
print(dataset[1][column_names[4]][2])
# returns
# 7
# Same as above, but by using the column name
print(dataset[1]['GRID'][2])
# returns
# 7
对于您所拥有的代码为什么不起作用，我无法给出比已经给出的更好的解释，但是我已经为自己的用途开发了一种解决方法。据我了解，MSC 选择格式化其“角落”结果的方式是导致问题的原因。如果他们提出“如何”将角落数据读取到数据帧，或者考虑重新格式化他们的数据的组织方式以更好地使用标准 pandas read_hdf 函数而不是将其留给最终用户来确定，那就太好了如何组织数据。
将“h5_file_path”和“table_path”替换为您的特定文件/表的必要信息。
with h5py.File(h5_file_path, mode='r') as hdf5:
header = hdf5[table_path][:].dtype.names
data = [[item[np.where(row['GRID'] == grid)][0] if isinstance(item, np.ndarray) else item for item in row]
for row in hdf5[table_path][:]
for grid in row['GRID']]
df = pd.DataFrame(data=data, columns=header)