0

我正在将 100 个 csv 文件转换为数据帧并将它们存储在 HDFStore 中。

有什么好处和坏处

a - 将 csv 文件存储为 100 个不同的 HDFStore 文件？

b - 将所有 csv 文件作为单独的项目存储在单个 HDFStore 中？

除了性能问题之外，我还在问这个问题，因为我遇到了稳定性问题，而且我的 HDFStore 文件经常被损坏。因此，对我来说，单个 HDFStore 存在风险。但是，我想知道拥有一家商店是否有好处。

4

1 回答 1

1

这些是差异：

多个文件

  1. 使用多个文件时，您只能在写入时损坏单个文件（例如，您在写入时出现电源故障）
  2. 您可以使用多个文件并行写入（注意 - 永远不要尝试与单个文件并行化，这会损坏它！！！）

单个文件

  1. 如果逻辑集分组

恕我直言，多个文件的优势胜过使用单个文件，因为您可以使用子目录轻松复制分组属性

于 2014-09-01T13:57:59.637 回答