python - 存储 1000 个数据框对象的 Pandas

Question

我正在从事一个大型项目，该项目进行 SPC 分析并拥有 1000 个不同的不相关数据框对象。有谁知道用于在内存中存储对象的模块？我可以使用 python 字典，但想要更精细和更实用的机制，如锁定、线程安全、谁拥有它和等待列表等？我正在考虑创建一些类似于我当地公共图书馆系统的东西。它向一位所有者签入和签出书籍的方式......等等。

Answer 1

HDF5-pytables是 pandas 一个非常好的存储后端。

Pytables可以扩展为像文件系统一样进行管理，但是如果您需要任何类型的多访问，则必须小心（如果您真的需要，您应该使用提供这些功能的传统数据库）。

Answer 2

带有 redis-py 的 Redis 是一种解决方案。Redis 非常快，并且有很好的 Python 绑定。如上所述，Pytables 也是一个不错的选择。PyTables 是 HDF5，而且速度非常快。