问题标签 [pickle]

我有以下代码片段：

它有错误：

我究竟做错了什么？

目前我有这样的表：Pages, Groups, GroupPage, Users, UserGroup. 使用腌制集，我只需 3 个表即可实现相同的功能：Pages, Groups, Users.

set似乎是实现 ACL 的自然选择，因为组和权限相关的操作可以用集合非常自然地表达。如果我将允许/拒绝列表存储为腌制集，它可以消除一些用于多对多关系的中间表，并允许在没有很多数据库操作的情况下进行权限编辑。

如果人类可读性很重要，我总是可以使用 json 而不是 cPickle 进行序列化，并set在 Python 中操作权限列表时使用。使用 SQL 直接编辑权限的可能性很小。那么这是一个好的设计理念吗？

我们使用 SQLAlchemy 作为 ORM，所以它很可能用PickleTypecolumn 来实现。我不打算存储整个腌制的“资源”记录集，只存储set由“资源”主键​​值组成的对象。

我想计算一个包含机器学习数据集的 Python 类的哈希值。哈希是用来缓存的，所以我在想md5or sha1。问题是大部分数据都存储在 NumPy 数组中；这些不提供__hash__()成员。目前我pickle.dumps()为每个成员做一个并根据这些字符串计算一个哈希值。但是，我发现以下链接表明同一个对象可能导致不同的序列化字符串：

• 无哈希值因机器而异
• Pickle.dumps 不适合散列

为包含 Numpy 数组的 Python 类计算哈希的最佳方法是什么？

我需要在退出之前保存程序的上下文......我已经将所有需要的东西放到了我之前创建的对象中，我尝试了很多次来挑选它，但没有办法！我不断有错误，如：

• PicklingError：无法腌制“SRE_Match”对象：<_sre.SRE_Match object at 0x2a969cd9c0>

• OSError: [Errno 1] Operation not allowed: [我引用的文件是 rwx for all]

我使用的代码是：

有谁知道我该如何解决这些问题或有其他解决方案？

提前致谢

我想将在 Python 中生成的大型数据集存储在 Django 模型中。我的想法是将数据腌制为字符串并将其上传到我模型的 FileField。我的 Django 模型是：

在我的 Python 程序中，我想做以下事情：

我应该如何修改最后一行以somedata保存file用参数定义的路径upload_to？

我正在尝试编写一个获取变量名的小函数，检查它是否存在，如果不存在，则将其从文件（使用pickle）加载到全局命名空间。

我尝试在文件中使用它：

但它不起作用 - 变量没有被定义。我究竟做错了什么？

875228 的更具体的欺骗——Python 中的简单数据存储。

我有一个相当大的字典（6 GB），我需要对其进行一些处理。我正在尝试几种文档聚类方法，因此我需要一次将整个内容保存在内存中。我有其他函数可以在这些数据上运行，但内容不会改变。

目前，每次我想到新功能时，我都必须编写它们，然后重新生成字典。我正在寻找一种将这个字典写入文件的方法，这样我就可以将它加载到内存中，而不是重新计算它的所有值。

过于简化它看起来像：{((('word','list'),(1,2),(1,3)),(...)):0.0, ....}

我觉得 python 必须有比我循环遍历一些字符串寻找 : 和 ( 试图将它解析成字典更好的方法。

我有一个 django 表单，其中有一个接受用户简历的 FileField。稍后我会将简历转换为 html 文档。所以我想立即腌制原始文档并将其存储在一个 db 列中，然后将其解压缩并转换它。那可能吗？

在成功构建静态数据结构（参见此处）后，我希望避免每次用户请求对其进行操作时都必须从头开始构建它。我天真的第一个想法是将结构（使用python的pickle）转储到一个文件中，并为每个查询加载这个文件。不用说（正如我所想的那样），事实证明这太耗时了，因为文件相当大。

有什么想法可以轻松加快这件事的速度吗？将文件拆分为多个文件？还是在服务器上运行的程序？（实现起来有多难？）

谢谢你的帮助！

Pickle 是否总是为某个输入值产生相同的输出？我想在腌制具有相同内容但插入/删除历史不同的字典时可能会有一个问题。我的目标是使用 Pickle 和 SHA1 为 memoize 实现创建函数参数的“签名”。