问题标签 [pickle]

好的，我正在努力使用 python 变得更好，所以我不确定这是开始我正在做的事情的正确方法，但这是我目前的问题......

我需要通过 SOAP 方法获取一些信息，现在只使用部分信息，但存储整个结果以备将来使用（我们需要尽可能少地使用服务）。寻找访问服务的最佳方式我认为 suds 是要走的路，而且它很简单，并且像获取数据的魅力一样工作。但现在我想以某种方式保存结果，最好是序列化 / 在数据库中，这样我以后可以将其取出并使用它。

最好的方法是什么，看起来 pickle/json 不是一个选项？谢谢！

更新 阅读如何腌制泡沫结果的最佳答案？让我更好地了解为什么这不是一个选项，我想我被困在重新创建一个带有我需要的信息的基本对象？

我的应用程序使用“每用户会话”来允许来自同一用户的多个会话共享状态。它通过酸洗对象的操作与 django 会话非常相似。

我需要腌制一个引用 django 模型对象的复杂对象。标准酸洗过程将非规范化对象存储在泡菜中。因此，如果数据库中的对象在酸洗和解酸之间发生变化，则模型现在已经过时了。（我知道内存中的对象也是如此，但酸洗是解决它的方便时间。）

显然，将这​​个复杂的数据存储在数据库中会更干净，但这并不实用。随着项目的发展，它的代码必然会迅速变化。每次对象的数据模型更改时都必须更新数据库模式会大大降低项目的速度。

所以我想要的是一种不腌制完整 django 模型对象的方法。相反，只需存储其类和 id，并在加载时从数据库中重新获取内容。我可以为这个类指定一个自定义泡菜方法吗？如果有办法进行酸洗，我很高兴围绕 django 模型编写一个包装类来处理从 db 中的延迟获取。

我正在结合使用 Cucumber、Webrat 和 Pickle。当我写一个场景时，我可以做这样的事情：

注意for that product. 这是 pickle 提供的东西，对于引用我正在检查其存在的产品的记录非常方便。但是，最后一行不起作用。

基本上我试图确保我是该记录的显示页面，但由于我没有它的 ID，我不知道如何引用它。

有什么帮助吗？谢谢！

鉴于 Cucumber 中的以下内容：

我怎么知道那个ID？

谢谢！

我有一个简单的dict对象，我试图在它运行后将其存储在数据库中pickle。似乎 Django 不喜欢尝试对这个错误进行编码。我已经检查过 MySQL，查询甚至在抛出错误之前都没有到达那里，所以我不认为这是问题所在。dict我存储的看起来像这样：

抛出的错误是：

“utf8”编解码器无法解码位置 52-53 中的字节：无效数据。

\xd1位置 52-53 是腌制数据中 (Ñ) 的第一个实例。

到目前为止，我已经在 StackOverflow 上进行了研究，发现了一些问题，其中对象的数据库编码是错误的。这对我没有帮助，因为还没有 MySQL 查询。这发生在数据库之前。在搜索腌制数据的 unicode 错误时，Google 也没有太大帮助。

可能值得一提的是，如果我不使用 Ñ，这段代码可以正常工作。

有没有办法腌制一个类定义？

我想做的是腌制定义（可以动态创建），然后通过 TCP 连接发送它，以便可以在另一端创建实例。

我了解可能存在依赖关系，例如该类所依赖的模块和全局变量。我也想在酸洗过程中捆绑这些，但我不关心自动检测依赖关系，因为如果用户有责任指定它们也没关系。

我有时使用 json 和 jsonpickle 将对象序列化为文件，使用以下函数：

问题是，如果我序列化一个字典，例如，使用“json_serialize(mydict, myfilename)”，那么整个序列化就会放在一行上。这意味着我不能像 CSV 文件那样手动检查要检查的条目的文件。有没有办法让对象的每个元素（例如字典中的每个条目，或列表中的每个元素）都放在 JSON 输出文件中的单独行上？

谢谢。

我有一组数据点，每个数据点都由字典描述。每个数据点的处理都是独立的，我将每个数据点作为单独的作业提交给集群。每个数据点都有一个唯一的名称，我的集群提交包装器只需调用一个脚本，该脚本采用数据点的名称和描述所有数据点的文件。然后该脚本访问文件中的数据点并执行计算。

由于每个作业都必须加载所有点的集合以检索要运行的点，因此我想通过将描述点集的文件序列化为易于检索的格式来优化此步骤。

我尝试使用 JSONpickle，使用以下方法，将描述所有数据点的字典序列化到文件：

该字典包含非常简单的对象（列表、字符串、浮点数等），总共有 54,000 个键。json 文件的大小约为 20 兆字节。

将此文件加载到内存中大约需要 20 秒，这对我来说似乎很慢。我切换到使用具有相同对象的 pickle，发现它生成了一个大小约为 7.8 MB 的文件，并且可以在大约 1-2 秒内加载。这是一个显着的改进，但看起来加载一个小对象（少于 100,000 个条目）应该更快。除此之外，pickle 不是人类可读的，这对我来说是 JSON 的一大优势。

有没有办法使用 JSON 来获得类似或更好的加速？如果没有，您对构建它有其他想法吗？

（将描述每个事件的文件简单地“切片”成一个单独的文件并将其传递给在集群作业中运行数据点的脚本是正确的解决方案吗？这似乎可能导致文件激增）。

谢谢。

我正在使用PYML构建多类线性支持向量机 (SVM)。在训练 SVM 之后，我希望能够保存分类器，以便在后续运行中我可以立即使用分类器而无需​​重新训练。不幸的是，该分类器没有实现 .save() 函数，并且尝试腌制它（使用标准 pickle 和 cPickle ）会产生以下错误消息：

有没有人知道解决这个问题的方法或没有这个问题的替代库？谢谢。

编辑/更新
我现在正在训练并尝试使用以下代码保存分类器：

请注意，我现在使用 PyML 保存机制而不是使用酸洗进行保存，并且我已将“saveSpace=False”传递给训练函数。但是，我仍然遇到错误：

但是，我通过 saveSpace=False... 那么，如何保存分类器？

PS
我正在使用的项目是pyimgattr，以防您想要一个完整的可测试示例...该程序使用“./pyimgattr.py train”运行...这会给您带来此错误。另外，关于版本信息的注释：

我希望我的班级实现保存和加载功能，这些功能只需对班级进行泡菜。但显然你不能以下面的方式使用'self'。你怎么能做到这一点？