如果您正在处理一个或多个无法从内部更改的类,则可以使用通用且简单的方法来执行此操作,这些方法也不依赖于特定于差异的库:
最简单、对非常复杂的对象不安全的方法
pickle.dumps(a) == pickle.dumps(b)
pickle
是一个非常常见的 Python 对象序列化库,因此可以序列化几乎任何东西,真的。在上面的代码片段中,我将str
序列化的 froma
与from 进行比较b
。与下一个方法不同,这个方法的优点是还可以对自定义类进行类型检查。
最大的麻烦:由于特定的排序和 [de/en] 编码方法,pickle
对于相等的对象可能不会产生相同的结果,尤其是在处理更复杂的对象(例如嵌套自定义类实例的列表)时,就像您经常发现的那样在一些第三方库中。对于这些情况,我建议采用不同的方法:
彻底、对任何对象都安全的方法
您可以编写一个递归反射,为您提供可序列化的对象,然后比较结果
from collections.abc import Iterable
BASE_TYPES = [str, int, float, bool, type(None)]
def base_typed(obj):
"""Recursive reflection method to convert any object property into a comparable form.
"""
T = type(obj)
from_numpy = T.__module__ == 'numpy'
if T in BASE_TYPES or callable(obj) or (from_numpy and not isinstance(T, Iterable)):
return obj
if isinstance(obj, Iterable):
base_items = [base_typed(item) for item in obj]
return base_items if from_numpy else T(base_items)
d = obj if T is dict else obj.__dict__
return {k: base_typed(v) for k, v in d.items()}
def deep_equals(*args):
return all(base_typed(args[0]) == base_typed(other) for other in args[1:])
现在不管你的对象是什么,深度平等都可以保证工作
>>> from sklearn.ensemble import RandomForestClassifier
>>>
>>> a = RandomForestClassifier(max_depth=2, random_state=42)
>>> b = RandomForestClassifier(max_depth=2, random_state=42)
>>>
>>> deep_equals(a, b)
True
可比对象的数量也无关紧要
>>> c = RandomForestClassifier(max_depth=2, random_state=1000)
>>> deep_equals(a, b, c)
False
我的用例是在 BDD 测试中检查一组不同的已经训练好的机器学习模型之间的深度相等性。这些模型属于一组不同的第三方库。当然__eq__
,像这里建议的其他答案一样实施对我来说不是一个选择。
覆盖所有基地
您可能处于一个或多个被比较的自定义类没有__dict__
实现的情况。这无论如何都不常见,但它是 sklearn 的随机森林分类器中的一个子类型的情况:<type 'sklearn.tree._tree.Tree'>
. 根据具体情况处理这些情况 - 例如,具体而言,我决定将受影响类型的内容替换为一个方法的内容,该方法为我提供有关实例的代表性信息(在本例中为__getstate__
方法)。因此,倒数第二行base_typed
变成了
d = obj if T is dict else obj.__dict__ if '__dict__' in dir(obj) else obj.__getstate__()
编辑:为了组织起见,我将上面可怕的 oneliner 替换为return dict_from(obj)
. 在这里,dict_from
是一个非常通用的反射,用于容纳更多晦涩的库(我在看着你,Doc2Vec)
def isproperty(prop, obj):
return not callable(getattr(obj, prop)) and not prop.startswith('_')
def dict_from(obj):
"""Converts dict-like objects into dicts
"""
if isinstance(obj, dict):
# Dict and subtypes are directly converted
d = dict(obj)
elif '__dict__' in dir(obj):
# Use standard dict representation when available
d = obj.__dict__
elif str(type(obj)) == 'sklearn.tree._tree.Tree':
# Replaces sklearn trees with their state metadata
d = obj.__getstate__()
else:
# Extract non-callable, non-private attributes with reflection
kv = [(p, getattr(obj, p)) for p in dir(obj) if isproperty(p, obj)]
d = {k: v for k, v in kv}
return {k: base_typed(v) for k, v in d.items()}
请注意,对于具有不同顺序的相同键值对的对象,上述方法都不会产生,如True
>>> a = {'foo':[], 'bar':{}}
>>> b = {'bar':{}, 'foo':[]}
>>> pickle.dumps(a) == pickle.dumps(b)
False
sorted
但是,如果您愿意,无论如何都可以事先使用 Python 的内置方法。