0

我正在开发一种工具，可以帮助我以这种形式收集数据：[{Entity: {Field:Value}}, ...]

除非另有线索，否则我将这样表达数据：

alldata = [
    {'ShinyCorp, Inc.' :
        [
        {'state' : 'CA'},
        {'phone' : '123-456-7890'}
        ]
    },

    {'MultiBiz, LLC' :
        [
        {'state' : 'NY'},
        {'ceo' : 'Glenn Suggzass'}
        ]
    },

    {'Marx Capital Group' : 
        [
        {'state' : 'DE'},
        {'fax' : '321-654-0987'}
        ]
    }
]

我想以两种形式呈现数据：

1)实体名称列表作为第一列，每行的列显示该行第一列中列出的实体的字段值

2)字段名称列表作为第一列，每行的列显示该列第一行中列出的实体的字段值（也称为标题）

像这样...

1)

EntityName          state   phone           ceo             fax
ShinyCorp, Inc.     CA      123-456-7890
MultiBiz, LLC       NY                      Glenn Suggzass
Marx Capital Group  DE                                      321-654-0987

2)

FieldName   ShinyCorp, Inc. MultiBiz, LLC   Marx Capital Group
state       CA              NY              DE
phone       123-456-7890
ceo                         Glenn Suggzass
fax                                         321-654-0987

所以，...

给定 alldata 的格式（面向 EntityName 的 dicts 列表），为 DictWriter 和 writerows 提供可迭代以写入格式 1) 和 2) 的列表推导是什么。

编辑：这只是一个玩具示例，目的是获得一些好的列表理解建议。

4

1 回答 1

0

非常老的问题，您仍然存在的机会很少，但这个问题很有趣。

更简单的数据结构

首先，我认为你的数据结构不是最好的。假设您得到这样的元组（来自 csv 文件）：

>>> csv = [('ShinyCorp, Inc.', 'state', 'CA'),
... ('ShinyCorp, Inc.', 'phone', '123-456-7890'),
... ('MultiBiz, LLC', 'state', 'NY'),
... ('MultiBiz, LLC', 'ceo', 'Glenn Suggzass'),
... ('Marx Capital Group', 'state', 'DE'),
... ('Marx Capital Group', 'fax', '321-654-0987')]

您必须列出实体和字段及其关系。如果您不关心订单：

>>> data_by_entity = {}
>>> fields = set()
>>> for entity,k,v in csv:
...     fields.add(k)
...     data_by_entity.setdefault(entity, {})[k] = v
...
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}
>>> sorted(fields)
['ceo', 'fax', 'phone', 'state']
>>> sorted(data_by_entity.keys())
['Marx Capital Group', 'MultiBiz, LLC', 'ShinyCorp, Inc.']

如果您关心订单：

>>> data_by_entity = {}
>>> fseen = set()
>>> fields = []
>>> eseen = set()
>>> entities = []
>>> for entity,k,v in csv:
...     if entity not in eseen:
...         entities.append(entity)
...         data_by_entity[entity] = {}
...         eseen.add(entity)
...     if k not in fseen:
...         fields.append(k)
...         fseen.add(k)
...     data_by_entity[entity][k]=v
...
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}
>>> fields
['state', 'phone', 'ceo', 'fax']
>>> entities
['ShinyCorp, Inc.', 'MultiBiz, LLC', 'Marx Capital Group']

该seen技巧保留了列表的一组元素。当（且仅当）元素不在列表中时添加元素，即...不在集合中（O(1) vs 0(n) 速度）。

这个数据结构可以很容易地更新：给循环体一个新的元组。

从你的数据结构到更简单的数据结构

>>> alldata = [
...     {'ShinyCorp, Inc.' :
...         [
...         {'state' : 'CA'},
...         {'phone' : '123-456-7890'}
...         ]
...     },
...
...     {'MultiBiz, LLC' :
...         [
...         {'state' : 'NY'},
...         {'ceo' : 'Glenn Suggzass'}
...         ]
...     },
...
...     {'Marx Capital Group' :
...         [
...         {'state' : 'DE'},
...         {'fax' : '321-654-0987'}
...         ]
...     }
... ]    

>>> data_by_entity = {e:{k:v for value in values for k,v in value.items()} for data in alldata for e, values in data.items()}
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}

解释：

  • for data in alldata：这是外部字典
  • for e, values in data.items(): 内部字典的实体和列表
  • {k:v for value in values for k,v in value.items()}：这合并了列表中存在的内部字典values。

使用函数可能更容易理解merge_list_of_dicts：

>>> def merge_list_of_dicts(L): return {k: v for d in L for k,v in d.items()}
>>> data_by_entity = {e:merge_list_of_dicts(values) for e, values in merge_list_of_dicts(alldata).items()}
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}

从结构中获取字段很容易：

>>> fields = set(k for data in data_by_entity.values() for k,v in data.items())
>>> sorted(fields)
['ceo', 'fax', 'phone', 'state']

输出

现在，问题的答案。

第一种形式

>>> fields = sorted(fields) # ensure the test is reproducible
>>> [["EntityName"]+fields]+[[k]+[v.get(f, "") for f in fields] for k, v in data_by_entity.items()]
[['EntityName', 'ceo', 'fax', 'phone', 'state'], ['ShinyCorp, Inc.', '', '', '123-456-7890', 'CA'], ['MultiBiz, LLC', 'Glenn Suggzass', '', '', 'NY'], ['Marx Capital Group', '', '321-654-0987', '', 'DE']]

解释：

  • ["EntityName"]+fields]是第一行；
  • [k]+[v.get(f, "") for f in fields]遍历字段并获取值。它前面是k，字段的名称；
  • [[k]+[...] for k, v in data_by_entity.items()]为每个实体重复上面的列表。

第二种形式

>>> [["FieldName"]+entities]+[[k]+[data_by_entity[e].get(k, "") for e in entities] for k in fields]
[['FieldName', 'ShinyCorp, Inc.', 'MultiBiz, LLC', 'Marx Capital Group'], ['ceo', '', 'Glenn Suggzass', ''], ['fax', '', '', '321-654-0987'], ['phone', '123-456-7890', '', ''], ['state', 'CA', 'NY', 'DE']]

解释：

  • ["FieldName"]+entities]是第一行；
  • [k]+[data_by_entity[e].get(k, "") for e in entities]遍历实体并获取给定的值k。它前面是k，字段的名称；
  • [[k]+[...] for k in fields]为每个字段重复上面的列表。

这是另一个版本

>>> L = [["EntityName"]+list(fields)]+[[k]+[v.get(f, "") for f in fields] for k, v in data_by_entity.items()]
>>> list(zip(*L))
[('EntityName', 'ShinyCorp, Inc.', 'MultiBiz, LLC', 'Marx Capital Group'), ('ceo', '', 'Glenn Suggzass', ''), ('fax', '', '', '321-654-0987'), ('phone', '123-456-7890', '', ''), ('state', 'CA', 'NY', 'DE')]

解释：list(zip(*L)是转置列表列表的惯用方式。如果L = [L1, ..., Ln]，zip(*L)则将列表解压缩为zip(L1, ..., Ln)。然后zip用每个列表的第一个元素创建一个元组，用每个列表的第二个元素创建另一个元组，......直到它耗尽一个列表。

于 2019-03-20T19:16:29.730 回答