3

我想创建一个矩阵。

输入：

data = [
    {'a': 2, 'g': 1},
    {'p': 3, 'a': 5, 'cat': 4}
    ...
]

输出：

     a  p  cat  g
1st  2  0  0    1
2nd  5  3  4    0

这是我的代码。但是我认为当数据量很大时它并不聪明而且速度很慢。

有什么好的方法可以做到这一点吗？

谢谢你。

data = [
    {'a': 2, 'g': 1},
    {'p': 3, 'a': 5, 'cat': 4}
]

### Get keyword map ###
key_map = set()
for row in data:
    key_map = key_map.union(set(row.keys()))

key_map = list(key_map)    # ['a', 'p', 'g', 'cat']

### Create matrix ###
result = []
for row in data:
    matrix = [0] * len(key_map)
    for k, v in row.iteritems():
        matrix[key_map.index(k)] = v
    result.append(matrix)

print result        

# [[2, 0, 0, 1], [5, 3, 4, 0]]

已编辑

由@wwii 建议。使用Pandas看起来不错：

from pandas import DataFrame

result = DataFrame(data, index=range(len(data)))
print result.fillna(0, downcast=int).as_matrix().tolist()
# [[2, 0, 1, 0], [5, 4, 0, 3]]
4

4 回答 4

4

您可以使用集合推导生成key_map

key_map = list({data for row in data for data in row})
于 2013-10-29T04:16:23.787 回答
2

这是部分答案。我无法按指定的顺序获取列 - 它受到键在集合中的排序方式的限制，key_map. 它使用字符串格式来排列数据 - 您可以使用间距来适应更大或更小的数字。

# ordinal from
# http://code.activestate.com/recipes/576888-format-a-number-as-an-ordinal/
from ordinal import ordinal

data = [
    {'a': 2, 'g': 1},
    {'p': 3, 'a': 5, 'cat': 4}
]

### Get keyword map ###
key_map = set()
for row in data:
    key_map = key_map.union(set(row.keys()))

key_map = list(key_map)    # ['a', 'p', 'g', 'cat']

# strings to format the output
header = '{: >10}{: >8}{: >8}{: >8}'.format(*key_map)
line_fmt = '{: <8}{: >2}{: >8}{: >8}{: >8}'
print header

def ordered_data(d, keys):
    """Returns an ordered list of dictionary values.

    returns 0 if key not in d
    d --> dict
    keys --> list of keys
    returns list
    """
    return [d.get(key, 0) for key in keys]

for i, thing in enumerate(data):
    print line_fmt.format(ordinal(i+1), *ordered_data(thing, key_map))

输出

         a       p       g     cat
1st      2       0       1       0
2nd      5       3       0       4

深入研究 Pandas 文档并查看它的DataFrame可能是值得的——它可能会让生活更轻松。

于 2013-10-29T04:18:24.473 回答
1

我使用 Pandas 数据框支持答案。但是，我的代码应该比你的简单一些。

In [1]: import pandas as pd

In [5]: data = [{'a': 2, 'g': 1},{'p': 3, 'a': 5, 'cat': 4}]

In [6]: df = pd.DataFrame(data)

In [7]: df
Out[7]: 
   a  cat   g   p
0  2  NaN   1 NaN
1  5    4 NaN   3

In [9]: df = df.fillna(0)

In [10]: df
Out[10]: 
   a  cat  g  p
0  2    0  1  0
1  5    4  0  3

我在 iPython 中进行了编码，我强烈推荐！

要保存到 csv，只需使用额外的代码行：

df.to_csv('filename.csv')
于 2013-10-29T15:33:29.877 回答
0

我是python的新手，只是希望有帮助的建议:)

key_map = []
for row in data:
    key_map.extend(row.keys())
key_map = list(set(key_map))

您可以将中间部分更改为此，这将为您节省一些时间来查找 key_map

在您的情况下union，至少会扫描每一行以找到不同的项目。

于 2013-10-29T04:05:11.237 回答