2

我在字典中有一些数据框，我想使用公共列“日期”合并所有这些数据框。为此，我使用了以下代码：

n = len(dictionary)
something = dictionary[dictionnary_keys[0]]
for i in range(1,n):
     something = something.merge(dictionary[dictionnary_keys[i], on="date")
     print(something.shape)

请注意，每个字典的值都是熊猫数据框，其形状为 (500,10)。当我运行该代码时，我得到一个内存错误，因为行数和列数都增加了......但是，只有列数必须增加。我不明白为什么我会得到这个结果。有人可以解释我如何处理这种情况吗？

感谢您的帮助。如果您想了解更多信息，请告诉我:)

4

1 回答 1

2

您很可能有重复的date值。

这是一个简单的例子：

# Generate dict of DatFrame with duplicated 'a'
d = dict()
for i in range(4):
    d[i] = pd.DataFrame({'a': list('ABBCD'), 'b':np.random.randint(0, 10, 5), 'c': i})

n = len(d)
s = d[0]
for i in range(1,n):
    s = s.merge(d[i], on="a")
    print(s.shape)
(7, 5)
(11, 7)
(19, 9)

重新运行，没有重复：

d = dict()
for i in range(4):
    d[i] = pd.DataFrame({'a': list('ABCDE'), 'b':np.random.randint(0, 10, 5), 'c': i})
n = len(d)
s = d[0]
for i in range(1,n):
    s = s.merge(d[i], on="a")
    print(s.shape)
(5, 5)
(5, 7)
(5, 9)

以这种方式合并可能会导致您的系列命名方式变得复杂：

   a  b_x  c_x  b_y  c_y  b_x  c_x  b_y  c_y
0  A    4    0    5    1    0    2    9    3
1  B    5    0    8    1    3    2    0    3
2  C    6    0    0    1    5    2    8    3
3  D    2    0    0    1    8    2    8    3
4  E    8    0    2    1    7    2    9    3

s['b_x']
   b_x  b_x
0    4    0
1    5    3
2    6    5
3    2    8
4    8    7
于 2018-11-04T19:50:42.830 回答