1

我有两个具有相同列和索引的数据框。我想将它们组合成带有分层索引的第三个数据帧，维护当前索引并添加一个标识每个数据帧来自哪里的第二个。这是我尝试过的：

df_a = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))
df_b = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))
tuples = list(itertools.product(["a", "b"], range(3)))
df = pd.DataFrame(columns=["x", "y"], index=pd.MultiIndex.from_tuples(tuples))
df.loc["a"] = df_a
df.loc["b"] = df_b

但是，df仍然充满NaNs，当我预计它会填充来自df_a和的值时df_b。这确实有效：

df.loc["a"] = np.array(df_a)

但似乎既迂回又错误。

我对分层索引有什么不了解？实现我的目标的最佳方式是什么？

4

2 回答 2

2 
In [1]: df_a = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))

In [2]: df_b = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))

In [3]: pd.concat([df_a, df_b], keys=['a', 'b'])
Out[3]: 
            x         y
a 0  0.913812 -1.719241
  1  0.544462  0.845426
  2 -0.269518 -1.549679
b 0  0.534311  1.693824
  1  0.119147 -0.171002
  2  0.595658  0.588252
于 2013-05-05T02:11:11.820 回答
1

另一种实现这一点而不是填充数据框df的方法是将多索引添加到原始数组（df_a和df_b），然后将它们连接起来（见下文）。

df没有被填充的原因是因为 pandas 基于索引进行数据对齐。并且在分配df.ix["a"]另一个数据框时，它会填充索引匹配的值。为了说明这一点：

>>> df = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))
>>> df2 = pd.DataFrame(zeros((1, 2)), columns=["x", "y"], index=range(2,3))
>>> df
          x         y
0 -0.995116  0.132438
1 -0.023010 -0.211612
2 -0.053206  0.427369
>>> df2
   x  y
2  0  0
>>> df.ix[:] = df2
>>> df
    x   y
0 NaN NaN
1 NaN NaN
2   0   0

当分配一个 numpy 数组（或一个列表，..）时，没有要匹配的索引，所以它只是填充数据帧（在这种情况下也是广播）：

>>> df.ix[:] = df2.values
>>> df
   x  y
0  0  0
1  0  0
2  0  0

因此，在您的情况下，当您尝试分配df_atodf.ix['a']时，索引不匹配（MultiIndex 与普通索引），并且没有分配任何内容（或更准确地说：用 NaN 填充）。但是，当您第一次转换df_a为也具有相同的 MultiIndex 时，它确实有效：

>>> df_a = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))
>>> df_b = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3))
>>> 
>>> tuples = list(itertools.product(["a", "b"], range(3)))
>>> df = pd.DataFrame(columns=["x", "y"], index=pd.MultiIndex.from_tuples(tuples))
>>> 
>>> df_a.index = pd.MultiIndex.from_tuples([tuple(('a', i)) for i in df_a.index])
>>> 
>>> df.ix["a"] = df_a
>>> df
             x          y
a 0   1.533881   1.276075
  1 -0.5143746 -0.3400633
  2  -1.071509   1.831282
b 0        NaN        NaN
  1        NaN        NaN
  2        NaN        NaN

或者如上所述，当使用 numpy 数组（该.values属性将数据作为 numpy 数组返回）时，它也可以工作：

>>> df.ix["b"] = df_b.values
>>> df
               x          y
a 0     1.533881   1.276075
  1   -0.5143746 -0.3400633
  2    -1.071509   1.831282
b 0   0.06535034 -0.6276186
  1  0.008100781  0.9512881
  2   0.08688541 -0.7101486

但我认为，实现这一点而不是填充数据框的另一种方法df是将多索引添加到原始数组中，然后将它们连接起来：

要将其转换为 MultiIndex，您可以这样做：

>>> df_a['df'] = 'a'
>>> df_b['df'] = 'b'
>>> 
>>> df_a = df_a.set_index('df', append=True)
>>> df_b = df_b.set_index('df', append=True)

或像这样：

>>> df_a.index = pd.MultiIndex.from_tuples([tuple(('a', i)) for i in df_a.index])
>>> df_b.index = pd.MultiIndex.from_tuples([tuple(('b', i)) for i in df_b.index])

然后你可以连接它们：

>>> df = pd.concat([df_a, df_b])
>>> df
             x         y
  df                    
0 a  -0.225156 -0.846229
1 a   1.566139  0.892763
2 a  -1.291920 -0.517408
0 b   1.464853  0.792709
1 b  -1.307375 -0.360373
2 b   0.467406  1.249325
>>> 
>>> df.swaplevel(0,1)
             x         y
df                      
a  0 -0.225156 -0.846229
   1  1.566139  0.892763
   2 -1.291920 -0.517408
b  0  1.464853  0.792709
   1 -1.307375 -0.360373
   2  0.467406  1.249325
于 2013-05-04T08:46:35.433 回答