pandas - Pandas element-wise min max 针对沿一个轴的系列

Question

我有一个数据框：

df = 
             A    B    C    D
DATA_DATE
20170103   5.0  3.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   1.0  NaN  2.0  3.0

我有一个系列

s = 
DATA_DATE
20170103    4.0
20170104    0.0
20170105    2.2

我想运行一个逐元素max()函数并s沿df. 换句话说，我想得到

result = 
             A    B    C    D
DATA_DATE
20170103   5.0  4.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   2.2  NaN  2.2  3.0

做这个的最好方式是什么？我已经检查了单列比较和系列到系列的比较，但还没有找到一种有效的方法来针对系列运行数据框。

奖励：不确定答案是否从上面不言而喻，但是如果我想s沿着（假设尺寸匹配）的行对齐怎么办？df

Answer 1

这称为广播，可以按如下方式完成：

import numpy as np
np.maximum(df, s[:, None])
Out: 
             A    B    C    D
DATA_DATE                    
20170103   5.0  4.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   2.2  NaN  2.2  3.0

在这里，s[:, None]将添加一个新轴s。同样可以通过s[:, np.newaxis]. 当你这样做时，它们可以一起广播，因为形状(3, 4)和(3, 1)具有共同的元素。

s 注意和之间的区别s[:, None]：

s.values
Out: array([ 4. ,  0. ,  2.2])

s[:, None]
Out: 
array([[ 4. ],
       [ 0. ],
       [ 2.2]])

s.shape
Out: (3,)

s[:, None].shape
Out: (3, 1)

另一种选择是：

df.mask(df.le(s, axis=0), s, axis=0)

Out: 
             A    B    C    D
DATA_DATE                    
20170103   5.0  4.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   2.2  NaN  2.2  3.0

内容为：比较 df 和 s。如果 df 较大，则使用 df，否则使用 s。

Answer 2

数据：

In [135]: df
Out[135]:
             A    B    C    D
DATA_DATE
20170103   5.0  3.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   1.0  NaN  2.0  3.0

In [136]: s
Out[136]:
20170103    4.0
20170104    0.0
20170105    2.2
Name: DATA_DATE, dtype: float64

解决方案：

In [66]: df.clip_lower(s, axis=0)
C:\Users\Max\Anaconda4\lib\site-packages\pandas\core\ops.py:1247: RuntimeWarning: invalid value encountered in greater_equal
  result = op(x, y)
Out[66]:
             A    B    C    D
DATA_DATE
20170103   5.0  4.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   2.2  NaN  2.2  3.0

我们可以使用以下技巧来摆脱RuntimeWarning：

In [134]: df.fillna(np.inf).clip_lower(s, axis=0).replace(np.inf, np.nan)
Out[134]:
             A    B    C    D
DATA_DATE
20170103   5.0  4.0  NaN  NaN
20170104   NaN  NaN  NaN  1.0
20170105   2.2  NaN  2.2  3.0

Answer 3

虽然您的问题可能有更好的解决方案，但我相信这应该可以满足您的需求：

for c in df.columns:
    df[c] = pd.concat([df[c], s], axis=1).max(axis=1)