python - 在 NaN 处的 Cumsum 重置

Question

如果我有这样的1 或 NaN 的名称pandas.core.series.Series：ts

3382   NaN
3381   NaN
...
3369   NaN
3368   NaN
...
15     1
10   NaN
11     1
12     1
13     1
9    NaN
8    NaN
7    NaN
6    NaN
3    NaN
4      1
5      1
2    NaN
1    NaN
0    NaN

我想计算这个系列的 cumsum，但它应该在 NaN 的位置重置（设置为零），如下所示：

3382   0
3381   0
...
3369   0
3368   0
...
15     1
10     0
11     1
12     2
13     3
9      0
8      0
7      0
6      0
3      0
4      1
5      2
2      0
1      0
0      0

理想情况下，我想要一个矢量化解决方案！

我曾经在 Matlab 中看到过类似的问题： Matlab cumsum reset at NaN?

但我不知道如何翻译这一行d = diff([0 c(n)]);

Answer 1

您的 Matlab 代码的简单 Numpy 翻译如下：

import numpy as np

v = np.array([1., 1., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
n = np.isnan(v)
a = ~n
c = np.cumsum(a)
d = np.diff(np.concatenate(([0.], c[n])))
v[n] = -d
np.cumsum(v)

执行此代码将返回结果array([ 1., 2., 3., 0., 1., 2., 3., 4., 0., 1.])。此解决方案将仅与原始解决方案一样有效，但如果它不足以满足您的目的，它可能会帮助您提出更好的解决方案。

Answer 2

更熊猫的方式来做到这一点：

v = pd.Series([1., 3., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
cumsum = v.cumsum().fillna(method='pad')
reset = -cumsum[v.isnull()].diff().fillna(cumsum)
result = v.where(v.notnull(), reset).cumsum()

与 matlab 代码相反，这也适用于不同于 1 的值。

Answer 3

这是一种稍微更像熊猫的方法：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

请注意，其中任何一个都要求您pandas至少使用 at9da899b或更新版本。如果不是，则可以将其bool dtype转换为int64or float64 dtype：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.astype(float).cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

Answer 4

如果您可以接受类似的布尔系列b，请尝试

(b.cumsum() - b.cumsum().where(~b).fillna(method='pad').fillna(0)).astype(int)

从您的 Series 开始ts，要么b = (ts == 1)要么b = ~ts.isnull()。