0

我有一个 DataFrame，其中有一列状态如下：

datetime               |    session    |    try       |    status
2020-09-17 10:00:01    |    '1a'       |    '1a_1'    |    'success'
2020-09-17 10:00:02    |    '2a'       |    '2a_1'    |    'fail'
2020-09-17 10:00:03    |    '2a'       |    '2a_2'    |    'success'
2020-09-17 10:00:03    |    '3a'       |    '3a_1'    |    'interrupted'
2020-09-18 13:00:04    |    '4a'       |    '4a_1'    |    'fail'

我想按天对数据进行重新采样，并在会话中按条件计数状态类型（而不是尝试）。

我可以像这样轻松地尝试重新采样：

df['date'] = df['datetime'].dt.date
df['ones'] = np.ones(df.shape[0])
piv = df.pivot_table(index='date', columns='status', values='ones', aggfunc=len).fillna(0)

并且有：

day           |    success    |    fail    |    interrupted
2020-09-17    |    2          |    2       |    1
2020-09-18    |    0          |    1       |    0

但是无论会话中尝试了多少次，我都想按会话聚合它：

  • 如果会话中的“成功”状态尝试，则成功+1，失败+0，中断+0；
  • 如果会话中的“中断”状态并且会话中没有“成功”状态，则成功+0，失败+0，中断+1；
  • 如果会话中没有“中断”和“成功”状态，则成功+0，失败+1，中断+0。

所以我应该得到这样的东西：

day           |    success    |    fail    |    interrupted
2020-09-17    |    2          |    0       |    1
2020-09-18    |    0          |    1       |    0

我坚持使用功能，我想出的所有结果都以“ValueError：系列的真值是模棱两可的”结尾。对于任何想法，我都会非常满意。

4

2 回答 2

2

我的想法是将 statust 的值转换为有序类别，仅使用在传递给参数的列表中定义的最重要值进行排序和获取行categories：

print (df)
             datetime session   try       status
0 2020-09-17 10:00:01      1a  1a_1      success
1 2020-09-17 10:00:02      2a  2a_1         fail
2 2020-09-17 10:00:03      2a  2a_2      success
3 2020-09-17 10:00:03      3a  3a_1  interrupted
4 2020-09-18 13:00:04      4a  4a_1         fail
5 2020-09-19 10:00:01      1a  1a_1  interrupted
6 2020-09-19 10:00:02      1a  2a_1         fail
7 2020-09-19 10:00:03      2a  2a_2      success
8 2020-09-19 10:00:03      2a  3a_1  interrupted

df['status'] = pd.Categorical(df['status'], 
                              ordered=True, 
                              categories=['success','interrupted','fail'])
df['date'] = df['datetime'].dt.date

df1 = df.sort_values(['date','status']).drop_duplicates(['date','session'])
print (df1)
             datetime session   try       status        date
0 2020-09-17 10:00:01      1a  1a_1      success  2020-09-17
2 2020-09-17 10:00:03      2a  2a_2      success  2020-09-17
3 2020-09-17 10:00:03      3a  3a_1  interrupted  2020-09-17
4 2020-09-18 13:00:04      4a  4a_1         fail  2020-09-18
7 2020-09-19 10:00:03      2a  2a_2      success  2020-09-19
5 2020-09-19 10:00:01      1a  1a_1  interrupted  2020-09-19

piv = pd.crosstab(df1['date'], df1['status'])
print (piv)
status      success  interrupted  fail
date                                  
2020-09-17        2            1     0
2020-09-18        0            0     1
2020-09-19        1            1     0
于 2020-09-30T09:06:40.390 回答
1

pandas有很多不同的方式来聚合信息。这里的一个选择是使用groupby. 我喜欢这种方法，因为它非常健壮 - 另一个答案概述了一种非常优雅的方法，crosstab但我想知道它的可扩展性如何。

请注意，您对所需内容的描述似乎与示例输出不匹配 - 您提到您希望按会话而不是日期进行聚合。使用这种方法很容易做到这些。

def count_successes(x):

    s = list(x)

    return len([i for i in s if i == "success"])

def count_interrupteds(x):

    s = list(x)

    if "success" in s:
        return 0

    return len([i for i in s if i == "interrupted"])

def count_failures(x):

    s = list(x)

    if "success" in s:
        return 0
    
    if "interrupted" in s:
        return 0

    return len([i for i in s if i == "fail"])
    
    

df["date"] = df.datetime.dt.date

result = (
  df.groupby("date", as_index=False)
    .status
    .agg({ 
      "success": count_successes,
      "fail": count_failures,
      "interrupted": count_interrupteds,
    })
)

这将产生您的示例输出。您可以看到我为生成每一列而定义的函数非常简单，但可能会变得任意复杂。

要改为每天按会话分组，请使用groupby(["date", "session"].groupby("date"

于 2020-09-30T10:12:36.030 回答