python - python pandas - 有没有更快的方法根据要求进行爆炸操作

Question

代码如下输入数据框是

import pandas as pd 
import numpy as np
df = pd.DataFrame([('bird', 'Falconiformes', 2),
                      ('bird', 'Psittaciformes', 4),
                      ('mammal', 'Carnivora', 8),
                     ('mammal', 'Primates', np.nan),
                    ('mammal', 'Carnivora', 12)],
                     index=['falcon', 'parrot', 'lion', 'monkey', 'leopard'],
                    columns=('class', 'order', 'count'))

unique_class= df['class'].unique().tolist()
temp_list = []
for i in range(len(unique_class)):         
    temp =df[df['class']==unique_class[i]].reset_index(drop=True)
    pipe_values= temp['order'].values.tolist()
    count_values=temp['count'].values.tolist()
    Stri= "|".join(pipe_values)
    for j in range(len(pipe_values)):
        df1=temp[:1]
        df1['order']=  Stri         
        df1['count'+str(j)]=count_values[j]
        
    
    temp_list.append(df1)
    final = pd.concat(temp_list)
    final

输出是

问题是当大量数据出现时 - 大约 100 万 - 过程很慢，我们可以在 pandas 中执行任何其他逻辑或内置函数，以及我将如何使用 vaex 库来做到这一点谢谢

Answer 1

您可以在 Pandas 中执行此操作（不确定为什么需要以这种方式组合数据）：

Groupby on class，将所有内容转换为字符串，并与 python 聚合str.join：

temp = df.set_index('class').astype(str).groupby(level=[0]).agg("|".join)

拆分count为单独的列并与 重新组合temp：

 anoda = (temp['count'].str.split("|", expand=True)
                       .astype(float)
                       .add_prefix('count')
          )

temp.join(anoda).drop(columns='count')


                               order  count0  count1  count2
class                                                       
bird    Falconiformes|Psittaciformes     2.0     4.0     NaN
mammal  Carnivora|Primates|Carnivora     8.0     NaN    12.0