7

熊猫新手，我已经想并行化逐行应用操作。到目前为止，我发现Parallelize apply after pandas groupby但是，这似乎只适用于分组数据帧。

我的用例有所不同：我有一个假期列表，对于我当前的行/日期，我想找到这一天之前和之后到下一个假期的非工作日。

这是我通过应用调用的函数：

def get_nearest_holiday(x, pivot):
    nearestHoliday = min(x, key=lambda x: abs(x- pivot))
    difference = abs(nearesHoliday - pivot)
    return difference / np.timedelta64(1, 'D')

我怎样才能加快速度？

编辑

我对 pythons 池进行了一些试验——但这既不是好的代码，也没有得到我的计算结果。

4

3 回答 3

4

对于并行方法，这是基于Parallelize apply after pandas groupby的答案：

from joblib import Parallel, delayed
import multiprocessing

def get_nearest_dateParallel(df):
    df['daysBeforeHoliday'] = df.myDates.apply(lambda x: get_nearest_date(holidays.day[holidays.day < x], x))
    df['daysAfterHoliday']  =  df.myDates.apply(lambda x: get_nearest_date(holidays.day[holidays.day > x], x))
    return df

def applyParallel(dfGrouped, func):
    retLst = Parallel(n_jobs=multiprocessing.cpu_count())(delayed(func)(group) for name, group in dfGrouped)
    return pd.concat(retLst)

print ('parallel version: ')
# 4 min 30 seconds
%time result = applyParallel(datesFrame.groupby(datesFrame.index), get_nearest_dateParallel)

但我更喜欢@NinjaPuppy 的方法，因为它不需要 O(n * number_of_holidays)

于 2016-09-04T11:59:45.117 回答
3

我认为沿着并行尝试的方式可能会使事情复杂化。我没有在大样本上尝试过这种方法，所以你的里程可能会有所不同，但它应该给你一个想法......

让我们从一些日期开始......

import pandas as pd

dates = pd.to_datetime(['2016-01-03', '2016-09-09', '2016-12-12', '2016-03-03'])

我们将使用一些假期数据pandas.tseries.holiday- 请注意，实际上我们想要一个DatetimeIndex......

from pandas.tseries.holiday import USFederalHolidayCalendar

holiday_calendar = USFederalHolidayCalendar()
holidays = holiday_calendar.holidays('2016-01-01')

这给了我们：

DatetimeIndex(['2016-01-01', '2016-01-18', '2016-02-15', '2016-05-30',
               '2016-07-04', '2016-09-05', '2016-10-10', '2016-11-11',
               '2016-11-24', '2016-12-26',
               ...
               '2030-01-01', '2030-01-21', '2030-02-18', '2030-05-27',
               '2030-07-04', '2030-09-02', '2030-10-14', '2030-11-11',
               '2030-11-28', '2030-12-25'],
              dtype='datetime64[ns]', length=150, freq=None)

现在我们使用以下方法找到原始日期最近的假期的索引searchsorted：

indices = holidays.searchsorted(dates)
# array([1, 6, 9, 3])
next_nearest = holidays[indices]
# DatetimeIndex(['2016-01-18', '2016-10-10', '2016-12-26', '2016-05-30'], dtype='datetime64[ns]', freq=None)

然后取两者的区别：

next_nearest_diff = pd.to_timedelta(next_nearest.values - dates.values).days
# array([15, 31, 14, 88])

您需要小心索引，以免折返，并且对于前一个日期，使用 the 进行计算，indices - 1但它应该作为（我希望）一个相对良好的基础。

于 2016-09-04T08:55:46.093 回答
1

我认为pandarallel包现在更容易做到这一点。没有仔细研究它，但应该做的伎俩。

于 2021-07-30T17:00:46.790 回答