0

我有一个给定的（由第三方提供的，因此不可更改的）输入数据，结构如下：数据是一个 4 元组列表，每个 4 元组代表一次出击。每个出击的第一个元素是从总共 20 个可能的类别（不重复）中选择的长度为 1 到 5 的类别列表；第二个要素是参与的人数；第三个是指示出击开始的日期时间对象；最后一个和第四个元素是指示出击结束的日期时间对象。

现在我必须将这些数据转换为以下格式：对于每个类别，我需要计算（a）该类别的出击次数，（b）花费的总时间，（c）每次出击花费的平均时间，（d ) 总“工时”，即每次出击的持续时间乘以同一出击的参加人数的总和，以及 (e) 每个出击的平均“工时”。

我的第一次天真的尝试如下：

def transform (data):
    t = defaultdict (lambda: (0, 0, 0) )

    for row in data:
        delta = row [3] - row [2]
        hours = delta.days * 24 + delta.seconds / 3600
        manHours = row [1] * hours
        for cat in row [0]:
            t [cat] = (t [cat] [0] + 1, t [cat] [1] + hours, t [cat] [2] + manHours)

    return {k: (v [0], v [1], v [1] / v [0], v [2], v [2] / v [0] ) for k, v in t.items () }

我正在使用以下内容对其进行分析：

cats = [_ for _ in range (20) ]
for test in range (1000):
    data = [ (random.sample (cats, random.randint (1, 5) ), random.randint (2, 40), datetime.datetime (2013, 1, 1, 8), datetime.datetime (2013, 1, 1, 9) ) for _ in range (1000) ]
    transform (data)

使用-m cProfile.

我在 stackoverflow 上阅读了很多次 itertools 在高性能迭代、分组、计数等方面的令人难以置信的优势，以至于用户更喜欢使用 itertools 而不是简单的 dict- 或 list-comprehension。

我想利用这个模块，但我不确定如何充分利用它。因此：

a) 转换函数可以通过哪种方式进行时间优化（加速）？

b) 以何种方式可以itertools帮助我完成这项工作？

我提前感谢您的回答。

--

供参考：在我的盒子（AMD Phenom II Quad，4 GB RAM，4 GB 交换）上使用Python 3.3.1 (default, Apr 17 2013, 22:30:32) [GCC 4.7.3] on linux分析器吐出：1000 2.027 0.002 2.042 0.002 trans.py:6(transform). 从 pyhton3 迁移到 pypy 不是一种选择。

编辑： 示例数据（使用 ISO 表示）或使用第二个代码片段来创建（显然不是真实的）数据：

[([6, 4, 15], 3, '2013-07-31T17:23:00', '2013-07-31T18:40:00'), ([9, 18, 5], 15, '2013-07-08T17:49:00', '2013-07-08T18:57:00'), ([7, 14, 17, 12, 0], 18, '2013-07-20T08:16:00', '2013-07-20T09:06:00'), ([6, 1], 32, '2013-07-31T07:14:00', '2013-07-31T09:01:00'), ([17, 7], 7, '2013-07-05T06:59:00', '2013-07-05T07:52:00')]

2013-08-02：不幸的是，分析pilmuncher 的想法导致使用numpy 比不使用它慢360%：

 1000    1.828    0.002    1.842    0.002 prof.py:8(transform) #original function
 1000    0.159    0.000    8.457    0.008 prof.py:43(transform3) #numpy function
4

1 回答 1

0

您可能可以使用numpy：

from collections import defaultdict
from datetime import datetime

import numpy as np

def transform(data):
    pair_type = np.dtype([('team_size', int), ('duration', 'timedelta64[s]')])
    rec_array = np.core.records.array
    total = np.sum
    mean = np.mean
    one_hour = np.timedelta64(1, 'h')
    tmp = defaultdict(list)
    for categories, team_size, begin, end in data:
        for category in categories:
            tmp[category].append((team_size, end - begin))
    for category, pairs in tmp.items():
        pairs = rec_array(pairs, dtype=pair_type)
        hours = pairs.duration / one_hour
        man_hours = pairs.team_size * hours
        yield category, (
                len(pairs),
                total(hours),
                mean(hours),
                total(man_hours),
                mean(man_hours))

some_data = ...
result = dict(transform(some_data))

不知道是不是更快了。如果您尝试，请报告结果。

另外，我的 numpy fu 也不是很好。所以如果有人知道如何改进它，请告诉我。

于 2013-08-01T05:19:03.740 回答