0

我有一个包含大约 200 个功能和 3000 行的数据框。这些数据样本是在不同的时间记录的，基本上是每月一次，如下面的“col101”示例所示：

   0    col1 (id)    col2.    col3   ….   col100    col101 (date)  …     col2000 (target value)
   1        001         653.    675   ….      343.3   01-02-2017.   …                1
   2        001         673.    432   ….      387.3   01-03-2017.   …            0
   3        001         679.    528   ….      401.2   01-04-2017.   …            1
   4        001         685     223   ….      503.4   01-05-2017.   …            1
   5        002         343     428   ….      432.5   01-02-2017.   …            0
   6        002         479.    421   ….      455.3   01-03-2017.   …            0
   7         …             …         …     ….          …               ….            …            ..

在这些特征中，有些是累积数据，因此每个月它们的值都会增加。例如， col2 和 col100 是我的数据框中的累积特征。所以我想为每个累积特征添加一列，与上个月有所不同。所以我想要的数据框应该是这样的：

 0  col1 (id)    col2.   col2c   ….    col100     col100c  col101 (date)  …   col2000 (targeva)
 1      001         653.    653  ….    343.3       343.3    01-02-2017.   …            1
 2      001         673.    23   ….    387.3        44      01-03-2017.   …            0
 3      001         679.     6   ….    401.2        13.9    01-04-2017.   …            1
 4      001         685      6   ….    503.4       102.2    01-05-2017.   …            1
 5      002         343     343  ….    432.5       432.5    01-02-2017.   …            0
 6      002         479.    136  ….    455.3        23.2    01-03-2017.   …            0
 7       …             …         …     ….          …               ….            …            ..

现在，我这里有两个问题：1）如何自动识别具有 200 个特征的累积特征？以及如何为每个累积属性添加额外的功能（例如 col22c 和 col100c）？有谁知道我该如何处理？

4

1 回答 1

1

关于区分两列，您可以使用 pandas 内置diff()函数。diff()计算每个元素与前一个元素相比的差异。但请注意，由于第一个元素没有任何先前元素，结果中的第一个元素diff()将是NaN. 所以我们使用内置函数dropna()来删除所有NaN值。

但至于检测累积列，我认为没有任何办法。您可以找到始终增加（单调）的所有列，但这并不意味着它们必然是累积的。

无论如何，为了检测单调列，您可以先获取它们diff().dropna()，然后检查这些值是否为正：

df = some_data_frame
col_diff = df['some_column'].diff().dropna()
is_monotonic = all(col_diff > 0)

请注意，如果您忘记了dropna()， 的结果all(col_diff > 0)将始终是False（因为NaN是 Falsy 值）

于 2019-03-16T09:04:42.180 回答