17

我有一个由 DatetimeIndex 索引的 Pandas 数据框：

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 53732 entries, 1993-01-07 12:23:58 to 2012-12-02 20:06:23
Data columns:
Date(dd-mm-yy)_Time(hh-mm-ss)       53732  non-null values
Julian_Day                          53732  non-null values
AOT_870                             53732  non-null values
440-870Angstrom                     53732  non-null values
440-675Angstrom                     53732  non-null values
500-870Angstrom                     53732  non-null values
Last_Processing_Date(dd/mm/yyyy)    53732  non-null values
Solar_Zenith_Angle                  53732  non-null values
time                                53732  non-null values
dtypes: datetime64[ns](2), float64(6), object(1)

我想找到最接近某个时间的行：

image_time = dateutil.parser.parse('2009-07-28 13:39:02')

并找出它有多近。到目前为止，我已经尝试了各种基于从所有时间中减去我想要的时间并找到最小绝对值的想法，但似乎都没有奏效。

例如：

aeronet.index - image_time

给出了一个错误，我认为这是由于日期时间索引上的 +/- 发生了变化，所以我尝试将索引放入另一列，然后进行处理：

aeronet['time'] = aeronet.index
aeronet.time - image_time

这似乎可行，但要做我想做的事，我需要获得绝对时间差，而不是相对差。但是，只是运行abs或运行np.abs它会产生错误：

abs(aeronet.time - image_time)

C:\Python27\lib\site-packages\pandas\core\series.pyc in __repr__(self)
   1061         Yields Bytestring in Py2, Unicode String in py3.
   1062         """
-> 1063         return str(self)
   1064 
   1065     def _tidy_repr(self, max_vals=20):

C:\Python27\lib\site-packages\pandas\core\series.pyc in __str__(self)
   1021         if py3compat.PY3:
   1022             return self.__unicode__()
-> 1023         return self.__bytes__()
   1024 
   1025     def __bytes__(self):

C:\Python27\lib\site-packages\pandas\core\series.pyc in __bytes__(self)
   1031         """
   1032         encoding = com.get_option("display.encoding")
-> 1033         return self.__unicode__().encode(encoding, 'replace')
   1034 
   1035     def __unicode__(self):

C:\Python27\lib\site-packages\pandas\core\series.pyc in __unicode__(self)
   1044                     else get_option("display.max_rows"))
   1045         if len(self.index) > (max_rows or 1000):
-> 1046             result = self._tidy_repr(min(30, max_rows - 4))
   1047         elif len(self.index) > 0:
   1048             result = self._get_repr(print_header=True,

C:\Python27\lib\site-packages\pandas\core\series.pyc in _tidy_repr(self, max_vals)
   1069         """
   1070         num = max_vals // 2
-> 1071         head = self[:num]._get_repr(print_header=True, length=False,
   1072                                     name=False)
   1073         tail = self[-(max_vals - num):]._get_repr(print_header=False,

AttributeError: 'numpy.ndarray' object has no attribute '_get_repr'

我以正确的方式接近这个吗？如果是这样，我应该如何abs开始工作，以便我可以选择最小绝对时间差，从而获得最接近的时间。如果不是，那么使用 Pandas 时间序列的最佳方法是什么？

4

3 回答 3

19

这个简单的方法将返回最接近给定日期时间对象的 TimeSeriesIndex 条目的（整数索引）。无需将索引复制到常规列 - 只需使用该.to_pydatetime方法即可。

import numpy as np

i = np.argmin(np.abs(df.index.to_pydatetime() - image_time))

然后你只需使用 DataFrame 的.iloc索引器：

df.iloc[i]

这是一个执行此操作的函数：

def fcl(df, dtObj):
    return df.iloc[np.argmin(np.abs(df.index.to_pydatetime() - dtObj))]

然后，您可以进一步无缝过滤，例如

fcl(df, dtObj)['column']
于 2013-11-14T09:54:50.967 回答
7

我认为您可以尝试DatetimeIndex.asof查找包含输入的最新标签。然后使用返回的日期时间选择适当的行。如果您只需要特定列的值，Series.asof则存在并将上述两个步骤合并为一个。

这假设您想要最接近的日期时间。如果您不关心日期，只想每天都在同一时间，at_time请在 DataFrame 中使用。

跟进：

编辑：误报，我在本地有一个旧版本。master 上的最新版本应该与 np.abs 一起使用。

In [10]: np.abs(df.time - image_time)
Out[10]: 
0    27 days, 13:39:02
1    26 days, 13:39:02
2    25 days, 13:39:02
3    24 days, 13:39:02
4    23 days, 13:39:02
5    22 days, 13:39:02

也只是为了澄清：

aeronet.index - image_time 不起作用，因为对 Index 的减法是一个设定的差异（回到过去，Index 曾经被限制为唯一）。

于 2013-02-27T15:46:20.140 回答
1

我今天面临同样的问题。我想要一个能够在给定时间戳之前给我最接近的值的函数。这是我得到的功能：

def get_nearest_past(data, timestamp):
    index = data.index.get_loc(timestamp,"ffill")
    return data.iloc[index]

如果您需要全局最接近的（而不是像我之前最接近的），您可以使用：

def get_nearest(data, timestamp):
    index = data.index.get_loc(timestamp,"nearest")
    return data.iloc[index]

get_loc您可以在文档中找到更多信息。

于 2018-08-31T12:46:38.807 回答