131

您可以使用该函数tz_localize使 Timestamp 或 DateTimeIndex 时区感知，但您如何做相反的事情：如何将时区感知 Timestamp 转换为幼稚时间戳，同时保留其时区？

一个例子：

In [82]: t = pd.date_range(start="2013-05-18 12:00:00", periods=10, freq='s', tz="Europe/Brussels")

In [83]: t
Out[83]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2013-05-18 12:00:00, ..., 2013-05-18 12:00:09]
Length: 10, Freq: S, Timezone: Europe/Brussels

我可以通过将时区设置为无来删除时区，但随后结果将转换为 UTC（12 点变为 10）：

In [86]: t.tz = None

In [87]: t
Out[87]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2013-05-18 10:00:00, ..., 2013-05-18 10:00:09]
Length: 10, Freq: S, Timezone: None

有没有另一种方法可以将 DateTimeIndex 转换为天真时区，但同时保留它设置的时区？

关于我提出这个问题的原因的一些背景信息：我想使用时区天真的时间序列（以避免时区的额外麻烦，并且在我正在处理的情况下我不需要它们）。
但由于某种原因，我必须在我的本地时区（欧洲/布鲁塞尔）处理一个时区感知时间序列。由于我的所有其他数据都是时区幼稚的（但以我的本地时区表示），我想将此时间序列转换为幼稚以进一步使用它，但它也必须以我的本地时区表示（所以只需删除时区信息，无需将用户可见时间转换为 UTC）。

我知道时间实际上是内部存储为 UTC 并且仅在您表示它时转换为另一个时区，因此当我想“去本地化”它时必须进行某种转换。例如，使用 python datetime 模块，您可以像这样“删除”时区：

In [119]: d = pd.Timestamp("2013-05-18 12:00:00", tz="Europe/Brussels")

In [120]: d
Out[120]: <Timestamp: 2013-05-18 12:00:00+0200 CEST, tz=Europe/Brussels>

In [121]: d.replace(tzinfo=None)
Out[121]: <Timestamp: 2013-05-18 12:00:00>

因此，基于此，我可以执行以下操作，但我认为在处理更大的时间序列时这不会很有效：

In [124]: t
Out[124]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2013-05-18 12:00:00, ..., 2013-05-18 12:00:09]
Length: 10, Freq: S, Timezone: Europe/Brussels

In [125]: pd.DatetimeIndex([i.replace(tzinfo=None) for i in t])
Out[125]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2013-05-18 12:00:00, ..., 2013-05-18 12:00:09]
Length: 10, Freq: None, Timezone: None
4

9 回答 9

161

为了回答我自己的问题，此功能已同时添加到 pandas 中。从pandas 0.15.0开始，您可以使用tz_localize(None)删除导致本地时间的时区。
查看 whatsnew 条目： http: //pandas.pydata.org/pandas-docs/stable/whatsnew.html#timezone-handling-improvements

因此，以我上面的示例为例：

In [4]: t = pd.date_range(start="2013-05-18 12:00:00", periods=2, freq='H',
                          tz= "Europe/Brussels")

In [5]: t
Out[5]: DatetimeIndex(['2013-05-18 12:00:00+02:00', '2013-05-18 13:00:00+02:00'],
                       dtype='datetime64[ns, Europe/Brussels]', freq='H')

usingtz_localize(None)删除导致本地时间幼稚的时区信息：

In [6]: t.tz_localize(None)
Out[6]: DatetimeIndex(['2013-05-18 12:00:00', '2013-05-18 13:00:00'], 
                      dtype='datetime64[ns]', freq='H')

此外，您还可以使用tz_convert(None)删除时区信息但转换为 UTC，从而产生天真的 UTC 时间：

In [7]: t.tz_convert(None)
Out[7]: DatetimeIndex(['2013-05-18 10:00:00', '2013-05-18 11:00:00'], 
                      dtype='datetime64[ns]', freq='H')

这比解决方案性能datetime.replace要高得多：

In [31]: t = pd.date_range(start="2013-05-18 12:00:00", periods=10000, freq='H',
                           tz="Europe/Brussels")

In [32]: %timeit t.tz_localize(None)
1000 loops, best of 3: 233 µs per loop

In [33]: %timeit pd.DatetimeIndex([i.replace(tzinfo=None) for i in t])
10 loops, best of 3: 99.7 ms per loop
于 2016-01-08T22:57:13.760 回答
36

因为我总是难以记住，所以快速总结一下它们的作用：

>>> pd.Timestamp.now()  # naive local time
Timestamp('2019-10-07 10:30:19.428748')

>>> pd.Timestamp.utcnow()  # tz aware UTC
Timestamp('2019-10-07 08:30:19.428748+0000', tz='UTC')

>>> pd.Timestamp.now(tz='Europe/Brussels')  # tz aware local time
Timestamp('2019-10-07 10:30:19.428748+0200', tz='Europe/Brussels')

>>> pd.Timestamp.now(tz='Europe/Brussels').tz_localize(None)  # naive local time
Timestamp('2019-10-07 10:30:19.428748')

>>> pd.Timestamp.now(tz='Europe/Brussels').tz_convert(None)  # naive UTC
Timestamp('2019-10-07 08:30:19.428748')

>>> pd.Timestamp.utcnow().tz_localize(None)  # naive UTC
Timestamp('2019-10-07 08:30:19.428748')

>>> pd.Timestamp.utcnow().tz_convert(None)  # naive UTC
Timestamp('2019-10-07 08:30:19.428748')
于 2019-10-07T08:42:42.730 回答
16

我认为您无法以比您建议的更有效的方式实现您想要的。

潜在的问题是时间戳（如您所见）由两部分组成。表示 UTC 时间和时区 tz_info 的数据。时区信息仅在将时区打印到屏幕时用于显示目的。在显示时，数据被适当地偏移，+01:00（或类似的）被添加到字符串中。剥离 tz_info 值（使用 tz_convert(tz=None)）实际上并不会更改表示时间戳的原始部分的数据。

所以，做你想做的唯一方法是修改底层数据（熊猫不允许这样做...... DatetimeIndex 是不可变的 - 请参阅 DatetimeIndex 的帮助），或者创建一组新的时间戳对象并包装它们在新的 DatetimeIndex 中。您的解决方案是后者：

pd.DatetimeIndex([i.replace(tzinfo=None) for i in t])

作为参考，这里是（见tslib.pyx）的replace方法：Timestamp

def replace(self, **kwds):
    return Timestamp(datetime.replace(self, **kwds),
                     offset=self.offset)

您可以参考文档datetime.datetime以查看它datetime.datetime.replace也创建了一个新对象。

如果可以的话，提高效率的最佳选择是修改数据源，以便它（错误地）报告没有时区的时间戳。你提到：

我想使用时区天真的时间序列（以避免时区的额外麻烦，我不需要它们来处理我正在处理的情况）

我很好奇你指的是什么额外的麻烦。我建议作为所有软件开发的一般规则，将时间戳保持在 UTC 中。没有比查看两个不同的 int64 值想知道它们属于哪个时区更糟糕的了。如果您始终、始终、始终使用 UTC 作为内部存储，那么您将避免无数麻烦。我的口头禅是Timezones are for human I/O only。

于 2013-06-10T15:30:34.097 回答
9

当系列中有多个不同的时区时，可接受的解决方案不起作用。它抛出ValueError: Tz-aware datetime.datetime cannot be converted to datetime64 unless utc=True

解决方法是使用apply方法。

请参阅以下示例：

# Let's have a series `a` with different multiple timezones. 
> a
0    2019-10-04 16:30:00+02:00
1    2019-10-07 16:00:00-04:00
2    2019-09-24 08:30:00-07:00
Name: localized, dtype: object

> a.iloc[0]
Timestamp('2019-10-04 16:30:00+0200', tz='Europe/Amsterdam')

# trying the accepted solution
> a.dt.tz_localize(None)
ValueError: Tz-aware datetime.datetime cannot be converted to datetime64 unless utc=True

# Make it tz-naive. This is the solution:
> a.apply(lambda x:x.tz_localize(None))
0   2019-10-04 16:30:00
1   2019-10-07 16:00:00
2   2019-09-24 08:30:00
Name: localized, dtype: datetime64[ns]

# a.tz_convert() also does not work with multiple timezones, but this works:
> a.apply(lambda x:x.tz_convert('America/Los_Angeles'))
0   2019-10-04 07:30:00-07:00
1   2019-10-07 13:00:00-07:00
2   2019-09-24 08:30:00-07:00
Name: localized, dtype: datetime64[ns, America/Los_Angeles]
于 2019-12-05T23:32:45.853 回答
8

显式设置tz索引的属性似乎有效：

ts_utc = ts.tz_convert("UTC")
ts_utc.index.tz = None
于 2014-02-25T14:30:08.510 回答
3

基于 DA 的建议“做你想做的事情的唯一方法是修改基础数据”并使用 numpy 修改基础数据......

这对我有用，而且速度非常快：

def tz_to_naive(datetime_index):
    """Converts a tz-aware DatetimeIndex into a tz-naive DatetimeIndex,
    effectively baking the timezone into the internal representation.

    Parameters
    ----------
    datetime_index : pandas.DatetimeIndex, tz-aware

    Returns
    -------
    pandas.DatetimeIndex, tz-naive
    """
    # Calculate timezone offset relative to UTC
    timestamp = datetime_index[0]
    tz_offset = (timestamp.replace(tzinfo=None) - 
                 timestamp.tz_convert('UTC').replace(tzinfo=None))
    tz_offset_td64 = np.timedelta64(tz_offset)

    # Now convert to naive DatetimeIndex
    return pd.DatetimeIndex(datetime_index.values + tz_offset_td64)
于 2013-12-19T21:12:46.667 回答
3

迟到的贡献，但只是在 Python datetime 中遇到了类似的东西，pandas 为同一 date 给出了不同的时间戳。

如果您在 中具有时区感知日期时间pandas，从技术上讲，tz_localize(None)更改 POSIX 时间戳（内部使用），就好像时间戳中的本地时间是 UTC 一样。 在这种情况下，本地是指指定时区的本地。前任：

import pandas as pd

t = pd.date_range(start="2013-05-18 12:00:00", periods=2, freq='H', tz="US/Central")
# DatetimeIndex(['2013-05-18 12:00:00-05:00', '2013-05-18 13:00:00-05:00'], dtype='datetime64[ns, US/Central]', freq='H')

t_loc = t.tz_localize(None)
# DatetimeIndex(['2013-05-18 12:00:00', '2013-05-18 13:00:00'], dtype='datetime64[ns]', freq='H')

# offset in seconds according to timezone:
(t_loc.values-t.values)//1e9
# array([-18000, -18000], dtype='timedelta64[ns]')

请注意，这会使您在 DST 过渡期间遇到奇怪的事情，例如

t = pd.date_range(start="2020-03-08 01:00:00", periods=2, freq='H', tz="US/Central")
(t.values[1]-t.values[0])//1e9
# numpy.timedelta64(3600,'ns')

t_loc = t.tz_localize(None)
(t_loc.values[1]-t_loc.values[0])//1e9
# numpy.timedelta64(7200,'ns')

相反，tz_convert(None)不修改内部时间戳，它只是删除tzinfo.

t_utc = t.tz_convert(None)
(t_utc.values-t.values)//1e9
# array([0, 0], dtype='timedelta64[ns]')

我的底线是：如果您可以或仅使用t.tz_convert(None)不修改底层 POSIX 时间戳的日期时间，请坚持使用时区感知日期时间。请记住，那时您实际上是在使用 UTC。

（Windows 10 上的 Python 3.8.2 x64，pandasv1.0.5。）

于 2020-06-30T11:54:59.107 回答
0

我如何在欧洲使用 15 分钟的频率日期时间索引来处理这个问题。

如果您处于具有时区感知（Europe/Amsterdam在我的情况下）索引并希望通过将所有内容转换为本地时间将其转换为时区朴素索引的情况，您将遇到 dst 问题，即

  • 3 月的最后一个星期日（欧洲切换到夏令时）将少 1 小时
  • 10 月的最后一个星期日将有 1 小时重复（当欧洲切换到夏令时）

以下是您可以如何处理它：

# make index tz naive
df.index = df.index.tz_localize(None)

# handle dst
if df.index[0].month == 3:
    # last sunday of march, one hour is lost
    df = df.resample("15min").pad()

if df.index[0].month == 10:
    # in october, one hour is added
    df = df[~df.index.duplicated(keep='last')]

df注意：就我而言，我在仅包含一个月的情况下运行上述代码，因此我会df.index[0].month找出月份。如果您的月份包含更多月份，您可能应该以不同的方式对其进行索引以了解何时执行 DST。

它包括从 3 月份的最后一个有效值重新采样，以避免丢失 1 小时（在我的情况下，我的所有数据都以 15 分钟的间隔进行，因此我像这样重新采样。无论您的间隔是什么，都重新采样）。而对于 10 月份，我会删除重复项。

于 2021-11-20T11:05:47.347 回答
0

最重要的是tzinfo在定义日期时间对象时添加。

from datetime import datetime, timezone
from tzinfo_examples import HOUR, Eastern
u0 = datetime(2016, 3, 13, 5, tzinfo=timezone.utc)
for i in range(4):
     u = u0 + i*HOUR
     t = u.astimezone(Eastern)
     print(u.time(), 'UTC =', t.time(), t.tzname())
于 2019-02-26T21:45:56.253 回答