1

我有一个 csv 文件，排列如下：

Person,Date1,Date2,Status
Person1,12/10/11,17/10/11,Done
...

我想对其执行各种操作，首先将其拉入 Python 并将日期字符串转换为 datetime.datetime 对象。我有以下代码：

import re
import numpy as np
from datetime import datetime, timedelta
from dateutil import rrule

def get_data(csv_file = '/home/garry/Desktop/complaints/input.csv'):
    inp = np.genfromtxt(csv_file,
        delimiter=',',
        filling_values = None,
        dtype = None)

    date = re.compile(r'\d+/\d+/\d+')
    count = 0
    item_count = 0

    for line in inp:
        for item in line:
            if re.match(date, item):
                item = datetime.strptime(item, '%d/%m/%y')
                inp[count][item_count] = item
                item_count += 1
            else:
                item_count += 1
        item_count = 0
        count += 1

    return inp

def get_teams(data):
    team_list = []
    for line in data:
        if line[0] not in team_list:
            team_list.append(line[0])
        else:
            pass
    del team_list[0]
    return team_list

def get_months():
    month_list = []
    months = [1,2,3,4,5,6,7,8,9,10,11,12]
    now = datetime.now()
    start_month = now.month - 7
    for count in range(0,7):
        if months[start_month] > now.month:
            year = now.year - 1
        else:
            year = now.year
        month_list.append([months[start_month], year])
        start_month += 1
    return month_list

if __name__ == "__main__":
    inp = get_data()
    for item in inp[2]:
        print type(item)
    team_list = get_teams(inp)
    month_list = get_months()

main 方法中的 print 语句（插入用于调试）返回：

<type 'numpy.string_'>
<type 'numpy.string_'>
<type 'numpy.string_'>
<type 'numpy.string_'>

这显然不是我所希望的，因为 get_data() 函数中的循环应该将日期字符串更改为 datetime.datetime 对象。当我在单个日期字符串上运行与循环中相同的代码作为测试时，它们会很好地转换类型。在上面的代码中，它们也在某种意义上起作用，因为字符串确实更改为 datetime.datetime 格式——它们只是不是正确的类型。谁能看到我在这里做错了什么？

4

2 回答 2

2

问题是numpy数组的类型是固定的。Numpy 将数据存储在固定大小的连续内存块中，因此当您将值分配给numpy数组中的索引时，numpy会在将其存储到数组之前对其进行转换。即使使用字符串数组，它也会这样做。例如：

>>> a = numpy.array(['xxxxxxxxxx'] * 10)
>>> for index, datum in enumerate(a):
...     print datum, a[index], type(a[index])
...     a[index] = 5
...     print datum, a[index], type(a[index])
... 
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>
xxxxxxxxxx xxxxxxxxxx <type 'numpy.string_'>
xxxxxxxxxx 5 <type 'numpy.string_'>

可以方便地（或不！）datetime.datetime使用 转换对象str，所以在这一行中......

inp[count][item_count] = item

...numpy只需将项目转换为字符串并将其插入数组中。

现在，您可以使用dtype=object. 但是这样做会抵消很多速度numpy，因为您被迫numpy调用一堆慢速python代码。

>>> a = numpy.array(['xxxxxxxxxx'] * 10, dtype=object)
>>> for index, datum in enumerate(a):
...     print datum, a[index], type(a[index])
...     a[index] = 5
...     print datum, a[index], type(a[index])
... 
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>
xxxxxxxxxx xxxxxxxxxx <type 'str'>
xxxxxxxxxx 5 <type 'int'>

我要补充一点，你没有numpy在这里充分发挥它的潜力。Numpy 旨在以矢量化方式处理数组，无需显式for循环。（有关详细信息，请参阅教程。）因此，每当您使用for循环来处理 时numpy，很自然地会问您如何避免这样做。我不会指出您的代码存在的问题，而是向您展示您可以做的一件有趣的事情：

>>> numpy.genfromtxt('input.csv', delimiter=',', dtype=None, names=True)
array([('Person1', '12/10/11', '17/10/11', 'Done'),
       ('Person1', '12/10/11', '17/10/11', 'Done'),
       ('Person1', '12/10/11', '17/10/11', 'Done'),
       ('Person1', '12/10/11', '17/10/11', 'Done'),
       ('Person1', '12/10/11', '17/10/11', 'Done'),
       ('Person1', '12/10/11', '17/10/11', 'Done')], 
      dtype=[('Person', '|S7'), ('Date1', '|S8'), 
             ('Date2', '|S8'), ('Status', '|S4')])
>>> a = numpy.genfromtxt('input.csv', delimiter=',', dtype=None, names=True)
>>> a['Status']
array(['Done', 'Done', 'Done', 'Done', 'Done', 'Done'], 
      dtype='|S4')
>>> a['Date1']
array(['12/10/11', '12/10/11', '12/10/11', '12/10/11', '12/10/11',
       '12/10/11'], 
      dtype='|S8')

现在，您可以直接访问日期，而不是使用正则表达式循环遍历表格。

于 2012-08-19T18:27:15.893 回答
1

问题是inp您定义的get_data数组"|S8从np.genfromtxt. 如果您尝试将其中一个元素替换为另一个对象，则该对象将转换为字符串。

第一个想法是转换inp成一个列表，其中inp.tolist(). 这样，您可以根据需要更改每个单独字段的类型。但有更好的（我认为）：

根据您的示例，第二列和第三列始终是日期，对吗？然后，您可以立即将字符串转换为datetime对象np.genfromtxt

np.genfromtxt(csv_file,
              delimiter=",",
              dtype=None,
              names=True,
              converters={1:lambda d:datetime.strptime(d,"%d/%m/%y"),
                          2:lambda d:datetime.strptime(d,"%d/%m/%y")})

这names=True意味着您将获得结构化ndarray的输出，其中的字段取自第一个非注释行（此处为 your Person,Date1,Date2,Status）。正如您猜到的converters那样，关键字会将字符串从第 2 列和第 3 列转换为datetime对象。

请注意，如果您已经知道您的第一列和最后一列是字符串，您可能希望使用dtypeNone:np.genfromtxt如果它不必猜测每列的类型，则工作速度更快。

现在，另一个评论：

  • 而不是在for循环中保留一个计数器，而是使用类似的东西for (i, item) in enumerate(whatever)，它更简单。
于 2012-08-19T18:39:14.980 回答