0

我有几个 CSV 文件，其中包含来自多个传感器的测量值

s1.CSV：

date;hour;source;values
01/25/12;10:20:00;a; 88 -84 27
01/25/12;10:30:00;a; -80
01/25/12;10:50:00;b; -96 3 -88
01/25/12;09:00:00;b; -97 101
01/25/12;09:10:00;c; 28

s2.CSV：

date;hour;source;values
01/25/12;10:20:00;a; 133
01/25/12;10:25:00;a; -8 -5

我想按源（a/b/c）创建一个 CSV，其中每个度量在按日期和小时排序的分隔列中

一个.CSV：

date;hour;source;s1;s2
01/25/12;10:20:00;a; 88 -84 27; 133
01/25/12;10:25:00;a; ; -8 -5
01/25/12;10:30:00;a; -80;

...

我被困在这里：

import glob
import csv
import os
os.system('cls')

sources = dict()
sensor = 0

filelist = glob.glob("*.csv")

for f in filelist:
    reader = csv.DictReader(open(f),delimiter=";")
    for row in reader:
#       date = row['date'] # date later
        hour = row['hour']
        val = row['values']
        source = row['source']

        if not sources.has_key(source): # new source
            sources[source] = list()
#       
        sources[source].append({'hour':hour, 'sensor'+`sensor`:val})

    sensor+=1

我不确定数据结构是否好排序。我也喜欢重复列名。

4

2 回答 2

3

使用您提供的数据，我使用 Pandas 制作了一些东西。请看下面的代码。

授予的输出是非理想的，因为hour和source在列中重复。正如我也在学习的那样，我也欢迎任何专家就 Pandas 是否可以按照 OP 的要求提供意见！

In [1]: import pandas as pd

In [2]: s1 = pd.read_csv('s1.csv', delimiter=';', parse_dates=True)

In [3]: s1
Out[3]: 
       date      hour source      values
0  01/25/12  10:20:00      a   88 -84 27
1  01/25/12  10:30:00      a         -80
2  01/25/12  10:50:00      b   -96 3 -88
3  01/25/12  09:00:00      b     -97 101
4  01/25/12  09:10:00      c          28

In [4]: s2 = pd.read_csv('s2.csv', delimiter=';', parse_dates=True)

In [5]: s2
Out[5]: 
       date      hour source  values
0  01/25/12  10:20:00      a     133
1  01/25/12  10:25:00      a   -8 -5

In [6]: joined = s1.append(s2)

In [7]: joined
Out[7]: 
       date      hour source      values
0  01/25/12  10:20:00      a   88 -84 27
1  01/25/12  10:30:00      a         -80
2  01/25/12  10:50:00      b   -96 3 -88
3  01/25/12  09:00:00      b     -97 101
4  01/25/12  09:10:00      c          28
0  01/25/12  10:20:00      a         133
1  01/25/12  10:25:00      a       -8 -5

In [8]: grouped = joined.groupby('hour').sum() 

In [9]: grouped.to_csv('a.csv')

In [10]: grouped
Out[10]: 
                      date source          values
hour                                             
09:00:00          01/25/12      b         -97 101
09:10:00          01/25/12      c              28
10:20:00  01/25/1201/25/12     aa   88 -84 27 133
10:25:00          01/25/12      a           -8 -5
10:30:00          01/25/12      a             -80
10:50:00          01/25/12      b       -96 3 -88
于 2013-10-28T23:37:05.673 回答
2

如果我理解正确，您有多个文件，每个文件对应于一个给定的“传感器”，文件名中包含传感器的标识。您想读取文件，然后将它们再次写入单独的文件，这次除以“源”，来自不同传感器的数据组合成最后几行。

这就是我认为你想要做的事情：

  1. 读入数据，构建嵌套字典数据结构，如下：
  2. 顶级键将是源（例如'a'）。
  3. 第二级将由一个(date, time)元组作为键。
  4. 最内层将由传感器键入，取自文件名，并将实际传感器读数作为值。
  5. 您还想跟踪所有已看到的传感器。
  6. 要写出数据，您将遍历最外层字典的项目，为每个项目创建一个新的输出文件。
  7. 每个文件的行将通过排序下一个字典的键来确定。
  8. 每行的最后一个值将通过连接最里面的 dict 的值形成，为任何缺失值填充一个空字符串。

这是一些代码：

from collections import defaultdict
from datetime import datetime
import csv
import glob
import os

# data structure is data[source][date, time][sensor] = value, with "" as default value
data = defaultdict(lambda: defaultdict(lambda: defaultdict(str)))
sensors = []

filelist = glob.glob("*.csv")

# read old files
for fn in filelist:
    sensor = os.path.splitext(fn)[0]
    sensors.append(sensor)
    with open(fn, 'rb') as f:
        reader = csv.DictReader(f, delimiter=";")
        for row in reader:
            date = datetime.strptime(row['date'], '%m/%d/%y')
            data[row['source']][date, row['hour']][sensor] = row['values']

sensors.sort() # note, this may not give the best sort order
header = ['date', 'hour', 'source'] + sensors

for source, source_data in data.iteritems():
    fn = "{}.csv".format(source)
    with open(fn, 'wb') as f:
        writer = csv.writer(f, delimiter=";")
        writer.writerow(header)
        for (date, time), hour_data in sorted(source_data.items()):
            values = [hour_data[sensor] for sensor in sensors]
            writer.writerow([date.strftime('%m/%d/%y'), time, source] + values)

我只将日期字段转换为内部类型，否则基于日期的排序将无法正常工作（2013 年 1 月的日期将出现在 2012 年 2 月的日期之前）。将来，考虑使用 ISO 8601 样式的日期格式，YYYY-MM-DD可以安全地排序为字符串。其余值仅作为没有解释的字符串处理。

该代码假定sensor可以按字典顺序对值进行排序。如果您只有其中的几个，例如s1和，则很可能出现这种情况s2。但是，如果您有s10，它将在 之前排序s2。要解决这个问题，您需要一个“自然”排序，这比我在这里解决的要复杂（但请参阅这个最近的问题以获取更多信息）。

最后一个警告：如果您在同一个文件夹中多次运行此解决方案，它可能会做坏事。这是因为当您再次运行时，输出文件（例如）a.csv将被视为glob.glob('*.csv')输入文件。

于 2013-10-29T00:41:38.690 回答