2

我有一个不断增长的 csv 文件，如下所示：

143100, 2012-05-21 09:52:54.165852
125820, 2012-05-21 09:53:54.666780
109260, 2012-05-21 09:54:55.144712
116340, 2012-05-21 09:55:55.642197
125640, 2012-05-21 09:56:56.094999
122820, 2012-05-21 09:57:56.546567
124770, 2012-05-21 09:58:57.046050
103830, 2012-05-21 09:59:57.497299
114120, 2012-05-21 10:00:58.000978
-31549410, 2012-05-21 10:01:58.063470
90390, 2012-05-21 10:02:58.108794
81690, 2012-05-21 10:03:58.161329
80940, 2012-05-21 10:04:58.227664
102180, 2012-05-21 10:05:58.289882
99750, 2012-05-21 10:06:58.322063
87000, 2012-05-21 10:07:58.391256
92160, 2012-05-21 10:08:58.442438
80130, 2012-05-21 10:09:58.506494

当生成文件的服务出现 API 连接失败时，会出现负数。我已经在使用 matplotlib 来绘制数据，但是人为的负数极大地扭曲了图表。我想找到所有负面条目并删除相应的行。在任何时候，负数都不能真正代表任何真实数据。

在 Bash 我会做类似的事情：

awk '{print $1}' original.csv | sed '/-/d' > new.csv

但这很混乱，而且往往很慢，如果我能提供帮助，我真的不想在我的 python 图形脚本中嵌入 bash 命令。

谁能指出我正确的方向？

编辑：

这是我用来读取/绘制数据的代码：

import matplotlib
matplotlib.use('Agg')                                          
from matplotlib.mlab import csv2rec                           
import matplotlib.pyplot as plt                               
import matplotlib.dates as mdates                              
from pylab import *                                         

output_image_name='tpm.png'                   

data = csv2rec('counter.log', names=['packets', 'time'])   
rcParams['figure.figsize'] = 10, 5                              
rcParams['font.size'] = 8                                       

fig = plt.figure()                                              

plt.plot(data['packets'], data['time'])                      

ax = fig.add_subplot(111)                                       
ax.plot(data['time'], data['tweets'])                         
hours = mdates.HourLocator()                                    
fmt = mdates.DateFormatter('%D - %H:%M')                       
ax.xaxis.set_major_locator(hours)                               
ax.xaxis.set_major_formatter(fmt)                               

ax.grid()                                                

plt.ylabel("packets")                                         
plt.title("Packet Log: Packets Per Minute")         

fig.autofmt_xdate(bottom=0.2, rotation=90, ha='left')         

plt.savefig(output_image_name)
4

3 回答 3

8

Python 习惯用法是使用生成器表达式来过滤行：

sys.stdout.writelines(line for line in sys.stdin if not line.startswith('-'))

或者在处理上下文中：

filtered = (line for line in sys.stdin if not line.startswith('-'))
for line in filtered:
    # ...
于 2012-05-21T15:53:42.427 回答
1

我不会重写文件，而是在读取时过滤数据，即在绘图之前。

于 2012-05-21T15:58:11.547 回答
0

该程序打开您的 csv 文件，删除以负整数开头的行，并将其保存到不同的文件中。如果需要，您可以在同一个文件上稍作修改覆盖它。

with open('data.csv', 'r') as f:
    with open('data2.csv', 'w') as g:
        for row in f:
            if row[0] != '-':
                g.write(row)
于 2012-05-21T15:59:06.220 回答