2

我尝试导入 csv 并处理错误值，例如错误的十进制分隔符或 int/double 列中的字符串。我使用转换器来修复错误。对于数字列中的字符串，用户会看到一个输入框，他必须在其中修复值。是否可以获得实际“导入”的列名和/或行？如果没有，有没有更好的方法来做同样的事情？

example csv:
------------
description;elevation
point a;-10
point b;10,0
point c;35.5
point d;30x


from PyQt4 import QtGui
import numpy
from pandas import read_csv

def fixFloat(x):
    # return x as float if possible
    try:
        return float(x)
    except:
        # if not, test if there is a , inside, replace it with a . and return it as float
        try:
            return float(x.replace(",", "."))
        except:
            changedValue, ok = QtGui.QInputDialog.getText(None, 'Fehlerhafter Wert', 'Bitte korrigieren sie den fehlerhaften Wert:', text=x)
            if ok:
                return self.fixFloat(changedValue)
            else:
                return -9999999999

def fixEmptyStrings(s):
    if s == '':
        return None
    else:
        return s

converters = {
    'description': fixEmptyStrings,
    'elevation': fixFloat
}

dtypes = {
    'description': object,
    'elevation': numpy.float64
}

csvData = read_csv('/tmp/csv.txt',
    error_bad_lines=True,
    dtype=dtypes,
    converters=converters
)
4

2 回答 2

0

我会在这里采取不同的方法。
而不是在 read_csv 时间，我会天真地阅读 csv，然后修复/转换为浮点数：

In [11]: df = pd.read_csv(csv_file, sep=';')

In [12]: df['elevation']
Out[12]:
0     -10
1    10,0
2    35.5
3     30x
Name: elevation, dtype: object

现在只需遍历此列：

In [13]: df['elevation'] = df['elevation'].apply(fixFloat)

这将使推理代码变得更加容易（您将函数应用到哪些列，如何访问其他列等）。

于 2014-06-16T01:21:01.317 回答
0

如果你想遍历它们，内置csv.DictReader非常方便。我写了这个函数：

import csv
def read_points(csv_file):

    point_names, elevations = [], []
    message = (
        "Found bad data for {0}'s row: {1}. Type new data to use "
        "for this value: "
    )

    with open(csv_file, 'r') as open_csv:
         r = csv.DictReader(open_csv, delimiter=";")
         for row in r:
             tmp_point = row.get("description", "some_default_name")
             tmp_elevation = row.get("elevation", "some_default_elevation")

             point_names.append(tmp_point)            
             try:
                 tmp_elevation = float(tmp_elevation.replace(',', '.'))
             except:
                 while True:
                     user_val = raw_input(message.format(tmp_point, 
                                                         tmp_elevation))

                     try:
                         tmp_elevation = float(user_val)
                         break
                     except:
                         tmp_elevation = user_val

             elevations.append(tmp_elevation)                

    return pandas.DataFrame({"Point":point_names, "Elevation":elevations})

对于四行测试文件，它给了我以下内容：

In [41]: read_points("/home/ely/tmp.txt")
Found bad data for point d's row: 30x. Type new data to use for this value: 30
Out[41]: 
   Elevation    Point
0      -10.0  point a
1       10.0  point b
2       35.5  point c
3       30.0  point d

[4 rows x 2 columns]

显示一个完整的 QT 对话框对于这个任务来说似乎有点过分了。为什么不只是命令提示符？如果您希望它更具可定制性，您还可以添加更多转换函数并将分隔符等一些内容更改为关键字参数。

一个问题是有多少数据需要迭代。如果数据量很大，这将是耗时且乏味的。在这种情况下，您可能只想丢弃像“30x”这样的观察结果，或者将它们的点 ID 名称写入其他文件，这样您就可以返回并在 Emacs 或 VIM 等操作大片区域的东西中一举处理它们文本一次会更容易。

于 2014-06-15T21:23:00.227 回答