3

我是数据科学的新手，目前我正在进一步探索。我有超过 600,000 列的数据集，我目前正在清理并检查它是否存在不一致或异常值。我遇到了一个我不知道如何解决的问题。我有一些解决方案，但我不确定如何使用 pandas。

我已将某些列的数据类型从 object 转换为 int。我没有收到任何错误，并检查了它是否在 int 中。我检查了一列的值以检查事实数据。这涉及年龄，我收到一个错误，说我的列有一个字符串。所以我用这个方法检查了它：

print('if there is string in numeric column',np.any([isinstance(val, str) for val in homicide_df['Perpetrator Age']])

现在，我想仅在具有字符串数据类型的列上打印所有索引及其值和类型。

目前我想出了这个工作正常的解决方案：

def check_type(homicide_df):
    for age in homicide_df['Perpetrator Age']:
        if type(age) is str:
            print(age, type(age))
check_type(homicide_df)

以下是我的一些问题：

  1. 有没有熊猫的方式来做同样的事情？
  2. 我应该如何将这些元素转换为 int？
  3. 为什么列上的某些元素没有转换为 int？

我将不胜感激任何帮助。非常感谢

4

1 回答 1

3

您可以使用iteritems：

def check_type(homicide_df):
    for i, age in homicide_df['Perpetrator Age'].iteritems():
        if type(age) is str:
            print(i, age, type(age))

homicide_df = pd.DataFrame({'Perpetrator Age':[10, '15', 'aa']})
print (homicide_df)
  Perpetrator Age
0              10
1              15
2              aa


def check_type(homicide_df):
    for i, age in homicide_df['Perpetrator Age'].iteritems():
        if type(age) is str:
            print(i, age, type(age))

check_type(homicide_df)
1 15 <class 'str'>
2 aa <class 'str'>

如果值是混合的 - 数字与非数字，更好的是检查：

def check_type(homicide_df):
    return homicide_df.loc[homicide_df['Perpetrator Age'].apply(type)==str,'Perpetrator Age']

print  (check_type(homicide_df))
1    15
2    aa
Name: Perpetrator Age, dtype: object

如果所有值都是数字，但所有types 都是str：

print ((homicide_df['Perpetrator Age'].apply(type)==str).all())
True

homicide_df = pd.DataFrame({'Perpetrator Age':['10', '15']})

homicide_df['Perpetrator Age'] = homicide_df['Perpetrator Age'].astype(int)
print (homicide_df)

   Perpetrator Age
0               10
1               15

print (homicide_df['Perpetrator Age'].dtypes)
int32

但是，如果一些带有字符串的数字：

转换为int的解决方案，将to_numeric非数值替换为NaN. 然后有必要替换NaN为一些类似的数字0并最后转换为int：

homicide_df = pd.DataFrame({'Perpetrator Age':[10, '15', 'aa']})

homicide_df['Perpetrator Age']=pd.to_numeric(homicide_df['Perpetrator Age'], errors='coerce')
print (homicide_df)
   Perpetrator Age
0             10.0
1             15.0
2              NaN

homicide_df['Perpetrator Age'] = homicide_df['Perpetrator Age'].fillna(0).astype(int)
print (homicide_df)
   Perpetrator Age
0               10
1               15
2                0
于 2017-05-22T07:09:33.253 回答