0

我正在通过 .csv 文件对调查中收到的数据进行预处理。此列包含学生所学习的课程名称。由于这是由他们输入的，因此相同的课程名称有不同的拼写方式。例如：课程名称“BALLB”已被输入，如“Ballb”或“bal.lb”等。我尝试了最基本的蛮力方法，我能想到我在 if 语句中采用所有选项的位置和用通用的课程拼写替换它们，但我仍然得到大量的值，该程序无法将它们组合到其中一个语句中。有没有更快的方法将它们组合在一起？

def get_course_name(x):
if 'B.E' in x or 'B.E.' in x or 'BE' in x or 'B.E(cse)' in x or 'Bachelor Of Engineering' in x or 'BECSE' in x or 'Be' in x:
    return 'B.E.'
if 'L.L.B.' in x or 'Ballb(h)' in x or 'Ballb' in x:
    return 'B.A. LLB'
if 'B.Tech' in x or 'B.TECH' in x or 'B.tech' in x or 'B .Tech' in x or 'Btech' in x or 'BTech' in x or 'B-tech' in x or 'B.Tech.' in x or 'CSE' in x or 'Biotechnology' in x or 'Biotech' in x:
    return 'B. Tech' 
if 'B.pharmacy' in x or 'B. Pharmacy' in x or 'B pharma' in x or 'pharmacy' in x or 'B.Pharmacy' in x or 'M.pharmacy' in x or 'B.Pharm' in x or 'Pharma' in x or 'pharm' in x or 'Pharmacy' in x or 'B.pharma' in x or 'B-pharmacy' in x:
    return 'B. Pharma'
if 'BBA' in x or 'bba' in x:
    return 'BBA'
if 'MBA' in x or 'mba' in x or 'Mba' in x or 'MBA ' in x:
    return 'MBA'
if 'M.Tech' in x or 'M. Tech' in x or 'mtech' in x or 'm.tech' in x or 'M-tech' in x or 'Mtec-EE' in x:
    return 'M. Tech'
if 'MBBS' in x or 'mbbs' in x:
    return 'MBBS'
if 'B.Sc' in x or 'B. Sc' in x or 'Bsc.' in x or 'B.S.c' in x:
    return 'B. Science'
if 'msc' in x or 'M.Sc' in x or 'M. Sc' in x or 'Msc' in x or 'MSc' in x or 'm.sc' in x:
    return 'M. Science'
return 'misc'

这就是我调用函数来获取每门课程的价值计数的地方：

df1['Course Name'] = df1['Course Name'].apply(get_course_name)
df1['Course Name'].value_counts()

这就是数据框的样子

我要分组的列称为“课程名称”。

4

2 回答 2

0

像这样的东西怎么样？：

course_key_to_id = {
    'msc': 'M. Science',
    'bba': 'BBA',
    # + the rest lower case without punctuation: normalized name
}

def get_course_name(course_name):
    course_name = course_name.replace('.', '').replace(' ', '').lower()
    return course_key_to_id.get(course_name)


if __name__ == '__main__':
    for t in ['M. Sc', 'Msc', 'MSc']:
        print(get_course_name(t))

输出

M. Science
M. Science
M. Science

您还可以使用正则表达式替换所有非字母数字字符，如下所示：

  course_name = re.sub("[^0-9a-zA-Z]+", "", course_name).lower()
于 2021-05-02T16:36:48.493 回答
0

让我们尝试构建一个映射器：

import pandas as pd

src_df = pd.DataFrame({'Course Name': ['B.E.', 'ME CSE', 'English Literature',
                                       'Bsc. Economics Honrs.', 'BSC nursing'],
                       'Course Year': ['Fourth', 'Second', 'First',
                                       'Second', "Fourth"]})

# Define Aliases Here (Desired Format on Left, Options on Right)
aliases = {
    'B.E.': ['B.E', 'B.E.', 'BE', 'B.E(cse)',
             'Bachelor Of Engineering', 'BECSE', 'Be'],
    'B. Science': ['B.Sc', 'B. Sc', 'Bsc.', 'B.S.c']
}

# Generate Mapper from aliases
mapper = {alias: new_code for new_code, lst in aliases.items() for alias in lst}

# Apply Mapper to every Course Name
src_df['Course Name'] = src_df['Course Name'] \
    .apply(lambda x: pd.Series(map(mapper.get,
                                   filter(lambda v: v in x, mapper)))) \
    .fillna('misc')

# For Display
print(src_df.to_string())

输出：

  课程名称 课程年份
0 BE 第四
1 杂项秒
2 杂项第一
3 B. 科学第二
4 杂项第四

mapper = {alias: new_code for new_code, lst in aliases.items() for alias in lst}

根据aliases上面定义的构建字典。该aliases列表就在那里，因为它比映射器更具可读性。

映射器：

{'B.E': 'B.E.', 'B.E.': 'B.E.',
 'BE': 'B.E.', 'B.E(cse)': 'B.E.',
 'Bachelor Of Engineering': 'B.E.',
 'BECSE': 'B.E.', 'Be': 'B.E.',
 'B.Sc': 'B. Science',
 'B. Sc': 'B. Science', 'Bsc.': 'B. Science',
 'B.S.c': 'B. Science'}

*注意映射器假定所有别名都是唯一的，并且没有一个别名用于多种情况。

在此之后，测试每个课程名称以查看字符串是否包含在字典中

（参考Python：检查字典中的键是否包含在字符串中）：

src_df['Course Name'] = src_df['Course Name'] \
    .apply(lambda x: pd.Series(map(mapper.get,
                                   filter(lambda v: v in x, mapper))))
print(src_df)

src_df：

  课程名称 课程年份
0 BE 第四
1 NaN 秒
2 NaN 优先
3 B. 科学第二
4 NaN 第四

然后返回并填写默认情况：

.fillna('misc')

这将用默认值'misc'替换未映射的行

于 2021-05-02T17:34:06.097 回答