158

我试图在 Python 中重现我的 Stata 代码,我被指向了 Pandas 的方向。然而,我很难思考如何处理数据。

假设我想遍历列标题“ID”中的所有值。如果该 ID 与特定数字匹配,那么我想更改两个对应的值 FirstName 和 LastName。

在 Stata 中,它看起来像这样:

replace FirstName = "Matt" if ID==103
replace LastName =  "Jones" if ID==103

因此,这会将 FirstName 中与 ID == 103 的值对应的所有值替换为 Matt。

在熊猫中,我正在尝试这样的事情

df = read_csv("test.csv")
for i in df['ID']:
    if i ==103:
          ...

不知道从这里去哪里。有任何想法吗?

4

7 回答 7

269

一种选择是使用 Python 的切片和索引功能以逻辑方式评估条件所在的位置并覆盖那里的数据。

假设您可以直接将数据加载到pandas其中,pandas.read_csv那么以下代码可能对您有所帮助。

import pandas
df = pandas.read_csv("test.csv")
df.loc[df.ID == 103, 'FirstName'] = "Matt"
df.loc[df.ID == 103, 'LastName'] = "Jones"

如评论中所述,您还可以一次性对两列进行分配:

df.loc[df.ID == 103, ['FirstName', 'LastName']] = 'Matt', 'Jones'

请注意,您需要pandas0.11 或更高版本才能使用loc覆盖分配操作。


另一种方法是使用所谓的链式赋值。这种行为不太稳定,因此它不被认为是最佳解决方案(在文档中明确不鼓励),但了解以下内容很有用:

import pandas
df = pandas.read_csv("test.csv")
df['FirstName'][df.ID == 103] = "Matt"
df['LastName'][df.ID == 103] = "Jones"
于 2013-10-07T13:48:43.980 回答
46

您可以使用map,它可以从字典甚至自定义函数映射 vales。

假设这是你的 df:

    ID First_Name Last_Name
0  103          a         b
1  104          c         d

创建字典:

fnames = {103: "Matt", 104: "Mr"}
lnames = {103: "Jones", 104: "X"}

和地图:

df['First_Name'] = df['ID'].map(fnames)
df['Last_Name'] = df['ID'].map(lnames)

结果将是:

    ID First_Name Last_Name
0  103       Matt     Jones
1  104         Mr         X

或者使用自定义函数:

names = {103: ("Matt", "Jones"), 104: ("Mr", "X")}
df['First_Name'] = df['ID'].map(lambda x: names[x][0])
于 2013-10-07T13:54:34.780 回答
26

最初的问题解决了一个特定的狭窄用例。对于那些需要更通用答案的人,这里有一些示例:

使用来自其他列的数据创建新列

鉴于以下数据框:

import pandas as pd
import numpy as np

df = pd.DataFrame([['dog', 'hound', 5],
                   ['cat', 'ragdoll', 1]],
                  columns=['animal', 'type', 'age'])

In[1]:
Out[1]:
  animal     type  age
----------------------
0    dog    hound    5
1    cat  ragdoll    1

下面我们通过使用系列覆盖description的操作添加一个新列作为其他列的串联。+花哨的字符串格式,f-strings等在这里不起作用,因为它+适用于标量而不是“原始”值:

df['description'] = 'A ' + df.age.astype(str) + ' years old ' \
                    + df.type + ' ' + df.animal

In [2]: df
Out[2]:
  animal     type  age                description
-------------------------------------------------
0    dog    hound    5    A 5 years old hound dog
1    cat  ragdoll    1  A 1 years old ragdoll cat

我们得到1 yearscat (而不是1 year),我们将在下面使用条件来修复它。

使用条件修改现有列

在这里,我们将原始animal列替换为其他列中的值,并np.where用于根据 的值设置条件子字符串age

# append 's' to 'age' if it's greater than 1
df.animal = df.animal + ", " + df.type + ", " + \
    df.age.astype(str) + " year" + np.where(df.age > 1, 's', '')

In [3]: df
Out[3]:
                 animal     type  age
-------------------------------------
0   dog, hound, 5 years    hound    5
1  cat, ragdoll, 1 year  ragdoll    1

使用条件修改多个列

一种更灵活的方法是调用.apply()整个数据框而不是单个列:

def transform_row(r):
    r.animal = 'wild ' + r.type
    r.type = r.animal + ' creature'
    r.age = "{} year{}".format(r.age, r.age > 1 and 's' or '')
    return r

df.apply(transform_row, axis=1)

In[4]:
Out[4]:
         animal            type      age
----------------------------------------
0    wild hound    dog creature  5 years
1  wild ragdoll    cat creature   1 year

在上面的代码中,transform_row(r)函数接受一个Series表示给定行的对象(用 表示axis=1,默认值将为每一列axis=0提供一个对象)。Series这简化了处理,因为我们可以使用列名访问行中的实际“原始”值,并且可以看到给定行/列中的其他单元格。

于 2018-06-10T00:49:13.077 回答
14

这个问题可能仍然经常被访问,因此值得为卡西斯先生的回答提供一个附录。可以对dict内置类进行子分类,以便为“缺失”键返回默认值。这种机制适用于 pandas。但见下文。

这样可以避免关键错误。

>>> import pandas as pd
>>> data = { 'ID': [ 101, 201, 301, 401 ] }
>>> df = pd.DataFrame(data)
>>> class SurnameMap(dict):
...     def __missing__(self, key):
...         return ''
...     
>>> surnamemap = SurnameMap()
>>> surnamemap[101] = 'Mohanty'
>>> surnamemap[301] = 'Drake'
>>> df['Surname'] = df['ID'].apply(lambda x: surnamemap[x])
>>> df
    ID  Surname
0  101  Mohanty
1  201         
2  301    Drake
3  401         

同样的事情可以通过以下方式更简单地完成。对 dict 对象的方法使用“默认”参数get使得没有必要对 dict 进行子类化。

>>> import pandas as pd
>>> data = { 'ID': [ 101, 201, 301, 401 ] }
>>> df = pd.DataFrame(data)
>>> surnamemap = {}
>>> surnamemap[101] = 'Mohanty'
>>> surnamemap[301] = 'Drake'
>>> df['Surname'] = df['ID'].apply(lambda x: surnamemap.get(x, ''))
>>> df
    ID  Surname
0  101  Mohanty
1  201         
2  301    Drake
3  401         
于 2017-07-10T20:43:18.393 回答
6
df['FirstName']=df['ID'].apply(lambda x: 'Matt' if x==103 else '')
df['LastName']=df['ID'].apply(lambda x: 'Jones' if x==103 else '')
于 2021-01-22T22:33:10.710 回答
0

我发现通过打印出每行满足条件的位置更容易首次亮相:

for n in df.columns:
    if(np.where(df[n] == 103)):
        print(n)
        print(df[df[n] == 103].index)
于 2021-02-15T15:22:28.077 回答
0

如果有人正在寻找一种方法来根据每行本身的某些逻辑条件来更改多行的值,那么使用.apply()函数就是要走的路。

df = pd.DataFrame({'col_a':[0,0], 'col_b':[1,2]})

   col_a  col_b
0      0      1
1      0      2

def func(row):
    if row.col_a == 0 and row.col_b <= 1:
        row.col_a = -1
        row.col_b = -1
    return row

df.apply(func, axis=1)

   col_a  col_b
0     -1     -1 # Modified row
1      0      2

虽然.apply()通常用于向数据框添加新行/列,但它可用于修改现有行/列的值。

于 2022-03-01T09:26:24.347 回答