8

我正在尝试使用 Patsy（带有 sklearn、pandas）来创建一个简单的回归模型。R 风格的公式创建是一个主要的吸引力。

我的数据包含一个名为“ ship_city ”的字段，它可以包含来自印度的任何城市。由于我将数据划分为训练集和测试集，因此有几个城市只出现在其中一个集中。下面给出了一个代码片段：

df_train_Y, df_train_X = dmatrices(formula, data=df_train, return_type='dataframe')
df_train_Y_design_info, df_train_X_design_info = df_train_Y.design_info, df_train_X.design_info
df_test_Y, df_test_X = build_design_matrices([df_train_Y_design_info.builder, df_train_X_design_info.builder], df_test, return_type='dataframe')

最后一行抛出以下错误：

patsy.PatsyError：将数据转换为分类时出错：值为“加尔各答”的观察结果与任何预期水平都不匹配

我相信这是一个非常常见的用例，其中训练数据不会包含所有类别领域的所有级别。Sklearn 的DictVectorizer处理得很好。

有什么办法可以让 Patsy 完成这项工作吗？

4

2 回答 2

7

问题当然是，如果你只是给 patsy 一个原始值列表，它就无法知道还有其他可能发生的值。您必须以某种方式告诉它完整的可能值集是什么。

一种方法是使用levels=to 的参数C(...)，例如：

# If you have a data frame with all the data before splitting:
all_cities = sorted(df_all["Cities"].unique())
# Alternative approach:
all_cities = sorted(set(df_train["Cities"]).union(set(df_test["Cities"])))

dmatrices("y ~ C(Cities, levels=all_cities)", data=df_train)

如果您使用 pandas 的默认分类支持，另一种选择是在设置数据框时记录一组可能的值；如果 patsy 检测到您传递给它的对象是 pandas 分类对象，那么它会自动使用 pandas 类别属性，而不是通过查看数据来猜测可能的类别是什么。

于 2017-07-14T04:10:14.030 回答
0

我遇到了类似的问题，我在拆分数据之前构建了设计矩阵。

df_Y, df_X = dmatrices(formula, data=df, return_type='dataframe')
df_train_X, df_test_X, df_train_Y, df_test_Y = \
    train_test_split(df_X, df_Y, test_size=test_size)

然后作为应用拟合的示例：

model = smf.OLS(df_train_Y, df_train_X)
model2 = model.fit()
predicted = model2.predict(df_test_X)

从技术上讲，我还没有建立一个测试用例，但是Error converting data to categorical自从实现上述内容后，我再也没有遇到过错误。

于 2017-06-25T05:10:42.190 回答