0

假设我有以下数据集。（数据完全随机）

Colour  Size       Shape        Pre booking number  Price
White   24         Square          600              1400
Blue    35         Circle          435              1854
Black   16         Square          873              1272
White   43         Triangle        221              1777
White   20         Oval            532              1434
Black   35         Triangle        221              ????

我必须预测 [颜色、尺寸、形状、预预订编号] 的某个组合的价格

考虑以下我采用 Color v/s Price 的特征工程方法。我对颜色进行分组以找出每个组（颜色）的平均价格，并简单地将颜色变量替换为各自的平均值。我对每个分类变量都这样做。对于非分类变量，我将它们保持原样。

Colour  Size        Shape   Pre booking number      Price
1536    1400        1336        600                 1400
1854    1854        1854        435                 1854
1272    1272        1336        873                 1272
1536    1777        1777        221                 1777
1536    1434        1434        532                 1434
1272    1854        1777.       221                 ????

现在我将这些数据提供给任何 ML 回归模型。

我的问题是：

  1. 这种方法有多好/坏？内部会发生什么？

  2. 一般来说，使所有变量与目标变量具有强相关性（也许在相同的尺度上）的效果如何？

  3. 最重要的是，如果我仅通过添加/乘以减少维度来合并两个或更多分类列，它将如何影响预测？

谢谢。

4

1 回答 1

4
  1. 据我所知，一种对颜色和形状等标称特征的热编码表现更好。像您所做的那样放置整数值会在白色上添加一个额外的值，这是没有意义的。您已经假设颜色和价格之间存在高度相关性，这可能是错误的，也可能不是。我会运行顺序向后选择来检查功能的实际重要性。如果颜色和价格高度相关，您的方法可能是正确的，您现在应该缩放功能。
  2. 将功能带到相同的规模是非常有效的，因为它有助于为每个功能提供合理的重要性。如果一个特征是数千个并且未缩放，则权重可能会过度重视该特征。很明显，与目标变量具有高度相关性的特征应该包含在训练中。
  3. 合并两个不相关的分类列会妨碍您的结果。另一方面，如果它们高度相关，那么您可以合并它们。然而，我不确定你是否应该为这个没有太多特征列的数据集承担降维的痛苦。不过，如果您想知道如何组合彼此弱相关但与目标变量高度相关的两个特征，这里有一个线程： https ://stats.stackexchange.com/q/110984

这是另一篇关于数据过滤的好文章： https ://towardsdatascience.com/data-correlation-can-make-or-break-your-machine-learning-project-82ee11039cc9

最后，对某种方法的评论可能不准确。您总是需要查看它们的相关程度，并尝试不同的方法和模型。检查您的数据是否具有线性或非线性相关性，并相应地选择您的模型。对相对简单的数据进行复杂的修改并使用不必要的复杂模型可能并不总是一个好方法。

于 2018-08-10T17:35:09.963 回答