问题标签 [feature-scaling]

我目前正在上 Udemy 课程，SVR 课程的讲师说必须对 X 和 y 分别应用特征缩放，因为它们的标准差和均值不同。以下是代码和数据集的截图。X 是级别，y 是薪水。 特征缩放代码

SVR 类的数据集

对于数据预处理课，讲师使用了不同的数据集，数据集包含超过 1 个自变量。但是，如代码所示，他并没有独立地对它们进行缩放。我对这部分感到困惑，因为所有自变量都有不同的标准差和均值。那么为什么我们不单独对它们进行特征缩放呢？以下是代码和数据集 代码

预处理类数据集

顺便说一句，此代码由 Kirill Eremenko 编写

我正在处理这个数据集（我已经清理了它，没有缺失值）。

应用随机森林回归器后效果不佳，因此我决定缩放特征 - （卧室面积转售纬度经度）和目标变量 - （价格）

但是在执行缩放之后：

我明白了：

许多值现在变成了 NaN。我怎样才能解决这个问题？

在训练模型（逻辑回归）时在“票价”和“年龄”两列上使用特征缩放（MinMaxScalar），当我接受用户输入来预测结果时，我必须对用户输入的票价和年龄值应用特征缩放但缩放值始终为 0 请帮助！PS - 我从模型中得到错误的预测，而没有缩放用户输入的年龄和票价值。

我想将特征缩放技术应用于我的数据集以缩放特征。特别是我想使用缩放到单位长度技术来缩放我的特征。我对哪些软件包可用于扩展进行了一些研究。我确实从互联网资源中看到了这些，[在此处输入链接描述][1]

[1] 在 R 中缩放 - 从一个答案中，我了解到这种缩放使用Z 分数归一化技术。

是否已经有任何包可用于在 R 中实现对单位长度的缩放？我想知道是否有任何可用的包可以实现这个公式，

X` = X/(||X||)。

[1]：https ://stackoverflow.com/questions/20256028/understanding-scale-in-r#:~:text=scale%20%2C%20with%20default%20settings%2C%20will,divide%20by%20the %20std%20 偏差。)

我正在执行 K-Folds 交叉验证来评估我的 SVM 模型性能。但是，由于数据的性质，我想使用特征缩放来缩放我的数据。这是数据的片段；

这是其余的代码；

我知道特征缩放然后在原始训练集上运行 K-folds CV 会导致数据泄漏，因为内部训练集和验证集都被缩放在一起，从而导致过度拟合。

我想知道caret包中的preProcess函数是否以一种避免这种情况的方式缩放数据并分别缩放内部训练集和验证集？

我有一个具有一个特征（信用余额）的训练集 - 数字在 0-20,000 之间变化。响应为 0（默认 = 否）或 1（默认 = 是）。这是使用逻辑函数生成的模拟训练集。供参考，可在此处获得。

下面的箱线图分别显示了 default=yes 和 default=no 类的余额分布 -

以下是数据分布——

此外，数据集与每个响应类的 50% 数据完美平衡。所以它是一个适合应用逻辑回归的经典案例。但是，在应用逻辑回归时，得分为 0.5，因为仅预测 y=1。以下是应用逻辑回归的方式 -

这证明逻辑回归拟合这些数据的方式一定有问题。但是，当平衡功能被缩放时，分数提高到 87.5%。那么缩放是否在这里起作用？

编辑：为什么缩放在这里起作用？sklearn 中的Logistic Regression文档说lbfgs求解器对未缩放的数据具有鲁棒性。

最近，我对数据分析很感兴趣。
所以我研究了如何做机器学习项目并自己做。
我了解到缩放在处理特征时很重要。
所以我在使用决策树或 LightGBM 之类的树模型时缩放了每个特征。
然后，我缩放时的结果更差。
我在互联网上搜索，但我得到的只是 Tree 和 Ensemble 算法对数据的方差不敏感。
我还买了一本 O'Relly 的“Hands-on Machine-learning”一书，但我无法得到足够的解释。
我可以得到更详细的解释吗？

问题

我正在尝试预测为时间序列预测构建循环神经网络 (RNN)。RNN 中的一个常见问题是Exploding Gradients大误差梯度可能导致非常大的网络更新。为了解决这个问题，我通常Sigmoid在输出层添加一个激活函数，并将我的所有数据缩放到范围 [0, 1.0]。

在这种情况下，我想对输入使用标准化技术，因此也可能存在负值。当然，Sigmoid 函数会在最后一层去掉。然而，这给我留下了两个选择：

可能的解决方案

1. 在输出层使用线性激活函数。
2. 使用 MinMax Scaler 在 [-1.0, 1.0] 范围内缩放我的数据。然后使用 Tanh 激活函数。

问题

在将 StandardScaler 应用于数据输入之后，将 MinMaxScaler 应用于范围 [-1.0, 1.0] 是否有任何错误？您认为在 StandarScaler 之后应用 MinMaxScaler 是一种不好的做法吗？在输出端使用线性激活函数离开 RNN 会更好吗？

我正在尝试使用这样的功能来扩展功能

然后调用它

动车组	测试集

所以它适用于我的火车组。

但是当我将其称为测试集时]，某些列完全变成了 Nan 两个集合都没有 Nan 或 null 值。我试图用nanmeanand重写这个函数nanstd，但是没有用：

什么会导致这个问题，我该怎么办

我目前正在研究纽约出租车数据集。我训练了网络并尝试预测测试数据集，但该模型并没有预测某些特定值。我检查了我的数据，发现验证集中的一些值在缩放数据集后高于训练集中的最大值。我评估了另一种缩放方法，但问题没有解决，精度下降太多。你有什么解决办法吗？感谢您提供的任何帮助。