3

我正在尝试使用测试机器学习数据集在 pyspark 中运行 Spark MLlib 包。我将数据集分成一半的训练数据集和一半的测试数据集。下面是我构建模型的代码。但是，它显示了所有因变量的 NaN、NaN.. 的权重。想不通为什么。但是当我尝试使用 StandardScaler 函数标准化数据时，它会起作用。

model = LinearRegressionWithSGD.train(train_data, step = 0.01)  
# evaluate model on test data set
valuesAndPreds = test_data.map(lambda p: (p.label, model.predict(p.features)))

非常感谢你的帮助。

下面是我用来进行缩放的代码。

scaler = StandardScaler(withMean = True, withStd = True).fit(data.map(lambda x:x.features))
feature = [scaler.transform(x) for x in data.map(lambda x:x.features).collect()]
label = data.map(lambda x:x.label).collect()
scaledData = [LabeledPoint(l, f) for l,f in zip(label, feature)]
4

1 回答 1

0

尝试缩放功能

StandardScaler通过缩放到单位方差和/或使用训练集中样本的列汇总统计数据去除均值来标准化特征。这是一个非常常见的预处理步骤。

标准化可以提高优化过程中的收敛速度，也可以防止方差很大的特征对模型训练产生过大的影响。由于您有一些较大的变量（例如：收入）和一些较小的变量（例如：客户数量），这应该可以解决您的问题。

于 2015-04-21T14:53:16.463 回答