3

我有一个如下所示的 DataFrame：

+-----+--------------------+
|  uid|            features|
+-----+--------------------+
|user1|       (7,[1],[5.0])|
|user2|(7,[0,2],[13.0,4.0])|
|user3|(7,[2,3],[7.0,45.0])|
+-----+--------------------+

特征列是一个稀疏向量，大小等于 4。

我正在应用一个StandardScaler，如下所示：

import org.apache.spark.ml.feature.StandardScaler

val scaler = new StandardScaler()
  .setInputCol("features")
  .setOutputCol("scaledFeatures")
  .setWithStd(true)
  .setWithMean(false)

val scalerModel = scaler.fit(df)

// Normalize each feature to have unit standard deviation.
val scaledData = scalerModel.transform(transformed)

输出 DataFrame 如下所示：

+-----+--------------------+--------------------+
|  uid|            features|      scaledFeatures|
+-----+--------------------+--------------------+
|user1|       (7,[1],[5.0])|(7,[1],[1.7320508...|
|user2|(7,[0,2],[13.0,4.0])|(7,[0,2],[1.73205...|
|user3|(7,[2,3],[7.0,45.0])|(7,[2,3],[1.99323...|
+-----+--------------------+--------------------+

我们可以看到，例如 user1 的 scaledFeatures 仅包含一个元素（其他元素为零），但我希望每个 scaledFeatures 始终包含所有维度的非零值，因为方差不为零。

我们以第三维为例，即每个特征向量的索引2：

  • 此维度的值为 user1 的 0.0、user2 的 4.0 和 user3 的 7.0。
  • 这些值的平均值为：(0+4+7)/3 = 3.667
  • SD 为： sqrt[ ( (0-3.667)^2 + (4-3.667)^2 + (7-3.667)^2 ) /3] = 2.868
  • 用户 1 的单位标准差应为：（平均值）/SD = (0-3.667)/2.868 = -1.279

问题是：为什么输出 DataFrame 中的 user1 这个维度的值为零？

4

1 回答 1

6

这是罪魁祸首：

.setWithMean(false)

由于您应用的唯一方法是缩放到单位标准偏差，因此结果完全符合其应有的样子：

xs1 <- c(5, 0, 0)
xs1 / sd(xs1)
## [1] 1.732051 0.000000 0.000000
sd(xs1 / sd(xs1))
## [1] 1

xs2 <- c(0.0, 4.0, 7.0)
xs2 / sd(xs2)
## [1] 0.000000 1.138990 1.993232
sd(xs2 / sd(xs2))
## [1] 1

还withMean需要密集数据。从文档：

withMean: 默认为假。在缩放之前以均值居中数据。它将构建密集输出，因此这不适用于稀疏输入并且会引发异常。

从评论合并：

所以没有setWithMean它不会从值中减去平均值，但它会直接将值除以sd。

为了做到这一点.setWithMean(true)，我必须将特征转换为密集向量而不是稀疏向量（因为它会为稀疏向量抛出异常）。

于 2016-02-19T13:56:36.113 回答