r - SparkR - 从数据框列生成分位数（数字类型）

Question

我正在探索 SparkR 以计算 CSV 文件（位于 S3 中）中数字列的分位数。我能够解析 CSV 文件并打印文档并访问该列。但不确定如何生成分位数。任何帮助，将不胜感激。

PS：R 具有计算内置数据帧（不是 SparkR 数据帧）上的分位数的内置函数。

Answer 1

Spark 2.x 带有一个 approxQuantile 函数。如果您将 relativeError 设置为零，它将为您提供确切的分位数。

> sdf <- SparkR::createDataFrame(mtcars)
> quantiles <- approxQuantile(sdf, "mpg", c(0.5, 0.8), relativeError = 0.0)
> quantiles
[[1]]
[1] 19.2

[[2]]
[1] 26

更多细节在这里： http ://spark.apache.org/docs/latest/api/R/approxQuantile.html

Answer 2

如果您对不使用 SparkR 的 Spark + R 答案持开放态度，则可以将 dplyr 与dplyr.spark.hive后端一起使用。

mtcars_db  %>% mutate(q = quantile(mpg, .3))
Source: Spark at:localhost:10000
From: <derived table> [?? x 12]

     mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb     q
   (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl)
1   21.0     6 160.0   110  3.90 2.620 16.46     0     1     4     4 15.68
2   21.0     6 160.0   110  3.90 2.875 17.02     0     1     4     4 15.68
3   22.8     4 108.0    93  3.85 2.320 18.61     1     1     4     1 15.68
4   21.4     6 258.0   110  3.08 3.215 19.44     1     0     3     1 15.68
5   18.7     8 360.0   175  3.15 3.440 17.02     0     0     3     2 15.68
6   18.1     6 225.0   105  2.76 3.460 20.22     1     0     3     1 15.68
7   14.3     8 360.0   245  3.21 3.570 15.84     0     0     3     4 15.68
8   24.4     4 146.7    62  3.69 3.190 20.00     1     0     4     2 15.68
9   22.8     4 140.8    95  3.92 3.150 22.90     1     0     4     2 15.68
10  19.2     6 167.6   123  3.92 3.440 18.30     1     0     4     4 15.68
..   ...   ...   ...   ...   ...   ...   ...   ...   ...   ...   ...   ...

其中 mtcars_db 是由 spark sql 表支持的 tbl