r - 如何对 SparkR 数据框进行子集化

Question

假设我们有一个数据集“people”，其中包含 ID 和 Age 作为 2 乘 3 矩阵。

Id = 1 2 3
Age= 21 18 30

在 sparkR 中，我想创建一个新数据集people2，其中包含所有 18 岁以上的 ID。在这种情况下，它是 ID 1 和 3。在 sparkR 中，我会这样做

people2 <- people$Age > 18

但它不起作用。您将如何创建新数据集？

Answer 1

您可以SparkR::filter在任一条件下使用：

> people <- createDataFrame(sqlContext, data.frame(Id=1:3, Age=c(21, 18, 30)))
> filter(people, people$Age > 18) %>% head()

  Id Age
1  1  21
2  3  30

或 SQL 字符串：

> filter(people, "Age > 18") %>% head()

  Id Age
1  1  21
2  3  30

也可以SparkR::sql在注册表上使用带有原始 SQL 查询的函数：

> registerTempTable(people, "people"
> sql(sqlContext, "SELECT * FROM people WHERE Age > 18") %>% head()
  Id Age
1  1  21
2  3  30

Answer 2

对于那些欣赏 R 的众多选项来完成任何给定任务的人，您还可以使用 SparkR::subset() 函数：

> people <- createDataFrame(sqlContext, data.frame(Id=1:3, Age=c(21, 18, 30)))
> people2 <- subset(people, people$Age > 18, select = c(1,2))
> head(people2)
  Id Age
1  1  21
2  3  30

要回答评论中的其他详细信息：

id <- 1:99
age <- 99:1
myRDF <- data.frame(id, age)
mySparkDF <- createDataFrame(sqlContext, myRDF)

newSparkDF <- subset(mySparkDF, 
        mySparkDF$id==3 | mySparkDF$id==32 | mySparkDF$id==43 | mySparkDF$id==55, 
        select = 1:2)
take(newSparkDF,5)

(1) Spark Jobs
  id age
1  3  97
2 32  68
3 43  57
4 55  45