r - 使用 sparkR 列

Question

SparkR Column 提供了一长串有用的方法，例如“isNull”，但在 sparkR 中我在使用它们时遇到了问题。我像这样在 R 中运行 sparkR

cd /home/ole/R/spark-1.4.0 ./bin/sparkR --packages com.databricks:spark-csv_2.10:1.0.3 sqlContext

例如，当我键入此 u=c() isNull(u) 时，我收到此消息 Error in (function (classes, fdef, mtable) : unable to find an inherit method for function 'isNull' for signature '"NULL"

Answer 1

这是因为 isNull 需要 DataFrame 的列而不是向量。它检查条目是否为 NULL，它的工作原理如下：

a   <- createDataFrame(sqlContext,data.frame(b=c("a","b",NA,"c"),c=c(1,2,3,4)))
a$d <- isNull(a$b)
collect(a)

它还返回一个（逻辑）列，这就是我将它附加到 DataFrame 的原因。然而，您会注意到 SparkR 没有将 NA 存储为 NULL，因此所有逻辑都是 FALSE，但您已经看到该函数是如何工作的。