r - is.na 和 sparklyr 的分位数

Question

我正在使用sparklyr，它似乎运行良好。但是，我以前的一些代码将不会实现。

什么时候使用

complete.cases

我明白了

错误：org.apache.spark.sql.AnalysisException：未定义函数 COMPLETE.CASES

我得到了相同的quantile函数结果

此外，在 Spark 数据帧中，似乎is.na不是以相同的方式计算的。所以当我这样做的时候

filter(!is.na(V1) & is.na(V2))

我得到一个空数据框，而不是返回所有已满V1和空的字段V2。

有什么建议可以如何使用/修改这些函数sparklyr，或者如何构造这些函数的包装器？

Answer 1

您可以使用na.omit如下：

sc <- spark_connect(master = "local")
tbl_flights <- copy_to(sc, flights)

tbl_flights %>% na.omit