1

执行 spark 作业时出现以下错误：

py4j.protocol.Py4JError: An error occurred while calling o191.splits. Trace:
py4j.Py4JException: Method splits([]) does not exist
        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
        at py4j.Gateway.invoke(Gateway.java:272)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:214)
        at java.lang.Thread.run(Thread.java:748)

这是我的代码：

points = df.rdd.map(lambda x: ( (x['col1'], x['col2'], x['col3']), x[i + '_func']))
points.cache()
dim = points.first()[1].size
print points._jrdd.splits().size()

最后一行抛出上面提供的异常。我该如何解决这个错误？此代码在 Spark 1.6 中运行良好。现在我正在使用 Spark 2.2，我收到了这个错误。Python 的版本是 2.7.12（和之前一样）。

4

1 回答 1

1

splits在 Java 中，自 1.1.0 以来已被弃用（替换为partitions），根本不应该在 PySpark 中使用。采用getNumPartitions

points.getNumPartitions()
于 2017-12-27T13:52:13.813 回答