1

我正在尝试使用 PySpark 在外部 jar 中导入类，我正在运行带有 --jars 的 spark-shell 以及包含我想要使用的类的 jar 的路径。

但是，当我在代码中导入类时，找不到命名空间：

from io.warp10.spark import WarpScriptFilterFunction

错误：

 SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
 Traceback (most recent call last):
   File "warp10-test.py", line 1, in <module>
     from io.warp10.spark import WarpScriptFilterFunction
 ImportError: No module named warp10.spark
4

1 回答 1

2

如果您想在 Spark 上运行 ，您必须使用 WarpScript™ UDF 。

这是一个例子：

from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StringType
from pyspark.sql.types import ArrayType

spark = SparkSession.builder.appName("WarpScript Spark Test").getOrCreate()
sc = spark.sparkContext

sqlContext = SQLContext(sc)

sqlContext.registerJavaFunction("foo", "io.warp10.spark.WarpScriptUDF3", ArrayType(StringType()))

print sqlContext.sql("SELECT foo('SNAPSHOT \"Easy!\"', 3.14, 'pi')").collect()

有关更多信息，请参阅：https ://www.warp10.io/content/05_Ecosystem/04_Data_Science/06_Spark/02_WarpScript_PySpark

于 2019-06-12T16:17:37.287 回答