我正在尝试在 PySpark 上运行 NuPIC,但出现 ImportError。有人对我如何解决它有任何想法吗?
当我不使用 PySpark 时,代码运行良好,但我现在正尝试从 Spark 数据集运行它。
我正在尝试使用我目录中的源代码运行它,因为通过安装 Nupic 包运行它会导致一些其他错误。
谢谢您的帮助!!
我正在尝试运行此功能
input_data.rdd.foreach(lambda row: iterateRDD(row, model))
def iterateRDD(record, model):
modelInput = record.asDict(False)
modelInput["value"] = float(modelInput["value"])
modelInput["timestamp"] = datetime.datetime.strptime(modelInput["timestamp"], "%Y-%m-%d %H:%M:%S")
print"modelInput", modelInput
result = model.run(modelInput)
anomalyScore = result.inferences['anomalyScore']
print "Anomaly score is", anomalyScore
但是,我收到此错误并且不明白。
文件“C:/Users/rakshit.trn/Documents/Nupic/nupic-master/examples/anomaly.py”,第 100 行,在 runAnomaly input_data.rdd.foreach(lambda 行:iterateRDD(行,模型))文件“C :\Python\Python27\lib\site-packages\pyspark\rdd.py", line 789, in foreach self.mapPartitions(processPartition).count() # Force evaluation File "C:\Python\Python27\lib\site- packages\pyspark\rdd.py",第 1055 行,计数返回 self.mapPartitions(lambda i: [sum(1 for _ in i)]).sum() File "C:\Python\Python27\lib\site- packages\pyspark\rdd.py",第 1046 行,总返回 self.mapPartitions(lambda x: [sum(x)]).fold(0, operator.add) 文件“C:\Python\Python27\lib\site -packages\pyspark\rdd.py”,第 917 行,折叠 vals = self.mapPartitions(func).collect() 文件“C:\Python\Python27\lib\site-packages\pyspark\rdd.py”,第 816 行,在 collect sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd()) 文件“C:\Python\Python27\lib\site-packages\py4j\java_gateway.py”中,第 1257 行,在称呼answer, self.gateway_client, self.target_id, self.name) File "C:\Python\Python27\lib\site-packages\pyspark\sql\utils.py", line 63, in deco return f(*a, * *kw) 文件 "C:\Python\Python27\lib\site-packages\py4j\protocol.py",第 328 行,get_return_value 格式(target_id, ".", name), value) py4j.protocol.Py4JJavaError: An调用 z:org.apache.spark.api.python.PythonRDD.collectAndServe 时发生错误。:org.apache.spark.SparkException:作业因阶段失败而中止:阶段 2.0 中的任务 0 失败 1 次,最近失败:阶段 2.0 中丢失任务 0.0(TID 2,本地主机,执行程序驱动程序):org.apache.spark .api.python.PythonException:回溯(最近一次调用最后一次):文件“D:\spark-2.4.3-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\worker.py”,第 364 行,在主文件“D:
我猜 NuPIC 无法访问 frameworks/opf/htm_prediction_model.py 文件