0

我正在尝试在 PySpark 上运行 NuPIC,但出现 ImportError。有人对我如何解决它有任何想法吗?

当我不使用 PySpark 时,代码运行良好,但我现在正尝试从 Spark 数据集运行它。

我正在尝试使用我目录中的源代码运行它,因为通过安装 Nupic 包运行它会导致一些其他错误。

谢谢您的帮助!!

我正在尝试运行此功能

input_data.rdd.foreach(lambda row: iterateRDD(row, model))
def iterateRDD(record, model):
    modelInput = record.asDict(False)
    modelInput["value"] = float(modelInput["value"])
    modelInput["timestamp"] = datetime.datetime.strptime(modelInput["timestamp"], "%Y-%m-%d %H:%M:%S")
    print"modelInput", modelInput
    result = model.run(modelInput)
    anomalyScore = result.inferences['anomalyScore']
    print "Anomaly score is", anomalyScore

但是,我收到此错误并且不明白。

文件“C:/Users/rakshit.trn/Documents/Nupic/nupic-master/examples/anomaly.py”,第 100 行,在 runAnomaly input_data.rdd.foreach(lambda 行:iterateRDD(行,模型))文件“C :\Python\Python27\lib\site-packages\pyspark\rdd.py", line 789, in foreach self.mapPartitions(processPartition).count() # Force evaluation File "C:\Python\Python27\lib\site- packages\pyspark\rdd.py",第 1055 行,计数返回 self.mapPartitions(lambda i: [sum(1 for _ in i)]).sum() File "C:\Python\Python27\lib\site- packages\pyspark\rdd.py",第 1046 行,总返回 self.mapPartitions(lambda x: [sum(x)]).fold(0, operator.add) 文件“C:\Python\Python27\lib\site -packages\pyspark\rdd.py”,第 917 行,折叠 vals = self.mapPartitions(func).collect() 文件“C:\Python\Python27\lib\site-packages\pyspark\rdd.py”,第 816 行,在 collect sock_info = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd()) 文件“C:\Python\Python27\lib\site-packages\py4j\java_gateway.py”中,第 1257 行,在称呼answer, self.gateway_client, self.target_id, self.name) File "C:\Python\Python27\lib\site-packages\pyspark\sql\utils.py", line 63, in deco return f(*a, * *kw) 文件 "C:\Python\Python27\lib\site-packages\py4j\protocol.py",第 328 行,get_return_value 格式(target_id, ".", name), value) py4j.protocol.Py4JJavaError: An调用 z:org.apache.spark.api.python.PythonRDD.collectAndServe 时发生错误。:org.apache.spark.SparkException:作业因阶段失败而中止:阶段 2.0 中的任务 0 失败 1 次,最近失败:阶段 2.0 中丢失任务 0.0(TID 2,本地主机,执行程序驱动程序):org.apache.spark .api.python.PythonException:回溯(最近一次调用最后一次):文件“D:\spark-2.4.3-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\worker.py”,第 364 行,在主文件“D:

我猜 NuPIC 无法访问 frameworks/opf/htm_prediction_model.py 文件

4

1 回答 1

0

您可能正在运行旧版本的 NuPIC。请参阅https://discourse.numenta.org/t/warning-0-7-0-break-changes/2200并检查您使用的版本(https://discourse.numenta.org/t/how-to-检查安装了 nupic 的版本/1045 )

于 2019-07-17T14:28:45.867 回答