0

我正在尝试使用“Revo64-9.0 -f testrxspark.R”命令执行以下代码

list.files(system.file("SampleData", package = "RevoScaleR"))
myHadoopCluster <- RxSpark(namenode="zzz.westeurope.cloudapp.azure.com", port=8020,consoleOutput=TRUE)
rxSetComputeContext(myHadoopCluster)
file.exists(system.file("SampleData/AirlineDemoSmall.csv", package="RevoScaleR"))
bigDataDirRoot <- "/user/RevoShare" # HDFS location of the example data
rxHadoopListFiles(bigDataDirRoot) # There will be no files at this point.
source <-system.file("SampleData/AirlineDemoSmall.csv", package="RevoScaleR")
inputDir <- file.path(bigDataDirRoot,"AirlineDemoSmall")
rxHadoopMakeDir(inputDir)
rxHadoopListFiles(bigDataDirRoot)
rxHadoopCopyFromLocal(source, inputDir)
rxHadoopListFiles(inputDir)
hdfsFS <- RxHdfsFileSystem(hostName="zzz.westeurope.cloudapp.azure.com", port=8020)
colInfo <- list(DayOfWeek = list(type = "factor", levels = c("Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday", "Sunday")))
airDS <- RxTextData(file = inputDir, missingValueString = "M", colInfo  = colInfo, fileSystem = hdfsFS)
# adsSummary <- rxSummary(~ArrDelay+CRSDepTime+DayOfWeek, data = airDS)
rxSummary(~ArrDelay:DayOfWeek, data = airDS)

我收到以下错误：

17/03/19 00:00:11 WARN util.NativeCodeLoader: 无法为您的平台加载 native-hadoop 库...使用 appli$ 的内置 java 类

警告：在 /log/cloudera/parcels/MRS-9.0.1/hadoop 中找不到 libjvm.so，正在搜索系统范围

内部错误：连接到 hdfs 文件系统时无法重置 hdfs 内部参数。

尝试错误（{：内部错误：连接到 hdfs 文件系统时无法重置 hdfs 内部参数。

错误：try 中的错误（{：内部错误：连接到 hdfs 文件系统时无法重置 hdfs 内部参数。

ScaleR 库 scaleR-hadoop-0.1-SNAPSHOT.jar 被复制到所有节点上的 Cloudera Parcel hadoop lib 文件夹中。请尽快帮我解决这个问题

4

1 回答 1

1

MRS 使用一个名为 /var/RevoShare 的目录来执行它。执行后，它会按执行的用户名创建文件夹以及该文件夹内的数据。

不知何故，它不会删除旧文件。我已经手动删除了文件，然后它开始工作。

于 2017-03-21T09:22:44.470 回答