r - hadoop 流失败，错误代码 1..trying rmr(Rhadoop--R package) with Datastax cassandra

Question

我需要澄清一下 rmr+rhdfs(Rhadoop) 和 Datastax cassandra(CFS)。目前 rhdfs 和 rmr(to.dfs(),from.dfs()) 中的所有函数都在工作。

但是当我尝试运行 mapreduce() 时，会发生以下错误：

流式传输命令失败！.Hadoop 流式传输失败，错误代码为 1。

另外，它根本没有在 jobtracker.no stderr 中创建任何日志。请帮助我知道原因。

Answer 1

rmr 3.1.0 与 Apache Hadoop 2.2.0 兼容

https://github.com/RevolutionAnalytics/rmr2/blob/master/docs/compatibility.md

DSE 使用定制的 Hadoop 1.0.4，因此它说明了 mapreduce() 无法进行测试的原因。

一种解决方法是建立自己的 hadooop 集群并用 CFS 替换 HDFS