问题标签 [mapr]

有没有办法使用 Ruby 中的 Hadoop 的 MapR 分发将文件保存在 HDFS 中？

显然，有一个名为 Thrift API 的 APIthriftfs可以从客户端与 HDFS 进行通信，但看起来它没有与 MapR 捆绑在一起。

我想在 ec2 上安装一个小的工作 mapr hadoop 实例，这样我就可以玩弄它并开始了解更多关于它的信息。

我将如何进行？

mapr 站点 (1) 提到以 vmplayer (2) 开头。

那么，是否在 ec2 AMI 上安装 vmplayer 而不是安装 mapr 或者是否有 AMI 可用，并且已经安装了 vmplayer 和/或已经安装了 vmplayer+mapr？

(1) http://mapr.com/download (2) https://my.vmware.com/web/vmware/downloads

如何让 Amazon EMR (0.20.205 MapR) 使用 S3 存储桶进行输入和输出？

我尝试将以下内容添加到核心配置 xml 文件中（通过引导操作）：

但我总是得到类似的东西：

引起：java.io.IOException：无法解析路径：s3n://some_out_bucket/out at com.mapr.fs.MapRFileSystem.lookupClient(MapRFileSystem.java:219) at com.mapr.fs.MapRFileSystem.delete(MapRFileSystem .java:385) 在 cc.mrlda.ParseCorpus.run(ParseCorpus.java:192) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 cc.mrlda.ParseCorpus.main(ParseCorpus. java:675) ... 10 更多

Hadoop新手在这里。请帮忙！

我正在尝试使用 hdfs 文件中的一些信息加入 hbase 表。我对 hbase 和 pig 比较陌生。

这是它在日志文件中所说的：

有任何想法吗？

Pig 版本 0.10.0 HBase 0.92.1 Hadoop 0.20.2-dev

我有两个输入文件 smt.txt 和 smo.txt。jar 文件读取文本文件并根据 java 文件中描述的某些规则拆分数据。pig 文件通过执行 mapreduce 将这些数据放入输出文件中。

和下面的一部分java代码。（我相信方法的内容不是必需的）：

当我使用命令“pig -x mapreduce sample.pig”在终端中运行这个猪程序时，我给出了一条错误消息：

错误 org.apache.pig.tools.grunt.Grunt - 错误 1070：无法使用导入解析 com.mapr.util.FixedLoader：[，org.apache.pig.builtin.，org.apache.pig.impl.builtin。 ]

如何将这些导入到我的项目中，或者是否有任何建议/解决方案来运行该程序？

有谁知道使用 Amazon 的 S3Distcp 工具和在 EMR 上运行的 MapR 是否存在问题？我正在尝试使用它，但在 /mnt/var/log/hadoop/steps 中不断出现以下异常：

我用来提交作业步骤的命令行是：

对于 --dest 参数，我也尝试了 maprfs:///PVData/raw 和 hdfs:///PVData/raw ，但它们也不起作用。

加载和初始化 RHive（使用 rhive.init()）后，我在 rhive.connect() 中收到以下错误：

当我使用 hive 服务器 IP 地址运行 rhive.connect("10.2.138.168") 时，我得到了同样的错误。我的环境变量设置为：

如果我运行 rhive.env()，我会收到以下警告/错误：

编辑：

然后我设置：

现在，rhive.connect() 返回以下错误：

关于我哪里出错的任何想法？谢谢！

我在链接中看到为 MapR 安装设置磁盘的这些步骤

要确定磁盘或分区是否可供 MapR 使用：

运行命令 sudo lsof 以确定是否有任何进程已在使用磁盘或分区。

运行 sudo fuser 应该没有输出，表示没有 > 进程访问特定磁盘或分区。

不应安装磁盘或分区，如通过 mount ? 命令的输出检查。

磁盘或分区不应在 /etc/fstab 文件中有条目。

磁盘或分区应该可以被标准 Linux 工具访问，例如 mkfs。您应该能够使用类似 sudo mkfs.ext3 的命令成功格式化分区，因为这类似于 MapR 在安装期间执行的操作。如果 mkfs 无法访问和格式化分区，那么 MapR 很可能会遇到同样的问题。

我在亚马逊 EC2 实例上实现这一目标时遇到问题。我尝试过的步骤

1. 我创建了一个大型 EC2 实例。
2. 创建了与该实例关联的卷的快照
3. 从上面创建的快照中创建了一个 500 GB 的新卷

我不确定如何卸载这个新卷并使其可用于 MapR。我还在 /etc/fstab 中看到了这个新卷的条目。

有人可以提供逐步的方法来创建满足上述 MapR 标准的磁盘或分区吗？

Cloudera 和 Hortonworks 使用 HDFS，这是 Apache Hadoop 的基本概念之一。MapR 使用自己的概念/实现。您直接使用本机文件系统而不是 HDFS。您可以在 MapR 的网站上找到使用这种方法的许多优势。

我想知道这种方法的缺点是什么？

我想创建一个卷（MyVolume），但它无法挂载该卷。它说这个错误：无法挂载卷MyVolume，权限被拒绝它的权限是root和admin。我如何创建卷到我的集群文件夹中？谢谢