问题标签 [mapr]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
413 浏览

performance - mapr 中的大量小文件

您好 MapR 是否支持大量(400 万)小文件(每个 20KB)它对这些文件的元数据的管理能力如何?如果我想运行解析每个文件的 mapreduce,我可以从 5 个节点(每个节点:32GB RAM,8 核)集群中获得什么性能。有哪些改进性能的建议?

0 投票
2 回答
4603 浏览

eclipse - java.io.IOException:没有用于方案的文件系统:maprfs

我正在尝试执行/运行一个 Web 应用程序(使用 Spring 工具套件),通过它可以将作业提交给 hadoop。我正在使用apache-tomcat-6.0.36 服务器和mapr客户端。但是,当我运行我的应用程序时,出现以下错误:

我在配置时错过了什么吗?这个错误的原因是什么?我错过了将任何罐子添加到应用程序的类路径中吗?

0 投票
2 回答
606 浏览

hadoop - 是否可以将 mapR 与纯 apache hadoop 结合起来?

我是hadoop的新手。

我听说 mapR 是挂载 hadoop HDFS 而不是熔断的更好方法。

但是大多数相关文章只是描述了mapR hadoop而不是纯粹的apache hadoop。

任何人都有使用 mapR 安装纯 apache hadoop 的经验吗?

提前致谢。

0 投票
1 回答
135 浏览

hadoop - 我可以通过vmware格式化磁盘吗?

我已经在 vmware 上安装了 ubuntu 12.04,并在 ubuntu 上安装了 mapr 单节点。当我想格式化磁盘时,出现错误:

输出是:

分区(/dev/sda7)已卸载。但我无法格式化磁盘。使用vmware时可以格式化分区吗?我的问题是什么?谢谢

0 投票
0 回答
103 浏览

java - 无法在 mapreduce hadoop 的 reducer 中实例化单吨类?

我在reducer中调用了一个单例类的方法。所以我创建了一个类的实例。Tt 适用于一个键,而对于其余键,它表示它无法实例化类 [“java.lang.exceptio”]。

0 投票
1 回答
2120 浏览

java - 使用 Java 的映射器

我是 Hadoop、Mapr 和 Pivotal 的新手。我已经编写了 java 代码来写入关键但在写入 Mapr 时面临的问题。

此代码适用于 pivoatal,但适用于 Mapr。

对于 Mapr,我使用端口 = 7222。我收到以下错误“现有连接被远程主机强行关闭”

请让我知道我是否使用了正确的端口或需要在特定于 Mapr 的代码中更改任何内容。

我已经停止了 iptables。

任何信息都非常感谢。

谢谢

标题

0 投票
1 回答
3718 浏览

hadoop - hadoop的哪个发行版更好?

我正在处理海量数据,我的输入数据约为 100 GB。我想选择其中一种 hadoop 发行版,但我不知道选择 mapr 集群还是 cloudera 集群。我想使用免费版本(使用 hadoop 0.20 的 mapr M3 和 cloudera CDH4)。哪个更好?我使用哪种配置效果最好?谢谢。

0 投票
1 回答
473 浏览

java - Hadoop 一台机器只运行一个任务

我目前正在开发一个hadoop程序。该程序被 Hadoop 杀死是因为 mapper tasker 占用了高内存(大约 7G)。有没有办法让一台机器一次只运行一个任务?

我尝试了如下所示的设置,但没有成功。该任务被hadoop杀死。

集群正在使用mapr-m3,每台机器都有 15.6GB 内存,可用性为 70%。

0 投票
1 回答
291 浏览

hive - 蜂巢和钻头如何整合?

与高延迟的 Hive 相比,Drill 看起来像是一个有趣的工具,用于 ad-hoc 向下钻取查询。
似乎这两者之间应该有一个不错的整合,但我找不到它。
假设今天我所有的工作都是在 Hive/Shark 上完成的,我如何将它与 Drill 集成?
我必须来回切换到 Drill 引擎吗?
我正在寻找类似于 Shark 和 Hive 的集成。

0 投票
6 回答
16420 浏览

java - 通过 JDBC 连接到远程 Mapr Hive

这个问题类似,但不一样,因为Hive JDBC getConnection 不返回。然而,这是关于远程连接。Metastore 也存在于启动 hiveserver2 的目录中。

我们在远程机器上有一个正在运行的 mapr 集群。我想使用 Java JDBC 连接到该集群上的 Hive。

因此我们启动了 hive 服务器:

/opt/mapr/hive/hive-0.11/bin/hiveserver2

服务器进程的输出不包含任何错误消息。它侦听 netstat 报告的端口 10000。

我尝试按照https://cwiki.apache.org/confluence/display/Hive/HiveClient中的描述连接到服务器,从而将 localhost 替换为运行 hiveserver2 的服务器名称:

然而,该程序恰好挂在此声明上。它似乎没有建立联系。

可能我需要提供用户名和密码?

最初我使用了驱动程序 org.apache.hadoop.hive.jdbc.HiveDriver。

然而,如果 hive2 服务器正在运行,我似乎应该使用驱动程序 org.apache.hive.jdbc.HiveDriver。现在我收到以下异常: