问题标签 [mapr]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
performance - mapr 中的大量小文件
您好 MapR 是否支持大量(400 万)小文件(每个 20KB)它对这些文件的元数据的管理能力如何?如果我想运行解析每个文件的 mapreduce,我可以从 5 个节点(每个节点:32GB RAM,8 核)集群中获得什么性能。有哪些改进性能的建议?
eclipse - java.io.IOException:没有用于方案的文件系统:maprfs
我正在尝试执行/运行一个 Web 应用程序(使用 Spring 工具套件),通过它可以将作业提交给 hadoop。我正在使用apache-tomcat-6.0.36 服务器和mapr客户端。但是,当我运行我的应用程序时,出现以下错误:
我在配置时错过了什么吗?这个错误的原因是什么?我错过了将任何罐子添加到应用程序的类路径中吗?
hadoop - 是否可以将 mapR 与纯 apache hadoop 结合起来?
我是hadoop的新手。
我听说 mapR 是挂载 hadoop HDFS 而不是熔断的更好方法。
但是大多数相关文章只是描述了mapR hadoop而不是纯粹的apache hadoop。
任何人都有使用 mapR 安装纯 apache hadoop 的经验吗?
提前致谢。
hadoop - 我可以通过vmware格式化磁盘吗?
我已经在 vmware 上安装了 ubuntu 12.04,并在 ubuntu 上安装了 mapr 单节点。当我想格式化磁盘时,出现错误:
输出是:
分区(/dev/sda7)已卸载。但我无法格式化磁盘。使用vmware时可以格式化分区吗?我的问题是什么?谢谢
java - 无法在 mapreduce hadoop 的 reducer 中实例化单吨类?
我在reducer中调用了一个单例类的方法。所以我创建了一个类的实例。Tt 适用于一个键,而对于其余键,它表示它无法实例化类 [“java.lang.exceptio”]。
java - 使用 Java 的映射器
我是 Hadoop、Mapr 和 Pivotal 的新手。我已经编写了 java 代码来写入关键但在写入 Mapr 时面临的问题。
此代码适用于 pivoatal,但适用于 Mapr。
对于 Mapr,我使用端口 = 7222。我收到以下错误“现有连接被远程主机强行关闭”
请让我知道我是否使用了正确的端口或需要在特定于 Mapr 的代码中更改任何内容。
我已经停止了 iptables。
任何信息都非常感谢。
谢谢
标题
hadoop - hadoop的哪个发行版更好?
我正在处理海量数据,我的输入数据约为 100 GB。我想选择其中一种 hadoop 发行版,但我不知道选择 mapr 集群还是 cloudera 集群。我想使用免费版本(使用 hadoop 0.20 的 mapr M3 和 cloudera CDH4)。哪个更好?我使用哪种配置效果最好?谢谢。
java - Hadoop 一台机器只运行一个任务
我目前正在开发一个hadoop程序。该程序被 Hadoop 杀死是因为 mapper tasker 占用了高内存(大约 7G)。有没有办法让一台机器一次只运行一个任务?
我尝试了如下所示的设置,但没有成功。该任务被hadoop杀死。
集群正在使用mapr-m3
,每台机器都有 15.6GB 内存,可用性为 70%。
hive - 蜂巢和钻头如何整合?
与高延迟的 Hive 相比,Drill 看起来像是一个有趣的工具,用于 ad-hoc 向下钻取查询。
似乎这两者之间应该有一个不错的整合,但我找不到它。
假设今天我所有的工作都是在 Hive/Shark 上完成的,我如何将它与 Drill 集成?
我必须来回切换到 Drill 引擎吗?
我正在寻找类似于 Shark 和 Hive 的集成。
java - 通过 JDBC 连接到远程 Mapr Hive
这个问题类似,但不一样,因为Hive JDBC getConnection 不返回。然而,这是关于远程连接。Metastore 也存在于启动 hiveserver2 的目录中。
我们在远程机器上有一个正在运行的 mapr 集群。我想使用 Java JDBC 连接到该集群上的 Hive。
因此我们启动了 hive 服务器:
/opt/mapr/hive/hive-0.11/bin/hiveserver2
服务器进程的输出不包含任何错误消息。它侦听 netstat 报告的端口 10000。
我尝试按照https://cwiki.apache.org/confluence/display/Hive/HiveClient中的描述连接到服务器,从而将 localhost 替换为运行 hiveserver2 的服务器名称:
然而,该程序恰好挂在此声明上。它似乎没有建立联系。
可能我需要提供用户名和密码?
最初我使用了驱动程序 org.apache.hadoop.hive.jdbc.HiveDriver。
然而,如果 hive2 服务器正在运行,我似乎应该使用驱动程序 org.apache.hive.jdbc.HiveDriver。现在我收到以下异常: