问题标签 [mapr]

我一直在做一项将 Hive 数据转换和加载到 HBase 中的 HFile 的小任务；框架 MapR。使用 bulkload 我在 HFiles 中转换后加载数据。转换没有任何问题，转换进行得很好。我面临的唯一问题是当 hive 数据大小增加时 MR 作业失败。由于虚拟内存被填满，作业失败。如果 hive 数据大小限制超过 10Gigs，则作业中断。

所有数据都被移动到单个区域服务器中，而不是分布在多个区域服务器上；这是我正在处理的 10 节点集群。似乎有hbase 热点。

我尝试将区域拆分为多个区域（NUMREGIONS => 256）并在区域之间平均分配负载（SPLITALGO => 'UniformSplit'）。但这并不能解决问题。有人知道如何解决这个热点问题吗？

问候， 阿迪尔

我正在运行 MAPR 客户端程序。我得到以下异常： java.lang.UnsatisfiedLinkError: com.mapr.security.JNISecurity.SetParsingDone(Native Method) at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.init 的 com.mapr.security.JNISecurity.SetParsingDone()V (CLDBRpcCommonUtils.java:222) 在 com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.(CLDBRpcCommonUtils.java:72) 在 com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.(CLDBRpcCommonUtils.java:63) 在 org.apache.hadoop。 conf.CoreDefaultProperties.(CoreDefaultProperties.java:68) 在 java.lang.Class.forName0(Native Method) 在 java.lang.Class.forName(Class.java:270) 在 org.apache.hadoop.conf.Configuration.getClassByNameOrNull (Configuration.java:1847) 在 org.apache.hadoop.conf.Configuration.getProperties(Configuration.java:2062) 在 org.apache.hadoop.conf。

看起来有些图书馆不见了。如何解决这个问题？

我找不到向我解释元数据如何在 MAPR（文件元数据）中分布的特定链接。当我查看 cloudera / hortonworks /apache hadoop 时，我知道元数据存储在 namenode 的内存中，然后被提取以定位保存块的节点。它在 MAPR 中的工作原理是我想要理解的。

任何帮助将不胜感激。

当我在 MapR 上使用 oozie 提交 sqoop 作业时，我反复收到此错误。详情如下。我什至将mysql jar文件复制到share/lib/sqoop目录下，没有结果。能否请你帮忙？

命令：

错误

MaprFS：

工作属性：

工作流.xml：

我正在尝试在带有 链接的窗口 7 64 位中安装 mapr-client

• 下载安装程序并在执行以下命令时提取错误后，我将设置 java 和 mapr 路径。

服务器\configure.bat -N my.cluster.com -c -C node01:7222。

像下面这样改变它。

• 下面是我得到的错误

'c:\opt\mapr' 不是内部或外部命令、可运行程序或批处理文件。

我正在使用 Yarn 运行 MR java 程序，即使映射器的数量是 24 ，但实际运行的映射器是 10 ，其余 14 个映射处于挂起状态。如何使它们也进入运行模式。我们正在运行 MAPR 6 节点集群。更改了 mapred-site.xml 和 Yarn-site.xml 中的以下属性。这些值被默认值覆盖，但我仍然没有看到任何性能基准。

笔记 。我正在运行具有 MRv1 性能的相同程序，它更好一些。所以请建议我如何很好地利用集群利用率资源。

使用的命令： yarn jar /opt/cluster/bin/logmessage-1.0-SNAPSHOT.jar com.message.WordPreprocessDriver -Dmapreduce.input.fileinputformat.split.maxsize=33554432 /data/123.txt

在纱线站点

在mapred-site

mapreduce.job.maps

您会看到实际上容器总数为 11 。有 40 个 vcore 可用，其中 11 个 vcore 在运行 MR 程序时使用。你能分享一下需要改变哪些属性吗？

谢谢你，马杜

我在 MapR DB 中创建了一个表，并使用 hbase shell 将一些原始数据加载到其中。我在哪里可以找到 MapR 文件系统上的这些数据？就像 hive 数据存储在仓库目录中一样 MapR DB 是如何工作的？

或者存储 MapR DB 数据背后还有其他概念吗？

我有一个 map reduce 作业，它会一次在 MapR 表中进行批量加载。如果我必须加载另一个 Mapr DB 表，那么我将不得不编写另一个作业来进行批量加载。有没有办法在单个 map reduce 作业中进行批量加载？

提前致谢。

MapR DB 的 MapR REST API 看起来无法正常工作。我只是尝试将列族的列表命令作为过滤器，但它没有给我正确的输出，但它与 maprcli 选项完美配合。这是我所做的操作列表。

使用 maprcli 命令

maprcli table cf list -path /user/hbase/testShashi

readperm appendperm inmemory versionperm cfname writeperm compressionperm memoryperm compression ttl maxversions minversions u:mapr u:mapr false u:mapr f1 u:mapr u:mapr u:mapr off 2147483647 1 0 u:mapr u:mapr false u:mapr f2 u:mapr u:mapr u:mapr 关闭 2147483647 1 0

maprcli table cf list -path /user/hbase/testShashi -cfname f1

readperm appendperm inmemory versionperm cfname writeperm compressionperm memoryperm compression ttl maxversions minversions u:mapr u:mapr false u:mapr f1 u:mapr u:mapr u:mapr off 2147483647 1 0

当我将 cfname 作为 f1 传递时，使用 maprcli 选项，它只给我一条记录，但 REST API 似乎不会发生

使用 REST API 应用过滤器之前

curl -k -u mapr:mapr https://hostname:8443/rest/table/cf/list?path=/user/hbase/testShashi

以 cfname 作为选项

curl -k -u mapr:mapr https://hostname:8443/rest/table/cf/list?path=/user/hbase/testShashi&cfname=f1

如果我在这里犯了任何错误，请告诉我。

我对 Hadoop MapReduce 有几个基本问​​题。

1. 假设如果执行了 100 个映射器并且零减速器。它会生成100个文件吗？所有个体都排序？对所有映射器输出进行排序？
2. reducer 的输入是 Key -> Values。对于每个键，所有值都排序？
3. 假设是否执行了 50 个减速器。它会生成50个文件吗？所有单个文件都已排序？对所有减速器输出进行排序？

在 MapReduce 中是否有保证排序发生的地方？