问题标签 [mapr]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
265 浏览

hadoop - Hadoop-Vertica 连接器:我可以在 Map 过程中写入 Vertica 吗?

我正在使用 Hadoop-Vertica 连接器将一个大文件导入 Vertica。我试图在没有 Reducer 的情况下使用 hadoop 来做到这一点。但是在映射过程中vertica输出表似乎无法初始化,总是有错误。

当我检查文档时,它没有说我们可以在映射期间写入 Vertica,所以我想知道我们是否可以这样做?

谢谢!

编辑

这是Hadoop Vertica 连接器的文档。

错误:

查看VerticaWordCount.java的源码,发现输出表的名字列表根本没有初始化。

这是我在 run() 中的配置:

0 投票
2 回答
1321 浏览

hadoop - 使用 MAPRFS 运行“hadoop fs”时如何启用额外的日志记录?

当我运行这个命令时:

我收到以下错误。

谁能建议如何启用额外的详细/调试日志记录?

上述错误似乎来自 MAPR hadoop 类。在这些包以及 org.apache 中启用更详细的日志记录会很好。*

我尝试修改 /opt/mapr/conf/logging.properties 但似乎没有帮助。

顺便说一句,运行 Hadoop 1.0.3 和 MapR 3.1.1.26113.GA

谢谢,

Fi

ps 这与我在http://answers.mapr.com/questions/11374/write-to-maprfs-with-hadoop-cli-fails-inside-docker-while-running-on-a-data-的问题有关节点#

0 投票
1 回答
316 浏览

java - 为什么 MapR 在读取文件时给我一个空指针?

从 mapr 目录读取文件时出现以下异常:

当我在本地火花中断器上运行它时,我没有遇到异常。我的猜测是文件类型导致异常。知道是什么导致了这个 NP 吗?

0 投票
0 回答
150 浏览

hadoop - JobTrackerWatcher.findJobTrackerAddr() 中的 ProtoBuf 无效:重试连接 ZooKeeper 尝试#0 当前 ZooKeeper 服务器:

尝试使用Windows 客户端mapreduce从 Eclipse 运行程序时出现以下错误。MAPR

你能帮忙看看这有什么问题吗?注意:我可以从窗口 cmd 提示符访问 MAPR fs:

错误日志如下:

0 投票
2 回答
14203 浏览

java - 登录 MapReduce 作业的标准做法

我正在尝试找到登录 MapReduce 作业的最佳方法。我在我的其他 Java 应用程序中使用带有 log4j appender 的 slf4j,但是由于 MapReduce 作业在集群中以分布式方式运行,我不知道应该在哪里设置日志文件位置,因为它是一个访问受限的共享集群特权。

是否有任何记录 MapReduce 作业的标准做法,以便您可以在作业完成后轻松查看整个集群的日志?

0 投票
0 回答
1182 浏览

python - pip install pandas 找不到任何满足 pandas 要求的下载

当我尝试安装 pandas 时,出现错误。

你能建议我解决吗?

[mapr@csdssqwqasw22 ~]$ pip install pandas 下载/解包 pandas 无法获取索引基本 URL https://pypi.python.org/simple/ 找不到任何满足 pandas 要求的下载 清理... 根本没有分发发现 pandas 在 /home/mapr/.pip/pip.log 中存储失败的调试日志

0 投票
1 回答
2019 浏览

hadoop - Hiveserver2:无法创建/更改 scratchdir 权限为 777:无法创建 FileClient

我正在运行 MapR 社区版 Hadoop 集群 (M3)。

不幸的是,HiveServer2 服务崩溃了,根据 中的日志文件/opt/mapr/hive/hive-0.13/logs/mapr/hive.log,暂存目录的权限存在问题:

我使用以下命令检查了暂存目录的设置hive -e 'set;' | grep scratch

我注意到它hive.scratch.dir.permission设置为 700 并且错误消息表明它想要将其更改为 777。但是,根据文件系统,/mapr/my.cluster.com/user/mapr/tmp它具有 777 权限并且属于 mapr 用户。

从文件系统权限来看,我希望 mapr 用户可以对这个文件夹做任何事情,所以不理解错误消息。

我很想知道是否有人以前见过这个,如果有,你是怎么解决的?

更新:

我查看了源代码,并注意到警告之前的一些相关注释:

我在 hive-site.xml 中添加了以下属性:

...并/tmp/hive/在 HDFS 中创建了具有 777 权限的文件夹:

尽管这看起来很有希望,但我仍然在hive.log.

0 投票
1 回答
790 浏览

hadoop - 如何从 hdfs 符号链接读取多个文本文件

我正在尝试从 spark 读取 hdfs 符号链接的多个部分文件。如果路径是物理的,我可以使用通配符(*)从路径读取多个文件,例如 sparkContext.textFile(/some/path/file_123321_00/part-r-000*)

但是我已经在 hdfs 上创建了指向这个文件夹的符号链接,称为“fullset”。当我使用
/some/path/ fullset /part-r-000* 时,它无法检测到任何路径。我尝试hadoop fs -ls了两条路径。第一个有效,但带有符号链接的一个不能按预期工作。
我们正在使用 MapR 发行版,它允许我们创建这样的符号链接,但我现在不确定从 Spark 中读取它的最佳方式是什么。我们创建符号链接的原因是将其指向最新的数据集。欢迎任何建议。谢谢

0 投票
2 回答
3191 浏览

apache-zookeeper - 配置 Druid 连接到 Zookeeper 的 5181 端口

我正在运行一个 MapR 集群,并想用Druid做一些时间序列分析。MapR 使用 Zookeeper 的非标准端口(端口 5181 而不是传统的端口 2181)。

当我启动 Druid 协调器服务时,它尝试连接常规 Zookeeper 端口并失败:

Druid 文档显示Zookeeper主机可以通过druid.zk.service.host. config/_common/common.runtime.properties它没有指定编辑 Zookeeper 端口的属性。

Druid 的 Zookeeper 端口是否可配置?或者如果将 Druid 与 MapR 一起使用,是否需要运行额外的 Zookeeper 服务?

0 投票
2 回答
2089 浏览

hadoop - 什么是 Mapr Warden?

我正在玩 Mapr Sandbox,但我不明白 Mapr Warden 应用程序的作用是什么。Mapr 网站包含对配置文件的引用,但没有对程序本身的描述。