问题标签 [mapr]

我正在使用 Hadoop-Vertica 连接器将一个大文件导入 Vertica。我试图在没有 Reducer 的情况下使用 hadoop 来做到这一点。但是在映射过程中vertica输出表似乎无法初始化，总是有错误。

当我检查文档时，它没有说我们可以在映射期间写入 Vertica，所以我想知道我们是否可以这样做？

谢谢！

编辑

这是Hadoop Vertica 连接器的文档。

错误：

查看VerticaWordCount.java的源码，发现输出表的名字列表根本没有初始化。

这是我在 run() 中的配置：

当我运行这个命令时：

我收到以下错误。

谁能建议如何启用额外的详细/调试日志记录？

上述错误似乎来自 MAPR hadoop 类。在这些包以及 org.apache 中启用更详细的日志记录会很好。*

我尝试修改 /opt/mapr/conf/logging.properties 但似乎没有帮助。

顺便说一句，运行 Hadoop 1.0.3 和 MapR 3.1.1.26113.GA

谢谢，

Fi

ps 这与我在http://answers.mapr.com/questions/11374/write-to-maprfs-with-hadoop-cli-fails-inside-docker-while-running-on-a-data-的问题有关节点＃

从 mapr 目录读取文件时出现以下异常：

当我在本地火花中断器上运行它时，我没有遇到异常。我的猜测是文件类型导致异常。知道是什么导致了这个 NP 吗？

尝试使用Windows 客户端mapreduce从 Eclipse 运行程序时出现以下错误。MAPR

你能帮忙看看这有什么问题吗？注意：我可以从窗口 cmd 提示符访问 MAPR fs：

错误日志如下：

我正在尝试找到登录 MapReduce 作业的最佳方法。我在我的其他 Java 应用程序中使用带有 log4j appender 的 slf4j，但是由于 MapReduce 作业在集群中以分布式方式运行，我不知道应该在哪里设置日志文件位置，因为它是一个访问受限的共享集群特权。

是否有任何记录 MapReduce 作业的标准做法，以便您可以在作业完成后轻松查看整个集群的日志？

当我尝试安装 pandas 时，出现错误。

你能建议我解决吗？

[mapr@csdssqwqasw22 ~]$ pip install pandas 下载/解包 pandas 无法获取索引基本 URL https://pypi.python.org/simple/ 找不到任何满足 pandas 要求的下载 清理... 根本没有分发发现 pandas 在 /home/mapr/.pip/pip.log 中存储失败的调试日志

我正在运行 MapR 社区版 Hadoop 集群 (M3)。

不幸的是，HiveServer2 服务崩溃了，根据 中的日志文件/opt/mapr/hive/hive-0.13/logs/mapr/hive.log，暂存目录的权限存在问题：

我使用以下命令检查了暂存目录的设置hive -e 'set;' | grep scratch：

我注意到它hive.scratch.dir.permission设置为 700 并且错误消息表明它想要将其更改为 777。但是，根据文件系统，/mapr/my.cluster.com/user/mapr/tmp它具有 777 权限并且属于 mapr 用户。

从文件系统权限来看，我希望 mapr 用户可以对这个文件夹做任何事情，所以不理解错误消息。

我很想知道是否有人以前见过这个，如果有，你是怎么解决的？

更新：

我查看了源代码，并注意到警告之前的一些相关注释：

我在 hive-site.xml 中添加了以下属性：

...并/tmp/hive/在 HDFS 中创建了具有 777 权限的文件夹：

尽管这看起来很有希望，但我仍然在hive.log.

我正在尝试从 spark 读取 hdfs 符号链接的多个部分文件。如果路径是物理的，我可以使用通配符（*）从路径读取多个文件，例如 sparkContext.textFile(/some/path/file_123321_00/part-r-000*)

但是我已经在 hdfs 上创建了指向这个文件夹的符号链接，称为“fullset”。当我使用
/some/path/ fullset /part-r-000* 时，它无法检测到任何路径。我尝试hadoop fs -ls了两条路径。第一个有效，但带有符号链接的一个不能按预期工作。
我们正在使用 MapR 发行版，它允许我们创建这样的符号链接，但我现在不确定从 Spark 中读取它的最佳方式是什么。我们创建符号链接的原因是将其指向最新的数据集。欢迎任何建议。谢谢

我正在运行一个 MapR 集群，并想用Druid做一些时间序列分析。MapR 使用 Zookeeper 的非标准端口（端口 5181 而不是传统的端口 2181）。

当我启动 Druid 协调器服务时，它尝试连接常规 Zookeeper 端口并失败：

Druid 文档显示Zookeeper主机可以通过druid.zk.service.host. config/_common/common.runtime.properties它没有指定编辑 Zookeeper 端口的属性。

Druid 的 Zookeeper 端口是否可配置？或者如果将 Druid 与 MapR 一起使用，是否需要运行额外的 Zookeeper 服务？

我正在玩 Mapr Sandbox，但我不明白 Mapr Warden 应用程序的作用是什么。Mapr 网站包含对配置文件的引用，但没有对程序本身的描述。