问题标签 [mapr]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop-Vertica 连接器:我可以在 Map 过程中写入 Vertica 吗?
我正在使用 Hadoop-Vertica 连接器将一个大文件导入 Vertica。我试图在没有 Reducer 的情况下使用 hadoop 来做到这一点。但是在映射过程中vertica输出表似乎无法初始化,总是有错误。
当我检查文档时,它没有说我们可以在映射期间写入 Vertica,所以我想知道我们是否可以这样做?
谢谢!
编辑
这是Hadoop Vertica 连接器的文档。
错误:
查看VerticaWordCount.java的源码,发现输出表的名字列表根本没有初始化。
这是我在 run() 中的配置:
hadoop - 使用 MAPRFS 运行“hadoop fs”时如何启用额外的日志记录?
当我运行这个命令时:
我收到以下错误。
谁能建议如何启用额外的详细/调试日志记录?
上述错误似乎来自 MAPR hadoop 类。在这些包以及 org.apache 中启用更详细的日志记录会很好。*
我尝试修改 /opt/mapr/conf/logging.properties 但似乎没有帮助。
顺便说一句,运行 Hadoop 1.0.3 和 MapR 3.1.1.26113.GA
谢谢,
Fi
java - 为什么 MapR 在读取文件时给我一个空指针?
从 mapr 目录读取文件时出现以下异常:
当我在本地火花中断器上运行它时,我没有遇到异常。我的猜测是文件类型导致异常。知道是什么导致了这个 NP 吗?
hadoop - JobTrackerWatcher.findJobTrackerAddr() 中的 ProtoBuf 无效:重试连接 ZooKeeper 尝试#0 当前 ZooKeeper 服务器:
尝试使用Windows 客户端mapreduce
从 Eclipse 运行程序时出现以下错误。MAPR
你能帮忙看看这有什么问题吗?注意:我可以从窗口 cmd 提示符访问 MAPR fs:
错误日志如下:
java - 登录 MapReduce 作业的标准做法
我正在尝试找到登录 MapReduce 作业的最佳方法。我在我的其他 Java 应用程序中使用带有 log4j appender 的 slf4j,但是由于 MapReduce 作业在集群中以分布式方式运行,我不知道应该在哪里设置日志文件位置,因为它是一个访问受限的共享集群特权。
是否有任何记录 MapReduce 作业的标准做法,以便您可以在作业完成后轻松查看整个集群的日志?
python - pip install pandas 找不到任何满足 pandas 要求的下载
当我尝试安装 pandas 时,出现错误。
你能建议我解决吗?
[mapr@csdssqwqasw22 ~]$ pip install pandas 下载/解包 pandas 无法获取索引基本 URL https://pypi.python.org/simple/ 找不到任何满足 pandas 要求的下载 清理... 根本没有分发发现 pandas 在 /home/mapr/.pip/pip.log 中存储失败的调试日志
hadoop - Hiveserver2:无法创建/更改 scratchdir 权限为 777:无法创建 FileClient
我正在运行 MapR 社区版 Hadoop 集群 (M3)。
不幸的是,HiveServer2 服务崩溃了,根据 中的日志文件/opt/mapr/hive/hive-0.13/logs/mapr/hive.log
,暂存目录的权限存在问题:
我使用以下命令检查了暂存目录的设置hive -e 'set;' | grep scratch
:
我注意到它hive.scratch.dir.permission
设置为 700 并且错误消息表明它想要将其更改为 777。但是,根据文件系统,/mapr/my.cluster.com/user/mapr/tmp
它具有 777 权限并且属于 mapr 用户。
从文件系统权限来看,我希望 mapr 用户可以对这个文件夹做任何事情,所以不理解错误消息。
我很想知道是否有人以前见过这个,如果有,你是怎么解决的?
更新:
我查看了源代码,并注意到警告之前的一些相关注释:
我在 hive-site.xml 中添加了以下属性:
...并/tmp/hive/
在 HDFS 中创建了具有 777 权限的文件夹:
尽管这看起来很有希望,但我仍然在hive.log
.
hadoop - 如何从 hdfs 符号链接读取多个文本文件
我正在尝试从 spark 读取 hdfs 符号链接的多个部分文件。如果路径是物理的,我可以使用通配符(*)从路径读取多个文件,例如
sparkContext.textFile(/some/path/file_123321_00/part-r-000*)
但是我已经在 hdfs 上创建了指向这个文件夹的符号链接,称为“fullset”。当我使用
/some/path/ fullset /part-r-000* 时,它无法检测到任何路径。我尝试hadoop fs -ls
了两条路径。第一个有效,但带有符号链接的一个不能按预期工作。
我们正在使用 MapR 发行版,它允许我们创建这样的符号链接,但我现在不确定从 Spark 中读取它的最佳方式是什么。我们创建符号链接的原因是将其指向最新的数据集。欢迎任何建议。谢谢
apache-zookeeper - 配置 Druid 连接到 Zookeeper 的 5181 端口
我正在运行一个 MapR 集群,并想用Druid做一些时间序列分析。MapR 使用 Zookeeper 的非标准端口(端口 5181 而不是传统的端口 2181)。
当我启动 Druid 协调器服务时,它尝试连接常规 Zookeeper 端口并失败:
Druid 文档显示Zookeeper主机可以通过druid.zk.service.host
. config/_common/common.runtime.properties
它没有指定编辑 Zookeeper 端口的属性。
Druid 的 Zookeeper 端口是否可配置?或者如果将 Druid 与 MapR 一起使用,是否需要运行额外的 Zookeeper 服务?
hadoop - 什么是 Mapr Warden?
我正在玩 Mapr Sandbox,但我不明白 Mapr Warden 应用程序的作用是什么。Mapr 网站包含对配置文件的引用,但没有对程序本身的描述。