0

我正在尝试在我的 Mac 上调试单节点 Hadoop 集群的一些问题。在所有设置文档中，它说要添加：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

要删除此错误：

Unable to load realm info from SCDynamicStore

这有效，但它似乎只适用于 STDOUT。当我检查我的 Hadoop 日志目录时，在“job_###/atempt_###/stderr”下，错误仍然存​​在：

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore

我很难将 RVM Ruby 加载到 Hadoop 环境中以使用 Hadoop 流执行 Ruby 代码。STDOUT 正在打印 RVM 已加载并使用正确的 Ruby/gemset 但我的 STDERR 日志：

env: ruby_noexec_wrapper: No such file or directory

有没有办法找出 Hadoop 实际使用什么路径来执行作业，或者它是否在这里调用其他环境？

进一步背景：

我正在使用通过 Homebrew 安装的 Hadoop 1.1.1。它的设置方式非常类似于“在 MAC OSX LION 上安装 HADOOP ”并调试wukong 3.0.0的实现作为执行 Hadoop 作业的包装器。

4

1 回答 1

0

回答我自己的问题，以便其他人可以找到它。

我似乎在我的 hadoop-env 中加载了 rvm，但添加后我一定没有重新启动集群。为确保您的 rubies 和 gemsets 已加载，请将标准 rvm 子句添加到 hadoop-env.sh。就像是：

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm"

并确保重新启动集群以便它启动它。奇怪的是，如果不重新启动，我的日志会显示它正在加载 rvm，但它显然没有执行那个 ruby​​ 并且它是各自的 gemfile。重新启动后它工作。

于 2013-02-08T16:55:56.320 回答