2

我正在尝试使用 Hadoop 2.4 运行 Oryx。Hadoop 成功启动并发出警告：

WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类。

Oryx 也成功启动。但是当我将数据摄取到其中时，会引发以下异常：

2014-08-22 14:35:05,835 错误 [37788 上的 IPC 服务器处理程序 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl：任务：尝试_1408697508855_0002_m_000000_0 - 退出：org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014 -08-22 14:35:05,835 INFO [IPC 服务器处理程序 3 上 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl：来自尝试_1408697508855_0002_m_000000_0 的诊断报告：错误：org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014 -08-22 14:35:05,837 INFO [AsyncDispatcher 事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：来自尝试_1408697508855_0002_m_000000_0 的诊断报告：错误：org.apache.hadoop.util.NativeCodeLoader。 buildSupportsSnappy()Z 2014-08-22 14:35:05,840 信息 [AsyncDispatcher 事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：attempt_1408697508855_0002_m_000000_0 TaskAttempt 从 RUNNING 转换到 FAIL_CONTAINER_CLEANUP

有没有人之前遇到过这样的问题？任何形式的帮助都将是可观的！

4

1 回答 1

0

我正在从您的邮件列表中复制一些项目：

  • 这可能是安装的 Snappy 库的问题，但似乎已解决
  • YARN 容器因运行超过虚拟内存限制而被终止。请参阅常见问题解答——这可能是一个 Java 问题，您可以通过更改 YARN 配置来解决。
  • 最后一个问题似乎是 YARN 配置的另一个问题，尽管尚不清楚。如果可能的话，我建议从新配置和/或预配置且已知可以工作的发行版开始。
于 2014-08-22T12:25:49.053 回答