问题标签 [toolrunner]

大多数 Hadoop MapReduce 程序是这样的：

的用途是Configured什么？As Tooland Configuredboth have getConf()and setConf()in common。它为我们的应用程序提供了什么？

我正在使用 ToolRunner 运行我的作业

我运行的命令：

但是得到

我做错什么了吗？请建议。

编辑 正如克里斯建议的那样，我更新了我的代码。并且通过 Eclipse IDE 工作正常当我将我的 jar 移植到集群时，它给出了同样的错误

I am trying to do iteration with map reduce. I have 3 sequence job running

Job 3 reducer

But showing

Now how to iterate through the above jobs?

The whole 3 jobs should work until INCOMING_ATTR == 0 and the output of job3 - args[1] should be the input to job 1 for second iteration.In order to do this should I change anything.

Please suggest.

Am I doing anything wrong.

我曾经使用（这使用 GenericOptionsParser）运行 hadoop mapreduce

hadoop jar app.jar app -files /home/some/file#file

但是在最新版本的hadoop中，我得到了

Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.

那么如何-files使用 ToolRunner 实现在所有 mapreduce 节点之间共享的选项呢？

我有一个 hadoop 工具，它使用ToolRunner和GenericOptionsParser来解析命令行 参数并将它们包含在配置中（通过getConfig()）。

由于我不再手动解析这些参数并将它们加载到配置中config.addResource(path)，是否有任何（干净）方法来检查 args 中列出的配置是否与目录中的实际配置匹配？我在 ToolRunner 中看不到任何有用的方法，并且 ToolRunner 在内部使用GenericOptionsParser所以我无法使用GenericOptionsParser中的方法进行比较（这只会有点帮助）。

我正在使用 Hue 访问 Hive 服务。我使用创建了一个 Hive 表

我完美地上传了 300 000 条记录的数据。但是在执行如下查询时：

它正在创建 MapReduce 作业，此时我收到以下警告，如何解决此警告。

警告：未执行 Hadoop 命令行选项解析。实现 Tool 接口并使用 ToolRunner 执行您的应用程序来解决这个问题。

完整的日志：