问题标签 [hadoop-plugins]

使用 C++ 管道 api(1.2.0)，如何在映射器的 map() 阶段之后在 Mapper.cleanup() 中调用？基本上对于每个块，我想在映射阶段将我的记录存储在内存中，然后再应用一些处理。

欢迎任何提示，谢谢，

根据我的图像处理项目。我需要将hadoop（并行处理器）与tesseract（图像处理到txt）集成。

我正在尝试在 Hadoop 中添加一个新的调度程序。它不是默认的（FairScheduler/CapacityScheduler）。我用svn检查了源代码。现在，我应该编辑哪个源文件/类来获得这个功能？

我成功安装了 Hadoop 版本 1.0.3 及其相关的 eclipse 插件。所有 Hadoop 功能和示例都运行良好，但是当我想在 eclipse 上使用它的插件时，它无法连接到 hdfs，我得到了错误：

在“连接到 DFS localhost”期间发生内部错误。org/apache/commons/配置/配置。

谁能帮我解决这个问题！谢谢

我发现了 Pig 和 Hive 之间的一些（显着）性能差异（在实时运行时间和 CPU 时间方面），并且正在寻找解决这些差异的方法。我使用了两种语言的解释功能（即 Hive：EXPLAIN 关键字，Pig：pig -e 'explain -script explain.pig'）来对比和比较生成的语法树、逻辑、物理和 map-reduce 计划。然而，两者似乎都做同样的事情。然而，作业跟踪器显示启动的 map 和 reduce 任务的数量存在差异（因此我确保两者使用相同数量的 map 和 reduce 任务并且性能差异仍然存在）。因此，我的问题是：我可以通过哪些其他方式分析正在发生的事情（可能在较低级别/字节码级别）？

编辑：我正在运行 TPC 的 TPC-H 基准测试（可用https://issues.apache.org/jira/browse/PIG-2397和https://issues.apache.org/jira/browse/HIVE-600）。然而，更简单的脚本也显示出相当大的性能差异。例如：

我仍然需要全面评估 TPC-H 基准（稍后会更新），但更简单脚本的结果在本文档中有详细说明：https ://www.dropbox.com/s/16u3kx852nu6waw/output.pdf

（jpg：http: //i.imgur.com/1j1rCWS.jpg）

我在 windows xp 中使用 cygwin 来安装 pig-0.11.1。我提取了我的 pig_home 文件夹并将其放置在 cygwin 的用户目录中。当我尝试在提示符 ./pig help 中命令时，它向我显示以下错误。

其中：（/usr/local/bin:/usr/bin:/cygdrive/c/Program Files/Java/jdk1.6.0_31/bin:/home/sunil/pig-0.11.1/bin）中没有hadoop cygpath：无法创建 C:\cygwin\home\sunil\pig-0.11.1\logs 的短名称 找不到 pig.jar。做'ant jar'，然后再试一次

我能得到一些帮助吗？提前谢谢。

问候，约翰

我在我的 Eclipse 中下载并安装了 pigpen 插件，我按照此链接中的步骤操作）

但是当我设置 Pig 的 ConfigurationPath 时，它有点令人困惑。

谁能告诉我如何设置首选项以在 eclipse 中运行猪脚本。我累了，但工作不正常。

在单节点集群上安装hadoop，知道为什么我们需要创建以下内容

1. 为什么我们需要新用户的 SSH 访问权限..？

2. 为什么它应该能够连接到自己的用户帐户？

3. 为什么我应该为新用户指定密码少..？

4. 当所有节点都在同一台机器上时，为什么它们要显式通信..？

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

Hadoop多节点设置时的问题。一旦我在Master上启动我的hdfs恶魔（bin / start-dfs.sh）

我确实得到了以下关于大师的日志

我确实得到了以下奴隶@的日志

hadoop-hduser-datanode-localhost.localdomain.log 文件

有人可以告诉我，设置有什么问题。

I am trying to process XML files from hadoop, i got following error on invoking word-count job on XML files .

i observer following error at hadoop-hduser-tasktracker-localhost.localdomain.log file on slave machine .

This works fine when i ran for text files