问题标签 [hadoop-plugins]

感谢您阅读本文 =)

我试图弄清楚如何根据行 ID 来限制 HBql 中的查询。我花了几个小时，查看是否有任何相关的文章在线。

到目前为止，我还没有找到任何关于这个问题的有用文档；HBql.com 不是很有帮助（也许它在那里，但我错过了）。

如果您能给我任何可以帮助我解决此问题的提示或文件，我将不胜感激。

-- 金融时报

Hadoop（和 Java）新手在这里。我需要一些帮助MultipleTextOutputFormat来控制 MapReduce 中的输出文件名。

目前我正在以这种方式使用它。它似乎工作正常。但是，我要更改的是用于确定文件名的字段的使用。

我不想将它们硬编码为field[0]or field[3]（就像示例中的情况一样），我想（以某种动态方式）从JobConfas field[jobConf.get("id.offset")]or中提取它field[jobConf[get("date.offset")]。这里有谁知道我该怎么做（或达到这种效果的东西，即它本身不一定是JobConf）？

任何指针/建议/提示等。将不胜感激。谢谢。

我对猪知之甚少。我有 protobuf 格式的数据文件。我需要将此文件加载到猪脚本中。我需要编写一个 LoadFunc UDF 来加载它。说功能是Protobufloader()。

我的 PIG 脚本是

我只想知道如何获取文件输入流。一旦我掌握了文件输入流，我就可以将数据从 protobuf 格式解析为 PIG 元组格式。

PS：提前谢谢

当我在 Eclipse 错误中的 map reduce 环境上运行 hadoop 时，我遇到了一些错误，

在“刷新 DFS 子项”期间发生内部错误。

我想了解 Hadoop 不仅仅是一个黑匣子。我想探索 Hadoop 代码本身。如何不从主干下载捆绑包，我应该从哪里开始？任何帮助都会非常有帮助谢谢 Shujaat

我从 cloudera 下载并设置了 hadoop-cdh3u2。在 hadoop-0.20.2-cdh3u2/src/contrib 我找到了一个名为“eclipse-plugin”的项目，我在 eclipse 中导入了它，得到了错误，并添加了 hadoop-core.jar 作为 eclipse 应用程序运行，但我不能添加一个新服务器（我是否需要更新“MANIFEST.MF”中的任何内容）？？。我收到以下错误。我想知道将这个项目导出到 jar 中是正常过程，还是我需要做任何额外的事情？？？

eclipse版本为indigo，平台Ubuntu 11.10，java版本为1.6

我无法在 Eclipse 上编译 Hadoop MapReduce。谁能帮我？

在 Hadoop 中如何处理每天增加的数据：

例如：

第一天我可能在某个输入文件夹中有 100 万个文件（例如 hadoop/demo）

在同一文件夹中的第二天，文件可能会从现有的 100 万个文件 + 另一个新的 100 万个文件增加，因此总共 200 万个。

同样是第 3 4 天...继续前进。

我的限制是 -> 第一天的文件不应该在第二天处理。

(ie) 当新文件与它们一起添加时，不应再次处理已经处理的文件。更具体地说，只应处理新添加的文件，而应忽略旧文件。

所以请帮助我解决这个问题。

不过，如果您不了解约束条件，请说出不清楚的地方，以便我可以详细说明我的约束条件！

我正在尝试使用带有 Eclipse Indigo 的 hadoop-eclipse 插件运行 MapReduce 作业，但出现以下错误：

Error: failure to login

在寻求帮助时，我发现 Hadoop-0.20.203.0 存在问题，因此我尝试了 Hadoop-0.20.205.0，因为该问题已在此版本中得到修复。

我仍然面临同样的问题。我错过了什么或犯了错误吗？

我在eclipse Workspace 中有一个 Java 项目和Map/Reducer项目，我想使用 java 项目中的 Map/Reducer 项目的类文件来执行计算，我是Apache Hadoop 和 Map/Reducer的新手，请建议。