问题标签 [hadoop-plugins]

我已经成功安装了hadoop稳定版。但在安装 hadoop -2.0.0 版本时感到困惑。

我想在两个节点上安装 hadoop-2.0.0-alpha，在两台机器上使用联合。rsi-1、rsi-2 是主机名。

以下属性的值应该是什么来实现联邦。两台机器也都用于数据节点。

fs.defaulFS dfs.federation.nameservices dfs.namenode.name.dir dfs.datanode.data.dir yarn.nodemanager.localizer.address yarn.resourcemanager.resource-tracker.address yarn.resourcemanager.scheduler.address yarn.resourcemanager.address

还有一点，在稳定版本的 hadoop 中，我在安装目录的 conf 文件夹下有配置文件。

但是在 2.0.0-aplha 版本中，有 etc/hadoop 目录，它没有 mapred-site.xml、hadoop-env.sh。我需要将共享文件夹下的conf文件夹复制到hadoop-home目录吗？还是我需要将这些文件从共享文件夹复制到 etc/hadoop 目录中？

问候， 拉什米

对于将 hadoop 作为存储系统，我有 2 个问题。

1. 我有一个包含 3 个数据节点的 hadoop 集群，我想将一个大小为 128mb 的大文件（假设拆分大小为 64mb ）直接拆分到我选择的数据节点。这就是在这种情况下如何控制哪个拆分到哪个 DataNode。我的意思是说我们有 3 个数据节点（即 D1、D2、D3）并且我们想要特定的拆分（比如说“A”），我希望它移动到特定的数据节点让它成为 D2。

   我们应该怎么做 ？

2. hadoop 文件系统的最小可能拆分大小是多少。我们如何将其配置为最小的拆分大小。

我在其仅节点（测试）模式下使用水槽；我的水槽以下列方式启动：

水槽节点 -1 -c $FQDN':amqp("exchangeName=[exchange name]", "bindings=[binding name]", "host=127.0.0.1", "port=5672", "userName=[user] ", "password=[pass]", "exchangeType=direct", "durableExchange=false", "queueName=[queue name]", "durableQueue=true", "exclusiveQueue=false", "autoDeleteQueue=false", " useMessageTimestamp=true")|collectorSink("s3n://[Amazon key]:[Amazon secret]@[path at S3]","server");' -s "$@" > "$log" 2>&1

我有兴趣使用水槽传递 .csv 文件。不幸的是，flume 将 .csv 文件转换为 .json，添加了一些字段。

例子：

原消息：

水槽将消息转换为：

如何配置水槽以按原样传递消息？

任何人都可以将示例代码从 mongodb 提供给 rdbs ...我已经尝试过，从 mongodb 获取数据并将输出存储在 mongodb 中。为此，我知道如何在 java 作业中进行 hadoop 配置。

我想知道三件事...

1. 哪个hadoop版本同时支持mongodb和rdbs？
2. 是否可以使用多个集合作为输入...？如果可能的话，我们怎么能做到这一点？
3. 我在hadoop中尝试了mongodb查询，它工作正常。但是当我定义排序或限制时......它不能正常工作..即使它没有从mongodb获取数据......

我正在构建一个 hadoop pig 编辑器，类似于 sql 编辑器，用户可以在其中编写执行他们的 pig 命令，并查看执行命令的历史记录。还有智能。

我需要知道如何解析我的 pig 命令并运行它。

提前致谢。

最近在研究Hadoop，想用eclipse用Hadoop做一些MapReduce程序。

环境是：

Hadoop 1.0.4；

日食 4.2.1；

但我在 Hadoop 1.0.4 中找不到 eclipse 插件。

谁能告诉我eclipse插件在哪里？

我使用以下教程在 ubuntu 12.04 LTS 上设置和配置了 sudo node hadoop 环境 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#formatting-the -hdfs-filesystem-via-namenode

输入 hadoop/bin $ start-all.sh 后一切正常，然后我检查了 Jps，然后 NameNode、JobTracker、TaskTracker、SecondaryNode 已启动但 DataNode 未启动...

如果有人知道如何解决此问题，请告诉我..

我必须在 Eclipse 中为 Hadoop1.0.4 编写 MapReduce 程序。

此版本的 Hadoop 不包含 eclipse 插件。

但是 build.xml 文件可以在 $HADOOP_HOME/src/contrib/eclipse-plugin 中找到。

如何从 build.xml 文件生成或构建 eclipse 插件？

我正在使用 Eclipse 构建 hadoop 插件 hadoop 版本是 1.0.4 当我使用 ant builder 时，出现如下错误

谁能告诉我这些问题的可能原因是什么？谢谢

我正在为hadoop使用eclipse插件。我可以通过制作一个 hadoop 服务器来查看 HDFS 中的所有文件，但是当我尝试从 eclipse 运行 wordcount.java 文件时，它给了我异常，而从终端它运行顺利。例外情况如下。