问题标签 [hadoop-plugins]

有人知道如何在https://issues.apache.org/jira/browse/HDFS-385中安装 Hadoop 补丁吗？

我不知道什么以及如何覆盖原始代码，以便可插拔接口可以工作。

有人可以给我一个提示吗？

谢谢

initscript hadoop-0.20-mapreduce-tasktracker，动作“开始”失败。这也发生在 namenode 上。我试图找到答案，但无法做到。这发生在我尝试使用 apt-get 安装任务跟踪器时。

I'm new to Hadoop and I'm not able to find basic examples for this so that i can get the required start. I don't know if this a right place to ask or not but I feel the professionals related to this can help me.

Please help me on this by examples or documentation.

Thanks in advance

Pawan

我已经成功安装了Hadoop 插件。而且我也可以从 eclipse访问DFS位置。但是当我尝试将 Mapper 或 reducer 类添加到我创建的项目时，出现以下错误

除非源级别为 1.5，否则无法参数化超类。

我检查了构建路径位置，所有 Hadoop jar 都可用。可能是什么错误？

是否可以使用 H base 0.96 版作为 Mahout 0.9 版的数据源？

示例：- 在 Hbase 表上运行 Mahout。

我正在使用具有以下配置的系统：- Ubuntu 14.04 -64 位架构。提前致谢。

插入表时面临重复条目问题。

我一直在使用 Hadoop 映射器从文件中读取记录。它成功地从文件中完全读取记录​​。但是在通过 Hadoop 减速器将记录写入 mysql 数据库时，出现以下错误。

java.io.IOException：键“PRIMARY”的重复条目“505975648”

但是 Mysql 表仍然是空的。无法从 Hadoop DBWritable reducer 将记录写入 mysql 表。

以下是错误日志：

警告：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException：Connection.close() 已经被调用。此状态下的无效操作。在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor .newInstance(Constructor.java:526) 在 com.mysql.jdbc.Util.handleNewInstance(Util.java:406) 在 com.mysql.jdbc.Util.getInstance(Util.java:381) 在 com.mysql.jdbc。 SQLError.createSQLException(SQLError.java:984) 在 com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956) 在 com.mysql.jdbc.SQLError.createSQLException(SQLError.java:926) 在 com.mysql.jdbc .

2014 年 6 月 4 日下午 1:23:36 org.apache.hadoop.mapred.LocalJobRunner$Job 运行警告：job_local_0001 java.io.IOException： org.apache.hadoop.mapred 中键“PRIMARY”的重复条目“505975648”。 lib.db.DBOutputFormat$DBRecordWriter.close(DBOutputFormat.java:77) at org.apache.hadoop.mapred.ReduceTask$OldTrackingRecordWriter.close(ReduceTask.java:467) at org.apache.hadoop.mapred.ReduceTask.runOldReducer( ReduceTask.java:531) 在 org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:421) 在 org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:262)

我完成了一个读取 iTunes EPF 文件并将这些记录插入 mysql 数据库表的过程。

其中，在插入记录之前，我需要检查给定记录是否存在于数据库中。如果记录不存在，那么我将插入记录。但是如果记录已经存在于数据库中，那么我需要更新mysql中的相应记录。

如何检查mysql中的记录是否存在。是否可以在 Mapper 或 Reducer 类中进行此检查..？以及，如果记录存在如何更新记录。

我是 hadoop 的初学者，使用 hadoop 的初学者指南作为教程。

我正在使用 mac osx 10.9.2 和 hadoop 版本 1.2.1

当我在终端中调用 echo $PATH 时，我已经设置了所有适当的类路径：

这是我得到的结果：

/Library/Frameworks/Python.framework/Versions/2.7/bin:/Users/oladotunopasina/hadoop-1.2.1/hadoop-core-1.2.1.jar:/Users/oladotunopasina/hadoop-1.2.1/bin:/ usr/share/grails/bin:/usr/share/groovy/bin:/Users/oladotunopasina/.rvm/gems/ruby-2.1.1/bin:/Users/oladotunopasina/.rvm/gems/ruby-2.1.1 @global/bin:/Users/oladotunopasina/.rvm/rubies/ruby-2.1.1/bin:/usr/local/heroku/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr /local/bin:/Users/oladotunopasina/.rvm/bin:/Users/oladotunopasina/.rvm/bin

我尝试编译 WordCount1.java，但出现以下错误：

请帮忙。

我想在我的 Java 代码中覆盖 Hadoop 的默认记录阅读器。它默认逐行读取记录。我在遇到“：”时更改了它，将记录分开。但是，在分隔记录时，它也会发出分隔符。例如，我的记录是：

读取记录时，它会产生如下结果：

但是分隔符 - “：”不见了。有没有办法将此分隔符保存在记录中？因为分隔符中可能有一些重要的信息。

我已经配置了 HDFS、Datanode 和 namenode 以及 hbase。我在 HDFS 中存储了一个 CDR csv 文件。那么我怎样才能将它与 Hbase 映射并准备好处理它呢？