问题标签 [bigtop]

我使用 Bigtop 0.5.0 存储库和 Sun Java 1.6 的相对干净的 CentOS 6.3 安装。我按照此处的说明添加 Bigtop 存储库。

我已经使用 yum 安装了 Hadoop common 和 Oozie。我通过运行 sudo service oozie init 配置了 oozie，然后使用 Bigtop 0.6.0 中 init-hdfs.sh 文件中的命令设置 HDFS 路径。

我可以毫无问题地运行 Java 和流式映射减少作业。我还可以运行与 Bigtop 捆绑在一起的 Oozie 流媒体示例。不幸的是，当我尝试运行 map-reduce 示例时，我得到一个 java.lang.ClassNotFoundException

我可以从 HDFS 审计日志中看到 oozie-examples-3.3.0.jar 文件被检查，但从未打开。这些是工作流运行时审计日志中 jar 文件仅有的四个条目：

我从端口 8088 上的 webconsole 获得的容器日志显示以下异常，但没有提供进一步的线索：

当工作流的失败阶段正在运行时，我设法从 temp 目录中获取了 job.xml 文件，并且我可以看到 jar 文件被添加到类路径属性中：

...但显然仍未找到该课程。我已将所有组件的所有调试都设置为 DEBUG，并且找不到更多线索。

我只是错误地配置了某些东西，还是这实际上是一个错误？我真的不知道下一步该做什么。

版本是 2.0.4

我正在使用来自这里的 Cloudera bigtop debian 软件包http://bigtop01.cloudera.org:8080/job/Bigtop-0.6.0-rvs/ws/，但我实际上遇到了从 Apache 镜像获取最新 jar 的相同问题并配置自己。

另外，为了它的价值，我从 Apache 找到了一个 1.1.2 的 debian 包，并且没有这个问题。

所以启动namenode，我得到了这个然后它冻结了。

这是传递给namenode的参数。

这很烦人，因为它没有失败，它只是挂起......关于我应该如何调试它的任何想法？

编辑：好的，我很难过。如果我添加 java 选项来侦听 Java 调试器，它可以工作吗？我不明白...

编辑 2：jstack 输出 - 开始关注这个问题

在 Oozie 上运行作业时，使用命令

我得到错误：

安装是从 bigtop-0.6 完成的。

我在 Ubuntu 12.04 上安装了 Bigtop 0.7.0，并且我在主服务器上启动时没有任何问题：

我能够连接到 hbase shell 并创建一个表。

重新启动PC后，我看到该表不再存在。

我读到问题在于它将表存储在 /tmp 中，重启后会被清除，所以我尝试更改配置 hbase-site.xml 以设置另一个文件夹。

默认的 hbase-site.xml 是：

（未定义属性）

当我在 hbase-site.xml 中写入时，我尝试再次启动 hbase master，但收到 Zookeeper 客户端异常，无法连接到服务器。

您能否给我一些关于如何配置此权限的建议，或者是否还有其他我不知道的问题？

编辑（来自评论）：

我的 hbase-site.xml 是：

我试图了解 Apache BigTop 的工作原理以及我们如何运行测试用例。尽管这里给出了一些信息，但在诸如测试工件/执行如何工作的方面仍然不是很清楚？如何修改测试用例？POM 文件如何工作？

对于像我这样的初学者，我在哪里可以找到确切的流程图？

我正在按照这些说明设置 Apache Bigtop，最终支持我运行 Oozie。我正在尝试使用 Bigtop，因为如果我想在 Hadoop 2+ 上运行我的 Oozie 安装，Oozie 网站建议使用 Bigtop。

运行步骤后

我收到以下错误消息（完整消息HERE）：

搜索网络，有人说这可以通过手动删除 /.m2 存储库然后重建来解决。我试过这个无济于事。

我正在使用带有 Java openjdk7 的 Ubuntu 14.04，完全更新。我所做的与说明之间的唯一区别是我直接从 apt-get 安装了 Maven，因此我将说明使用的 MAVEN_HOME 位置替换为我自己的。

这个信息也可能有帮助......

任何想法可能是什么问题？我意识到我使用的 Ubuntu 版本比编写指南时稍新，但我认为这不是问题所在。这似乎是某种类型的 Java/Maven 依赖问题。

我正在尝试将外部 jar 设置为 hadoop 类路径，但到目前为止还没有运气。

我有以下设置

$ hadoop version
Hadoop 2.0.6-alpha Subversion https://git-wip-us.apache.org/repos/asf/bigtop.git -r ca4c88898f95aaab3fd85b5e9c194ffd647c2109 由 jenkins 于 2013-10-31T07:55Z 从源代码编译，校验和为 95e88b2a95d48dcdbd此命令是使用 /usr/lib/hadoop/hadoop-common-2.0.6-alpha.jar 运行的

类路径

$ echo $HADOOP_CLASSPATH
/home/tom/workspace/libs/opencsv-2.3.jar

我可以看到上面的 HADOOP_CLASSPATH 已被 hadoop 拾取

$ hadoop 类路径
/etc/hadoop/conf:/usr/lib/hadoop/lib/ :/usr/lib/hadoop/.// : /home/tom/workspace/libs/opencsv-2.3.jar :/usr/lib /hadoop-hdfs/./:/usr/lib/hadoop-hdfs/lib/:/usr/lib/hadoop-hdfs/.//:/usr/lib/hadoop-yarn/lib/:/usr/lib/ _ _ _ hadoop-yarn/.// :/usr/lib/hadoop-mapreduce/lib/ :/usr/lib/hadoop-mapreduce/.//

命令

$ sudo hadoop jar FlightsByCarrier.jar FlightsByCarrier /user/root/1987.csv /user/root/result

我也尝试了 -libjars 选项

$ sudo hadoop jar FlightsByCarrier.jar FlightsByCarrier /user/root/1987.csv /user/root/result -libjars /home/tom/workspace/libs/opencsv-2.3.jar

堆栈跟踪

2004 年 14 月 11 日 16:43:23 信息 mapreduce.Job：运行作业：job_1415115532989_0001 14/11/04 16:43:55 信息 mapreduce.Job：作业 job_1415115532989_0001 在 uber 模式下运行：假 14/11/04 16:43 :56 INFO mapreduce.Job: map 0% reduce 0% 14/11/04 16:45:27 INFO mapreduce.Job: map 50% reduce 0% 14/11/04 16:45:27 INFO mapreduce.Job: 任务ID：尝试_1415115532989_0001_m_000001_0，状态：失败错误：java.lang。ClassNotFoundException：au.com.bytecode.opencsv。CSV解析器 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader .findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 在 java.lang.ClassLoader.loadClass( ClassLoader.java:358) 在FlightsByCarrierMapper.map(FlightsByCarrierMapper.java:19) 在FlightsByCarrierMapper.map(FlightsByCarrierMapper.java:10) 在org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144) 在org. apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:757) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:339) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild .java:158) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:第1478章）

非常感谢任何帮助。

任何人都可以提供使用 Ambari 安装 Apache BigTop 堆栈的教程或步骤。我尝试使用以下文件中提供的存储库

https://github.com/apache/ambari/blob/trunk/ambari-server/src/main/resources/stacks/BIGTOP/0.8/repos/repoinfo.xml

但是 bigtop 堆栈没有出现 ambari 仪表板 UI。

我不想使用 HDP 堆栈安装。

遵循以下站点中的说明 - ( http://www.dummies.com/how-to/content/set-up-the-hadoop-environment-with-apache-bigtop.html ) 或者更确切地说来自 Hadoop 一书假人。

第 3 步成功运行到最后，总下载大小为 616MB，但最后我遇到了这个错误 -

我忽略了那个错误，认为它不会有任何影响。然后，当我开始收到以下错误时，我继续执行其余步骤，直到 4.2 -

在广泛搜索后，我开始意识到重新安装即运行命令 yum install hadoop* 可以解决问题，我做到了并且收到了这个错误 -

我拼命地试图让事情按照“Hadoop For Dummies”一书中的描述工作，但斗争是巨大的。在我试图做的办公系统中，我无法超越第 1 步，即获取正在运行线程的 repo - Yum install Hadoop not found error CENTOS但这次在我的家庭系统中仍然是同样的错误. 难怪这本书的评论最差。

有人可以指导我如何解决这个问题吗？

I've got a problem with flume. I am trying to get into big data and hence am working with the tutorial from the 'for dummies' books. The other stuff so far has more or less worked, but there is some problem with the flume agent.

Here is the tutorial I am working with.

When I do everything according to the tutorial, my terminal output will be as followed:

From there on it won't do anything anymore. It will just stand like this until I shut down the terminal.

I've tried to telnet the agent but the messages won't appear.

Any idea what went wront?