0

我是 Hadoop/Pig 初学者。

我在 hadoop 集群中有 3 个节点。我在其中一台机器上有Namenode和辅助namenode以及作业跟踪器，在另外两台机器上有数据节点和任务跟踪器。所有 3 个节点都是独立的物理机。

当我在 2 节点集群上运行示例 map reduce 示例时，它工作正常。但是，当我添加第三个节点时，它给了我以下错误。

740514，OP：MAPRED_SHUFFLE，CLIID：trib_201206271903_0002_m_00000000_0，持续时间：37426656 2012-06-27 19：13：20,458 org..hadoope.hadoope.hadoop.hadoop.mapred.mapred.tasktaskracker：getmaptracker：getmaptup：getmaptup（lotmaptup） DiskChecker$DiskErrorException：无法在 org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathToRead(LocalDirAllocator.java: 429) 在 org.apache.hadoop.mapred.TaskTracker$MapOutputServlet.doGet(TaskTracker.java:3857) 在 javax.servlet.http.HttpServlet .service(HttpServlet.java:707) 在 javax.servlet.http。org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511) 上的 HttpServlet.service(HttpServlet.java:820) org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1221)在 org.apache.hadoop.http.HttpServer$QuotingInputFilter.doFilter(HttpServer.java:835) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212) 在 org.mortbay.jetty.servlet .ServletHandler.handle(ServletHandler.java:399) 在 org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216) 在 org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182) 在org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) 在 org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450) 在 org.mortbay.jetty.handler。ContextHandlerCollection.handle(ContextHandlerCollection.java:230) 在 org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) 在 org.mortbay.jetty.Server.handle(Server.java:326) 在 org.mortbay .jetty.HttpConnection.handleRequest(HttpConnection.java:542) 在 org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) 在org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java: 410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) at org.mortbay.jetty.Server.handle(Server.java:326) at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) at org .mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212 ) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run( QueuedThreadPool.java:582)jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) at org.mortbay.jetty.Server.handle(Server.java:326) at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) at org .mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212 ) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run( QueuedThreadPool.java:582)handleRequest(HttpConnection.java:542) at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) at org.mortbay.jetty .HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org. mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)handleRequest(HttpConnection.java:542) at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) at org.mortbay.jetty .HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org. mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)

2012-06-27 19:13:20,458 警告 org.apache.hadoop.mapred.TaskTracker：地图输出错误的未知孩子：尝试_201206271903_0002_m_000001_0。忽略。

我已按照说明http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

我在这里想念什么？

4

1 回答 1

0

我不能确切地告诉你问题的解决方案，但我可以给你一个清单以某种方式进行验证。希望这可以帮助。

  1. 您是否在新添加的节点上启动了 dfs 和 mapred 守护程序？
  2. 您是否在从属配置文件中添加了第三个节点？
  3. 检查您在 hdfs-site 文件中指定的数据路径，确保第三个节点可以在那里写入数据。
于 2012-06-28T04:31:36.867 回答