根据 http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html
reducer 通过网络使用 HTTP 复制每个 Mapper 的排序输出。
节点上的哪个端口用于此数据传输?默认是50060吗?
根据 http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html
reducer 通过网络使用 HTTP 复制每个 Mapper 的排序输出。
节点上的哪个端口用于此数据传输?默认是50060吗?
是每个slave节点上运行的tasktracker的端口,一般是50060(可以查看tasktracker日志文件:
2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50060 webServer.getConnectors()[0].getLocalPort() returned 50060
2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50060
2012-05-29 20:24:23,925 INFO org.mortbay.log: jetty-6.1.26
2012-05-29 20:24:24,283 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50060