hadoop - 如何查看特定 hadoop 任务的输入记录？

Question

我正在运行一个 hadoop 工作。全部完成，但完成了 4 个任务。我在思考为什么处理这些块需要这么长时间。我的猜测是，我的工作“难以”处理这些输入记录。要在本地测试，我想检索那些输入记录。我该怎么做？

任务的状态列显示 hdfs://10.4.94.75:8020/user/someuser/myfilename:154260+3

但是这是什么意思？

Answer 1

状态的最后一部分为您提供有关拆分的信息。进一步来说：

  hdfs://10.4.94.75:8020/user/someuser/myfilename:154260+3

告诉您具有此状态的任务处理了“myfilename”的拆分，该拆分从“myfilename”中的字节偏移量 154260 开始，长度为 3。

给定这条信息，您可以通过在文件中跳到字节 154260 并读取 3 个字节来检测分配给此任务的记录。