1

I'm attempting to debug a Hadoop Streaming Job. I can see that a given mapper is failing when trying to process hdfs://filepath/filename:364+28. How can I determine what line / lines in the file match up with 364+28?

4

1 回答 1

0

您可能可以尝试获取特定的拆分并查看其中的内容。例如，如果您使用 C#，您可以使用System.Environment.GetEnvironmentVariable("map_input_start")来获取拆分的开始，然后查看该特定拆分有什么问题。

或者，如果您使用的是 Python，则可以使用os.environ["map_input_start"]。我不知道是否有任何直接的方法可以实现这一点。

高温高压

于 2013-08-21T20:19:29.550 回答